我要投稿

聊聊完全开源且值得学习的EmoLLM心理大模型

发布日期：2024-05-02 17:13:05 浏览次数： 2196

概述

**EmoLLM** ^[1]是一系列能够支持 理解用户-支持用户-帮助用户 心理健康辅导链路的心理健康大模型，由 LLM指令微调而来。

我个人觉得这个项目值得去研究；为什么？因为区别于别的开源心理大模型，EmoLLM是完全的开源；其开源了数据集、微调方法、训练方法及脚本等，完全的开源出来。对于需要了解领域模型开发的人来说，是非常友好且值得学习的。

架构图如下：

数据集及领域模型

EmoLLM开源了其数据集^[2]，官方根据不同的数据集训练出来了不同的领域模型，譬如角色扮演、老母亲心理咨询师、爹系男友心理咨询师。官方的介绍如下：

数据集按用处分为两种类型：General 和 Role-play
数据按格式分为两种类型：QA 和 Conversation
数据汇总：General（6个数据集）；Role-play（5个数据集）

数据集类型：

General：通用数据集，包含心理学知识、心理咨询技术等通用内容
Role-play：角色扮演数据集，包含特定角色对话风格数据等内容

以角色扮演的数据集为例，我个人的分析来看，有两点值得关注：

改造后的数据格式。基于标准的sharegpt格式或alpaca格式改造领域数据格式，用于大模型的训练。
提示词的设计。针对不同的业务场景，设计好不同的提示词。这也是提示词工程的意义与作用。

微调

EmoLLM主要是基于xtuner来实现微调训练^[3]的，其全量微调也是基于此框架。不过EmoLLM在这方面的支持还是不太够的。如下是当前支持的微调模型类型：

EmoLLM的微调文件参数写在了其后面的py文件中：

因此微调时还要注意参数文件。微调数据格式参考datasets文件夹中的数据集来设计即可；这是一套的。

目前来看，ChatGLM3的微调需要额外的处理，参考 ChatGLM3-6b-ft.md^[4] ；我是没怎么看明白，只觉得有点复杂。希望官方可以优化下。

总结

总的来说，EmoLLM是个不错的项目，我们完全可以从零开始借鉴学习，了解并掌握训练领域模型的方方面面。

参考资料

[1]

EmoLLM : https://github.com/SmartFlowAI/EmoLLM

[2]

数据集: https://github.com/SmartFlowAI/EmoLLM/blob/main/datasets/README.md

[3]

微调训练: https://github.com/SmartFlowAI/EmoLLM/blob/main/xtuner_config/README.md

[4]

ChatGLM3-6b-ft.md: https://github.com/SmartFlowAI/EmoLLM/blob/main/xtuner_config/ChatGLM3-6b-ft.md

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

2024-09-23

为什么需要Agent?

2024-09-22

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

2024-09-22

OpenAI o1的架构流程已被Claude破解了？

2024-09-21

从 Data 到 Data + AI，必然之路还是盲目跟风？

2024-09-21

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

概述

数据集及领域模型

微调

总结

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

概述

数据集及领域模型

微调

总结

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的&#39;阉割&#39;?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?