我要投稿

聊聊完全开源且值得学习的EmoLLM心理大模型

发布日期：2024-05-02 17:13:05 浏览次数： 3019 来源：阿郎小哥的随笔驿站

概述

**EmoLLM** ^[1]是一系列能够支持 理解用户-支持用户-帮助用户 心理健康辅导链路的心理健康大模型，由 LLM指令微调而来。

我个人觉得这个项目值得去研究；为什么？因为区别于别的开源心理大模型，EmoLLM是完全的开源；其开源了数据集、微调方法、训练方法及脚本等，完全的开源出来。对于需要了解领域模型开发的人来说，是非常友好且值得学习的。

架构图如下：

数据集及领域模型

EmoLLM开源了其数据集^[2]，官方根据不同的数据集训练出来了不同的领域模型，譬如角色扮演、老母亲心理咨询师、爹系男友心理咨询师。官方的介绍如下：

数据集按用处分为两种类型：General 和 Role-play
数据按格式分为两种类型：QA 和 Conversation
数据汇总：General（6个数据集）；Role-play（5个数据集）

数据集类型：

General：通用数据集，包含心理学知识、心理咨询技术等通用内容
Role-play：角色扮演数据集，包含特定角色对话风格数据等内容

以角色扮演的数据集为例，我个人的分析来看，有两点值得关注：

改造后的数据格式。基于标准的sharegpt格式或alpaca格式改造领域数据格式，用于大模型的训练。
提示词的设计。针对不同的业务场景，设计好不同的提示词。这也是提示词工程的意义与作用。

微调

EmoLLM主要是基于xtuner来实现微调训练^[3]的，其全量微调也是基于此框架。不过EmoLLM在这方面的支持还是不太够的。如下是当前支持的微调模型类型：

EmoLLM的微调文件参数写在了其后面的py文件中：

因此微调时还要注意参数文件。微调数据格式参考datasets文件夹中的数据集来设计即可；这是一套的。

目前来看，ChatGLM3的微调需要额外的处理，参考 ChatGLM3-6b-ft.md^[4] ；我是没怎么看明白，只觉得有点复杂。希望官方可以优化下。

总结

总的来说，EmoLLM是个不错的项目，我们完全可以从零开始借鉴学习，了解并掌握训练领域模型的方方面面。

参考资料

[1]

EmoLLM : https://github.com/SmartFlowAI/EmoLLM

[2]

数据集: https://github.com/SmartFlowAI/EmoLLM/blob/main/datasets/README.md

[3]

微调训练: https://github.com/SmartFlowAI/EmoLLM/blob/main/xtuner_config/README.md

[4]

ChatGLM3-6b-ft.md: https://github.com/SmartFlowAI/EmoLLM/blob/main/xtuner_config/ChatGLM3-6b-ft.md

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2024-07-10

科研助力神器：Scholar GPT，百倍提升你的研究效率！

2024-07-09

Doc2X：一款功能超级强大的文档解析与转换工具

2024-07-06

我对多智能体协作过程自动演化架构设计

2024-07-06

可穿戴AI，底层逻辑的变化

2024-07-06

一文彻底搞懂Transformer - Word Embedding（词嵌入）

2024-07-06

AI动态 | 腾讯元宝AI搜索能力升级：深度搜索模式上线

2024-07-06

智能手表 + AI ，都已经这么智能了？？

2024-07-06

死磕10万卡GPU算力集群，腾讯星脉网络2.0有什么秘密武器？

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

爆肝50小时，DeepSeek使用技巧，你收藏这一篇就够了！

2025-02-01

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

一文读懂DeepSeek-R1本地部署配置要求（建议收藏）

2025-02-04

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

更改ollama模型存储路径

2024-04-25

16个具有“联网搜索”功能的AI：总有一个适合你！

2024-06-13

OpenAI o1与GPT4o的对比分析

2024-09-23

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

大家都在问

如何监控vLLM等大模型推理性能？

2025-03-18

为什么2025年是AI Agent元年？

2025-03-18

实战干货！如何使用Java构建企业级AI Agent服务框架？

2025-03-18

什么是停用词表？构建RAG系统时为什么要注意异常停用词？

2025-03-18

通往 AGI 之路前传：究竟该怎么理解 Agent？

2025-03-18

一文搞懂什么是向量嵌入Embedding？

2025-03-18

零一万物今天的新品发布会，都讲了些什么？

2025-03-17

MCP到底是什么？统一Function calling规范，工作量锐减至1/6，人人都能手搓Manus？

2025-03-17

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB