我要投稿

阿里千问提出Self-Lengthen，大模型实现自迭代扩展输出长度

发布日期：2024-11-02 15:27:27 浏览次数： 1574 来源：PaperWeekly

介绍

大模型发展迅速，Qwen，LLaMA 等模型已经展示了超长输入（128k 以上 token）的处理能力，但是还难以产生较长的文本，比如难以生成一个 2000 字的小说或议论文。

我们分析这是由于训练过程中的缺陷：在 pre-training 阶段，尽管有各种长文本来源可供使用，却缺乏有效的指令来引导这种能力；相反，在post-training阶段，大多数由人工或 AI 增强的问答对都比较短，这导致训练好的大型语言模型在生成长篇的与人类偏好对齐的输出时面临挑战。

为了解决这个问题，已有的工作采用了两种策略：反向生成指令 (instruction backtranslation) 和行为模仿，以构建具有长篇回复的数据来微调模型。然而，获得涵盖各种长生成任务和领域的高质量数据具有挑战性；而行为模仿假设存在一个更为强大的模型，但受到如 OpenAI 使用条款的限制。

在本篇工作中，我们首次展示了如何仅利用 LLM 的内在知识和技能来激发其长文本生成能力。我们方法的核心是一个名为 Self-Lengthen 的迭代训练框架，其中包含两个角色：生成器和扩展器。生成器负责生成初始回复，而扩展器的任务是延长回复的长度。

论文标题：

Language Models Can Self-Lengthen to Generate Long Texts

论文链接：

https://arxiv.org/abs/2410.23933

项目链接：

https://github.com/QwenLM/Self-Lengthen

我们选取 10 条长生成指令进行测试，发现现有的主流开源模型都难以生成长文本；即使通过修改解码策略来强制让模型产生长输出，我们发现当模型输出超过 2000 字，输出的质量迅速降低，都出现了重复、乱码等问题。

而使用了我们的 Self-Lengthen 方法进行长度扩充后，我们成功将 Qwen 模型的输出能力从 1000 字提升到了 8000 字（图 1）。

方法

Self-Lengthen 主要可以分为四个基本步骤：1）指令增广，2）初始响应生成，3）响应扩展，以及4）微调下一次迭代的模型。这四个步骤将被反复进行，从而逐步提升大语言模型的输出长度。流程图如图 2 所示。

1）指令增广：我们使用 self-instruct 方法来扩充我们的指令集。具体来说，我们维护一个指令库，每次随机选择两个指令作为 few-shot 来生成一个新指令。

2）初始响应生成：在第次迭代中，我们使用从上一次迭代微调过的生成器来根据增广的指令生成初始响应。随着生成器每次迭代生成长输出的能力不断提高，这些初始响应的长度也将逐步增加。

3）响应扩展：在生成初始响应后，下一步是扩大其长度以创建一个更长的响应。直接一次性扩展响应受限于模型的最大长度限制，无法在迭代中实现持续增长。为了解决这一问题，我们提出了一种分两阶段的扩展方法，使我们能够达到并突破模型的长度限制。

在阶段 1，我们使用初始回复的前一半（记作）作为扩展器的输入进行扩展过程。这将产生内容前半部分的扩展版本。由于输入较短，模型可以生成比输入明显更长的输出——可能将扩展到几乎两倍其原始长度，与大致匹配。

在阶段 2，我们将整个初始回复提供给进行进一步扩展。在这里，第一部分的扩展作为现有的扩展内容用于完成第二部分的扩展，就像在 in-context-learning 中用于展示扩展的结构和方式一样。

一个实例如图 3 所示。其中粉色字代表用户指令，绿色字代表初始回复，蓝色字为阶段 1 的扩充指令，棕色字为阶段 2 补充的扩展。

4）微调下一次迭代的模型：当我们获取到更长的回复后，我们将使用这些回复来同时微调生成器和扩展器，这使得它们生成、扩展的回复更长。我们迭代这些步骤来得到越来越长的回复。

实验

我们同时评估了构造的数据质量以及用这些数据训练模型的效果。

在数据评估中，我们组织了数位志愿者对我们的数据以及其它方法构建的数据进行打分，对比数据中的问题多样性和回答满意度。同时，我们还统计回复的 Distinct 分数进行了比较。我们发现我们在几个纬度上均超过了其它方法，结果如图 4 所示。

在模型评估中，我们首先构建了一个长生成能力的评估基准 LonGen，包含了文学写作、科研写作、情感表达等七类任务，并且在指令中都包含了明确的长度限制。根据模型的真实输出和不同的长度限制类型，我们根据图 5 提出的公式来计算模型的长度遵循分数。

同时我们使用 GPT-4o 来对不同模型在回答相关性、准确性、创造力等七个纬度上进行打分来得到质量评估。我们发现我们的方法在 Qwen, LLaMA 基座模型上始终比其它方法有更好的长度遵循效果和质量评估分数，并在长输出任务上超过了其它的通用开源和闭源模型。

总实验结果（图 6）：

长度遵循得分（图 7）：

质量评估得分（图 8）：

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2024-11-05

Meta揭秘：大规模AI集群可靠性的突破性研究（下）

2024-11-05

重温 Scaling Law，思考对大模型的未来发展启示

2024-11-05

比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行

2024-11-05

B站自研角色扮演模型背后的技术

2024-11-05

对抗NVLink简史？10万卡争端，英伟达NVL72超节点挑起

2024-11-05

为了在AI时代做好“个人助理”，vivo做了哪些努力？

2024-11-05

大模型在自动化测试的突破：蚂蚁、华为等头部企业应用实践

2024-11-05

微软 AI CEO 穆斯塔法：小模型绝对是未来趋势，AI 会小到能装在冰箱贴上

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

一文带你了解大模型——智能体（Agent）

2024-05-28

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

Cursor 一个真正让程序员产生危机感的 AI 编程工具

2024-08-21

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

Claude中国官网正式上线！1:1还原官网，非套壳，国内直连

2024-07-18

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

Prompt提示词如何写才能发挥大语言模型LLM的最大潜力

2024-06-17

大模型千问2（Qwen2）系列新产品来了

2024-06-07

哈工大“风筝”航天知识大模型开放测试

2024-10-25

大家都在问

为了在AI时代做好“个人助理”，vivo做了哪些努力？

2024-11-05

什么是AI“世界模型”？为何如此重要？

2024-11-04

黑掉大模型？恶意 Prompt 攻击成无解之谜？

2024-11-01

AIGC：从‘金鱼记忆‘到‘过目不忘‘，实例解密大模型是如何记住对话的上下文的？

2024-10-31

AI时代，哪种人更被需要？

2024-10-30

Single-Agent 大翻身：Multi-Agent 可以退下了？

2024-10-29

大模型应用开发，AI 厂商开启新一轮“群雄逐鹿”？

2024-10-29

Function Calling为何能让2024年成为大模型应用元年？

2024-10-25

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204 陈先生 186 8244 3374

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

联系我们

售前咨询

预约演示

微信扫码

与创始人交个朋友

回到顶部