我要投稿

微软推出LongRoPE：将LLM上下文长度扩展到200万token

发布日期：2024-04-10 20:50:33 浏览次数： 1821

论文题目：LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens论文链接：https://arxiv.org/pdf/2402.13753.pdfGithub：https://github.com/microsoft/LongRoPE

论文介绍了一种名为LongRoPE的方法，它首次将预训练的大型语言模型（LLMs）的上下文窗口扩展到2048k个标记，同时在保持原始短上下文窗口性能的同时，仅需要1k步的微调。这一成就是通过三个关键创新实现的：

通过有效搜索识别和利用位置插值中的两种非均匀性，包括RoPE维度和标记位置的变化，为微调提供了更好的初始化，并在非微调情况下实现了8倍的扩展。
引入了一种渐进式扩展策略，首先对长度为256k的LLM进行微调，然后在微调后的扩展LLM上进行第二次位置插值，以实现2048k的上下文窗口。
在8k长度上重新调整LongRoPE，以恢复短上下文窗口的性能。在扩展到非常长的上下文窗口后，可能会发现模型在原始较短的上下文窗口内的性能有所下降。为了解决这个问题，可以对扩展后的模型进行额外的调整，以恢复在较短上下文窗口内的性能。这可能涉及到对位置嵌入（RoPE）的重缩放因子进行优化，以适应不同的上下文长度。

一个示例展示在不同插值方法下的RoPE嵌入。上图：直接外推下的RoPE。中图：线性位置插值下的重新缩放RoPE。下图：LongRoPE充分利用了识别出的两种非均匀性，导致在不同标记位置的RoPE维度上进行变化的插值和外推。

在LLaMA2和Mistral模型上进行的广泛实验表明，该方法在各种长上下文任务中都非常有效。通过LongRoPE扩展的模型保留了原始架构，并对位置嵌入进行了轻微修改，可以重用大多数现有的优化。

LongRoPE在256k上下文长度内也超越了其它不同位置插值方法(困惑度)

LongRoPE无需额外的微调，训练时的上下文窗口大小为 128k 和 256k，有效地扩展到了极长的 2048k 上下文大小

论文的实验部分也展示了LongRoPE在长文档上的低困惑度（perplexity）表现，以及在标准基准测试中的可比准确性。此外，LongRoPE在长上下文任务中，如密钥检索，也表现出色。

在 Hugging Face Open LLM 基准测试中，长上下文LLMs与原始 LLaMA2 和 Mistral 的比较。

长上下文LLMs的密钥检索准确率。展示了LongRoPE在从数百万级别的标记池中准确检索密钥的显著能力。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

如何微调（Fine-tuning）大语言模型？

2024-09-18

AI软件必须用GPU么？

2024-09-18

ChatGPT有三个快捷指令和三个模式，你知道吗？

2024-09-17

为什么4090比A100更有性价比？

2024-09-17

o1新模型数据乐观，现实却打脸？

2024-09-16

OpenAI发布最强o1大模型！让大模型真正具备了复杂推理能力？

2024-09-16

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

o1新模型数据乐观，现实却打脸？

OpenAI发布最强o1大模型！让大模型真正具备了复杂推理能力？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

o1新模型数据乐观，现实却打脸？

OpenAI发布最强o1大模型！让大模型真正具备了复杂推理能力？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示