我要投稿

微软推出LongRoPE：将LLM上下文长度扩展到200万token

发布日期：2024-04-10 20:50:33 浏览次数： 2033 来源：PaperAgent

论文题目：LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens论文链接：https://arxiv.org/pdf/2402.13753.pdfGithub：https://github.com/microsoft/LongRoPE

论文介绍了一种名为LongRoPE的方法，它首次将预训练的大型语言模型（LLMs）的上下文窗口扩展到2048k个标记，同时在保持原始短上下文窗口性能的同时，仅需要1k步的微调。这一成就是通过三个关键创新实现的：

通过有效搜索识别和利用位置插值中的两种非均匀性，包括RoPE维度和标记位置的变化，为微调提供了更好的初始化，并在非微调情况下实现了8倍的扩展。
引入了一种渐进式扩展策略，首先对长度为256k的LLM进行微调，然后在微调后的扩展LLM上进行第二次位置插值，以实现2048k的上下文窗口。
在8k长度上重新调整LongRoPE，以恢复短上下文窗口的性能。在扩展到非常长的上下文窗口后，可能会发现模型在原始较短的上下文窗口内的性能有所下降。为了解决这个问题，可以对扩展后的模型进行额外的调整，以恢复在较短上下文窗口内的性能。这可能涉及到对位置嵌入（RoPE）的重缩放因子进行优化，以适应不同的上下文长度。

一个示例展示在不同插值方法下的RoPE嵌入。上图：直接外推下的RoPE。中图：线性位置插值下的重新缩放RoPE。下图：LongRoPE充分利用了识别出的两种非均匀性，导致在不同标记位置的RoPE维度上进行变化的插值和外推。

在LLaMA2和Mistral模型上进行的广泛实验表明，该方法在各种长上下文任务中都非常有效。通过LongRoPE扩展的模型保留了原始架构，并对位置嵌入进行了轻微修改，可以重用大多数现有的优化。

LongRoPE在256k上下文长度内也超越了其它不同位置插值方法(困惑度)

LongRoPE无需额外的微调，训练时的上下文窗口大小为 128k 和 256k，有效地扩展到了极长的 2048k 上下文大小

论文的实验部分也展示了LongRoPE在长文档上的低困惑度（perplexity）表现，以及在标准基准测试中的可比准确性。此外，LongRoPE在长上下文任务中，如密钥检索，也表现出色。

在 Hugging Face Open LLM 基准测试中，长上下文LLMs与原始 LLaMA2 和 Mistral 的比较。

长上下文LLMs的密钥检索准确率。展示了LongRoPE在从数百万级别的标记池中准确检索密钥的显著能力。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

更改ollama模型存储路径

2024-04-25

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

大家都在问

除了混合搜索，RAG 还需要哪些基础设施能力？

2024-12-24

大模型时代的软件工程教育，路在何方？

2024-12-24

AI大牛解析o3技术路线！大模型下一步技术路线已现端倪？

2024-12-24

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

除了混合搜索，RAG 还需要哪些基础设施能力？

大模型时代的软件工程教育，路在何方？

AI大牛解析o3技术路线！大模型下一步技术路线已现端倪？

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

除了混合搜索，RAG 还需要哪些基础设施能力？

大模型时代的软件工程教育，路在何方？

AI大牛解析o3技术路线！大模型下一步技术路线已现端倪？

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示