近日，ArXiv上一篇名为《SentenceVAE：Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context》的论文引起了国外网友的讨论。

• 论文链接：

  https://arxiv.org/abs/2408.00655

• 代码仓库：

  https://github.com/BestAnHongjun/SentenceVAE

模型方法

论文中，作者指出，当前主流的大模型大多采用token-by-token的自回归方式进行推理，这种方式严重限制了大模型的推理速度。为了解决这一问题，作者团队提出了一种新颖的推理方式：Next-sentence Prediction，使用大模型直接预测下一个句子。

为了实现这一方式，作者团队首先使用大量语料预训练了一个小模型——句子变分自编码器（Sentence Variational Autoencoder, SentenceVAE），由一个句子编码器和一个句子解码器构成，分别仅有1~4层。其中，句子编码器可以将一个句子中的多个token编码为一个单独的嵌入向量（Sentence-level Token），句子解码器可以将该嵌入向量还原为原始句子中的多个token。

通过将句子编码器和解码器分别嫁接在当前主流大模型的首尾，并加以微调，大模型便可以工作在Sentence-level的嵌入空间，升级为Sentence-level LLM (SLLM)！

更快的推理速度

假设有一句话含有10个token，在当前LLM逐token生成的方式下，大模型需要迭代10次，而SLLM进需要迭代1次，从而大幅提升了大模型的推理速度。

作者团队将深度为1~4层的SentenceVAE分别嫁接在OPT-125M、OPT-350M、OPT-1.3B模型的首尾（SLLM），并将原始OPT模型（LLM）作为基线（baseline）进行实验。实验结果表明，SLLM的token生成速度相比各LLM可分别提升200~300%！

同时，随着主体LLM参数量的增加，SentenceVAE推理所占用的计算资源比例将逐渐降低，从而获得更高的速度收益。也就是说，模型越大，提速越明显！

更低的困惑度

作者团队使用上述同样的方式在万卷数据集上进行实验，发现SLLM相比LLM困惑度分别降低了46~75%！

作者在文中指出，困惑度降低的原因可能在于：

1. 通过SentenceVAE，SLLM可以在更高的句子语义层次对自然语言进行理解；
2. 同样的上下文长度，在SentenceVAE的帮助下，SLLM相比LLM可以处理相对更少的token数量，从而在Attention操作时使注意力分布更加集中。

更长的上下文长度

作者团队同样实验了生成相同上下文长度时的显存占用情况，发现SLLM相比LLM显存占用分别降低了86~91%！ 这使得在相同显存资源条件下，SLLM可以支持更长上下文的推理。

SLLM的Scaling Law

虽然作者团队仅在125M-1.3B参数规模的大模型上进行了验证性的实验，但是在实验过程中，他们发现SLLM同样遵循Scaling Law，意味着该架构可以推广至更大规模的模型。

国外网友的讨论

一位ID名称为Tunadorable网友阅读该文并在YouTube上发表了对SentenceVAE的见解后，迅速引起了国外网友的讨论。

有不少网友表达了对该想法的肯定：

有网友头脑风暴称，SentenceVAE或许是“文本扩散模型”的良好基础。

LinkedIn上也有网友表示，SentenceVAE或许是主流大模型的下一个重大趋势！

当然，也有网友犀利地指出了这项工作的不足，比如：

• 工作仍然处于比较初步的阶段，目前仅在英文数据集上进行了实验
• 在分割句子时暂时采用的是按照标点符号进行分割的方法，在对于一些诸如代码生成、CSV文件生成的任务上可能会有严重不足，需要有基于学习机制的分句器来更新

来自作者团队的回复

在AlphaXiv社区中，作者对网友的部分讨论进行了回复：

作者表示，他们当前的工作主要是为了验证Sentence-level范式的可行性，因此在分割句子时采用了使用标点符号分割这种便捷的方式。作者表达了对“可学习分句模型”想法的肯定，并表示这的确是他们下一阶段的计划。

结语

虽然SentenceVAE这项工作仍然处于比较初步的探索阶段，但我们不可否认他在构建更快、更准、更长的大模型架构上的巨大潜力。让我们共同期待！