传统LLM在给定相同输入的情况下，对不同的用户提供类似的响应。虽然基于采样的解码策略可以引入一些多样性，但这种方法无法考虑到用户的个人偏好，从而降低了人机交互的参与度。

建立具有个性化的LLM，最常用的两种方法是：

1. 对LLM进行领域内数据的微调，使其能够学习每个用户的特定模式和偏好。虽然这种方式有效，但是需要大量的计算资源用于训练和推理，使其在实际应用中部署变得困难。

2. 基于RAG,将所有用户历史记录直接输入 LLM,然后根据当前用户的请求生成定制结果。但是这种方法，在检索过程通常侧重于与当前输入的相关性，而不是识别嵌入在所有历史数据中的更深层次的用户偏好。

个性化LLM最好的策略是，在不修改其结构和参数的情况下，将用户的整体风格融入 LLM。

下面，我们看看百度推出的PPlug是怎么做到的。

PPlug的主要特定：

• 附加一个用户个人嵌入供 LLM 参考，指导 LLM 进行个性化语言生成

• PPlug 模型遵循即插即用范式，并且不会给 LLM 带来任何额外的参数。

• 与RAG相比，PPlug 可以捕捉用户的整体模式和偏好，从而实现更好的个性化性能。

PPlug是如何做到个性化的

1. 它包含一个轻量级的插件式用户嵌入模块，该模块将用户的历史模式嵌入到一个针对特定用户的嵌入中，作为 LLM 的输入参考。（左侧即个性化用户嵌入模块）

2. 在用户嵌入模块中，首先开发了一个用户行为编码器，将用户的每个历史行为表示为一个稠密向量。（绿色部分就是用户的历史行为）

3. 然后，将当前任务用户的个性化输入也表示为一个稠密向量.（带有笔的部分就是用户个性化输入，例如用户对某款产品的评价）

4. 然后，用一个输入感知的个人聚合器根据这些历史向量与当前任务输入的相关性，将所有这些向量合成一个特定于用户的个人嵌入。

5. 这个聚合器采用了注意力机制，根据每个历史行为与当前用户输入的相关性动态地为其分配权重。确保当前输入与更相关的历史行为分配更高的权重。例如，在根据摘要生成学术标题时，模型将受益于优先考虑与当前摘要主题更一致的历史标题和摘要。

6. 这种来自所有历史记录的独特个人嵌入就能够捕捉用户在语言任务中的总体模式。

7. 在获得这种个性化的嵌入后，将其直接附加到当前输入中，将他们再经过一层投影层，送入冻结的LLM 根据用户的偏好定制其输出。 （右侧拼接了个性化嵌入后，送入LLM）

8. 通过这种方式，PPlug 模型可以更好地执行个性化语言模型生成任务，这些任务依赖于以即插即用策略提取的用户的全面个人模式。

PPlug与微调比较

1. 在训练中，与需要为每个用户训练一个单独的 LLM 的微调方法不同，PPlug 训练了一个共享编码器来捕获个性化的用户信息。 这显着降低了训练成本和复杂性。

2. 在推断中，PPlug 以即插即用方式运行，其中单个 LLM 用于所有用户，并以用户特定个性化嵌入作为输入。 这对于 LLM 服务提供商来说非常有利，因为它使能够部署单个模型来为用户提供有效的个性化服务，从而简化了基础设施和维护工作。

PPlug与RAG

1. 基于RAG的方法通过选择相关的用户历史行为来实现个性化。

2. PPlug 整合了输入感知注意力机制来评估每种行为的相关性。 然而，与仅关注最相关行为的基于检索的方法不同，PPlug 为所有历史行为分配动态权重。

3. 这使它能够在用户的整个历史记录中捕捉到对用户普遍兴趣和偏好的更全面的了解，从而改善了个性化输出。

4. PPlug 模型还可以通过依赖语言建模损失以端到端方式直接优化，而大多数先前的基于检索的 LLM 可能只利用 LLM 输出的反馈来生成伪梯度

PPLug的效果

(1) LaMP-1 个性化引用识别；

(2) LaMP-2 个性化电影标签；

(3) LaMP-3 个性化产品评分；

(4) LaMP-4 个性化新闻标题生成；

(5) LaMP-5 个性化学术标题生成；

(6) LaMP-7 个性化推文改写

在上述六项任务中，除了第一项，其他任务表现都相当惊艳。