标题: Enhancing User Interest based on Stream Clustering and Memory   Networks in Large-Scale Recommender Systems

地址：https://arxiv.org/pdf/2405.13238

公司：腾讯

1. 导读

本文主要针对用户行为稀疏的问题，提出用户兴趣增强（UIE）的方法，从不同的角度使用基于流聚类和记忆网络生成的增强向量和个性化增强向量来增强用户兴趣，包括用户画像和用户历史行为序列。UIE不仅显著提高了兴趣稀疏用户的模型性能，而且显著提高了其他用户的模型效率。

主要是三部分，用户画像增强，消费行为增强和序列增强。三个部分的思路比较接近：

• 记忆网络存储了聚类中心的emb
• 基于用户，item和序列的emb和聚类中心计算内积作为相似度得分，然后检索topK相似的聚类中心进行增强
• 兼顾了一些效率问题，因此在使用的过程中做了采样，主要对行为，特征稀疏的低活用户。

2.方法

本文的基础模型采用PLE，进行多任务训练。如图所示，用户兴趣包括用户画像和用户历史行为序列，这决定了排名模型性能的上限。本文提出的用户兴趣增强（UIE）的方法，包括三个部分：用户画像增强（UPE）、用户消费行为增强（UCBE）和用户消费序列增强（UCSE），分别用于增强用户画像和用户消费行为序列。使用最相关的聚类和消费行为来补充额外的兴趣信息。所有的增强向量都被作为PLE模型的新特征。

2.1 用户画像增强UPE

在实际场景中，有很多用户是缺乏行为信息，只有稀疏的用户画像。UPE的作用是在其他类似用户的帮助下为用户推断缺失的哪些特征。UPE的基本思想是基于端到端流聚类和存储在记忆网络中的最相似质心来增强用户的用户画像。

• 首先，获取用户画像相关的向量。设计了两个辅助网络，用于生成固定维度的用户和item向量。使用用户辅助网络来得到用户画像的向量user_vec。
• 其次，基于用户画像与记忆在记忆网络中的质心的相似性进行端到端流聚类。
• 在训练之前，随机初始化N个聚类的中心，这些中心是存储在记忆网络1中的d维向量。通过矩阵乘法计算用户画像向量与所有质心之间的相似性得分。
• 然后可以得到与当前用户向量最相似的聚类，使用蒸馏方法来更新相应的聚类中心，公式如下，是超参数，（这里应该是对和当前用户向量最接近的中心的误差对中心进行更新，笔者猜测这里可能是采用指数移动加权平均等方式）。为了平衡不同用户对聚类的影响，降低计算成本，本文根据用户的活跃类型进行采样参与聚类，这里采样应该是对需要增强的低活用户进行聚类，他们的行为比较稀疏，而对行为丰富的就不需要这里的操作了。

• 基于相似性得分，从记忆网络1中检索与用户向量最相似的K1个相似聚类中心。需要确保检索得到的中心向量对用户向量的增强是正向作用，所以如过检索到的向量与用户向量的相似度得分是负的，则增强向量改为全0.
• 基于最相似的聚类中心和用户向量生成用户增强向量。在获得K1个最相似的向量后，基于下式得到加权向量，权重通过得分的softmax标准化后得到。为了实现更好的个性化增强，为每个用户定义一个个人向量，用于实现加权向量的个性化微调。加权向量和个人向量拼接后输入模型，图3中的左上角。

2.2 用户消费行为增强UCBE

UCBE的关键思想是使用用户的消费行为来选择记忆器网络1中最相关的质心。

• 选择label=1的item（用户历史交互过），从item辅助网络得到item向量（item_vec）。
• 和用户画像增强类似，基于内积在记忆网络1中检索和item最相关的K2个中心。然后和当前用户向量求内积，如果是负相关则将检索的item向量置0。
• 对个性化增强向量进行增量更新。为记忆网络2中的每个用户预定义个性化增强向量，并用零向量初始化。并基于下式更新个性化增强向量。

• 当估计用户的多种行为时，该用户的个性化增强向量由记忆网络2中的用户id检索，并作为PLE模型的新特征，以进一步增强用户画像。

2.3 用户消费序列增强UCSE

UCSE的基本思想是利用流聚类生成的所有质心中最相似的质心来增强用户消费序列中包含的每个消费行为，然后基于注意力机制生成序列增强向量。

• 获取用户消费序列中包含的每个消费行为的向量，也就是序列中每个item的向量，序列长度为100
• 在训练之前，在记忆网络3中随机初始化M个聚类的中心。通过计算消费向量与每个中心之间的相似性，采用类似UPE中的方式更新中心，同样采样了一部分用户进行训练
• 第三，基于相似度得分在记忆网络中检索最相似的聚类中心。
• 在获得用户消费序列中K个最相似中心后，采用upe类似的方法进行加权聚合

3 实验