序列建模中Next Item Prediction的代表性工作

Next Item Prediction任务是序列推荐系统中的一个基础任务，根据用户的历史浏览行为item序列，预测用户下一个感兴趣的item。今天这篇文章，给大家梳理一下近几年来，Next Item Prediction任务的代表性工作。

1.基于BERT的序列建模

论文标题：BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

BERT4Rec是阿里在2019年提出的一种基于BERT的NIP建模方法。在之前的工作中，大多基于RNN的单向模型进行兴趣预测。这种单向的建模方法忽略了历史行为中潜在的双向信息。因此，本文提出以NLP中的BERT模型为底座，建立基于BERT的双向历史序列编码方法，并进行下一个item预测。

模型的核心结构如下图所示，整体完全基于BERT的结构。在底层，输入历史行为序列，并随机mask一部分行为，在训练阶段对被mask掉的行为进行预测，类似BERT中的MLM任务。在预测结果，整个序列的末尾拼接一个mask，让BERT对最后一个mask进行预测。

由于上述方法存在训练和预测阶段不一致问题，文中才训练阶段，也会随机选择一部分数据，只mask掉最后一个行为，和预测阶段保持一致。

2.考虑时间间隔的序列建模

论文标题：Time Interval Aware SelfAttention for Sequential Recommendation（WSDM 2020）

之前的序列建模中，比较少考虑用的历史行为的时间间隔信息。然而，时间间隔信息也是行为序列中比较重要的side information信息。因此，本文针对历史序列中的行为间隔信息进行建模。

图片

对于行为序列，提取两两item之间的时间间隔，形成一个行为间隔矩阵。每一个用户的序列，使用这个用户最小的时间间隔进行对所有时间间隔做归一化，并对最大时间间隔进行截断。这个时间间隔信息的核心使用在于attention部分的计算。在attention中需要计算两两item之间的注意力打分，会在基础的attention计算基础上，引入这个item间的时间间隔信息。

图片

3.解耦长短期兴趣的序列建模

论文标题：Disentangling Long and Short-Term Interests for Recommendation（WWW 2022）

这篇文章是清华和快手联合发表的序列推荐工作，核心点是将历史兴趣序列中的长期兴趣和短期兴趣解耦开，分别建模，在预测阶段使用一定的比例融合长期和短期兴趣。长期兴趣随着时间不会发生明显变化，比较稳定，而短期兴趣会随着时间推移出现一定的变化，新兴趣可能出现，老兴趣可能消失。

为了实现这种长短期兴趣的解耦建模，文中采用2个独立的Encoder分别建模长期和短期序列。对于长期序列，由于对于用户来说是稳定不变的，使用user的embedding作为query，和历史序列item计算attention后进行融合，得到长期兴趣表示。对于短期兴趣，使用RNN建模行为序列变化。

为了实现长期和短期兴趣的解耦，文中引入了一种自监督的方式。使用整个历史序列的mean pooling作为长期兴趣的锚点，使用最近几个行为序列的mean pooling作为短期兴趣的锚点，让长期Encoder和短期Encoder的表征，分别和长期兴趣锚点与短期兴趣锚点更接近。

图片

4.基于自监督图学习的序列建模

论文标题：SelfGNN: Self-Supervised Graph Neural Networks for Sequential Recommendation（SIGIR 2024）

这篇文章是北大和港大联合发表的工作，引入了自监督图学习的方法更好的进行序列推荐建模。核心思路是引入不同用户行为序列的关系建模，使得模型对于单独用户行为序列中的噪声更具鲁棒性。

文中将用户和item直接的关系，按照一定的时间间隔分割成多个片段，每个片段都能构建成一个user-item的短期兴趣图。对于每一个兴趣图，使用多层LightGCN进行简单的邻居节点信息汇聚，得到每个user和item的图表征。接下来基于图表征，使用GRU和self-attention，分别提取interval-level和instance-level的表征。前者在每个时间步内使用GRU+self-attention建模user和item的短期兴趣关系，并通过sum pooling得到整体的长周期兴趣表征；后者直接在用户的序列维度使用self-attention计算表征。最后的预测融合interval-level和instance-level的表征给出预估结果。

图片

图片

为了缓解用户短期行为中的噪声，文中提出一种自监督的去噪方法。在训练过程中采样2对user-item对，对于一个user和一个item的长期兴趣表征和短期时间表征，分别计算出长期兴趣score和短期兴趣score，在损失函数中引入约束项，让两种方式计算的两对score的差异尽可能小。