Meta 研究：生成模型如何改进推荐系统
Meta（Facebook、Instagram、WhatsApp、Threads 等的母公司）运营着世界上最大的推荐系统之一。在最近发布的两篇论文中，其研究人员揭示了生成模型如何被用于更好地理解和响应用户意图。
密集检索与生成检索
创建推荐系统的标准方法是计算、存储和检索文档的密集表示。例如，为了向用户推荐项目，应用程序必须训练一个模型，该模型可以为用户的请求计算嵌入，并为大量项目存储嵌入。在推理时，推荐系统试图通过找到一个或多个嵌入与用户相似的项目来理解用户的意图。这种方法需要随着项目数量的增加而增加存储和计算能力，因为必须存储每个项目的嵌入，并且每个推荐操作都需要将用户嵌入与整个项目存储进行比较。密集检索（来源：arXiv）生成检索是一种更新的方法，它试图通过不是搜索数据库，而是简单地预测它对用户交互了解的事物序列中的下一个项目来理解用户的意图并进行推荐。它的工作原理如下：使生成检索工作的关键是计算“语义 ID”（SID），其中包含有关每个项目的上下文信息。像 TIGER 这样的生成检索系统分两个阶段工作。首先，训练一个编码器模型，根据项目的描述和属性为每个项目创建一个唯一的嵌入值。这些嵌入值成为 SID，并与项目一起存储。生成检索（来源：arXiv）在第二阶段，训练一个变压器模型来预测输入序列中的下一个 SID。输入 SID 的列表代表用户与过去项目的交互，模型的预测是要推荐的项目的 SID。生成检索减少了存储和搜索单个项目嵌入的需求。因此，随着项目列表的增长，其推理和存储成本保持不变。它还增强了捕获数据中更深层次语义关系的能力，并提供了生成模型的其他好处，例如修改温度以调整推荐的多样性。
高级生成检索
尽管生成检索的存储和推理成本较低，但它也存在一些局限性。例如，它倾向于过度拟合训练期间看到的项目，这意味着它在处理模型训练后添加到目录中的项目时会遇到困难。在推荐系统中，这通常被称为“冷启动问题”，涉及没有交互历史的新用户和项目。为了解决这些缺点，Meta 开发了一种名为 LIGER 的混合推荐系统，该系统将生成检索的计算和存储效率与密集检索的强大嵌入质量和排名能力相结合。在训练期间，LIGER 使用相似性分数和下一个标记目标来改进模型的推荐。在推理时，LIGER 根据生成机制选择几个候选，并补充一些冷启动项目，然后根据生成候选的嵌入对其进行排名。LIGER 结合了生成和密集检索（来源：arXiv）研究人员指出，“密集和生成检索方法的融合具有推进推荐系统的巨大潜力”，并且随着模型的发展，“它们将越来越适用于现实世界的应用，实现更个性化和响应性的用户体验。”在另一篇论文中，研究人员介绍了一种名为多模态偏好识别器（Mender）的新型多模态生成检索方法，该技术可以使生成模型从用户与不同项目的交互中获取隐式偏好。Mender 基于基于 SID 的生成检索方法，并添加了一些可以使用户偏好丰富推荐的组件。Mender 使用大型语言模型（LLM）将用户交互转换为特定偏好。例如，如果用户在评论中赞扬或抱怨特定项目，则模型将其总结为对该产品类别的偏好。Mender 推荐框架（来源：arXiv）主推荐模型在预测输入序列中的下一个语义 ID 时，同时基于用户交互序列和用户偏好进行训练。这使推荐模型能够进行泛化和上下文学习，并适应用户偏好，而无需明确针对它们进行训练。研究人员写道：“我们的贡献为一类新的生成检索模型铺平了道路，这些模型释放了利用有机数据通过文本用户偏好引导推荐的能力。”
对企业应用的影响
生成检索系统提供的效率对企业应用具有重要意义。这些进步直接转化为实际的好处，包括降低基础设施成本和加快推理速度。该技术能够保持存储和推理成本不变，无论目录大小如何，这对于不断增长的业务特别有价值。这些好处跨越了各个行业，从电子商务到企业搜索。生成检索仍处于早期阶段，随着它的成熟，我们可以期待应用程序和框架的出现。
