【论文随笔】深度推荐系统的自动化:一项调查(Automl for deep recommender systems: A survey)

前言

今天读的论文为一篇于2021年1月发表在ACM Transactions on Information Systems的论文，本文是一篇关于深度推荐系统自动化机器学习（AutoML）的综述，由Ruiqi Zheng、Liang Qu、Bin Cui、Yuhui Shi和Hongzhi Yin共同撰写。文章首先提出了一个抽象概念——AutoML for Deep Recommender Systems（AutoRecSys），用以描述其构建模块，并将其与传统的AutoML技术和推荐系统区分开来。接着，文章提出了一个分类框架，包括特征选择搜索、嵌入维度搜索、特征交互搜索、模型架构搜索以及其他组件搜索，特别强调了搜索空间和搜索策略，因为它们是连接每个类别内所有方法的共同线索，并使实践者能够分析和比较不同的方法。最后，文章提出了四个未来研究的有前景的方向，旨在引领这一研究线的发展。

文章首先介绍了推荐系统在信息过滤中的重要性，并指出深度推荐系统通过捕捉非线性信息和用户-项目关系来展示卓越的性能。然而，深度推荐系统的设计严重依赖于人类经验和专家知识。为了解决这个问题，引入了AutoML来自动搜索深度推荐系统不同部分的合适候选者。文章通过文献综述，对这一领域的研究进行了全面回顾。

在介绍部分，作者详细描述了深度推荐系统的四个主要组成部分：输入层、嵌入层、交互层和预测层，并讨论了这些组件在模型性能中的作用。文章强调，尽管深度推荐系统取得了有希望和鼓舞人心的结果，但它们在设计上需要人类经验，并且缺乏对不同组件的精心设计会导致次优性能。

文章的第二部分对现有方法进行了分类，这些方法主要关注于自动设计推荐模型的输入组件。第三部分介绍了深度推荐系统的背景知识，包括常用的符号和神经架构搜索（NAS）中启发式方法。第四部分到第八部分分别介绍了分类法中的五个类别：自动化特征选择搜索、自动化嵌入维度搜索、自动化特征交互搜索、自动化模型架构搜索和自动化其他组件搜索。第九部分对AutoRecSys进行了横向比较和实证分析。最后，在第十部分讨论了未来的研究方向，并在第十一部分得出结论。

文章的主要贡献在于提出了AutoML for Deep Recommender Systems的抽象概念，这是首次系统地回顾了AutoRecSys的文献。其次，文章引入了一个分类法，将AutoML方法分为推荐系统的不同类别。此外，文章还对现有工作提出了自己的见解，并讨论了它们的潜在缺陷。最后，文章提出了四个未来研究的有前景的方向，旨在为AutoML for deep recommender systems的新用户提供经过验证和实用的技术。

《ACM Transactions on Information Systems》（ACM TIS）是由美国计算机协会（Association for Computing Machinery, ACM）出版的一份学术期刊。该期刊专注于信息系统领域的研究，包括但不限于信息系统的设计、实施、使用和管理，以及这些系统对社会和组织的影响。

ACM TIS通常发表高质量的研究论文，涵盖了信息系统的各个方面，如数据库系统、人机交互、数据挖掘、知识管理、企业系统、网络技术、安全和隐私等。该期刊旨在为信息系统领域的研究人员、学者和专业人士提供一个分享和讨论最新研究成果的平台。

ACM TIS的文章通常经过严格的同行评审过程，以确保发表的研究具有高度的学术价值和实践意义。期刊的影响力和学术地位在信息系统领域内是公认的，是该领域内重要的学术资源之一。

要引用这篇论文，请使用以下格式：

[1]Zheng R, Qu L, Cui B, et al. Automl for deep recommender systems: A survey[J]. arv preprint arv:2203.13922, 2022.

摘要

本文是关于深度推荐系统中自动化机器学习（AutoML）的综述。作者首先提出了一个关于AutoML在深度推荐系统中的应用（AutoRecSys）的抽象概念，并区分了它与传统AutoML技术和推荐系统的不同。其次，文章提出了一个分类框架，包括特征选择搜索、嵌入维度搜索、特征交互搜索、模型架构搜索以及其他组件搜索。特别强调了搜索空间和搜索策略，因为它们是连接每个类别内所有方法的共同线索，并使实践者能够分析和比较不同的方法。最后，文章提出了四个未来有前景的研究方向，旨在引领这一研究线的发展。通过这项工作，作者旨在为AutoML在深度推荐系统领域的新用户提供经过验证和实用的技术，并讨论现有方法的潜在缺陷。

文章首先提出了AutoML for Deep Recommender Systems（AutoRecSys）的抽象概念，描述了其构建模块，并与传统AutoML技术和推荐系统进行了区分。接着，文章提出了一个分类框架，包括特征选择搜索、嵌入维度搜索、特征交互搜索、模型架构搜索以及其他组件搜索，特别强调了搜索空间和搜索策略的重要性。最后，文章提出了四个未来研究的有前景的方向，旨在推动这一领域的研究发展。通过全面回顾相关文献，文章为AutoRecSys的新用户提供了经过验证和实用的技术，并讨论了现有方法的潜在缺陷。

引言

推荐系统在信息过滤中扮演着重要角色，并已被应用于多种场景，例如电子商务和社交媒体。随着深度学习的兴起，深度推荐系统通过捕捉非线性信息和用户-项目关系展现出卓越的性能。然而，深度推荐系统的设计严重依赖于人类经验和专家知识。为了解决这个问题，引入了自动化机器学习（AutoML）来自动搜索深度推荐系统不同部分的合适候选者。本综述对这一领域的文献进行了全面回顾。首先，我们提出了一个抽象概念AutoML for deep recommender systems（AutoRecSys），描述了它的构建模块，并将其与传统的AutoML技术和推荐系统区分开来。

其次，我们提出了一个分类框架，包含特征选择搜索、嵌入维度搜索、特征交互搜索、模型架构搜索以及其他组件搜索。此外，我们特别强调了搜索空间和搜索策略，因为它们是连接每个类别内所有方法的共同线索，并使实践者能够分析和比较各种方法。最后，我们提出了四个未来有前景的研究方向，这些研究方向将推动这一研究线的发展。

由于互联网的快速扩张，信息量急剧增加。用户在众多选项中找到自己感兴趣的内容变得具有挑战性。推荐系统被应用于不同的场景，如电子商务和社交媒体，以改善用户体验。用户依赖推荐系统帮助他们处理信息过载问题，并在海量选项中找到他们感兴趣的内容。

一个有效的推荐系统基于用户以往的参与情况预测用户的偏好。在过去的几年中，推荐系统的主要模型框架已经从邻域技术发展到表示学习。基于邻域的方法主动推荐与消费者之前互动过的物品相似的物品。邻域技术由于其可解释性和简单性，在实际应用中被证明是有效的。相比之下，基于表示的方法在潜在嵌入空间中表示用户和物品。

作为最具代表性的基于表示的方法，矩阵分解方法旨在通过降维处理数据稀疏性问题。随着深度学习的兴起，深度神经网络（DNN）生成更复杂、更丰富的表示。理论上，单层感知器可以模仿任何函数，只要有足够计算资源和数据。深度推荐系统整合了深度学习技术，以捕捉非线性信息和用户-项目关系，因此在工业界和学术界都受到了青睐。深度推荐系统通常包含四个组件。输入层从原始数据生成二进制特征。嵌入层将二进制特征映射到低维特征空间。

交互层找到有助于模型性能的强大特征交互。预测层生成模型的预测。第2节将详细介绍这四个组件的数学形式。尽管深度推荐系统显示出有希望和鼓舞人心的结果，但它们严重依赖于人类经验，缺乏对不同组件的精心设计会导致次优性能。例如，在嵌入层，大多数现有方法简单地为所有特征分配统一的嵌入维度，这会导致资源消耗、计算成本和模型表示能力等问题。在交互层，计算所有2^A阶特征交互，这会引入过多的噪声到模型中，并使训练过程复杂化。迫切需要自动设计深度推荐系统不同组件的方法，以减轻人类繁重和耗时的工作。

最近，自动化机器学习（AutoML）作为自动化某些组件或整个机器学习流程的有前途的方式出现了。与传统推荐系统相比，AutoML for deep recommender systems（AutoRecSys）以数据驱动和任务特定的方式来输出表现良好的深度推荐系统，通过自动设计不同的对手并减轻人类努力。它更能在遇到各种应用场景时发现表现良好的模型，并超越传统方法。它专注于由紧凑搜索空间和高效搜索策略带来的挑战，而不是开发单一的推荐系统模型。如图1所示，AutoML自动设计计算机版本应用中的表示组件，如池化、卷积和层数。

然而，AutoRecSys不仅仅是AutoML技术的简单应用，而是面临着独特的挑战。大多数现有的AutoML方法主要关注表示学习组件的自动设计，而输入组件受到的关注较少，因为大部分研究是在图像理解问题上进行的，图像的像素作为输入组件不需要从数据中创建特征，因为它们已经是浮点形式。然而，对于深度推荐系统，输入组件如嵌入矩阵是内存消耗的主要因素，与其他参数如偏差和权重相比。如何从原始数据中适当地学习特征显著影响其他组件，并对最终模型性能至关重要。AutoML没有揭示从数据中学习特征的通用或原则性方法，在这方面只取得了有限的进展。在工业界，AutoRecSys已被部署在大规模的实际应用中，以提供有区分力和信息丰富的推荐结果。例如，华为诺亚方舟实验室实施了AutoFIS来自动搜索有益的特征交互，并在华为应用商店推荐任务的10天在线A/B测试中展示了显著的改进。

鉴于AutoRecSys的显著增长率，我们认为在统一和可理解的范式内综合和描述代表性技术是至关重要的。据我们所知，关于深度推荐系统的自动化机器学习最相关的调查论文是一篇短文。我们的工作与上述工作有以下区别：（1）我们的调查包括了来自顶级会议的更多代表性AutoRecSys方法，包括MDE（ISIT'2021）、SSEDS（SIGIR'2022）、