学习排序（Learning to Rank，LTR）技术在当今的信息检索系统中普遍存在，尤其是在搜索排序应用中。通常用于训练排名模型的查询项相关性标签通常是人类行为的噪声测量，例如，产品搜索的产品评级。粗略测量使得地面实况排名相对于单个相关性准则是非唯一的。为了解决模糊性，需要使用许多相关性准则来训练模型，从而产生多标签LTR（MLLTR）。此外，它制定了多个目标，这些目标可能是冲突的，但同时优化是重要的，例如，在产品搜索中，可以基于产品质量和购买可能性来训练排名模型以增加收入。在这项研究中，我们利用多目标优化（MOO）方面的MLLTR问题，并采用最近开发的MOO算法来解决它。具体来说，我们提出了一个通用的框架，标签的信息可以结合在各种方式来有意义地表征目标之间的权衡。我们的框架允许任何基于梯度的MOO算法用于解决MLLTR问题。我们在两个公开的LTR数据集和一个电子商务数据集上测试了所提出的框架，以显示其有效性。
英文摘要：
Learning to Rank (LTR) technique is ubiquitous in the Information Retrieval system nowadays, especially in the Search Ranking application. The query-item relevance labels typically used to train the ranking model are often noisy measurements of human behavior, e.g., product rating for product search. The coarse measurements make the ground truth ranking non-unique with respect to a single relevance criterion. To resolve ambiguity, it is desirable to train a model using many relevance criteria, giving rise to Multi-Label LTR (MLLTR). Moreover, it formulates multiple goals that may be conflicting yet important to optimize for simultaneously, e.g., in product search, a ranking model can be trained based on product quality and purchase likelihood to increase revenue. In this research, we leverage the Multi-Objective Optimization (MOO) aspect of the MLLTR problem and employ recently developed MOO algorithms to solve it. Specifically, we propose a general framework where the information from labels can be combined in a variety of ways to meaningfully characterize the trade-off among the goals. Our framework allows for any gradient based MOO algorithm to be used for solving the MLLTR problem. We test the proposed framework on two publicly available LTR datasets and one e-commerce dataset to show its efficacy.
CaliCausalRank: Calibrated Multi-Objective Ad Ranking with Robust Counterfactual Utility Optimization
Columbia University（哥伦比亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；Trine University（特莱恩大学）；University of Michigan（密歇根大学）
Top-N-Rank: A Scalable List-wise Ranking Method for Recommender Systems
Pennsylvania State University（宾夕法尼亚州立大学）；South China University of Technology（华南理工大学）
我们提出了Top-N-Rank，一种新颖的列表式学习排名模型，用于可靠地推荐N个排名靠前的项目。所提出的模型优化了广泛使用的折扣累积增益（DCG）目标函数的变体，其在两个重要方面不同于DCG：（i）它将DCG的评估仅限于排名列表中的前N个项目，从而消除了低排名项目对学习的排名函数的影响;以及（ii）它结合了允许模型利用具有不同可靠性或可信度级别的多种类型的隐式反馈的权重。由于得到的目标函数是非光滑的，因此优化具有挑战性，我们考虑使用传统的S形函数和校正线性单元（ReLU）对目标函数进行两个光滑近似。我们提出了一个家庭的学习排名算法（Top-N-Rank），工作与任何光滑的目标函数。然后，引入了一个更有效的变体Top-N-Rank.ReLU，该变体有效地利用了ReLU函数的性质，将Top-N-Rank的计算复杂性从用户评分的平均项目数的二次降低到线性。我们使用两个广泛使用的基准测试，即MovieLens数据集和Amazon Video Games数据集的实验结果表明：（i）目标函数的“top-N截断”大大提高了前N个推荐的排名质量;（ii）与使用sigmoid相比，使用ReLU来平滑目标函数在排名质量和运行时间方面都有显着改善;以及（iii）Top-N-Rank.ReLU在排名质量方面大大优于表现良好的列表式排名方法。
Unifying Generative Recall and Multi-Objective Ranking in a Single Decoder-Only Sequence
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
An Universal Image Attractiveness Ranking Framework
Microsoft（微软公司）
我们提出了一个新的框架，使用一个新的成对深度网络来对图像吸引力进行排名，该网络使用来自Web图像索引的大量并排多标记图像对进行训练。评委只提供两幅图像之间的相对排名，而不需要直接分配绝对分数，也不需要对任何预定义的图像属性进行评级，从而使评级更加直观和准确。我们研究了深度吸引力排名网络（DARN），深度卷积神经网络和排名网络的组合，以直接学习每个图像的吸引力得分均值和方差以及法官用于标记每对的基本标准。该模型的扩展（DARN-V2）能够适应法官个人的偏好。我们还表明，在一个真正的商业搜索引擎中使用这种吸引力的信息，搜索结果的吸引力显着提高。我们评估我们的模型对其他国家的最先进的模型对我们的并排网络测试数据和另一个公共美学数据集。在判断少得多的情况下（1 M vs 50 M），我们的模型在并排标记的数据上表现出色，并且在绝对分数标记的数据上具有可比性。
Multi-stage Retrieve and Re-rank Model for Automatic Medical Coding Recommendation
University of Western Ontario（西安大略大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Dalhousie University（达尔豪斯大学）；University of Toronto（多伦多大学）
