RankList -- A Listwise Preference Learning Framework for Predicting Subjective Preferences
本文提出 RankList，一种列表级偏好学习框架，通过概率建模局部与非局部排序约束、log-sum-exp 近似及跳跃式比较，解决了 RankNet 等成对框架难以捕捉全局排序一致性的问题，在语音情感识别和图像美学评估等多模态任务中显著提升了排序准确率与泛化能力。
2025-08-13 cs.LG
Aligning LLMs by Predicting Preferences from User Writing Samples
University of Colorado（科罗拉多大学）；Apple（苹果公司）
本文提出 PROSE 方法，通过迭代细化偏好描述和跨样本验证，从用户写作样本中更精准地推断个性化偏好，显著提升了写作智能体的生成质量并证明了与 ICL 的互补性。
2025-05-27 cs.CL cs.LG
Bayesian Nonparametric Dimensionality Reduction of Categorical Data for Predicting Severity of COVID-19 in Pregnant Women
Stony Brook University（石溪大学）；Department of Obstetrics, Gynecology and Reproductive Medicine（妇产科与生殖医学系）
针对孕妇COVID-19临床研究代表性不足、多分类临床数据维度爆炸的问题，提出基于潜在高斯过程的贝叶斯非参数降维方法，用于预测孕妇COVID-19重症程度，准确率优于传统独热编码方法。
2021-09-27 cs.LG stat.AP
Predicting Preference Flips in Commerce Search
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
传统的网络搜索排名方法遵循按得分排名的范式：学习函数为每个查询-URL组合提供绝对得分，并根据此得分对URL进行排名。这种模式确保了如果一个URL的得分比另一个好，那么一个URL的排名总是高于另一个。评分与行为经济学的先前工作相矛盾，该工作表明用户对两个项目的偏好不仅取决于项目，而且还取决于所呈现的替代品。因此，对于同一查询，用户在项目A和B之间的偏好取决于项目C的存在/不存在。我们提出了一个新的排名模型，随机购物者模型，允许和解释这种行为。在这个模型中，每个特征都被看作是要排序的项目上的马尔可夫链，目标是找到最能反映其重要性的特征权重。我们证明了我们的模型可以在经验风险最小化框架下学习，并给出了一个有效的学习算法。商业搜索日志上的实验表明，我们的算法优于基于评分的方法，包括回归和列表排序。
2012-06-27 cs.LG stat.ML
Understanding Bias in Perceiving Dimensionality Reduction Projections
Seoul National University（首尔大学）；Inria（法国国家信息与自动化研究所）；University of Oklahoma（俄克拉荷马大学）；Boston College（波士顿学院）
本文通过用户研究验证并解释了从业者选择降维投影时偏好视觉趣味性而非结构忠实度的偏差，指出颜色编码标签和短曝光会强化该偏差，并提出缓解策略。
2025-07-28 cs.HC cs.LG
Data Science in Service of Performing Arts: Applying Machine Learning to Predicting Audience Preferences
University of Michigan（密歇根大学）
表演艺术组织旨在通过艺术丰富社区。为了做到这一点，他们努力使他们的表演产品与这些社区的口味相匹配。成功依赖于理解观众的偏好并预测他们的行为。与大多数电子商务或数字娱乐公司类似，艺术节目主持人需要在正确的时间向正确的客户推荐正确的表演。作为密歇根数据科学团队（MDST）的一部分，我们与大学音乐协会（UMS）合作，这是一家位于密歇根大学安娜堡的非营利性表演艺术机构。我们利用历史个人层面的销售数据，为UMS提供分析和商业智能。我们建立了一个基于协同过滤的推荐系统，深入了解客户的艺术偏好，以及表演之间的相似性。为了更好地了解受众行为，我们使用了客户群分析的统计方法。我们通过细分来表征客户异质性，并对客户群体进行建模，以了解和预测购票模式。最后，我们将统计建模与自然语言处理（NLP）相结合，以探索程序描述中措辞的影响。这些正在进行的努力提供了一个平台，以启动有针对性的营销活动，帮助UMS通过更有效地分配其资源来履行其使命。庆祝其第138个赛季，UMS是2014年国家艺术奖章的获得者，它继续通过连接世界知名的艺术家与不同的观众，特别是学生在他们的成长期丰富社区。我们的目标是通过数据科学和客户分析为这一使命做出贡献。
2016-09-30 cs.DB cs.LG stat.AP
Efficient Online Learning of Optimal Rankings: Dimensionality Reduction via Gradient Descent
National Technical University of Athens（雅典国立技术大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们认为一个自然的模型，在线偏好聚合，其中首选项目集$R_1, R_2, \ldots, R_t$以及在每个$R_t$的$k_t$项目的需求，出现在网上。在没有$(R_t, k_t)$的先验知识的情况下，学习者保持排名$π_t$，目的是来自$R_t$的至少$k_t$项在$π_t$中出现高。这是偏好聚合中的一个基本问题，基于用户滚动和点击模式来对网页中的产品或新闻项进行排序。广泛研究的广义最小和集覆盖（GMSSC）问题作为上述设置的形式化模型。GMSSC是NP难的，并且无悔在线学习算法的标准应用在计算上是低效的，因为它们在排名空间中操作。在这项工作中，我们展示了如何实现低遗憾的GMSSC在多项式时间。我们采用降维排名的双随机矩阵的空间，在那里我们应用在线梯度下降。一个关键的步骤是显示如何子梯度可以有效地计算，通过解决对偶的配置LP。使用不经意的确定性和随机舍入方案，我们将双随机矩阵映射回排名，在GMSSC目标中损失较小。
2020-11-05 cs.LG
Predicting Tomorrow's Headline using Today's Twitter Deliberations
IIT Patna（印度理工学院巴特那分校）；XLRI Jamshedpur（贾姆谢德布尔泽维尔劳资关系学院）
预测新闻文章的受欢迎程度是一项具有挑战性的任务。现有的文献大多集中在文章内容和极性来预测受欢迎程度。然而，现有的研究没有考虑用户对特定文章的偏好。了解用户的偏好是预测新闻文章受欢迎程度的一个重要方面。因此，我们考虑来自Twitter平台的社交媒体数据，以解决这一研究空白。在我们提出的模型中，我们考虑了用户的参与以及用户对文章的反应来预测文章的受欢迎程度。简而言之，我们通过探测今天的Twitter讨论来预测明天的头条新闻。我们已经考虑了来自《纽约邮报》的300篇政治新闻文章，我们提出的方法优于其他基线模型。
2019-01-27 cs.IR cs.LG cs.SI
Leveraging Sparsity for Sample-Efficient Preference Learning: A Theoretical Perspective
LINX, EPFL, Lausanne, Switzerland（日内瓦EPFL实验室）；School of Computing and Artificial Intelligence, Shanghai University of Finance and Economics, Shanghai, China（上海金融学院计算机与人工智能学院）
本文从理论角度研究高维偏好学习的样本效率问题，提出利用奖励函数的稀疏性将极小极大最优误差率从 $Θ(d/n)$ 降至 $Θ(k/n \log(d/k))$，并证明 $\ell_{1}$-正则化估计器可达到近最优速率，实验验证了稀疏感知方法能显著降低样本复杂度并提升预测精度。
2025-06-03 cs.LG
Predicting United States policy outcomes with Random Forests
University of Washington（华盛顿大学）
Gilens，Page et al.（2014）整理和分析了美国政府20年来的立法成果，以及富人、普通民众和不同利益集团的政策偏好。他们发现，富人的偏好与政策结果密切相关，而普通民众的偏好则与政策结果无关，除非与富人的偏好有联系。他们的分析应用了经典的统计推断工具，特别是逻辑回归。在本文中，我们分析Gilens数据集使用随机森林分类器（RF）的补充工具，从机器学习。我们提出了两个主要的研究结果，分别关于预测和推理：（i）保持测试集可以预测约70%的平衡准确度的模型，只咨询富人和少数强大的利益集团的偏好，以及政策领域的标签。这些结果包括追溯，其中对1997年前的病例进行训练的模型预测了“未来”（1997年后）的病例。在这个详细但嘈杂的数据集中，准确性比基线（机会）提高了20%，表明少数富有的参与者在美国政策结果中的重要性，并与一系列研究表明美国政府具有显着的富豪倾向相一致。(ii)RF模型的特征选择方法识别特别突出的利益群体（经济参与者）子集。这些可以用来进一步研究政府决策的动态，也提供了一个例子的RF特征选择方法的潜在价值，如数据集上的推理。
2020-08-02 cs.CY cs.LG
Dataset-Adaptive Dimensionality Reduction
Seoul National University（首尔国立大学）；Yonsei University（延世大学）；Inria-Saclay and Université Paris-Saclay（Inria-萨克莱和巴黎-萨克雷大学）
本文提出了一种基于数据集结构复杂性度量的自适应降维方法，通过量化数据集复杂性来优化降维参数，提升降维效率并保持准确性。
2025-07-16 cs.HC cs.LG
Joint Dimensionality Reduction for Separable Embedding Estimation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nanyang Technological University（南洋理工大学）
针对不同数据源的低维嵌入在多模态机器学习、多媒体信息检索和生物信息学中起着关键作用。在本文中，我们提出了一种监督降维方法，学习线性嵌入联合两个特征向量表示数据的不同形式或数据从不同类型的实体。我们还提出了一个有效的特征选择方法，补充，并可以应用之前，我们的联合降维方法。假设这些特征存在真实的线性嵌入，我们对学习的线性嵌入中的误差的分析提供了理论保证，即当满足某些技术条件并且样本数量足够大时，降维方法可以准确地估计真实嵌入。衍生的样本复杂性的结果是呼应的数值实验。我们将所提出的降维方法应用于基因-疾病关联，并在降维后的特征向量上使用核回归来预测未知关联。我们的方法与其他降维方法以及最先进的双线性回归预测基因-疾病关联的方法相比毫不逊色。
2021-01-14 cs.LG
SPO: Multi-Dimensional Preference Sequential Alignment With Implicit Reward Modeling
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Baichuan Inc.（百川智能）
针对人类偏好多维性及多奖励模型管理复杂的问题，提出 SPO 方法，通过隐式奖励建模顺序微调 LLMs 实现多维偏好对齐，理论上推导了闭式最优策略与损失函数，实验证明其显著优于基线。
2024-10-11 cs.LG
DPDR: A novel machine learning method for the Decision Process for Dimensionality Reduction
本文讨论了在监督学习背景下提取或选择特征的关键决策过程。寻找合适的降维方法往往是令人困惑的。根据数据的性质和用户的偏好，在特征选择和特征提取之间做出决定有其优点和缺点。实际上，用户可能希望强调结果的完整性或可解释性以及特定的数据分辨率。提出了一种在监督学习环境下选择最佳降维方法的新方法。它还有助于删除或重建特征，直到达到目标分辨率。此目标分辨率可以是用户定义的，也可以由方法自动定义。该方法应用回归或分类，评估结果，并在此特定的监督学习上下文中给出关于最佳降维过程的诊断。所使用的主要算法是随机森林算法（RF）、主成分分析（PCA）算法和多层感知器（MLP）神经网络算法。本文介绍了六个用例，每个用例都基于一些众所周知的技术来生成合成数据。本研究讨论了在这个过程中可以做出的每一个选择，旨在澄清关于选择或提取特征的整个决策过程的问题。
2022-06-17 cs.LG
Predicting optimal value functions by interpolating reward functions in scalarized multi-objective reinforcement learning
Ford Motor Company（福特汽车公司）；MIT（麻省理工学院）
定义多目标强化学习（MORL）问题的奖励函数的常见方法是多个目标的加权和。然后，权重被视为设计参数，取决于执行学习的人的专业知识（和偏好），典型的结果是，这些设置中的任何变化都需要新的解决方案。本文研究了MORL的奖励函数和最优价值函数之间的关系;特别是解决了如何近似最优价值函数的问题，远远超出了一组权重的优化问题，从而避免了需要重新计算任何特定的选择。我们证明了，价值函数变换平滑的奖励函数的权重的变换（从而在政策空间中的平滑插值）。一个高斯过程是用来获得一个光滑的插值超过三个著名的例子：GridWorld，Objectworld和Pendulum的最佳价值函数的奖励函数权重。结果表明，该插值方法在离散域和连续域问题中均能为样本状态和动作空间提供非常稳健的值。在自动驾驶汽车领域使用这种插值技术具有显著的优势：在驾驶时轻松、即时地调整用户偏好，以及在训练期间真正随机化障碍车辆行为偏好。
2020-03-03 cs.LG cs.RO stat.ML
OutCenTR: A novel semi-supervised framework for predicting exploits of vulnerabilities in high-dimensional datasets
Charles Sturt University（查尔斯特大学）
本文提出半监督降维框架 OutCenTR，结合离群点检测预测高维、不平衡漏洞数据中的可利用漏洞，并在多个数据集上验证其 F1 显著优于 PCA 和 GRP。
2023-04-03 cs.AI cs.CR cs.LG
Enhancing Dimensionality Prediction in Hybrid Metal Halides via Feature Engineering and Class-Imbalance Mitigation
Department of Physics and Astronomy, Middle Tennessee State University（物理与天文学系，中田纳西州立大学）；Department of Chemical and Biological Engineering, University of Colorado（化学与生物工程系，科罗拉多大学）；Department of Mechanical Engineering and Materials Science, Duke University（机械工程与材料科学系，杜克大学）；National Center for Computational Sciences Division, Oak Ridge National Laboratory（计算科学中心 division，橡树岭国家实验室）
本文通过特征工程和缓解类别不平衡的方法，提升混合金属卤化物的维度预测准确性。
2025-12-05 cs.LG
Joint Dimensionality Reduction for Two Feature Vectors
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
许多机器学习问题，尤其是多模态学习问题，具有两组不同的特征（例如，新闻故事分类中的图像和文本特征，或者认知科学研究中的神经成像数据和神经认知数据）。研究了有监督学习问题中两个特征向量的联合降维问题。特别地，我们假设一个判别模型，其中两个特征向量的低维线性嵌入是用于预测因变量的充分统计量。我们表明，一个简单的算法，涉及奇异值分解，可以准确地估计的嵌入，提供一定的样本复杂性得到满足，而不指定的非线性链接函数（回归或分类）。主要结果建立在多个设置下的样本复杂性。不同链接函数的样本复杂度仅因常数因子而不同。
2016-10-31 cs.IT cs.LG math.IT
ConjointNet: Enhancing Conjoint Analysis for Preference Prediction with Representation Learning
Toyota Research Institute（丰田研究所）
针对传统基于选择的联合分析依赖线性模型、难以捕捉非线性关系的问题，提出含两种新颖神经架构的 ConjointNet，并在两个偏好数据集上实现超过 5% 的性能提升。
2025-03-12 cs.AI cs.LG
An evaluation of randomized machine learning methods for redundant data: Predicting short and medium-term suicide risk from administrative records and risk assessments
Deakin University（迪肯大学）；RMIT University（皇家墨尔本理工大学）
准确预测心理健康患者的自杀风险仍然是一个悬而未决的问题。包括临床医生判断在内的现有方法具有可接受的灵敏度，但产生许多假阳性。行政管理数据的开发利用潜力巨大，但其记录过程中存在高维性和冗余性。我们研究了三种最有效的随机机器学习技术随机森林、梯度提升机器和带辍学的深度神经网络在预测自杀风险方面的有效性。使用一个队列的心理健康患者从一个地区的澳大利亚医院，我们比较流行的传统方法临床医生的判断的基础上的检查表，稀疏逻辑斯谛回归和决策树的预测性能。随机化方法表现出对数据冗余的稳健性以及对AUC和F-测量的优越预测性能。
2016-05-03 cs.LG stat.ML
Predicting Traffic Accident Severity with Deep Neural Networks
School of Engineering and Computer Science（工程与计算机科学学院）；Department of Computer Science（计算机科学系）；Baylor University（贝勒大学）
本研究针对交通事故严重程度分类任务，结合自编码器特征降维与全连接网络构建深度模型，在不平衡事故数据上实现了最高92%的交叉验证分类准确率。
2025-09-04 cs.LG
Predicting Online Video Engagement Using Clickstreams
University of Notre Dame（圣母大学）
在电子内容交付的初期，拥有卓越的产品足以让公司在竞争中占据优势。在当今竞争激烈的市场中，一个人需要领先多步，特别是在了解消费者方面。专注于一个大型的门户网站拥有和管理的私人通信公司，我们提出的方法，这些网站的点击流数据可以用来提供一个深入了解他们的访问者，以及他们的兴趣和喜好。我们进一步扩展了这些数据的使用，以表明它可以有效地用于预测用户对视频流的参与。
2014-05-20 cs.IR cs.LG
Scalable Bayesian Preference Learning for Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种可扩展的贝叶斯偏好学习方法，用于联合预测个人的偏好以及群体的共识。人们的意见往往差异很大，因此很难从少量的个人数据中预测他们的偏好。当每个项目的标签很少时，个体偏见也使得推断群体的共识变得更加困难。我们通过将矩阵分解与高斯过程相结合来解决这些挑战，使用贝叶斯方法来考虑噪声和稀疏数据所产生的不确定性。我们的方法利用输入特征，如文本嵌入和用户元数据，来预测不在训练集中的新项目和用户的偏好。由于以前基于高斯过程的解决方案不能扩展到大量的用户，项目或成对标签，我们提出了一种随机变分推理方法，限制计算和内存成本。我们的推荐任务的实验表明，我们的方法是有竞争力的，尽管我们的可扩展的推理近似与以前的方法。我们展示了该方法的可扩展性上的自然语言处理任务与成千上万的用户和项目，并显示在这个任务的最先进的改进。我们将我们的软件公开用于未来的工作。
2019-12-11 cs.CL cs.HC cs.LG
Personal thermal comfort models using digital twins: Preference prediction with BIM-extracted spatial-temporal proximity data from Build2Vec
National University of Singapore（新加坡国立大学）
传统的建筑热偏好预测由于难以捕捉所有的环境和个人因素而具有局限性。新的模型特征可以提高机器学习模型对人的热偏好进行分类的能力。建筑物的空间背景可以为模型提供有关窗户、墙壁、加热和冷却源、空气扩散器以及创建影响热舒适性的微环境的其他因素的信息。由于空间异质性，以足够高的分辨率定位传感器以捕获所有条件是不切实际的。本研究的目的是建立在现有的基于矢量的空间模型，称为Build2Vec，用于预测时空居住者的室内环境偏好。Build2Vec利用来自建筑信息模型（BIM）的空间数据和真实环境中的室内定位。该框架使用基于智能手表的生态瞬时评估（EMA）的纵向密集热舒适主观反馈。这些数据的聚集被组合成图形网络结构（即，对象和关系），并用作分类模型的输入以预测居住者的热偏好。测试实施的结果显示，使用传统的热偏好预测输入变量的一组基线的精度提高了14 - 28%。
2021-10-30 cs.LG
LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization
本文提出LifeAlign，一种通过记忆增强的聚焦偏好优化实现终身对齐的方法，解决大型语言模型在连续学习任务中保持偏好对齐和知识保留的问题。
2026-04-08 cs.AI cs.CL cs.LG
Utilizing Machine Learning and 3D Neuroimaging to Predict Hearing Loss: A Comparative Analysis of Dimensionality Reduction and Regression Techniques
School of Computing Clemson University
本研究利用3D CNN与VAE对大脑灰质影像降维，再结合随机森林、XGBoost和多层感知机预测听力阈值，其中多层感知机RMSE最低，验证了机器学习在年龄相关听力损失诊断中的有效性。
2024-05-02 cs.CV cs.LG
Ordinal Boltzmann Machines for Collaborative Filtering
Curtin University of Technology（科廷理工大学）
协同过滤是一种有效的推荐技术，其中个人的偏好可以潜在地基于其他成员的偏好来预测。早期的算法通常依赖于偏好数据中的强局部性，也就是说，基于具有相似品味的其他用户或具有相似属性的其他项目的一小部分来预测用户对特定项目的偏好就足够了。最近，降维技术已被证明是同样具有竞争力的，这些都是基于同现模式，而不是局部性。本文探讨和扩展了一个概率模型称为玻尔兹曼机的协同过滤任务。它无缝地集成了相似性和同现在一个原则的方式。特别是，我们研究参数化选项来处理的顺序性质的偏好，并提出了一个联合建模的用户为基础的和基于项目的过程。在中等规模和大规模的电影推荐上的实验表明，我们的框架可以与现有的知名方法相媲美。
2012-05-09 cs.IR cs.LG
Improving Oral Cancer Outcomes Through Machine Learning and Dimensionality Reduction
Jadara University（贾达拉大学）；Zarqa University（扎尔卡大学）
本研究综述了应用于口腔癌诊断与预后的多种前沿数据挖掘方法，经对比发现神经网络预测准确率达93.6%，并指出结合特征选择与降维技术可进一步提升性能，为口腔癌早诊优治、改善患者预后提供支持。
2025-06-11 cs.LG
Nonlinear Dimensionality Reduction for Data Visualization: An Unsupervised Fuzzy Rule-based Approach
Indian Statistical Institute（印度统计研究所）
在这里，我们提出了一个无监督的模糊规则为基础的降维方法主要用于数据可视化。它考虑了以下重要问题相关的降维为基础的数据可视化：（i）保存的邻域关系，（ii）处理数据的非线性流形，（iii）预测新的测试数据点的能力，（iv）系统的可解释性，以及（v）拒绝测试点的能力，如果需要的话。为此，我们使用一阶Takagi-Sugeno型模型。我们使用输入数据中的聚类生成规则前因。在这方面，我们还提出了一个新的变种的测地线c-均值聚类算法。我们通过最小化误差函数来估计规则参数，该误差函数将点间测地线距离（流形上的距离）保持为投影空间上的欧氏距离。我们将所提出的方法应用于三个合成和三个真实世界的数据集，并与其他四个标准的数据可视化方法的结果进行了直观的比较。实验结果表明，该方法具有较好的性能，优于或可与其它方法相媲美。所提出的方法被认为是强大的初始条件。通过实验验证了该方法对测试点的预测性。我们还评估了我们的方法在应该拒绝输出点时拒绝输出点的能力。然后，我们扩展了这个概念，为学习具有不同目标函数的数据投影的无监督模糊模型提供了一个通用框架。据我们所知，这是第一次尝试使用无监督模糊建模进行流形学习。
2020-04-08 cs.HC cs.LG stat.ML
Two-Way Latent Grouping Model for User Preference Prediction
University of Helsinki（赫尔辛基大学）；Helsinki University of Technology（赫尔辛基理工大学）；Xtract Ltd.（Xtract有限公司）
我们介绍了一种新的潜在的分组模型预测的相关性，一个新的文档给用户。该模型假设一个潜在的组结构的用户和文档。我们将该模型与最先进的方法，即用户评级配置文件模型进行了比较，其中只有用户具有潜在的组结构。我们估计这两个模型的吉布斯抽样。新方法预测的相关性更准确地为新的文件，有几个已知的评级。原因是，概括的文件，然后成为必要的，因此双向分组是有益的。
2012-07-04 cs.IR cs.LG stat.ML
User-Specific Bicluster-based Collaborative Filtering: Handling Preference Locality, Sparsity and Subjectivity
LASIGE（LASIGE实验室）；Faculdade de Ciências, Universidade de Lisboa（里斯本大学理学院）；INESC-ID（葡萄牙国家工程与计算机系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）
协同过滤（CF），最常见的方法来建立推荐系统，成为我们的日常生活中无处不在的产品和服务的消费者。然而，挑战限制了协同过滤方法在处理推荐数据时的有效性，主要是由于用户偏好的多样性和局部性，用户项目评级的结构稀疏性，评级尺度的主观性，以及越来越高的项目维度和用户基础。为了应对这些挑战，一些作者提出了将CF与Biclustering技术相结合的成功方法。这项工作评估了双聚类方法对CF的有效性，比较了算法选择的影响，并确定了基于双聚类的优越CF的原则。因此，我们提出了USBFC，一个基于双聚类的CF方法，创建用户特定的模型，从强一致性和统计上显着的评级模式，对应于跨用户的共享偏好的子空间。对真实世界数据的评估表明，USBCF实现了与最先进的CF方法相比具有竞争力的预测准确性。此外，USBFC成功地抑制了以前提出的国家的最先进的双聚类为基础的CF的主要缺点，通过增加覆盖率，和coclustering为基础的CF通过加强子空间的均匀性。
2022-11-15 cs.IR cs.LG
Data-Driven Socio-Economic Deprivation Prediction via Dimensionality Reduction: The Power of Diffusion Maps
Department of Civil, Environmental and Geomatics Engineering（土木、环境与测绘工程系）；University College London（伦敦大学学院）
本研究利用扩散映射降维人口普查数据，以特征向量预测城市贫困区域，皮尔逊系数超0.7，正确识别38/52个最贫困区域，助力政府资源分配。
2024-11-05 cs.CE cs.LG
Dimensionality reduction to maximize prediction generalization capability
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
时间序列预测的泛化仍然是机器学习中的一个重要的开放问题，其中早期的方法具有较大的泛化误差或局部极小值。我们开发了一个分析可解的，无监督的学习计划，提取预测未来的输入，称为预测主成分分析（PredPCA）的信息量最大的组件。我们的方案可以有效地去除不可预测的噪声，并通过凸优化最小化测试预测误差。数学分析表明，提供足够的训练样本和足够的高维观测，PredPCA可以渐近地识别隐藏状态，系统参数和典型的非线性生成过程的维数，具有全局收敛性保证。我们演示了使用顺序视觉输入，包括手的数字，旋转的3D对象，和自然场景的PredPCA的性能。它可靠地估计不同的隐藏状态，并预测以前看不见的测试输入数据的未来结果，完全基于噪声观测。PredPCA的简单架构和低计算成本是非常可取的神经形态硬件。
2022-01-20 cs.CV cs.LG stat.ML
Transformers predicting the future. Applying attention in next-frame and time series forecasting
Comrade Cooperative（同志合作社）
直到最近，递归神经网络仍然是捕获序列中的时间依赖关系的最佳方法之一。然而，随着Transformer的引入，已经证明，只有注意力机制而没有任何RNN的架构可以改善各种序列处理任务（例如NLP）的结果。此后的多项研究表明，类似的方法可以应用于图像、点云、视频、音频或时间序列预测。此外，还引入了诸如感知器或告密者之类的解决方案，以扩展Transformer的适用性。我们的主要目标是测试和评估在时间序列数据上应用Transformer类模型的有效性，通过微调超参数，预处理数据，应用降维或卷积编码，我们也在考虑下一个问题--帧预测和探索修改现有解决方案的方法，以实现更高的性能和学习广义知识。
2021-08-18 cs.LG
Pacos: Modeling Users' Interpretable and Context-Dependent Choices in Preference Reversals
Tsinghua University（清华大学）
针对情境效应导致的偏好反转问题，提出统一偏好模型 Pacos，融合自适应权重、物品比较与展示位置，并通过理论证明和实验验证其预测性能与可解释性。
2023-06-18 cs.AI cs.IR cs.LG
Predicting Seriousness of Injury in a Traffic Accident: A New Imbalanced Dataset and Benchmark
本文介绍了一个新的数据集，以评估机器学习算法在交通事故中的伤害严重性的预测性能。该数据集是通过聚合来自英国交通部的公开数据集创建的，这些数据集严重不平衡，缺失的属性有时接近整体数据维度的50%。本文介绍了数据分析管道，从公开的道路交通事故数据开始，以可能的伤害及其严重程度的预测因素结束。它通过MissForest模型解决了公共数据的巨大不完整性。本文还介绍了两种基线方法来创建损伤预测：监督人工神经网络和强化学习模型。该数据集可以潜在地刺激不平衡数据集上机器学习研究的各个方面，当研究人员在该领域测试更先进的学习算法时，这两种方法可以用作基线参考。
2022-05-20 cs.AI cs.LG
Personalized Benchmarking: Evaluating LLMs by Individual Preferences
University of Chicago（芝加哥大学）
本文提出个性化LLM基准测试，通过ELO评分和Bradley-Terry系数分析115名用户对LLM的排名差异，发现个体偏好与聚合排名差异显著，强调开发个性化基准的重要性。
2026-04-21 cs.AI cs.CL cs.HC
Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks
Princeton University（普林斯顿大学）
本文研究基于人类偏好数据的离线策略评估的样本效率，提出用深度 ReLU 网络进行 fitted-Q-evaluation，利用低维流形结构避免高维数据诅咒，首次为 RLHF 的 OPE 建立了可证明高效的统计保证。
2024-02-26 cs.LG stat.ML
Cohort comfort models -- Using occupants' similarity to predict personal thermal preference with less data
National University of Singapore（新加坡国立大学）；University of California Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）
我们介绍了队列舒适度模型，一个新的框架，用于预测新的居住者将如何感知他们的热环境。群体舒适度模型利用从样本人群中收集的历史数据，这些样本人群具有一些潜在的偏好相似性，以预测新居住者的热偏好反应。我们的框架是能够利用现有的背景信息，如物理特性和一次性的登机调查（生活满意度量表，高敏感度的人规模，大五人格特质）从新的居住者以及生理和环境传感器测量配对热偏好响应。我们在两个公开的数据集中实施了我们的框架，其中包含来自55人的纵向数据，包括6,000多项个人热舒适度调查。我们观察到，使用背景信息的队列舒适度模型在热偏好预测性能方面提供了非常小的变化，但不使用历史数据。另一方面，对于每个数据集的一半和三分之一的乘员群体，使用队列舒适模型，目标乘员的历史数据较少，队列舒适模型将其热偏好预测平均提高了8%和5%，对于某些乘员，与对整个乘员群体训练的通用模型相比，热偏好预测提高了36%和46%。该框架以数据和站点不可知的方式呈现，其不同组件可以轻松地根据居住者和建筑物的数据可用性进行定制。队列舒适度模型可以是实现个性化的重要一步，而无需为每个新居住者开发个性化模型。
2022-11-17 cs.LG
DeepAffinity: Long-Term Aspect Preference Prediction in eCommerce using Small Language Models
eBay Inc.（亿贝公司）；Ben-Gurion University（本-古里安大学）；DREAM group（DREAM集团）
该研究针对电商用户属性偏好预测任务，提出DeepAffinity模型，利用带结构化提示的小语言模型及专用预测头，在跨国电商平台上提升了推荐质量，性能优于标准生成式微调方法。
2026-09-07 cs.AI cs.LG
Explaining Neural Networks in Preference Learning: a Post-hoc Inductive Logic Programming Approach
Department of Information Engineering, Computer Science and Mathematics, University of L'Aquila, Italy（意大利拉奎拉大学信息工程、计算机科学与数学系）；Department of Life, Health and Environmental Sciences, University of L'Aquila, Italy（意大利拉奎拉大学生命、健康与环境科学系）；Department of Electrical Engineering and Information Technologies, University of Naples, Italy（意大利那不勒斯大学电气工程与信息技术系）；Ethos Group, Department of Human Sciences, University of Verona, Italy（意大利维罗纳大学人文科学系Ethos研究组）
本文提出利用从答案集学习来近似黑箱模型，如神经网络，在用户偏好学习中的应用。通过弱约束使用ILASP近似偏好学习系统，并通过预处理步骤减少维度以保持解释透明。
2026-04-08 cs.AI cs.LG
Contrastive Preference Learning: Learning from Human Feedback without RL
Stanford University（斯坦福大学）；UT Austin（德克萨斯大学奥斯汀分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）
本文提出对比偏好学习（CPL），基于遗憾偏好模型和最大熵原理，无需学习奖励函数或强化学习即可从人类反馈中学习最优策略，可扩展至高维序列化RLHF问题。
2024-04-30 cs.AI cs.LG
Predicting Wind-Driven Spatial Deposition through Simulated Color Images using Deep Autoencoders
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
几个世纪以来，科学家们一直在观察自然界，以了解支配物理世界的定律。将观察转化为物理理解的传统过程是缓慢的。不完美的模型被构建和测试，以解释数据中的关系。强大的新算法可以使计算机通过观察图像和视频来学习物理。受此想法的启发，我们不是使用物理量来训练机器学习模型，而是使用图像，即像素信息。对于这项工作，作为概念的证明，感兴趣的物理学是风驱动的空间模式。这些现象包括风成沙丘和火山灰沉积，野火烟雾和空气污染羽流的特征。我们使用空间沉积模式的计算机模型模拟来近似来自假设的成像设备的图像，该成像设备的输出是红色、绿色和蓝色（RGB）彩色图像，通道值范围从0到255。在本文中，我们探索了基于深度卷积神经网络的自动编码器，以利用风驱动的空间模式中的关系，这通常发生在地球科学中，并降低其维数。利用编码器减小数据维度大小使得能够训练将地理和气象标量输入量链接到编码空间的深度、完全连接的神经网络模型。一旦实现了这一点，就使用解码器来重构完整的空间图案。我们展示了这种方法的图像的空间沉积从污染源，其中编码器压缩的维数为0.02%的原始大小，和完整的预测模型性能的测试数据实现了归一化均方根误差为8%，在94%的空间品质因数和精度召回曲线下的面积为0.93。
2023-01-26 cs.LG physics.data-an physics.geo-ph
Rank-smoothed Pairwise Learning In Perceptual Quality Assessment
Google Research（谷歌研究院）
进行成对比较是管理人类感知偏好数据的一种广泛使用的方法。通常情况下，评分员被指示根据一组特定的规则来做出选择，这些规则涉及图像质量和美学的某些方面。这个过程的结果是采样图像对的数据集，以及它们相关的经验偏好概率。根据这些成对偏好训练模型是一种常见的深度学习方法。然而，通过小批量学习通过梯度下降进行优化意味着图像的“全局”排名没有被明确考虑。换句话说，梯度下降的每个步骤仅依赖于有限数量的成对比较。在这项工作中，我们证明了用聚合的秩向概率正则化成对经验概率会导致更可靠的训练损失。我们表明，用我们的秩平滑损失训练深度图像质量评估模型，可以持续提高预测人类偏好的准确性。
2020-11-21 cs.CV cs.LG
Log Optimization Simplification Method for Predicting Remaining Time
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）；Jiangsu Branch, Agricultural Bank of China（中国农业银行江苏省分行）
本文针对事件日志中低价值冗余信息影响剩余时间预测精度的问题，提出一种预测点选择算法，通过选择序列或自循环结构构成可简化片段并优化偏差以防止过度简化，实验证明简化后日志能保持甚至提升预测性能。
2025-03-10 cs.LG
Correlating and Predicting Human Evaluations of Language Models from Natural Language Processing Benchmarks
Stanford Computer Science（斯坦福大学计算机科学系）；Meta GenAI（元宇宙生成式人工智能研究院）；University College London（伦敦大学学院）
本研究通过大规模对比160个NLP基准与人类对Chat Llama 2模型的评价，发现多数基准可可靠预测人类偏好，并利用回归模型跨规模预测评价，凸显经典基准的持续价值。
2025-02-24 cs.CL cs.LG
Comparative Evaluation of Neural Network Architectures for Generalizable Human Spatial Preference Prediction in Unseen Built Environments
针对未见建成环境中人类空间偏好预测的泛化难题，本研究基于合成口袋公园数据，对比评估了图神经网络、卷积神经网络和前馈神经网络，利用精确率-召回all曲线下面积计算泛化性得分，为偏好感知的人类行为建模提供了架构适用性见解。
2025-10-13 cs.CE cs.CV cs.LG
Deep learning approach based on dimensionality reduction for designing electromagnetic nanostructures
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们展示了一种基于深度学习（DL）技术的计算效率高的新方法，用于分析、设计和优化电磁（EM）纳米结构。我们使用一个通用的EM问题的功能之间的强相关性，大大降低了问题的维数，因此，计算复杂性，而不施加相当大的错误。通过采用降维的概念，使用最近证明的自动编码器技术，我们重新定义了传统的多对一的设计问题，在EM纳米结构到一个一对一的问题加上一个更简单的多对一的问题，这可以简单地解决使用解析公式。这种方法降低了求解正向问题（即，分析）和逆问题（即，设计）的数量级相比，传统的方法。此外，它提供了分析公式，尽管它们的复杂性，可以用来获得直观的理解电磁波与纳米结构的相互作用的物理和动力学与最小的计算要求。作为一个概念验证，我们应用这种有效的方法来设计一类新的按需可重构光学超颖表面的相变材料（PCM）的基础上。我们设想，这种基于DL的技术与全波商业软件包的集成提供了一个强大的工具包，以促进分析，设计和优化的EM纳米结构，以及解释，理解和预测在这样的结构中观察到的响应。
2019-04-17 cs.LG physics.app-ph stat.ML
Inferring User Preferences by Probabilistic Logical Reasoning over Social Networks
Stanford University（斯坦福大学）；The Ohio State University（俄亥俄州立大学）
我们提出了一个框架来推断潜在的态度或偏好的用户进行概率一阶逻辑推理的社会网络图。我们的方法回答了关于Twitter用户的问题，比如{ \em这个用户喜欢寿司吗？}或{ \em此用户是纽约尼克斯队的球迷吗？}通过建立一个概率模型，对用户属性（用户的位置或性别）和社交网络（用户的朋友和配偶）进行推理，通过同质性（如果配偶或朋友喜欢寿司，我更有可能喜欢寿司，如果我住在纽约，我更有可能喜欢尼克斯队）等推论。该算法使用远程监督、半监督数据采集和向量空间模型从文本中提取用户属性（例如配偶、教育、位置）和偏好（喜欢和不喜欢）。然后将提取的命题送入概率推理机（我们研究马尔可夫逻辑和概率软逻辑）。我们的实验表明，概率逻辑推理显着提高属性和关系抽取的性能，并在预测用户喜欢或不喜欢，也达到了0.791的F分数，显着优于两个强基线。
2014-11-11 cs.AI cs.CL cs.LG
Predicting Pairwise Relations with Neural Similarity Encoders
Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
矩阵分解是许多机器学习算法的核心，例如，降维（例如核PCA）或依赖于协同过滤的推荐系统。将矩阵的奇异值分解（SVD）理解为神经网络优化问题，使我们能够有效地分解大型矩阵，同时自然地处理给定矩阵中的缺失值。但最重要的是，它允许我们学习数据点的特征向量与包含有关其成对关系的信息的矩阵之间的连接。在本文中，我们介绍了一种新的神经网络架构，称为相似性编码器（SimEc），它的目的是同时分解一个给定的目标矩阵，同时也学习映射投影数据点的特征向量到一个保持相似性的嵌入空间。例如，这使得可以轻松计算新数据点的样本外解决方案。此外，我们证明了SimEc可以保持非度量相似性，甚至可以同时预测数据点之间的多个成对关系。
2019-01-09 cs.LG stat.ML
RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Meituan AI Lab（美团人工智能实验室）；The Hong Kong Polytechnic University（香港理工大学）
为了解决协同过滤的稀疏性和冷启动问题，研究者通常利用边信息，如社交网络或项目属性，以提高推荐性能。本文将知识图谱作为边信息的来源。为了解决现有的基于嵌入和基于路径的知识图谱感知推荐方法的局限性，我们提出了Ripple网络，一个端到端的框架，自然地将知识图谱纳入推荐系统。类似于在水面上传播的实际波纹，波纹网络通过自动地和迭代地沿着知识图谱中的链接扩展用户的潜在兴趣来刺激用户偏好在知识实体集合上的传播。因此，由用户的历史点击项目激活的多个“涟漪”被叠加以形成用户相对于候选项目的偏好分布，该偏好分布可以用于预测最终点击概率。通过对真实世界数据集的广泛实验，我们证明了Ripple Network在各种场景中取得了实质性的进步，包括电影，书籍和新闻推荐，超过了几个最先进的基线。
2018-08-25 cs.IR cs.LG stat.ML
PG$^2$Net: Personalized and Group Preferences Guided Network for Next Place Prediction
College of Information, Mechanical, and Electrical Engineering, Shanghai Normal University（上海师范大学信息与机电工程学院）；School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院）；Shanghai Municipal Country-rural Construction and Transportation Institute（上海市城乡建设和交通研究院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
预测下一个访问地点是人类移动行为建模的关键，在流行病控制、城市规划、交通管理、旅游推荐等领域发挥着重要作用。为了实现这一目标，一个典型的解决方案是基于RNN设计模块，以捕获他们对不同位置的偏好。虽然这些基于RNN的方法可以有效地学习个人隐藏的个性化偏好，她访问的地方，用户之间的交互只能通过位置的表示弱学习。针对这一点，我们提出了一个端到端的框架命名为个性化和群体偏好引导网络（PG $^2$ Net），考虑到用户的偏好，在个人和集体的水平上的各种地方。具体来说，PG $^2$ Net将Bi-LSTM和注意力机制串联起来，以捕捉每个用户的长期移动趋势。为了了解群体的群体偏好，我们利用空间和时间信息的访问，构建一个时空依赖模型。我们采用图嵌入的方法将用户的轨迹映射到一个隐藏的空间，捕捉他们的顺序关系。此外，我们设计了一个辅助损失，学习她的下一个位置的矢量表示。在两个Foursquare签到数据集和一个手机数据集上的实验结果表明，与最先进的基线相比，我们的模型具有优势。源代码可在https://github.com/urbanmobility/PG2Net上获得。
2021-10-15 cs.AI cs.CY cs.LG
Embedding Ranking-Oriented Recommender System Graphs
基于图的推荐系统（GRSs）分析数据的图形表示中的结构信息以做出更好的推荐，特别是当直接用户-项目关系数据稀疏时。面向排名的GRS形成了一个主要类别的推荐系统，主要使用偏好（或排名）数据的图形表示来测量节点的相似性，从这些相似性中，它们可以使用基于邻域的机制来推断推荐列表。在本文中，我们提出了PGRec，一种新的基于图的面向排名的推荐框架。PGRec通过一种名为PrefGraph的新型图结构对用户对项目的偏好进行建模。然后通过改进的嵌入方法利用该图，利用因子分解和深度学习方法，提取代表用户，项目和偏好的向量。然后，将得到的嵌入用于预测用户的未知成对偏好，从该偏好推断出最终的推荐列表。我们已经评估了所提出的方法对最先进的基于模型和基于邻域的推荐方法的性能，我们的实验表明，PGRec优于基线算法高达3.2%的NDCG@10在不同的MovieLens数据集。
2020-07-31 cs.IR cs.LG stat.ML
Will You Dance To The Challenge? Predicting User Participation of TikTok Challenges
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
TikTok是一种流行的新型社交媒体，用户通过短视频片段表达自己。平台上一种常见的互动形式是参与“挑战”，这是用户可以模仿的歌曲和舞蹈。挑战传染可以通过复制范围来衡量，即，用户上传他们参与挑战的视频。挑战内容和用户偏好都在不断演变的TikTok平台的独特性，需要挑战和用户代表性的结合。本文通过预测用户的参与度来研究TikTok挑战的社会传染。我们提出了一种新的深度学习模型deepChallenger，用于学习和结合过去视频中的潜在用户和挑战表示来执行此用户挑战预测任务。我们收集了来自ForYouPage上12个趋势挑战的7，000多个视频的数据集，以及来自1303个用户的10，000多个视频。进行了大量的实验，结果表明，我们提出的deepChallenger（F1=0.494）在预测任务中优于基线（F1=0.188）。
2021-12-26 cs.LG cs.MM cs.SI
