VORTEX: Aligning Task Utility and Human Preferences through LLM-Guided Reward Shaping
Department of Computer Science, Harvard University（计算机科学系，哈佛大学）
本文提出VORTEX框架，利用LLM通过自然语言反馈迭代生成塑形奖励，在不修改求解器的情况下实现任务效用与人类偏好的帕累托最优对齐，并在分配任务中验证其有效性。
2025-09-19 cs.AI
Unstructuring User Preferences: Efficient Non-Parametric Utility Revelation
Technion - Israel Institute of Technology（以色列理工学院）；Cornell University（康奈尔大学）
为了解决序数偏好的揭示和推理问题，我们提出了一种新的方法，用于从一组定性偏好语句生成序数效用函数。据我们所知，我们的建议构成了这个问题的第一个非参数解决方案，这是有效的和语义上的声音。我们的初步实验为我们的方法的实际有效性提供了强有力的证据。
2012-07-04 cs.AI cs.GT
When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models
本文发现大语言模型在偏好选择中表现出的效用结构，在真实写作任务中无法激励其输出质量提升，揭示了偏好与行为之间的差距。
2026-06-24 cs.AI
Learning Modulo Theories for preference elicitation in hybrid domains
Technische Universität Dortmund（多特蒙德工业大学）；Università degli Studi di Trento（特伦托大学）
本文介绍了CLEO，一种新的偏好诱导算法，能够推荐复杂的对象在混合域，其特点是离散和连续的属性和约束定义在他们身上。该算法假设最小的初始信息，即，一组目录属性，并定义决策功能的逻辑公式相结合的布尔和代数约束的属性。决策者（DM）的（未知）效用被建模为特征的加权组合。CLEO迭代地交替偏好引出步骤和细化步骤，在偏好引出步骤中，基于当前效用模型选择候选解对，在细化步骤中，通过合并接收到的反馈来细化效用。启发步骤利用Max-SMT求解器来返回根据当前实用新型的最优混合解决方案。细化步骤被实现为学习排序，并且稀疏化范数被用于有利于在候选决策特征的组合空间中选择很少的信息特征。CLEO是第一个能够处理混合域的偏好诱导算法，这要归功于使用Max-SMT技术，同时保留DM实用程序和噪声反馈中的不确定性。复杂的推荐任务的实验结果表明，CLEO的能力，以快速专注于最佳的解决方案，以及它的能力，以恢复次优的初始选择。虽然没有竞争对手存在的混合设置，CLEO优于一个国家的最先进的贝叶斯偏好启发算法时，适用于一个纯粹的离散任务。
2015-08-31 cs.AI
Not All Preferences Deserve Gradients: Understanding Gradient Utility in Offline Reasoning Alignment
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所）；Baidu Inc.（百度公司）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
SAGE通过动态框架提升推理模型对齐的稳定性与梯度效率，通过信噪比优化和稳定性感知评分函数实现更高效的训练。
2026-09-04 cs.AI
Gradient-Aligned Pair Selection for Personalized Preference Optimization
Kent State University（肯特州立大学）；EvenUp, USA（EvenUp（美国））；Auburn University（奥本大学）
本研究提出GAP-DPO，通过梯度对齐的配对选择优化个性化偏好，提升风格保真度与生成质量。
2026-10-02 cs.AI
Human Preference aligned Tabular Similarity
CONTACT Software GmbH（CONTACT软件有限公司）
研究用于产品生命周期管理等系统相似性搜索的表格嵌入，指出领先方法未针对人类偏好对齐排名优化，标准指标不足以评估嵌入可信度，提出具体评估程序并通过PLM用例说明问题。
2026-07-29 cs.AI cs.LG
Learning the Preferences of Ignorant, Inconsistent Agents
University of Oxford（牛津大学）；Stanford University（斯坦福大学）
机器学习的一个重要用途是学习人们重视什么。应该向用户显示哪些帖子或照片？哪些工作或活动会让一个人觉得有价值？在每一种情况下，对人们过去选择的观察都可以为我们关于他们的喜好和偏好的推断提供信息。如果我们假设根据某种效用函数，选择是近似最优的，我们可以将偏好推断视为贝叶斯逆规划。也就是说，给定效用函数的先验和一些观察到的选择，我们反转最优决策过程来推断效用函数的后验分布。然而，人们经常偏离近似最优性。他们有错误的信念，他们的计划是次优的，他们的选择可能由于双曲线贴现和其他偏见而在时间上不一致。我们演示了如何将这些偏差到算法的偏好推理，通过构建生成模型的规划代理谁是受错误的信念和时间不一致。我们探索这些模型对偏好、信念和偏见的推断。我们提出了一个行为实验中，人类受试者进行偏好推理给出了相同的意见，我们的模型的选择。结果表明，人类受试者（如我们的模型）解释的系统偏离最佳行为的选择，并建议他们考虑到这种偏差时，推断偏好。
2015-12-18 cs.AI
A Hybrid Approach to Reasoning with Partially Elicited Preference Models
University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）；Assumption University（易三仓大学）
经典决策理论为复杂偏好的表示和推理提供了一个规范的框架。直接应用这一理论来自动决策是困难的，由于高启发成本。为了解决这个问题，研究人员最近开发了一些定性的，逻辑导向的方法来表示和推理的参考。虽然有效地解决了一些表达问题，但这些逻辑还没有被证明足够强大，无法构建实用的自动化决策系统。在本文中，我们提出了一种混合的方法，以经典的多属性效用理论为基础的偏好诱导和决策，但可以有效地利用定性方法的表达能力。具体来说，假设一个部分指定的多线性效用函数，我们展示了如何比较声明类的决策方案可以用来进一步约束的效用函数，从而确定超最优的替代品。这项工作表明，定量和定性的方法可以协同集成，提供有效和灵活的决策支持。
2013-01-23 cs.AI
LLM-Derived Preference Judgments Are Not Self-Consistent
研究发现，用于解读人类偏好的LLM得出的数值化偏好判断存在大量持续不一致性，无法由单一效用函数概括，打破了相关研究的自一致性假设。
2026-08-19 cs.AI cs.CL
Embeddings for Preferences, Not Semantics
Harvard University（哈佛大学）
本文提出通过偏好相似性而非语义相似性来嵌入文本，改进集体决策中的偏好预测，通过合成数据打破语义与偏好的相关性，提升11个在线讨论数据集的预测效果。
2026-11-09 cs.AI
Continuous-Utility Direct Preference Optimization
stanford（斯坦福大学）；meta；glasgow（格拉斯哥大学）
本文提出CU-DPO框架，通过连续评分替代二元标签，提升模型在数学推理任务中的策略选择准确率和推理能力。
2026-10-08 cs.AI cs.LG
Utility Elicitation as a Classification Problem
Stanford University（斯坦福大学）；Stanford University School of Medicine（斯坦福大学医学院）
我们研究了分类技术在效用启发中的应用。在一个决策问题中，通常必须引出两组参数：概率和效用。虽然模型中的先验概率和条件概率不会因用户而异，但实用模型会发生变化。因此，有必要为每个新用户单独引出实用新型。启发是漫长而乏味的，特别是当结果空间很大且不可分解时。有两种常见的方法来获取效用函数。第一种方法是仅仅根据定性偏好的启发来确定用户的效用函数，第二种方法是对效用函数的形式和可分解性进行假设，这里我们采取不同的方法：我们试图根据与先前收集的效用函数数据库相关的分类来确定新的用户的效用函数。我们通过识别效用函数的集群来实现这一点，这些集群可以最小化适当的距离度量。在确定了集群，我们开发了一个分类方案，需要更少和更简单的评估比充分的实用程序启发，是更强大的实用程序启发仅仅基于偏好。我们已经测试了我们的算法在一个小的数据库中的效用函数在产前诊断域，结果是相当有前途的。
2013-01-30 cs.AI
Learning Heterogeneous Preferences
Human-Centered AI（人本人工智能）；Toyota Research Institute（丰田研究所）
针对主观偏好学习，提出个体化效用函数及多阶段架构，在575,000+成对美学判断数据上显著优于通用模型，证明分歧源于真实偏好异质性。
2026-09-17 cs.AI cs.HC cs.LG
Truth as Utility: A Conceptual Synthesis
本文介绍了综合功利和逻辑概念的概念关系，扩展了雷舍尔的偏好逻辑。我们首先定义，在一个可能的世界模型的背景下，约束依赖的措施，量化的相对质量的替代解决方案的推理问题或相对可取的各种政策的控制，决策和规划问题。我们表明，这些措施可以被解释为真值在多值逻辑和提出的机制，复杂的约束表示为简单的限制的组合。这些扩展的逻辑运算也允许将特定目标的质量度量组合和聚合成效用的全局度量。我们还确定代表不同的偏好之间的替代解决方案的关系，并将它们与先前定义的可取性措施。扩展传统的模态逻辑公式，我们介绍了结构的表示无知的效用的替代解决方案。最后，我们研究这些概念之间的关系和基于相似性的语义模型的模糊逻辑。
2013-03-20 cs.AI
Toward Experiential Utility Elicitation for Interface Customization
University of Toronto（多伦多大学）
用户对自动化帮助的偏好通常差异很大，这取决于情况以及帮助的质量或呈现方式。开发有效的模型来在线学习个人偏好需要领域模型，该模型将用户行为的观察与其效用函数相关联，而效用函数又可以使用效用启发技术来构建。然而，大多数启发式方法要求用户的预测效用的基础上假设的情况下，而不是更现实的经验效用。这在界面定制中尤其如此，用户被要求评估新颖的界面设计。我们提出了经验的实用程序的定制方法，并比较这些预测方法。由于经验丰富的实用程序已被认为是更好地反映行为决策的真实偏好，这里的目的是调查准确和有效的程序，适用于软件领域。与传统的启发，我们的研究结果表明，经验的方法可以帮助人们理解随机的结果，以及更好地欣赏智能援助的顺序效用。
2012-06-13 cs.AI cs.HC
Formal Power Series Representations in Probability and Expected Utility Theory
cs.ccny.cuny.edu（纽约市立大学计算机科学学院）
本研究提出摒弃正统约束的融贯偏好通用理论，满足类de Finetti融贯性的偏好系统可扩展为完备系统，且无需传递性等假设，核心结果同时推广Hölder定理、强化Hahn嵌入定理，可推出实数有序域扩张中的效用表示。
2025-08-01 cs.AI econ.TH math.LO
Iterated risk measures for risk-sensitive Markov decision processes with discounted cost
IBM Research - Tokyo（IBM东京研究院）
我们证明了贴现预期效用的限制，代表未来成本贴现时的风险偏好的标准方法。具体来说，我们提供了一个例子，决策者的偏好，似乎是理性的，但不能用任何折扣的预期效用表示。一个简单的修改贴现预期效用导致不一致的决策随着时间的推移。我们将证明，一个迭代的风险度量可以代表的偏好，不能代表任何折扣的期望效用和决策的基础上迭代的风险度量是一致的，随着时间的推移。
2012-02-14 cs.AI cs.GT q-fin.RM
Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
研究基于偏好的强化学习中对标注错误的鲁棒性问题，提出简单对比框架SARA，通过学习潜在表示计算奖励。在连续控制离线RL基准测试中性能有竞争力且更稳定，计算的奖励与环境奖励相关性更高。
2026-07-17 cs.AI cs.LG stat.ML
Holistic Utility Preference Learning for Listwise Alignment
School of Computer Science and Technology, Hangzhou Dianzi University（计算机科学与技术学院，杭州电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
DRPO通过整体效用学习提升列表对齐效果，优化响应排名质量
2025-12-16 cs.AI cs.CL cs.IR
Online Learning with Preference Feedback
Cornell University（康奈尔大学）
提出了一种新的带有偏好反馈的在线学习模型。该模型特别适用于Web搜索和推荐系统等应用程序，其中偏好数据很容易从隐式用户反馈（例如点击）中获得。特别地，在每个时间步骤，响应于上下文（例如查询）向用户呈现潜在结构化对象（例如排名），为他或她提供一些未观察到的效用量。作为反馈，算法接收到将提供更高效用的改进对象。我们提出了一个学习算法与可证明的遗憾界这个在线学习设置，并证明其有效性的网络搜索应用程序。新的学习模型也适用于许多其他的互动学习问题，并承认几个有趣的扩展。
2011-11-03 cs.AI cs.LG
Joint Optimization of AI Fairness and Utility: A Human-Centered Approach
IBM Research AI（IBM研究院人工智能部门）
如今，人工智能越来越多地用于许多高风险的决策应用，其中公平性是一个重要的问题。已经有许多人工智能存在偏见并做出可疑和不公平决定的例子。人工智能研究界已经提出了许多方法来衡量和减轻不必要的偏见，但其中很少涉及人类政策制定者的投入。我们认为，由于不同的公平标准有时不能同时满足，因为实现公平往往需要牺牲其他目标，如模型的准确性，它是关键，以获取和坚持人类决策者的偏好，如何使这些目标之间的权衡。在本文中，我们提出了一个框架和一些示例方法，用于引发这种偏好，并根据这些偏好优化AI模型。
2020-02-05 cs.AI cs.HC
From Axioms to Algorithms: Mechanized Proofs of the vNM Utility Theorem
Department of Operations and Risk Management, Lingnan University（岭南大学运营与风险管理系）
本文用 Lean 4 全面形式化 vNM 期望效用定理，机器验证四大偏好公理下效用表示的存在性与唯一性，并通过构造性证明和计算实验连接决策理论与计算实现。
2025-06-08 cs.AI econ.TH q-fin.CP
Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出统一视角分析语言模型控制方法，通过偏好-效用分析揭示控制效果的权衡关系，并引入SPLIT方法提升偏好与效用。
2026-04-12 cs.AI cs.CL cs.CV
Formalizing Preferences Over Runtime Distributions
University of British Columbia（不列颠哥伦比亚大学）；Columbia University（哥伦比亚大学）；a16z crypto（a16z加密）
本文针对正确算法间运行时分布的选择问题，基于效用论刻画随解题价值衰减和截止时间分布变化的评分函数，并用最大熵与样本估计实现期望效用评估。
2023-06-02 cs.AI cs.GT cs.LG
SSPO: Structure-Aware Similarity-Weighted Preference Optimization for Neural Combinatorial Optimization
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
该研究针对神经组合优化训练中的梯度信号极化与基线冗余问题，提出SSPO方法，通过结构感知相似度加权的留一法基线解决问题，其训练的EFL策略已在京东设施选址系统中实现实际应用。
2026-08-14 cs.AI cs.LG math.OC
Utility Theory for Sequential Decision Making
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）
冯·诺伊曼-摩根斯坦（VNM）效用定理表明，在某些理性公理下，决策被简化为最大化某些效用函数的期望。我们扩展这些公理越来越结构化的顺序决策设置，并确定相应的效用函数的结构。特别是，我们表明，无记忆的偏好导致效用的形式，每一个过渡奖励和乘法因子的未来回报。这一结果激励了马尔可夫决策过程（MDP）的推广与代理的回报，我们称之为仿射奖励MDP的这种结构。需要对偏好进行更强的约束，以恢复MDP中常用的标量奖励的累积和。一个更强的约束简化了目标寻求代理的效用函数，其形式是我们称之为势函数的某些状态函数的差异。我们的必要和充分条件通过在VNM理性公理中添加公理，揭开了强化学习中理性代理设计的奖励假设的神秘面纱，并激发了涉及顺序决策的AI研究的新方向。
2022-06-27 cs.AI cs.GT cs.LG
Preference Elicitation and Robust Optimization with Multi-Attribute Quasi-Concave Choice Functions
University of Southampton（南安普顿大学）
决策者的偏好往往被捕获的一些选择功能，用于排名的前景。在本文中，我们考虑在多属性前景空间的选择函数的模糊性。我们的主要结果是一个强大的偏好模型，其中最佳决策是基于最坏情况下的选择功能，从一个模糊集，通过与成对比较的前景偏好启发。不同于现有的作品在该地区，我们的重点是准凹选择功能，而不是凹功能，这使我们能够涵盖广泛的效用/风险偏好问题，包括多属性的期望效用和$S$形的期望风险偏好。稳健选择函数是递增的和准凹的，但不一定是平移不变的，这是货币风险度量的一个关键属性。提出了两种分别基于拟凹函数的支持函数和水平函数的方法来构造最大最小偏好鲁棒优化模型的易于处理的公式。前者产生一个混合整数线性规划问题，而后者相当于解决一系列凸风险最小化问题。为了评估所提出的鲁棒偏好优化模型和数值方案的有效性，我们将其应用于安全预算分配问题，并报告了一些初步的实验结果。
2018-05-17 cs.AI cs.IR math.OC
