Graphical Models for Preference and Utility
NEC Research Institute(NEC研究院);University of Waterloo(滑铁卢大学)
概率独立性可以极大地简化在大型域中使用概率进行引出、表示和计算的任务。实现这些好处的一个关键技术是图形建模的思想。我们调查现有的概念独立的效用函数在多属性空间,并建议这些可以用来实现类似的优势。我们的新结果关注条件的添加剂的独立性,我们总是有一个完美的表示为分离的无向图(马尔可夫网络)。条件可加独立性需要一个特定的功能的效用函数,类似于一个产品的概率函数分解,并赋予类似的好处。这种函数形式已经在贝叶斯网络和影响图文献中使用,但通常没有独立性方面的解释。函数形式产生效用函数的分解,可以大大加快预期效用计算,特别是当效用图具有与所使用的概率网络相似的拓扑结构时。
2013-02-20 cs.AI
VORTEX: Aligning Task Utility and Human Preferences through LLM-Guided Reward Shaping
Department of Computer Science, Harvard University(计算机科学系,哈佛大学)
本文提出VORTEX框架,利用LLM通过自然语言反馈迭代生成塑形奖励,在不修改求解器的情况下实现任务效用与人类偏好的帕累托最优对齐,并在分配任务中验证其有效性。
2025-09-19 cs.AI
When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models
本文发现大语言模型在偏好选择中表现出的效用结构,在真实写作任务中无法激励其输出质量提升,揭示了偏好与行为之间的差距。
2026-06-24 cs.AI
LLM-Derived Preference Judgments Are Not Self-Consistent
研究发现,用于解读人类偏好的LLM得出的数值化偏好判断存在大量持续不一致性,无法由单一效用函数概括,打破了相关研究的自一致性假设。
2026-08-19 cs.AI cs.CL
Learning Modulo Theories for preference elicitation in hybrid domains
Technische Universität Dortmund(多特蒙德工业大学);Università degli Studi di Trento(特伦托大学)
本文介绍了CLEO,一种新的偏好诱导算法,能够推荐复杂的对象在混合域,其特点是离散和连续的属性和约束定义在他们身上。该算法假设最小的初始信息,即,一组目录属性,并定义决策功能的逻辑公式相结合的布尔和代数约束的属性。决策者(DM)的(未知)效用被建模为特征的加权组合。CLEO迭代地交替偏好引出步骤和细化步骤,在偏好引出步骤中,基于当前效用模型选择候选解对,在细化步骤中,通过合并接收到的反馈来细化效用。启发步骤利用Max-SMT求解器来返回根据当前实用新型的最优混合解决方案。细化步骤被实现为学习排序,并且稀疏化范数被用于有利于在候选决策特征的组合空间中选择很少的信息特征。CLEO是第一个能够处理混合域的偏好诱导算法,这要归功于使用Max-SMT技术,同时保留DM实用程序和噪声反馈中的不确定性。复杂的推荐任务的实验结果表明,CLEO的能力,以快速专注于最佳的解决方案,以及它的能力,以恢复次优的初始选择。虽然没有竞争对手存在的混合设置,CLEO优于一个国家的最先进的贝叶斯偏好启发算法时,适用于一个纯粹的离散任务。
2015-08-31 cs.AI
Continuous-Utility Direct Preference Optimization
stanford(斯坦福大学);meta;glasgow(格拉斯哥大学)
本文提出CU-DPO框架,通过连续评分替代二元标签,提升模型在数学推理任务中的策略选择准确率和推理能力。
2026-10-08 cs.AI cs.LG
Not All Preferences Deserve Gradients: Understanding Gradient Utility in Offline Reasoning Alignment
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航空航天信息研究所);Baidu Inc.(百度公司);Department of Computer Science, University of Toronto(多伦多大学计算机科学系);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院)
SAGE通过动态框架提升推理模型对齐的稳定性与梯度效率,通过信噪比优化和稳定性感知评分函数实现更高效的训练。
2026-09-04 cs.AI
Gradient-Aligned Pair Selection for Personalized Preference Optimization
Kent State University(肯特州立大学);EvenUp, USA(EvenUp(美国));Auburn University(奥本大学)
本研究提出GAP-DPO,通过梯度对齐的配对选择优化个性化偏好,提升风格保真度与生成质量。
2026-10-02 cs.AI
Learning Heterogeneous Preferences
Human-Centered AI(人本人工智能);Toyota Research Institute(丰田研究所)
针对主观偏好学习,提出个体化效用函数及多阶段架构,在575,000+成对美学判断数据上显著优于通用模型,证明分歧源于真实偏好异质性。
2026-09-17 cs.AI cs.HC cs.LG
Formal Power Series Representations in Probability and Expected Utility Theory
cs.ccny.cuny.edu(纽约市立大学计算机科学学院)
本研究提出摒弃正统约束的融贯偏好通用理论,满足类de Finetti融贯性的偏好系统可扩展为完备系统,且无需传递性等假设,核心结果同时推广Hölder定理、强化Hahn嵌入定理,可推出实数有序域扩张中的效用表示。
2025-08-01 cs.AI econ.TH math.LO
Learning the Preferences of Ignorant, Inconsistent Agents
University of Oxford(牛津大学);Stanford University(斯坦福大学)
机器学习的一个重要用途是学习人们重视什么。应该向用户显示哪些帖子或照片?哪些工作或活动会让一个人觉得有价值?在每一种情况下,对人们过去选择的观察都可以为我们关于他们的喜好和偏好的推断提供信息。如果我们假设根据某种效用函数,选择是近似最优的,我们可以将偏好推断视为贝叶斯逆规划。也就是说,给定效用函数的先验和一些观察到的选择,我们反转最优决策过程来推断效用函数的后验分布。然而,人们经常偏离近似最优性。他们有错误的信念,他们的计划是次优的,他们的选择可能由于双曲线贴现和其他偏见而在时间上不一致。我们演示了如何将这些偏差到算法的偏好推理,通过构建生成模型的规划代理谁是受错误的信念和时间不一致。我们探索这些模型对偏好、信念和偏见的推断。我们提出了一个行为实验中,人类受试者进行偏好推理给出了相同的意见,我们的模型的选择。结果表明,人类受试者(如我们的模型)解释的系统偏离最佳行为的选择,并建议他们考虑到这种偏差时,推断偏好。
2015-12-18 cs.AI
Toward Experiential Utility Elicitation for Interface Customization
University of Toronto(多伦多大学)
用户对自动化帮助的偏好通常差异很大,这取决于情况以及帮助的质量或呈现方式。开发有效的模型来在线学习个人偏好需要领域模型,该模型将用户行为的观察与其效用函数相关联,而效用函数又可以使用效用启发技术来构建。然而,大多数启发式方法要求用户的预测效用的基础上假设的情况下,而不是更现实的经验效用。这在界面定制中尤其如此,用户被要求评估新颖的界面设计。我们提出了经验的实用程序的定制方法,并比较这些预测方法。由于经验丰富的实用程序已被认为是更好地反映行为决策的真实偏好,这里的目的是调查准确和有效的程序,适用于软件领域。与传统的启发,我们的研究结果表明,经验的方法可以帮助人们理解随机的结果,以及更好地欣赏智能援助的顺序效用。
2012-06-13 cs.AI cs.HC
A Hybrid Approach to Reasoning with Partially Elicited Preference Models
University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校);Assumption University(易三仓大学)
经典决策理论为复杂偏好的表示和推理提供了一个规范的框架。直接应用这一理论来自动决策是困难的,由于高启发成本。为了解决这个问题,研究人员最近开发了一些定性的,逻辑导向的方法来表示和推理的参考。虽然有效地解决了一些表达问题,但这些逻辑还没有被证明足够强大,无法构建实用的自动化决策系统。在本文中,我们提出了一种混合的方法,以经典的多属性效用理论为基础的偏好诱导和决策,但可以有效地利用定性方法的表达能力。具体来说,假设一个部分指定的多线性效用函数,我们展示了如何比较声明类的决策方案可以用来进一步约束的效用函数,从而确定超最优的替代品。这项工作表明,定量和定性的方法可以协同集成,提供有效和灵活的决策支持。
2013-01-23 cs.AI
Holistic Utility Preference Learning for Listwise Alignment
School of Computer Science and Technology, Hangzhou Dianzi University(计算机科学与技术学院,杭州电子科技大学);Harbin Institute of Technology(哈尔滨工业大学)
DRPO通过整体效用学习提升列表对齐效果,优化响应排名质量
2025-12-16 cs.AI cs.CL cs.IR
Formalizing Preferences Over Runtime Distributions
University of British Columbia(不列颠哥伦比亚大学);Columbia University(哥伦比亚大学);a16z crypto(a16z加密)
本文针对正确算法间运行时分布的选择问题,基于效用论刻画随解题价值衰减和截止时间分布变化的评分函数,并用最大熵与样本估计实现期望效用评估。
2023-06-02 cs.AI cs.GT cs.LG
Context, Utility and Influence of an Explanation
Umeå universitet(于默奥大学)
情境效用理论将情境敏感因素整合到基于效用的决策模型中。它强调了解个人决策者的偏好,价值观和信仰以及影响他们的情境因素的重要性。情境效用理论有利于可解释的人工智能。首先,它可以提高透明度,并了解人工智能系统如何影响决策。它可以通过考虑个人偏好和背景来揭示AI模型的偏见和局限性。第二,情境效用理论可以使AI系统更加个性化,并适应用户和利益相关者。人工智能系统可以通过整合人口统计和文化数据来更好地满足用户需求和价值观。最后,情境效用理论促进了道德AI的发展和社会责任。人工智能开发人员可以通过考虑社会规范和价值观等背景因素来创建有利于社会的道德体系。这项工作展示了情境效用理论如何提高人工智能系统的透明度,个性化和道德,使用户和开发人员受益。
2023-03-22 cs.AI cs.HC
From Axioms to Algorithms: Mechanized Proofs of the vNM Utility Theorem
Department of Operations and Risk Management, Lingnan University(岭南大学运营与风险管理系)
本文用 Lean 4 全面形式化 vNM 期望效用定理,机器验证四大偏好公理下效用表示的存在性与唯一性,并通过构造性证明和计算实验连接决策理论与计算实现。
2025-06-08 cs.AI econ.TH q-fin.CP
Online Learning with Preference Feedback
Cornell University(康奈尔大学)
提出了一种新的带有偏好反馈的在线学习模型。该模型特别适用于Web搜索和推荐系统等应用程序,其中偏好数据很容易从隐式用户反馈(例如点击)中获得。特别地,在每个时间步骤,响应于上下文(例如查询)向用户呈现潜在结构化对象(例如排名),为他或她提供一些未观察到的效用量。作为反馈,算法接收到将提供更高效用的改进对象。我们提出了一个学习算法与可证明的遗憾界这个在线学习设置,并证明其有效性的网络搜索应用程序。新的学习模型也适用于许多其他的互动学习问题,并承认几个有趣的扩展。
2011-11-03 cs.AI cs.LG
Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出统一视角分析语言模型控制方法,通过偏好-效用分析揭示控制效果的权衡关系,并引入SPLIT方法提升偏好与效用。
2026-11-17 cs.AI cs.CL cs.CV
Joint Optimization of AI Fairness and Utility: A Human-Centered Approach
IBM Research AI(IBM研究院人工智能部门)
如今,人工智能越来越多地用于许多高风险的决策应用,其中公平性是一个重要的问题。已经有许多人工智能存在偏见并做出可疑和不公平决定的例子。人工智能研究界已经提出了许多方法来衡量和减轻不必要的偏见,但其中很少涉及人类政策制定者的投入。我们认为,由于不同的公平标准有时不能同时满足,因为实现公平往往需要牺牲其他目标,如模型的准确性,它是关键,以获取和坚持人类决策者的偏好,如何使这些目标之间的权衡。在本文中,我们提出了一个框架和一些示例方法,用于引发这种偏好,并根据这些偏好优化AI模型。
2020-02-05 cs.AI cs.HC
Utility Elicitation as a Classification Problem
Stanford University(斯坦福大学);Stanford University School of Medicine(斯坦福大学医学院)
我们研究了分类技术在效用启发中的应用。在一个决策问题中,通常必须引出两组参数:概率和效用。虽然模型中的先验概率和条件概率不会因用户而异,但实用模型会发生变化。因此,有必要为每个新用户单独引出实用新型。启发是漫长而乏味的,特别是当结果空间很大且不可分解时。有两种常见的方法来获取效用函数。第一种方法是仅仅根据定性偏好的启发来确定用户的效用函数,第二种方法是对效用函数的形式和可分解性进行假设,这里我们采取不同的方法:我们试图根据与先前收集的效用函数数据库相关的分类来确定新的用户的效用函数。我们通过识别效用函数的集群来实现这一点,这些集群可以最小化适当的距离度量。在确定了集群,我们开发了一个分类方案,需要更少和更简单的评估比充分的实用程序启发,是更强大的实用程序启发仅仅基于偏好。我们已经测试了我们的算法在一个小的数据库中的效用函数在产前诊断域,结果是相当有前途的。
2013-01-30 cs.AI