Introducing Variable Importance Tradeoffs into CP-Nets
Ben-Gurion University（本-古里安大学）
做出决策和评估潜在行动方案的能力是许多人工智能应用的基石，通常这需要有关决策者偏好的明确信息。在许多应用中，偏好获取是一个严重的瓶颈。用户要么没有时间，知识，要么没有指定复杂的多属性效用函数所需的专家支持。在这种情况下，需要一种基于直观但富有表现力的偏好陈述的方法。在本文中，我们建议使用TCP -网，CP -网的增强，作为一种工具，表示，推理的定性偏好语句。我们提出和激励这个框架，定义它的语义，并显示它如何可以用来执行约束优化。
2012-12-12 cs.AI
AND/OR Importance Sampling
University of California, Irvine（加利福尼亚大学欧文分校）
本文介绍了概率图模型的与或重要性采样。与重要性采样相反，与/或重要性采样在与/或空间中缓存样本，然后从存储的样本中提取新的样本均值。我们证明，与/或重要性采样可能有较低的方差比重要性采样，从而提供了一个理论上的理由，更喜欢它超过重要性采样。我们的实证评估表明，与/或重要性采样是更准确的重要性采样在许多情况下。
2012-06-13 cs.AI
Preference as Reward, Maximum Preference Optimization with Importance Sampling
本文提出最大偏好优化（MPO）算法，通过重要性采样视角结合RLHF和IPO的目标，有效处理off-policy KL正则化项，消除对奖励模型和参考策略的需求，简化学习过程。
2024-03-25 cs.AI cs.LG
Training Computer Use Agents to Assess the Usability of Graphical User Interfaces
University of Washington（华盛顿大学）；Purdue University（普渡大学）
本文提出一种新型机器学习方法，通过优先处理关键交互流程、模拟人类交互并预测可用性评分，训练计算机使用代理评估GUI可用性，优于大模型并在合成和真实UI中产生真实批判。
2026-04-28 cs.AI cs.CL
User Interface Tools for Navigation in Conditional Probability Tables and Elicitation of Probabilities in Bayesian Networks
University of Pittsburgh（匹兹堡大学）
概率的推导是构建决策理论模型中最费力的任务之一，而且迄今为止在决策理论系统中只受到适度的关注。我们提出了一套图形概率模型的用户界面工具，侧重于概率启发的两个方面：（1）通过条件概率表导航和（2）离散概率分布的交互式图形评估。我们提出了两个新的图形视图，帮助导航非常大的条件概率表：CPTree（条件概率树）和SCPT（收缩条件概率表）。基于对人类定量数据图形化呈现的了解，我们为概率轮和条形图提供了几个有用的增强功能，包括不同的图表样式和选项，可以适应用户的偏好和需求。我们提出了一个简单的可用性研究的结果，证明了所提出的工具的价值。
2013-01-18 cs.AI
More-or-Less CP-Networks
University of Maryland Baltimore County（马里兰大学巴尔的摩分校）
偏好在我们的日常生活中扮演着重要的角色。CP-网络，简称CP-网络，是在其他条件相同（“其他条件相同”）假设下表示条件定性偏好的图形模型。尽管CP网具有直观的性质和丰富的表示，但使用CP网进行优势测试在计算上是复杂的，即使CP网仅限于二值偏好。对于二进制CP网存在易处理的算法，但是这些算法对于多值CP网是不完整的。在本文中，我们确定了一类多值CP网，我们称之为或多或少的CP网，具有相同的计算复杂性的二进制CP网。或多或少的CP网利用属性值的单调性，并使用区间来聚合引起相似偏好的值。然后，我们提出了一个搜索控制规则的优势测试，有效地修剪搜索空间，同时保持完整性。
2012-06-20 cs.AI
Constrained Optimization with Qualitative Preferences
University of Regina（里贾纳大学）；Department of Computer Science（计算机科学系）
条件偏好网络（CP-net）以图形方式表示用户在其他条件相同的解释下的定性和条件偏好陈述。约束CP-网是CP-网的扩展，是一组约束。现有的求解约束CP网的算法需要进行昂贵的优势检验操作。我们提出三种方法来应对这一挑战。在我们的第一个解决方案中，我们通过引出变量之间的额外相对重要性陈述来改变约束CP-网络，以便对结果进行总排序。我们称之为约束相对重要性网络（constrained CPR-net）。因此，我们证明了约束CPR-网有一个单一的最优结果（假设约束CPR-网是一致的），我们可以得到没有优势测试。在我们的第二个解决方案中，我们扩展的词典偏好树（LP树）的一组约束。然后，我们提出了一个递归回溯搜索算法，我们称之为搜索LP，找到最优选的结果。我们证明了搜索LP返回的第一个可行结果（没有优势测试）也优于任何其他可行结果。最后，在我们的第三个解决方案中，我们保留了CP网的语义，并提出了一个分治算法，根据优势测试来比较结果。
2021-09-24 cs.AI
Fine Tuning Large Language Models for Medicine: The Role and Importance of Direct Preference Optimization
Stanford University（斯坦福大学）；Linguamind AI（Linguamind人工智能公司）；M.P. Shah Government Medical College（M.P.沙阿政府医学院）
本研究对比了监督微调（SFT）与直接偏好优化（DPO）在医学领域五类常见自然语言处理任务上的表现，明确了DPO在复杂医学任务中的性能提升作用，同时指出了制约该技术落地的软件缺口。
2024-12-13 cs.AI cs.CL
Representing and Reasoning with Qualitative Preferences for Compositional Systems
Iowa State University（爱荷华州立大学）
许多应用，例如，Web服务组合、复杂系统设计、团队组建等，依赖于用于标识满足某些功能要求的对象或实体的集合的方法。在满足功能需求的集合中，通常需要识别一个或多个集合，这些集合相对于描述集合的非功能属性的一组属性的用户偏好是最佳的。我们开发了一种形式主义，让用户表达属性之间的相对重要性和定性偏好的估值，每个属性。我们定义了一个优势关系，使我们能够比较对象的集合的属性，使集合的对象的偏好。我们建立了优势关系的一些关键性质。特别地，当属性内偏好关系为严格偏序，相对重要性偏好关系为区间序时，证明了优势关系为严格偏序.我们提供的算法，使用这种优势关系，以确定最首选的集合。我们表明，在一定的条件下，算法保证返回只有（声音），所有（完整），或至少有一个（弱完整）的最首选的集合。我们目前的模拟实验结果比较所提出的算法（a）的质量的解决方案（最首选的解决方案的数量）所产生的算法，和（b）他们的性能和效率。我们还探讨了一些有趣的approachtures建议我们的实验结果，涉及用户的偏好，优势关系，和算法的属性。
2014-01-16 cs.AI
Rank Pruning for Dominance Queries in CP-Nets
University of Leeds（利兹大学）
条件偏好网络（英语：Conditional preference networks）是一个人对一组离散变量的（条件）偏好的图形表示。在本文中，我们介绍了一种新的方法，量化偏好的任何给定的结果的基础上，CP-网络表示的用户的喜好。我们证明，这些值是有用的推理用户的喜好。特别是，它们允许我们根据用户的偏好对可能的结果（的任何子集）进行排序。此外，这些值可以用于提高结果优势检验的效率。也就是说，给定一对结果，我们可以更有效地确定用户更喜欢哪一个。实验结果表明，该方法比现有的方法更有效地提高了优势度测试的效率。我们表明，上述结果也适用于CP-网，表示变量值之间的无差异。
2018-09-07 cs.AI stat.ME
CRISNER: A Practically Efficient Reasoner for Qualitative Preferences
Iowa State University（爱荷华州立大学）；Pennsylvania State University（宾夕法尼亚州立大学）
我们提出了CRISNER（条件和相对重要性声明网络PrEference推理），一个工具，提供了实际有效的，以及准确的推理流行的其他条件相同的偏好语言，如CP-网，TCP-网，CP理论等的定性偏好的工具使用模型检验引擎翻译成适当的Kripke模型和可验证的属性，他们分别的偏好规范和查询。该工具的显著特点是：（1）精确和可证明正确的查询回答，用于测试优势、与偏好规范的一致性以及测试两组偏好的等价性和包容性;（2）自动生成证明CRISNER对上述任何查询产生的答案的正确性的证明;（3）XML输入和输出，使其可移植和可插入到其他应用程序中。我们还描述了CRISNER的可扩展架构，它可以扩展到新的参考形式主义的基础上，在其他条件相同的语义，可能会在未来的发展。
2015-07-30 cs.AI
The Importance of Online Data: Understanding Preference Fine-tuning via Coverage
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）；Cornell University（康奈尔大学）
本研究通过覆盖度理论证明离线对比方法需全局覆盖条件，而在线RL仅需局部覆盖，并据此提出混合偏好优化算法HyPO，兼具性能与效率优势。
2024-07-16 cs.AI cs.CL cs.LG
Hindsight PRIORs for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple Inc.（苹果公司）
针对基于偏好的强化学习中信用分配缺失导致的奖励学习低效问题，提出Hindsight PRIOR策略，利用世界模型估计状态重要性并引导奖励分配，显著提升了运动与操作任务的学习效率和奖励恢复效果。
2024-04-12 cs.AI cs.HC cs.LG
Graph4GUI: Graph Neural Networks for Representing Graphical User Interfaces
Aalto University（阿尔托大学）；YaiYai Ltd（YaiYai有限公司）；MIT（麻省理工学院）
Graph4GUI利用图神经网络捕获GUI元素的属性及其语义与视觉空间约束，学习到的表示在GUI自动补全等任务中表现优异，提升了设计对齐度、视觉吸引力及设计师效率。
2024-04-21 cs.AI cs.CV cs.HC
Qualitative Decision Methods for Multi-Attribute Decision Making
Northwestern University（西北大学）
所有多准则决策分析（MCDA）问题的基本问题是任何两个备选方案之间的优势：“给定两个备选方案A和B，每个由一组准则描述，关于一组决策者（DM）对准则的偏好，A是否优于B？".根据执行MCDA的应用，备选方案可能代表企业的战略和政策、建立新设施的潜在地点、建筑物的设计等。MCDA的总体目标是使DM能够按照所述偏好对所有备选方案进行排序，并选择最佳方案，即，最优的关于标准的偏好。本文介绍和总结了一个最近开发的MCDA框架，命令的相对重要性偏好时，设置的替代品是不完整的，不精确的，或定性的性质。
2015-08-04 cs.AI
The risk ethics of autonomous vehicles: a continuous trolley problem in regular road traffic
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）；Technical University of Munich（慕尼黑工业大学）
自动驾驶汽车（AV）的道德规范是否仅限于在不可避免的事故中衡量生命？我们认为，自动驾驶汽车之间的道路使用者在正常的交通情况下，明确或隐含的风险。这种风险的分布引发了伦理上的相关问题，这些问题不能用简单的“踩刹车”来回避。“我们使用不同交通状况的交互式图形表示，在德国的一项代表性调查中测量了参与者对自动驾驶汽车驾驶操作的偏好。我们的参与者的偏好明显偏离了单纯的冲突避免。有趣的是，我们的参与者愿意为其他道路使用者的利益承担风险，这表明在风险的背景下，自动驾驶汽车的社会困境可能会减少。
2022-05-24 cs.AI cs.CY
Voice CMS: updating the knowledge base of a digital assistant through conversation
Orange Research（奥兰治研究）
本研究提出一种基于多智能体LLM架构和语音用户界面（VUI）的解决方案来更新数字助理知识库。对比实验表明，尽管VUI整体可用性低于图形界面，但在低复杂度任务中更受用户偏好，且输入内容质量相当，混合界面有望解决认知负荷等挑战。
2025-05-28 cs.AI cs.HC cs.MA
Vibrotactile Preference Learning: Uncertainty-Aware Preference Learning for Personalized Vibration Feedback
Department of Computer Science（计算机科学系）；University of Southern California（南加州大学）
本文提出Vibrotactile Preference Learning，通过高斯过程基于的不确定性感知偏好学习捕捉用户特定的振动参数偏好空间，通过预期信息增益指导查询选择，实现高效探索参数空间，实验表明其能有效学习个性化偏好并保持用户交互舒适低负荷。
2026-04-23 cs.AI cs.HC cs.LG
Retrieval-Augmented Fine-Tuning With Preference Optimization For Visual Program Generation
POSTECH（浦项科技大学）；Hyundai Mobis（现代摩比斯）；T&I Company（T&I公司）
针对工业梯形图视觉程序生成，提出检索增强微调结合直接偏好优化的两阶段训练策略，较监督微调提升程序级准确性超10%。
2025-05-23 cs.AI cs.CL
CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Xiaohongshu Inc（小红书公司）
提出可扩展偏好模型预训练流程CodePMP，利用大规模合成代码偏好对预训练奖励模型，有效缓解高质量偏好数据稀缺问题，显著提升大型语言模型在数学与逻辑推理任务上的性能。
2025-05-29 cs.AI cs.CL
Reward Learning From Preference With Ties
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）
针对偏好建模中人类偏好常出现平局、忽略平局会导致偏好强度测量偏差的问题，提出采用带平局的Bradley-Terry模型（BTT）适配平局偏好，理论与实验均验证其优于传统BT模型。
2024-10-05 cs.AI cs.LG
SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling
University of Michigan（密歇根大学）
SP3O是一种无需奖励建模的新型PbRL算法，利用分段级偏好反馈，通过PPO型损失函数优化策略，在机器人控制和LLM微调等长视界任务中性能优于现有算法。
2026-08-05 cs.AI cs.LG
Preference-Optimal Multi-Metric Weighting for Parallel Coordinate Plots
Preferred Networks Inc.（Preferred Networks公司）
针对平行坐标图中多度量可视化难题，提出基于偏好最优加权的公式化方法，并利用雷达图与UMAP降维实现直观偏好选择，有效揭示控制参数重要性模式。
2025-06-24 cs.AI cs.HC cs.LG
Using BERT Embeddings to Model Word Importance in Conversational Transcripts for Deaf and Hard of Hearing Users
Rochester Institute of Technology（罗切斯特理工学院）
聋人和重听人在观看电视直播时经常依赖字幕。监管机构使用各种字幕评估指标来评估实况电视字幕。然而，字幕评估指标往往不被DHH用户的偏好或字幕的意义。需要构建字幕评估度量，其考虑文字在转录中的相对重要性。我们在现有语料库中对两种类型的词嵌入和人工标注的词重要性分数进行了相关性分析。我们发现，使用BERT生成的规范化上下文单词嵌入与手动注释的重要性分数的相关性优于基于word2vec的词嵌入。我们提供了一对词嵌入及其人工注释的重要性分数。我们还通过训练单词重要性模型来提供概念验证实用程序，在6类单词重要性分类任务中获得了0.57的F1分数。
2022-06-24 cs.AI cs.CL cs.HC
Personalized Benchmarking: Evaluating LLMs by Individual Preferences
University of Chicago（芝加哥大学）
本文提出个性化LLM基准测试，通过ELO评分和Bradley-Terry系数分析115名用户对LLM的排名差异，发现个体偏好与聚合排名差异显著，强调开发个性化基准的重要性。
2026-04-21 cs.AI cs.CL cs.HC
