Inverse Optimality for Fair Digital Twins: A Preference-based approach
Gran Sasso Science Institute（gran sass science institute）；Scuola IMT Alti Studi Lucca；Fondazione Ugo Bordoni
本文提出一种基于偏好的方法，通过引入公平性作为可学习目标，改进数字孪生的决策过程，以更好地反映人类感知的公平性。
2025-12-09 cs.LG cs.SE math.OC
Cold-Start Active Preference Learning in Socio-Economic Domains
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢里夫理工大学）；Department of Mathematical Sciences, Sharif University of Technology（数学科学系，谢里夫理工大学）
针对主动偏好学习中的冷启动问题，提出一种基于PCA自监督生成伪标签并结合模拟噪声预言机主动学习的方法，有效提升了无初始标记数据时的模型性能。
2025-11-03 cs.LG
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Offline Clustering of Preference Learning with Active-data Augmentation
Nanjing University（南京大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对离线偏好学习中的用户相似性识别与数据不平衡挑战，提出Off-C$^2$PL及带主动数据增强的A$^2$-Off-C$^2$PL算法，通过聚类聚合数据并主动补充信息量最少的维度样本，理论证明与实验均验证了其有效性。
2025-10-31 cs.LG
Active Query Synthesis for Preference Learning
Georgia Institute of Technology（佐治亚理工学院）；Gauss Labs（Gauss实验室）
针对偏好学习中的查询反馈可靠性问题和池评估计算瓶颈，提出基于互信息最大化的连续空间主动查询合成框架Info-Synth，并扩展出两种有限池查询策略，在合成数据、文本摘要和机器人控制任务上验证了有效性。
2026-05-25 cs.LG
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出一种混合模型偏好学习框架，通过学习潜在偏好原型而非假设单一效用函数，提升多目标优化中异质性人价值结构的适应性，并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
Active Learning in Recommendation Systems with Multi-level User Preferences
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Inc.（亚马逊公司）
虽然推荐系统通常被动地观察用户行为，但人们对直接询问用户以了解其特定偏好的兴趣越来越大。在这样的设置中，考虑不同粒度级别的查询以优化用户信息获取对于有效地提供良好的用户体验至关重要。在这项工作中，我们研究了集体矩阵分解（CMF）框架内的多层次用户偏好的主动学习问题。CMF联合捕获关于项目和项目之间的关系的多级用户偏好（例如，书籍类型、烹饪类型），通常导致改进的预测。基于CMF模型的有限样本分析，提出了一种基于Fisher信息矩阵的理论上最优的主动学习策略，并利用该策略推导出了一种可实现的近似算法，用于实际推荐。实验直接使用Yelp数据集和说明性的合成数据集在个性化主动学习，冷启动建议和噪声数据的三个设置-展示了几个广泛使用的主动学习方法的强大改进。
2018-11-30 cs.LG stat.ML
ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）；Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）
ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。
2026-05-14 cs.AI cs.LG
Is Active Persona Inference Necessary for Aligning Small Models to Personal Preferences?
Boston University（波士顿大学）；MIT（麻省理工学院）；Monash University Indonesia（墨尔本大学印度尼西亚分校）
本文构建基于名人公开偏好的合成个性化对齐数据集，评估1–8B微调模型，发现高质量主动偏好推断前缀可提升泛化、上下文忠实性并减少偏见。
2025-09-29 cs.AI cs.CL cs.LG
The Complexity of Learning Acyclic Conditional Preference Networks
Umm Al-Qura University（乌姆·古拉大学）；University of Regina（里贾纳大学）
以条件偏好网络（CP-nets）为代表的用户偏好学习已经成为人工智能研究的核心问题。最近的研究调查学习CP-网从随机选择的例子或成员和等价查询。为了评估学习算法的最优性以及更好地理解CP网类的组合结构，计算某些学习理论信息复杂度参数是有帮助的。本文主要关注从所谓的交换示例中学习的常见案例，交换示例表示只有一个属性不同的对象之间的偏好。它提出了一些研究的信息复杂性参数，即VC维，教学维，递归教学维，类无环CP-网的界限或确切值。我们还提供了算法，学习树结构和一般的非循环CP-网的成员查询。使用我们的结果的复杂性参数，我们评估我们的算法的最优性，以及在文献中提出的非循环CP-网的另一种查询学习算法。我们的算法是接近最优的，并可以在一定的假设下，适应的情况下，当成员预言是错误的。
2019-02-05 cs.AI cs.LG
APReL: A Library for Active Preference-based Reward Learning Algorithms
Stanford University（斯坦福大学）
奖励学习是人机交互中的一个基本问题，让机器人按照人类用户的需求进行操作。许多基于偏好的学习算法和主动查询技术被提出来作为这个问题的解决方案。在本文中，我们提出了APReL，一个基于主动偏好的奖励学习算法库，它使研究人员和从业者能够实验现有的技术，并很容易地开发自己的算法的各个模块的问题。APReL可在https://github.com/Stanford-ILIAD/APReL上获得。
2022-01-04 cs.AI cs.LG cs.RO
Hybrid-MST: A Hybrid Active Sampling Strategy for Pairwise Preference Aggregation
University of Nantes（南特大学）；University of Cambridge（剑桥大学）；Tencent Games（腾讯游戏）
在本文中，我们提出了一种混合主动抽样策略的成对偏好聚合，其目的是恢复潜在的评级的测试候选人从稀疏和嘈杂的成对标签。该方法采用贝叶斯优化框架和Bradley-Terry模型来构造效用函数，进而求出每一对的期望信息增益。为了提高计算效率，采用高斯-厄米求积法估计EIG。在这项工作中，提出了一种混合主动采样策略，无论是使用全球最大（GM）EIG采样或最小生成树（MST）采样，在每次试验中，这是由测试预算。所提出的方法已在模拟和真实世界的数据集上得到验证，其中它显示出比最先进的方法更高的偏好聚合能力。
2018-10-20 cs.LG stat.ML
Bayesian Active Learning for Classification and Preference Learning
University of Cambridge（剑桥大学）
信息论主动学习在概率模型中得到了广泛的研究。对于简单回归，最优近视策略是容易处理的。然而，对于其他任务和更复杂的模型，如非参数模型的分类，最佳解决方案更难计算。目前的方法是通过近似来实现易处理性。我们提出了一种方法，表示信息增益的预测熵，并将此方法应用于高斯过程分类器（GPC）。我们的方法使最小的近似，充分的信息理论的目标。我们的实验性能媲美许多流行的主动学习算法，并具有相同或更低的计算复杂度。我们比较好的决策理论的方法，这是更多的信息，需要更多的计算时间。其次，通过将二进制偏好学习问题转化为分类问题，将算法扩展到高斯过程偏好学习问题。
2011-12-24 cs.LG stat.ML
On the Pros and Cons of Active Learning for Moral Preference Elicitation
Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Oxford（牛津大学）
本文探讨了主动学习在道德偏好获取中的局限性，指出其依赖偏好稳定、假设类合适和噪声有限等假设，通过模拟发现违反假设时主动学习性能可能下降，但在条件较好时仍可行，建议谨慎使用。
2024-07-26 cs.CY cs.HC cs.LG
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Department of Computer Science, National University of Singapore（国立新加坡大学计算机科学系）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, MIT, USA（MIT计算机科学与人工智能实验室）
针对非线性潜在奖励下的人类偏好反馈收集问题，提出基于神经上下文对决赌博机的Neural-ADB算法，理论证明其策略次优差距以次线性速率下降，并在实验中验证了有效性。
2025-07-16 cs.LG
AMPO: Active Multi-Preference Optimization for Self-play Preference Selection
Microsoft（微软）
针对自博弈对齐中候选响应过多、难以全部用于多偏好优化的问题，本文提出AMPO，通过评分、嵌入与主动子集选择实现组对比训练，并在AlpacaEval上取得SOTA结果。
2025-06-08 cs.AI cs.CL cs.LG
Batch Active Preference-Based Learning of Reward Functions
Stanford University（斯坦福大学）
数据生成和标记通常是机器人学习的昂贵部分。虽然主动学习方法通常用于解决前一个问题，但基于偏好的学习是一个试图通过向用户询问偏好问题来解决后者的概念。在本文中，我们将开发一种新的算法，批量主动基于偏好的学习，它可以使用尽可能少的数据样本有效地学习奖励函数，同时仍然具有较短的查询生成时间。我们介绍了几个近似的批量主动学习问题，并提供理论保证，我们的算法的收敛性。最后，我们提出了我们的实验结果，在模拟各种机器人任务。我们的研究结果表明，我们的批处理主动学习算法只需要几个查询，在很短的时间内计算。然后，我们在一项研究中展示了我们的算法，以学习人类用户的偏好。
2018-10-10 cs.AI cs.LG cs.RO
APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来执行自动文档摘要，而不使用参考摘要。相反，我们的方法交互式地从用户的偏好中学习。基于偏好的交互式摘要的优点在于，偏好比参考摘要更容易为用户提供。现有的基于偏好的交互式学习方法存在样本复杂度高的问题，即它们需要与预言机进行多轮交互才能收敛。在这项工作中，我们提出了一个新的目标函数，它使我们能够利用主动学习，偏好学习和强化学习技术，以减少样本的复杂性。模拟和真实用户实验表明，我们的方法显着推进的最先进的。我们的源代码是免费提供的https://github.com/UKPLab/emnlp2018-april。
2018-08-29 cs.AI cs.CL cs.LG
MAPLE: A Framework for Active Preference Learning Guided by Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对偏好学习计算负担重、缺乏可解释性等问题，提出LLM引导的贝叶斯主动偏好学习框架MAPLE，结合自然语言与传统反馈建模并优化查询选择，显著提升了样本效率与人类回答能力。
2024-12-20 cs.AI cs.CL cs.LG
Preference-centric Bandits: Optimality of Mixtures and Regret-efficient Algorithms
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Imperial College London（伦敦帝国学院）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Google Research India（谷歌印度研究院）
本文提出以偏好度量（PM）为中心的老虎机框架，其最佳策略为混合多臂而非单臂，并设计了含估计与跟踪机制的后悔高效算法。
2025-04-30 cs.LG stat.ML
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California（南加州大学）
本文提出PreferenceEKF方法，通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理，在D4RL等基准上较其他贝叶斯深度学习方法更优，助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Active Preference Learning using Maximum Regret
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
我们研究主动偏好学习的框架直观地指定自主机器人的行为。在主动偏好学习中，用户从一组备选方案中选择首选行为，机器人从中学习用户的偏好，建模为参数化成本函数。以前的方法为用户提供了最小化成本函数参数不确定性的替代方案。然而，不同的参数可能导致相同的最优行为;因此，解空间比参数空间更有结构性。我们利用这一点，提出了一个查询选择，greetly降低了最大错误率的解决方案空间。在模拟中，我们证明了所提出的方法优于其他国家的最先进的技术，在学习效率和方便用户查询。最后，我们证明了基于解决方案的相似性而不是权重的相似性来评估学习可以更好地预测不同的场景。
2020-09-28 cs.AI cs.LG cs.RO
ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning
University of Freiburg（弗赖堡大学）
提出ActiveUltraFeedback主动学习流水线，通过不确定性估计和两种新采样方法（DRTS和DeltaUCB）动态选择最具信息量的响应对，以最少六分之一的标注数据实现与静态基线相当或更优的下游性能。
2026-06-01 cs.AI cs.CL cs.LG
Active Preference Learning for Ordering Items In- and Out-of-sample
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Sleep Cycle AB（Sleep Cycle公司）
本文研究带上下文属性物品的样本内外主动偏好排序，提出基于 logistic 模型误差界并融合偶然与认知不确定性的采样策略，实验证明其样本效率和泛化优于基线。
2024-10-27 cs.LG stat.ML
Batch Active Learning of Reward Functions from Human Preferences
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
本文提出基于行列式点过程和启发式策略的批量主动偏好学习方法，在保持并行化和短查询生成时间的同时，用少量偏好查询高效学习奖励函数，并在仿真机器人任务和人类用户偏好学习中验证了有效性。
2024-02-24 cs.AI cs.LG cs.RO
Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；Gladstone Institutes（格拉德斯通研究所）
本文提出一种基于夏普比率的主动学习方法，通过梯度评估高效选择偏好数据，以降低RLHF中偏好标注成本，并在多个模型和数据集上将胜率提升最多5%。
2025-03-28 cs.AI cs.LG
Active Learning for Matching Problems
University of Toronto（多伦多大学）
有效地学习用户偏好对于减轻用户在各种类型的匹配问题中的负担至关重要。同样重要的是主动查询选择，以进一步减少用户必须提供的偏好信息量。我们解决的问题，主动学习的用户偏好的匹配问题，引入一种新的方法来确定概率匹配，并开发了几个新的主动学习策略，是敏感的特定的匹配目标。在不同领域的真实数据集上的实验表明，匹配敏感的主动学习
2012-06-18 cs.AI cs.IR cs.LG
Deep Bayesian Active Learning for Preference Modeling in Large Language Models
University of Oxford（牛津大学）
针对大语言模型偏好标注成本高的问题，提出新型贝叶斯主动学习策略BAL-PM，通过兼顾高不确定性样本与提示分布熵减少冗余采集，实验显示其所需标签量较现有方法降低33%-68%。
2024-10-28 cs.CL cs.LG stat.ML
Sample Efficient Preference Alignment in LLMs via Active Exploration
TensorZero；Stanford（斯坦福大学）；CMU（卡内基梅隆大学）；Cornell（康奈尔大学）；UCL（伦敦大学学院）；USC（南加州大学）
针对大语言模型偏好对齐中人类反馈获取成本高的问题，将场景形式化为主动上下文对决式老虎机问题，提出带多项式最坏遗憾界的主动探索算法及在线、离线扩展，在有限偏好样本下性能优于基线。
2025-03-20 cs.AI cs.LG stat.ML
Active Algorithms For Preference Learning Problems with Multiple Populations
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Walmart Labs（沃尔玛实验室）
在本文中，我们将人口的学习偏好问题建模为一个主动学习问题。我们提出了一种算法，可以自适应地选择项目对显示给来自异质人口的用户，并使用获得的奖励来决定哪对项目下一个显示。我们提供了计算效率高的算法与可证明的样本复杂性保证这个问题在无噪声和噪声的情况下。在为我们的算法建立样本复杂度保证的过程中，我们使用Nystr{<$} m类方法建立了新的结果，该方法可以是独立的。我们补充我们的理论结果与实验比较。
2016-06-22 cs.AI cs.LG stat.ML
Multi-Objective Bayesian Optimization with Active Preference Learning
Nagoya Institute of Technology（名古屋工业大学）；RIKEN AIP（理化学研究所人工智能项目）；Nagoya University（名古屋大学）
针对多目标优化中识别整个Pareto前沿成本过高的问题，提出一种贝叶斯优化方法，通过成对偏好和改进请求交互式估计决策者偏好，并结合主动学习策略以最小化交互成本，从而高效识别最受偏好的解。
2023-11-22 cs.LG stat.ML
Active Preference Inference using Language Models and Probabilistic Reasoning
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
本文提出一种推理时算法，利用概率模型和熵优化，使LLM通过提出更信息量的问题来高效推断用户偏好，在交互式购物中减少交互次数并提升任务性能。
2024-06-26 cs.AI cs.CL cs.LG
Active Preference Learning for Large Language Models
University College London（伦敦大学学院）；Centre for Artificial Intelligence（人工智能中心）
本文针对DPO提出一种基于预测熵与隐式偏好模型确定性的主动学习采集函数，以更高效利用偏好标签，提升大语言模型微调的学习速率与最终性能。
2024-06-28 cs.AI cs.CL cs.LG
Just Sort It! A Simple and Effective Approach to Active Preference Learning
EPFL（洛桑联邦理工学院）
我们解决的问题，学习排名使用自适应选择成对比较。我们的目标是准确地恢复排名，但要谨慎地进行比较。如果所有的比较结果都与排名一致，最佳解决方案是使用高效的排序算法，如快速排序。但如果某些比较结果与排名不一致，排序算法会如何表现呢？我们提供了有利的保证快速排序流行的布拉德利-特里模型，自然的假设下的参数。此外，我们的经验表明，排序算法导致一个非常简单和有效的主动学习策略：重复排序的项目。这种策略的性能与最先进的方法一样好（并且比随机采样好得多），计算成本很小。
2017-06-15 cs.LG stat.ML
Optimal Design for Active Preference Learning with Biased LLM Judges
Beihang University（北京航空航天大学）；Zhongguancun Academy（中关村学院）；Hangzhou Innovation Institute of Beihang University（北京航空航天大学杭州创新研究院）
针对有偏LLM评判者的主动偏好学习，提出扰动调整最优设计（NAOD），通过优先选择策略相关信息并利用Frank-Wolfe优化，在理论上达到极小极大下界，实验中将代理策略遗憾降低29.1%。
2026-10-01 cs.AI cs.LG
Active Preference Optimization for Sample Efficient RLHF
Indian Institute of Science（印度科学研究院）；University of Maryland（马里兰大学）；Boston University（波士顿大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
针对 RLHF 中人类偏好数据昂贵的问题，论文将其建模为上下文偏好老虎机，提出主动收集最不确定上下文偏好的 APO，并证明其次优差距接近理论下界。
2025-06-07 cs.AI cs.CL cs.LG
Active Learning for Direct Preference Optimization
Adobe Research（奥多比研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对直接偏好优化（DPO）中反馈选择不充分的问题，提出一个适用于在线和离线场景的主动学习框架，通过线性化 DPO 目标并计算 D-最优设计来高效收集最具信息量的偏好反馈，并从理论和实验上验证了其有效性。
2025-03-03 cs.LG stat.ML
Cieran: Designing Sequential Colormaps via In-Situ Active Preference Learning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出 Cieran 工具，在 Jupyter Notebooks 中结合主动偏好学习与 CIELAB 路径规划，帮助非色彩专家根据数据上下文排序并生成高质量顺序色图。
2024-02-29 cs.GR cs.HC cs.LG
Regret Bounds and Regimes of Optimality for User-User and Item-Item Collaborative Filtering
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
我们考虑一个在线推荐系统模型，每个用户在每个时间步被推荐一个项目，并提供“喜欢”或“不喜欢”的反馈。每个用户最多可以被推荐给定项目一次。隐变量模型指定用户偏好：用户和项目都被聚类到类型中。给定类型的所有用户对项目具有相同的偏好，并且类似地，给定类型的项目被给定用户全部喜欢或全部不喜欢。我们假设每个用户类型对每个项目类型的偏好编码矩阵是随机生成的;这样，模型就可以捕获项目和用户空间中的结构，结构的数量取决于每个类型的数量。推荐系统的性能度量是每个用户不喜欢的推荐的预期数量，定义为预期后悔。我们提出了两个算法的启发用户-用户和项目-项目协同过滤（CF），修改明确提出探索性建议，并证明其预期的遗憾方面的性能保证。对于两个政权的模型参数，结构只在项目空间或只在用户空间，我们证明信息理论的下限遗憾，我们的上限匹配对数因子。我们的分析阐明了现有的CF算法接近最优的系统运行机制。
2019-05-07 cs.IT cs.LG math.IT
Actively Learning Hemimetrics with Applications to Eliciting User Preferences
ETH Zurich（苏黎世联邦理工学院）
出于引发用户偏好的应用的动机，我们研究了学习半度量的问题，即，满足三角不等式和非负约束的一组$n$项之间的成对距离。在我们的应用程序中，（不对称）距离量化了用户在用一个项目替换另一个项目时所产生的私人成本。我们的目标是通过询问用户是否愿意为给定的激励优惠从一个项目切换到另一个项目来了解这些距离（成本）。在不利用半度量多面体的结构约束的情况下，学习每对项目之间的距离需要$Θ(n^2)$查询。我们提出了一个主动学习算法，大大降低了这个样本的复杂性，利用半度量的版本空间上的结构约束。我们提出的算法实现了可证明的最佳样本复杂性的各种情况下的任务。例如，当项目被嵌入到$K$紧簇中时，我们的算法的样本复杂度降低到$O(n K)$。在一个餐馆推荐数据集上的大量实验支持了我们的理论分析结论。
2016-05-27 cs.LG stat.ML
Experience in Engineering Complex Systems: Active Preference Learning with Multiple Outcomes and Certainty Levels
Consiglio Nazionale delle Ricerche（意大利国家研究委员会）；Istituto di Sistemi e Tecnologie Industriali per il Manifatturiero Avanzato（先进制造工业系统与技术研究所）；Scuola Universitaria Professionale della Svizzera Italiana（瑞士意大利语区应用科学大学）；Università della Svizzera Italiana（瑞士意大利语区大学）；Istituto Dalle Molle di studi sull’Intelligenza Artificiale（达勒莫勒人工智能研究所）；University of Bologna（博洛尼亚大学）
黑箱优化是指目标函数和/或约束集未知、不可访问或不存在的优化问题。在许多应用中，特别是在人类参与的情况下，访问优化问题的唯一方法是通过执行物理实验，其中可用的结果是一个候选人相对于一个或多个其他候选人的偏好。因此，所谓的主动偏好学习的算法已经开发出利用这一特定的信息，在构建一个代理函数的基础上标准的径向基函数，然后形成一个易于解决的采集功能，重复建议新的决策向量搜索的最佳解决方案。基于这一思想，我们的方法旨在以这样一种方式扩展算法，即可以有效地利用进一步的信息，这些信息可以在现实中获得，例如：偏好查询结果的5点李克特类型量表（即，偏好不仅可以在“这比那好”而且还可以在“这比那好得多”的级别中描述），或者对于单个偏好查询的多个结果，具有关于结果有多确定的可能的附加信息。该算法的验证是通过一些标准的基准测试函数，显示出一个有前途的改进相对于国家的最先进的算法。
2023-02-27 cs.LG math.OC
Active preference learning based on radial basis functions
IMT School for Advanced Studies Lucca（卢卡高等研究院）；Dalle Molle Institute for Artificial Intelligence - USI/SUPSI（达勒·莫勒人工智能研究所）
本文提出了一种求解优化问题的方法，其中决策者不能评估目标函数，而只能表示一个偏好，如“这是比那更好”之间的两个候选决策向量。本文所描述的算法的目的是通过迭代地向决策者提出一个新的比较来达到全局优化，该比较是基于主动学习过去采样的决策向量和成对偏好的潜在（未知且可能无法量化）目标函数的代理。代理人是适合通过径向基函数，满足的约束下，如果可能的话，由决策者对现有的样本表示的偏好。代理被用来提出一个新的样本的决策向量进行比较，与当前最好的候选人基于两个可能的标准：最小化的组合的代理和一个反加权距离函数之间的平衡开发的代理和探索的决策空间，或最大化的函数相关的概率，新的候选人将是首选。与基于贝叶斯优化的主动偏好学习相比，我们证明了我们的方法的优越性，因为在相同数量的比较中，它更接近全局最优值，并且计算量更小。论文中描述的算法的MATLAB和Python实现可在http://cse.lab.imtlucca.it/~bemporad/idwgopt上获得。
2019-09-28 cs.LG math.OC stat.ML
Active Causal Experimentalist (ACE): Learning Intervention Strategies via Direct Preference Optimization
University of Colorado Boulder（科罗拉多大学波德分校）
提出ACE框架，将实验设计建模为顺序策略，利用直接偏好优化从干预对比较中学习，在合成、物理和经济数据上以等干预预算取得70-71%的提升，并自主发现碰撞机制需集中干预父变量的理论策略。
2026-06-23 cs.AI cs.LG
Submodularity in Batch Active Learning and Survey Problems on Gaussian Random Fields
Carnegie Mellon University（卡内基梅隆大学）
许多真实世界的数据集可以以图的形式表示，其边权重指定实例之间的相似性。离散高斯随机场（GRF）模型是一个有限维高斯过程（GP），其先验协方差是图拉普拉斯算子的逆。最小化GRF上的预测协方差Sigma（V-最优性）的迹已被证明在具有预算约束的批量主动学习分类问题中是成功的。然而，它的最坏情况界限一直缺失。我们表明，作为批量查询集的函数的GRF上的V-最优性是次模的，因此其贪婪选择算法保证了（1-1/e）的近似比。此外，GRF模型具有抑制子缺失（AofS）条件。对于主动调查问题，我们提出了一个类似的调查标准，最小化1 '（西格玛）1。在实践中，V-最优性准则比具有互信息增益准则的GP执行得更好，并且允许不同节点的非均匀代价。
2012-09-17 cs.AI cs.DS cs.LG
ROIAL: Region of Interest Active Learning for Characterizing Exoskeleton Gait Preference Landscapes
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
表征什么类型的外骨骼步态对于用户来说是舒适的，并且更一般地理解行走的科学，需要恢复用户的效用景观。学习这些景观是具有挑战性的，因为步行轨迹是由许多步态参数定义的，从人体试验中收集数据汇集是昂贵的，并且必须确保用户的安全性和舒适性。这项工作提出了区域的兴趣主动学习（ROIAL）框架，积极学习每个用户的潜在效用函数的兴趣区域，确保安全和舒适。ROIAL从序数和偏好反馈中学习，这是比绝对数字分数更可靠的反馈机制。该算法的性能进行评估，在模拟和实验三个非残疾人的主体内行走的下半身外骨骼。ROIAL学习贝叶斯后验，其预测每个外骨骼用户跨四个外骨骼步态参数的效用景观。该算法发现了用户步态偏好的共性和差异，并确定了最影响用户反馈的步态参数。这些结果证明了从有限的人体试验中恢复步态效用景观的可行性。
2021-03-30 cs.HC cs.LG cs.RO
Amortized Active Generation of Pareto Sets
CSIRO’s Data61（CSIRO的数据61研究所）；University of New South Wales（新南威尔士大学）；Australian National University（澳大利亚国立大学）
A-GPS通过均摊生成模型实现高效多目标优化，主动生成帕累托集并灵活捕捉用户偏好。
2025-12-17 cs.LG stat.ML
Active Reward Learning from Online Preferences
Stanford University（斯坦福大学）
机器人策略需要适应人类偏好和/或新环境。人类专家可能拥有帮助机器人实现这种适应所需的领域知识。然而，现有的工作通常需要对人类反馈进行昂贵的离线重新训练，并且这些反馈通常需要频繁且过于复杂，以至于人类无法可靠地提供。为了避免给人类专家带来不必要的负担，并允许在关键的现实情况下快速适应，我们建议设计并以在线方式谨慎地呈现易于回答的成对动作偏好查询。我们的方法设计查询，并确定何时提出它们，以最大限度地提高预期值来自查询的信息。我们证明了我们的方法与模拟实验，人类用户的研究，和真正的机器人实验。在这些设置中，我们的方法优于基线技术，同时向人类专家提出更少的查询。实验视频、代码和附录可以在https://sites.google.com/view/onlineactivepreferences上找到。
2023-02-27 cs.AI cs.LG cs.RO
Quantification before Selection: Active Dynamics Preference for Robust Reinforcement Learning
Academy for Engineer & Technology（工程技术学院）；Fudan University（复旦大学）；Ji Hua Laboratory（季华实验室）
针对 Domain Randomization 训练的策略过于保守的问题，提出 Active Dynamics Preference (ADP) 方法，通过量化并主动选择高信息量、低密度的系统参数来稳定训练，显著提升了策略在四个机器人运动任务中对系统不一致性的鲁棒性。
2023-05-20 cs.LG cs.RO
Active Preference-Based Gaussian Process Regression for Reward Learning
Stanford University（斯坦福大学）；École Polytechnique（巴黎综合理工学院）
设计奖励函数是人工智能和机器人技术中的一个具有挑战性的问题。人类通常很难直接指定机器人需要优化的所有理想行为。一种常见的方法是从收集的专家演示中学习奖励函数。然而，从演示中学习奖励函数带来了许多挑战：一些方法需要高度结构化的模型，例如在一些预定义的特征集中是线性的奖励函数，而另一些方法则采用结构化程度较低的奖励函数，另一方面需要大量的数据。此外，人类往往难以在具有高自由度的机器人上提供演示，或者甚至难以量化给定演示的奖励值。为了解决这些挑战，我们提出了一种基于偏好的学习方法，作为替代方案，人类的反馈仅以轨迹之间比较的形式存在。此外，我们不假设奖励函数的高度约束结构。相反，我们使用高斯过程（GP）对奖励函数进行建模，并提出了一种数学公式，仅使用人类偏好来主动找到GP。我们的方法使我们能够在基于偏好的学习框架内解决可扩展性和数据效率低下的问题。我们在模拟和用户研究中的结果表明，我们的方法可以有效地学习机器人任务的表达性奖励函数。
2020-06-03 cs.AI cs.LG cs.RO
PAPA: Online Personalized Active Preference Alignment
Washington University in St. Louis（圣路易斯华盛顿大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出PAPA方法，无需参数化奖励模型，通过实时用户反馈直接优化扩散模型，实现高效的偏好对齐，并基于理论提出加速微调的EPAPA策略。
2026-07-02 cs.AI cs.CV cs.LG
Learning Formal Specifications from Membership and Preference Queries
UC Berkeley（加州大学伯克利分校）；Nissan Advanced Technology Center（日产先进技术中心）；Radboud University（拉德堡德大学）
本文提出一种结合成员标签与成对偏好的主动学习框架，用于从查询中学习形式化规范，并在两个领域验证了其通用性和有效性。
2025-05-22 cs.AI cs.FL cs.LG
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Let Me At Least Learn What You Really Like: Dealing With Noisy Humans When Learning Preferences
学习人类的偏好提高了与人类交互的质量。可用于学习偏好的查询数量可能有限，特别是在与人交互时，因此主动学习是必须的。主动学习的一种方法是使用不确定性采样来决定查询的信息性。在本文中，我们提出了一个修改不确定性采样，使用预期的输出值，以帮助加快学习的偏好。我们比较我们的方法与不确定性抽样基线，以及进行消融研究，以测试我们的方法的每个组成部分的有效性。
2020-02-15 cs.HC cs.LG stat.ML
Preference Elicitation for Multi-objective Combinatorial Optimization with Active Learning and Maximum Likelihood Estimation
Department of Computer Science, KU Leuven（计算机科学系，根特大学）
本文针对多目标组合优化中权重难以预先定义的问题，提出基于Constructive Preference Elicitation框架的改进方法，通过解池加速、最大似然估计学习和主动学习查询选择，在减少用户交互的同时生成更高质量的解。
2025-08-27 cs.AI cs.LG
