SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）
基于偏好的强化学习（RL）已经显示出潜在的教学代理执行目标任务，而无需昂贵的，预定义的奖励函数，通过学习奖励与监督者的偏好之间的两个代理行为。然而，基于偏好的学习通常需要大量的人类反馈，这使得这种方法很难应用于各种应用程序。另一方面，这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发，我们提出了SURF，这是一种半监督奖励学习框架，它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习，我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率，我们引入了一种新的数据增强，从原始行为中临时裁剪连续的连续性。我们的实验表明，我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
The Impact of Preference Agreement in Reinforcement Learning from Human Feedback: A Case Study in Summarization
Google Research（谷歌研究院）
该研究以文本摘要任务为案例，探究人类反馈强化学习中偏好一致性的标注者一致程度对RLHF效果的影响，发现纳入不同一致性偏好可提升奖励模型准确率、改变质量特征并改善下游生成，为合成数据集设计提供参考。
2023-11-02 cs.AI cs.CL cs.HC
Make The Most of Prior Data: A Solution for Interactive Text Summarization with Preference Feedback
Cinnamon AI（肉桂人工智能公司）；Hung Yen University of Technology and Education（兴安技术教育大学）；Deakin University（迪肯大学）
对于摘要，人类偏好对于驯服摘要器的输出以有利于人类利益至关重要，因为地面事实摘要是稀缺且模糊的。实际设置需要人类和人工智能智能体之间的动态交换，其中反馈以在线方式提供，每次几个。在本文中，我们介绍了一个新的框架，训练摘要模型与偏好反馈交互。通过适当地利用离线数据和一种新的奖励模型，我们提高了ROUGE分数和样本效率的性能。我们在三个不同的数据集上的实验证实了所提出的框架在主动，Few-Shot和在线偏好学习设置中的好处。
2022-05-12 cs.AI
Combinatorial Reinforcement Learning with Preference Feedback
Seoul National University, Seoul, Korea（首尔国立大学）
本文针对带MNL偏好反馈的组合强化学习，提出MNL-VQL算法，解决物品价值未知与组合动作空间可处理性问题，并在线性MDP情形下证明其达到近似极小极大最优遗憾。
2025-06-05 cs.LG stat.ML
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题，通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
RLVF: Learning from Verbal Feedback without Overgeneralization
Stanford University（斯坦福大学）
针对大型语言模型仅通过提示引入口头反馈易导致行为过度泛化的问题，提出了C3PO方法，通过生成合成偏好数据集进行约束微调，在有效应用反馈的同时最小化对无关上下文的影响，将过度泛化降低30%。
2024-02-16 cs.AI cs.CL cs.LG
DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback
Harvard University（哈佛大学）；Texas A&M University（德克萨斯大学）；Stony Brook University（石溪大学）
本文针对 restless bandits 中奖励函数难以指定的问题，提出 Pref-RMAB 模型和 DOPL 算法，通过在线收集并直接利用成对偏好反馈进行决策，首次实现次线性遗憾并验证其有效性。
2025-07-16 cs.LG math.OC stat.ML
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）；Texas A&M University（德克萨斯农工大学）
本文提出一种基于分布鲁棒优化的自适应偏好损失方法，通过为不同偏好对分配自适应缩放参数提升奖励函数灵活性，并兼容DPO等框架，实验证明其能提高策略性能并简化超参调整。
2024-06-04 cs.AI cs.LG
Contrastive Preference Learning: Learning from Human Feedback without RL
Stanford University（斯坦福大学）；UT Austin（德克萨斯大学奥斯汀分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）
本文提出对比偏好学习（CPL），基于遗憾偏好模型和最大熵原理，无需学习奖励函数或强化学习即可从人类反馈中学习最优策略，可扩展至高维序列化RLHF问题。
2024-04-30 cs.AI cs.LG
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University（首尔大学）
本文提出列表式奖励估计LiRE，通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习，并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
Conformal Feedback Alignment: Quantifying Answer-Level Reliability for Robust LLM Alignment
Arizona State University（亚利桑那州立大学）
Conformal Feedback Alignment通过量化答案级可靠性提升大语言模型对齐的鲁棒性和数据效率。
2026-01-24 cs.AI cs.LG
Stackelberg Learning from Human Feedback: Preference Optimization as a Sequential Game
ETH Zürich（苏黎世联邦理工学院）
SLHF通过连续博弈框架实现偏好优化，优于RLHF和NLHF，在一致性、数据敏感性和鲁棒性方面具有优势，并在大规模语言模型中展示出强对齐能力。
2025-12-18 cs.AI cs.GT cs.LG
Extragradient Preference Optimization (EGPO): Beyond Last-Iterate Convergence for Nash Learning from Human Feedback
University of Washington（华盛顿大学）
针对非传递性人类偏好，提出外梯度偏好优化（EGPO）算法，实现纳什均衡的快速收敛，并在实验中优于基线方法，用于语言模型对齐。
2025-07-09 cs.LG
Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning
University of Washington（华盛顿大学）
针对传统RLHF无法适配个体偏好差异的问题，提出基于潜变量的多模态RLHF方法，无需额外用户数据即可学习个性化奖励与策略，在模拟控制和多元语言任务上验证了效果。
2024-08-19 cs.AI cs.CL cs.LG
When More Objectives Make Identification Easier: The Role of Preferences and Feedback
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）
本文研究多目标最佳臂识别问题，通过理论分析揭示多目标可减少样本量的三种现象，并提出Order-Aware Track-and-Stop算法，其性能渐近匹配理论下界。
2026-10-14 cs.AI cs.LG
Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
提出RAPL框架，通过偏好反馈微调视觉编码器并在对齐表征空间构造稠密奖励，从而以少5倍的人类数据高效对齐视觉运动机器人策略。
2024-12-06 cs.AI cs.CV cs.LG
T-POP: Test-Time Personalization with Online Preference Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；East China Normal University（华东师范大学）；Shenzhen Loop Area Institute（深圳河套学院）；Tianjin University（天津大学）；The Chinese University of Hong Kong（香港中文大学）；Beihang University（北京航空航天大学）；City University of Hong Kong（香港城市大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））
针对新用户冷启动问题，提出T-POP算法，通过在线成对偏好反馈和决斗式强盗机制，在不更新模型参数的情况下实时学习用户偏好并引导解码过程，实现快速数据高效的个性化。
2026-05-30 cs.AI cs.LG
VickreyFeedback: Cost-efficient Data Construction for Reinforcement Learning from Human Feedback
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京智源人工智能研究院）；Allianz Global Investors Japan Co., Ltd.（安联全球投资者日本有限公司）
针对RLHF偏好标注成本高、现有微调算法难捕捉复杂偏好导致成本效率低的问题，提出将LLM微调视为货币化经济并引入拍卖机制的VickreyFeedback方法，在保障模型性能的同时有效提升了RLHF的成本效率。
2024-12-12 cs.AI cs.CL cs.GT
Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
针对决斗式多臂老虎机在人类反馈稀疏时效率低、现有依赖参数化奖励模型易错误设定的问题，提出基于反馈增强的无模型改进框架，引入增强置信界整合反馈并分析权衡，原型算法在多IPE基准上表现优异。
2025-11-12 cs.LG
Skill Preferences: Learning to Extract and Execute Robotic Skills from Human Feedback
University of California, Berkeley（加州大学伯克利分校）；Covariant
解决具有挑战性的长期任务的一种有前途的方法是通过将生成模型拟合到大型离线演示数据集来提取行为先验（技能）。然而，这种生成模型继承了基础数据的偏差，并在不完美的演示数据上训练时导致较差和不可用的技能。为了更好地将技能提取与人类意图结合起来，我们提出了技能偏好（SkiP），这是一种学习人类偏好模型并使用它从离线数据中提取与人类一致的技能的算法。在提取人类偏好的技能后，SkiP还利用人类反馈来解决RL的下游任务。我们表明，SkiP使模拟厨房机器人能够解决复杂的多步操作任务，并大大优于先前领先的RL算法与人类的喜好，以及领先的技能提取算法没有人类的喜好。
2021-08-11 cs.LG cs.RO
Neural Dueling Bandits: Preference-Based Optimization with Human Feedback
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工学院研究与技术联盟）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
针对现有情境对决老虎机算法假设奖励函数线性的局限，提出基于神经网络估计非线性奖励函数的上置信界和汤普森采样算法，实现次线性遗憾并扩展到二元反馈情境，实验验证有效性。
2025-04-16 cs.AI cs.LG stat.ML
Crowd-PrefRL: Preference-Based Reward Learning from Crowds
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本研究提出Crowd-PrefRL框架，结合基于偏好的强化学习与无监督众包技术，利用未知可靠性的人群反馈训练智能体，性能优于多数投票及单用户方法，还能识别少数派观点。
2025-03-20 cs.HC cs.LG cs.SI
Online Iterative Reinforcement Learning from Human Feedback with General Preference Model
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce AI Research（Salesforce AI研究院）
研究一般偏好预言机下的人类反馈强化学习，提出基于反向KL正则化极小极大博弈的框架及样本高效的离线与在线学习算法，实证验证了其有效性。
2024-11-12 cs.LG stat.ML
Multi-turn Reinforcement Learning from Preference Human Feedback
Google（谷歌）
针对现有RLHF在单轮决策层面模拟偏好、难以应对多轮交互长期目标的局限，提出基于多轮对话偏好反馈的新型RL方法，在表格设置中提出镜像下降策略优化算法并证明其收敛于纳什均衡，在教育对话环境中优于RLHF基线，且在明确奖励环境中能恢复与奖励基RL相同性能。
2024-12-02 cs.LG
Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback
K. N. Toosi University of Technology（K. N. Toosi大学）；Amirkabir University of Technology（阿美尔卡比尔技术大学）；The University of Tokyo（东京大学）
TriTrust-PBRL通过多专家反馈联合学习奖励模型和信任参数，实现对抗性偏好下的鲁棒偏好强化学习。
2026-10-09 cs.AI cs.LG
Reducing Oracle Feedback with Vision-Language Embeddings for Preference-Based RL
AWS AI Labs（AWS AI实验室）
本文提出ROVED框架，结合视觉语言嵌入与针对性Oracle反馈，通过过滤机制减少不确定性样本的Oracle查询，提升鲁棒性与效率，实验证明在机器人任务中显著降低Oracle调用次数。
2026-03-30 cs.LG
SpeechJudge: Towards Human-Level Judgment for Speech Naturalness
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
SpeechJudge通过构建大规模人类反馈数据集和生成奖励模型，提升语音自然度判断的准确性，显著优于现有方法。
2025-11-30 cs.AI cs.CL cs.SD
Learning User Preferences via Reinforcement Learning with Spatial Interface Valuing
School of Computing and Information Science（计算与信息科学学院）；Florida International University（佛罗里达国际大学）
交互式机器学习关注的是创建与人类一起在环境中运行以完成任务的系统。一个典型的用途是以认知或物理方式扩展或放大人类的能力，要求机器适应用户的意图和偏好。通常，这采取人类操作员向用户提供某种类型的反馈的形式，该反馈可以是显式反馈、隐式反馈或两者的组合。明确的反馈，如通过鼠标点击，带来了很高的认知负荷。本研究的重点是扩展交互式机器学习的最新技术水平，通过证明代理可以学习人类用户的行为，并适应偏好，减少明确的人类反馈的混合反馈设置。学习代理从经由空间接口给出的手势感知其自身行为的值。这种反馈机制被称为空间界面价值。该方法是在模拟环境中的抓取任务，使用机械臂与可变的抓地力设置实验评估。初步结果表明，使用空间接口赋值的学习代理可以更快地学习一个价值函数映射空间姿态到预期的未来奖励相比，那些相同的代理只是接收明确的反馈，表明代理感知反馈从人类用户通过空间接口可以作为一个有效的补充，现有的方法。
2019-02-02 cs.AI cs.HC cs.LG
Aligning Crowd Feedback via Distributional Preference Reward Modeling
本文提出分布偏好奖励模型（DPRM），通过分类分布刻画多样化偏好，结合贝叶斯更新器适应偏好变化，并采用基于最优传输的损失函数进行校准，从而显著提升LLM与群体偏好的对齐效果。
2024-05-30 cs.AI
Sample Efficient Preference Alignment in LLMs via Active Exploration
TensorZero；Stanford（斯坦福大学）；CMU（卡内基梅隆大学）；Cornell（康奈尔大学）；UCL（伦敦大学学院）；USC（南加州大学）
针对大语言模型偏好对齐中人类反馈获取成本高的问题，将场景形式化为主动上下文对决式老虎机问题，提出带多项式最坏遗憾界的主动探索算法及在线、离线扩展，在有限偏好样本下性能优于基线。
2025-03-20 cs.AI cs.LG stat.ML
Tell me why: Training preferences-based RL with human preferences and step-level explanations
Ulm University（乌尔姆大学）；Institute of Artificial Intelligence（人工智能研究所）
针对PbRL反馈表达不足的问题，提出结合轨迹偏好与步骤级事实解释的偏好强化学习方法，并通过模拟人类预言机验证其可加快学习。
2024-08-05 cs.AI cs.HC cs.LG
Bandits with Preference Feedback: A Stackelberg Game Perspective
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
本文提出MAXMINLCB算法，通过Stackelberg博弈框架解决无限域和非线性奖励下的多臂问题，实现最优后悔保证和优越性能。
2025-12-18 cs.AI cs.GT cs.LG
Active Learning for Direct Preference Optimization
Adobe Research（奥多比研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对直接偏好优化（DPO）中反馈选择不充分的问题，提出一个适用于在线和离线场景的主动学习框架，通过线性化 DPO 目标并计算 D-最优设计来高效收集最具信息量的偏好反馈，并从理论和实验上验证了其有效性。
2025-03-03 cs.LG stat.ML
VARP: Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences
University of Maryland（马里兰大学）；University of Central Florida（中佛罗里达大学）
针对机器人连续控制中奖励设计偏差与VLM偏好标注不准的问题，提出VARP方法，通过轨迹叠加提升VLM偏好准确率，结合智能体性能正则化奖励学习，显著提升任务成功率与回合回报。
2025-03-18 cs.AI cs.HC cs.LG
Fine-Tuning Text-to-Speech Diffusion Models Using Reinforcement Learning with Human Feedback
Department of Linguistics（语言学系）；Department of Computer Science and Engineering（计算机科学与工程系）
提出DLPO框架，将原始训练损失融入奖励函数，利用人类反馈优化扩散TTS模型，在WaveGrad 2上显著提升语音质量与效率。
2025-08-05 cs.AI cs.SD eess.AS
Eliciting User Preferences for Personalized Multi-Objective Decision Making through Comparative Feedback
TTIC（丰田技术研究所）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文提出一种多目标决策框架，通过策略比较或代表性轨迹比较学习用户偏好向量，并以少量比较查询高效计算个性化近最优策略。
2023-11-01 cs.LG
Preference-Based Monte Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）
蒙特卡罗树搜索（MCTS）是求解序列任意时刻问题的常用算法.然而，它取决于数字反馈信号，这可能很难定义。实时MCTS是一种变体，它可能很少遇到具有明确外在奖励的状态。为了处理这种情况，实验者必须以启发式的形式提供额外的数字反馈信号，这在本质上指导代理。最近的研究表明，在不同的领域，基本结构是有序的，而不是数字的。因此，错误和有偏见的解释是不可避免的，特别是在这些领域。在本文中，我们提出了一个MCTS的变种，它只依赖于定性反馈，因此开辟了新的应用MCTS。我们还发现，将绝对的序数反馈可能是有益的迹象。使用谜题域，我们表明我们基于偏好的MCTS变体（仅接收定性反馈）能够达到与获得定量反馈的常规MCTS基线相当的性能水平。
2018-07-17 cs.AI
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Department of Computer Science, National University of Singapore（国立新加坡大学计算机科学系）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, MIT, USA（MIT计算机科学与人工智能实验室）
针对非线性潜在奖励下的人类偏好反馈收集问题，提出基于神经上下文对决赌博机的Neural-ADB算法，理论证明其策略次优差距以次线性速率下降，并在实验中验证了有效性。
2025-07-16 cs.LG
Exploiting Unlabeled Data for Feedback Efficient Human Preference based Reinforcement Learning
Arizona State University（亚利桑那州立大学）
基于偏好的强化学习在利用人类对查询轨迹对的二进制反馈来恢复人类在回路（HiL）的底层奖励模型方面表现出了很大的希望。虽然工程试图更好地利用查询的人，在这项工作中，我们做了两个观察的代理收集的未标记的轨迹，并提出了两个相应的损失函数，确保参与奖励学习过程中的未标记的轨迹，并构造嵌入空间的奖励模型，使它反映了相对于动作距离的状态空间的结构。我们验证了所提出的方法在一个运动域和一个机器人操作任务，并与最先进的基线PEBBLE。我们进一步提出了一个消融的建议损失组件在这两个领域，并发现，不仅每个损失组件的表现优于基线，但两者的协同组合有更好的回报恢复和人类反馈样本效率。
2023-02-17 cs.AI cs.RO
LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback
本研究提出LEMUR框架，通过联合学习策略与多目标奖励模型，从人类偏好反馈中学习平衡多目标的最优策略，其在基准多目标任务上性能优于基线方法。
2026-10-14 cs.AI cs.RO
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
LAPP: Large Language Model Feedback for Preference-Driven Reinforcement Learning
Duke University（杜克大学）
LAPP利用大语言模型自动生成偏好标签，训练在线偏好预测器引导策略优化，实现高效、可定制的机器人行为学习，并在四足后空翻等动态任务中超越传统奖励方法。
2025-04-21 cs.LG cs.RO cs.SY
Learning Interpretable Models of Aircraft Handling Behaviour by Reinforcement Learning from Human Feedback
University of Bristol（布里斯托大学）
本文提出利用人类偏好反馈的强化学习学习可解释的奖励树模型，以捕捉飞行员操纵能力并训练智能体，实验证明其性能可与神经网络奖励模型竞争。
2023-05-26 cs.AI
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）；USC（南加州大学）
针对现有在线强化学习方法无法利用离线偏好数据的问题，提出可借助离线偏好数据热启动的后验采样算法warmPref-PS，通过建模专家能力高效利用数据，在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
Learning from Preferences and Mixed Demonstrations in General Settings
University of Cambridge（剑桥大学）
针对强化学习中复杂任务奖励函数难指定的问题，提出奖励理性偏序框架及LEOPARD算法，可从偏好和混合演示中学习，在有限反馈下优于基线且结合多反馈类型更有益。
2025-08-19 cs.LG
Contextual Online Uncertainty-Aware Preference Learning for Human Feedback
Department of Biostatistics, Harvard T.H. Chan School of Public Health（哈佛大学T.H.陈公共卫生学院生物统计学系）；Department of Biostatistics & Bioinformatics, Duke University（杜克大学生物统计学与生物信息学系）
本文提出一种新的统计框架，利用动态上下文信息在线决策和统计推断最优模型，通过人类偏好数据实现最优 regret 绑定和估计量渐近分布。
2026-08-26 cs.LG stat.ME stat.ML
Learning to Recommend from Sparse Data via Generative User Feedback
Duke University（杜克大学）；Renmin University of China（中国人民大学）；Facebook, Inc（脸书公司）；IIT Kanpur（坎普尔印度理工学院）
传统的基于协同过滤的推荐系统在用户-项目交互/评分非常缺乏的情况下往往表现不佳。为了解决这个问题，我们提出了一个学习框架，提高协同过滤与合成反馈回路（CF-SFL）模拟用户反馈。建议的框架包括一个“推荐”和一个“虚拟用户”。“推荐器”被公式化为CF模型，根据观察到的用户偏好推荐项目。“虚拟用户”估计来自推荐项目的奖励，并且除了观察到的用户偏好之外还生成\emph{feedback}。与“虚拟用户”连接的“推荐器”构造了一个闭环，该闭环向用户推荐项目并模仿用户对推荐项目的\emph{unobserved}反馈。合成反馈用于增强观察到的用户偏好并改善推荐结果。从理论上讲，这种模型设计可以被解释为反向强化学习，可以通过推出（模拟）有效地学习。实验结果表明，该框架能够丰富用户偏好的学习，并提高现有的协同过滤方法在多个数据集上的性能。
2020-12-17 cs.IR cs.LG stat.ML
SpeechAlign: Aligning Speech Generation to Human Preferences
Fudan University（复旦大学）
本文提出 SpeechAlign，通过构建黄金与合成编解码器令牌的偏好数据集并迭代进行偏好优化，使语音语言模型对齐人类偏好、弥合训练推理分布差距。
2024-04-08 cs.CL cs.SD eess.AS
Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization
本文提出EASPO框架，通过偏好引导优化实现扩散文本到语音模型的情感对齐生成，提升语音的表达性和自然度。
2026-02-06 cs.AI cs.CL cs.SD
AlignCap: Aligning Speech Emotion Captioning to Human Preferences
University of Science and Technology of China（中国科学技术大学）；Southern University of Science and Technology（南方科技大学）
针对语音情感描述中的幻觉与泛化问题，本文提出基于 LLM 的 AlignCap，通过语音-文本蒸馏对齐和人类偏好优化提升零样本描述性能。
2024-10-24 cs.CL cs.SD eess.AS
Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs
NVIDIA, USA（NVIDIA美国公司）
针对现有ASR基准无法评估模型遵循用户输出风格偏好的问题，提出Preference-ASR测试集，通过两阶段LLM辅助流程构建，涵盖归一化、实体、不流畅和大小写四类偏好指令，揭示传统评估忽略的质量差异。
2026-06-28 cs.CL eess.AS
Speech-Worthy Alignment for Japanese SpeechLLMs via Direct Preference Optimization
SB Intuitions
本文提出通过直接偏好优化方法，改进日语SpeechLLMs以生成适合语音合成的简洁、口语化文本，引入SpokenElyza基准测试，并在保持原有性能的同时显著提升语音质量。
2026-03-13 cs.CL cs.SD
