IPO: Your Language Model is Secretly a Preference Classifier
Indian Institute of Technology Roorkee(鲁尔基印度理工学院);Lossfunk(洛斯芬克)
针对RLHF对齐大语言模型成本高的问题,提出隐式偏好优化IPO方法,将生成式大模型自身作为偏好分类器,实验证明其训练效果与使用前沿奖励模型的方法相当。
2025-03-20 cs.CL
Aligning Large Language Models with Human Preferences through Representation Engineering
School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文提出RAHF方法,通过表征工程识别并变换LLM内部与人类偏好相关的表征,以高效、稳定地实现广泛偏好对齐,克服RLHF的不稳定性与实现困难。
2024-07-03 cs.CL
DecipherPref: Analyzing Influential Factors in Human Preference Judgments via GPT-4
University of Central Florida(中佛罗里达大学);Tencent AI Lab(腾讯AI实验室);Emory University(埃默里大学)
本文利用BTL模型分析OpenAI发布的人类成对偏好判断,揭示不同任务中最受与最不受偏好因素的规律,为构建平衡的偏好评估数据集提供指导。
2023-10-28 cs.CL
ULMA: Unified Language Model Alignment with Human Demonstration and Point-wise Preference
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文提出逐点直接偏好优化和统一语言模型对齐方法,将人类演示与逐点偏好统一到单步对齐流程中,并通过实验验证其有效性。
2024-02-26 cs.CL cs.LG
DreamDPO: Aligning Text-to-3D Generation with Human Preferences via Direct Preference Optimization
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文提出DreamDPO框架,通过直接偏好优化将人类偏好集成到文本到3D生成中,利用成对比较和偏好驱动损失函数实现更高质量、更可控的3D内容生成。
2025-02-05 cs.CL cs.GR cs.LG
Align Generative Artificial Intelligence with Human Preferences: A Novel Large Language Model Fine-Tuning Method for Online Review Management
Department of Information Systems and Operations Management, The University of Texas at Arlington(信息系统与运营管理系,德克萨斯大学阿灵顿分校);Department of Management Information Systems, University of Arizona(管理信息学系,亚利桑那大学)
本文提出一种新型微调方法,通过上下文增强和理论驱动的偏好微调,解决在线评论生成中的幻觉、偏好表示和保守优化问题,提升生成质量。
2026-04-23 cs.AI cs.CL
Uncovering Factor Level Preferences to Improve Human-Model Alignment
KAIST(韩国科学技术院);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Georgia Institute of Technology(佐治亚理工学院)
针对现有大语言模型对齐评估粗粒度、缺乏可解释性的问题,提出PROFILE框架开展因子层面偏好对齐分析,发现模型生成与判别任务的对齐差距,可用于提升人机对齐效果。
2025-11-15 cs.AI cs.CL
Aligning Large Language Model Behavior with Human Citation Preferences
RIKEN AIP(日本研究所)
本研究通过构建数据集分析LLM引用行为与人类偏好的一致性,发现模型在引用医学文本和数字句子上存在偏差,通过优化可提升对齐效果。
2026-02-05 cs.AI cs.CL
Can LLMs Capture Human Preferences?
University of Washington(华盛顿大学)
本文评估 GPT-3.5/GPT-4 模拟人类跨期偏好的能力,发现其耐心低于人类且受语言影响,并提出 chain-of-thought conjoint 结合主题建模以辅助假设生成。
2024-02-29 cs.AI cs.CL
Rethinking Diverse Human Preference Learning through Principal Component Analysis
Rice University(里士大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Cambridge(剑桥大学);Columbia University(哥伦比亚大学)
针对传统奖励模型难以刻画多样化人类偏好且细粒度标注昂贵的问题,本文提出DRMs,利用PCA从二元比较的嵌入差异中提取正交偏好维度,实现可解释、可组合且无需额外训练的个性化LLM对齐。
2025-06-11 cs.AI cs.CL
The Past, Present and Better Future of Feedback Learning in Large Language Models for Subjective Human Preferences and Values
University of Oxford(牛津大学);Bocconi University(博科尼大学);Meedan(米丹)
人类反馈越来越多地用于引导大语言模型(LLM)的行为。然而,目前还不清楚如何收集和纳入反馈的方式是高效,有效和公正的,特别是高度主观的人类偏好和价值观。在本文中,我们调查现有的方法,从人类的反馈学习,主要是从ACL和arXiv repositions.First,我们总结了过去,前LLM的趋势,将人类的反馈集成到语言模型的95篇论文。其次,我们给出了一个概述,目前的技术和做法,以及使用反馈的动机;定义价值观和偏好的概念框架;以及如何收集反馈,从谁。最后,我们通过提出五个尚未解决的概念和实践挑战,鼓励LLM反馈学习的更美好未来。
2023-10-11 cs.CL cs.CY
Rethinking Human Preference Evaluation of LLM Rationales
University of Washington(华盛顿大学);Stanford University(斯坦福大学)
本文提出基于属性的细粒度评估方法,通过SHAP分析MT Bench和Chatbot Arena数据集,揭示了LLM推理依据质量的关键属性,并使用特定属性的ELO分数提供更细致的模型比较。
2025-09-14 cs.AI cs.CL
Preference Ranking Optimization for Human Alignment
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出偏好排序优化(PRO)算法,将人类对齐转化为使LLM生成响应的概率排序与人类偏好排序对齐,实验表明其性能优于基线算法并接近ChatGPT和人类响应。
2024-02-27 cs.AI cs.CL
Preference learning in shades of gray: Interpretable and bias-aware reward modeling for human preferences
Department of Economic Informatics and Cybernetics, Bucharest University of Economic Studies(布加勒斯特经济研究大学经济信息学与控制论系)
本文研究了语言模型中人类偏好的学习难题,提出特征增强框架以捕捉人类判断的多维特性,通过评估多种大语言模型,展示了改进的奖励建模方法在准确性和可解释性上的提升。
2026-04-01 cs.AI cs.CL
Guided Persona-based AI Surveys: Can we replicate personal mobility preferences at scale using LLMs?
Chair of Transportation Systems Engineering, TUM School of Engineering and Design, TUM, Germany(交通系统工程教授、技术大学工程与设计学院、技术大学、德国)
本研究探讨LLMs生成人工调查的潜力,通过'人设'结合现实数据,有效捕捉德国个人移动偏好中的复杂依赖关系,为交通规划提供可扩展、低成本的数据生成方案。
2025-01-20 cs.AI cs.CL cs.CY
compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data
The French Government(法国政府)
compar:IA由法国政府开发,旨在通过收集法语人类提示和偏好数据,提升非英语语言中LLM的性能和文化契合度,同时推动多语言模型训练和评估的国际发展。
2026-02-06 cs.AI cs.CL
A density estimation perspective on learning from pairwise human preferences
Google DeepMind(谷歌DeepMind);University of Toronto(多伦多大学);Mila, Université de Montréal(蒙特利尔大学米拉研究所);CIFAR Fellow(CIFAR研究员)
本文提出将基于成对人类偏好的学习视为密度估计问题,证明训练奖励函数可建模标注者隐式偏好分布,并揭示了标注者错误设定导致模型适应不良的风险。
2024-01-10 cs.AI cs.CL cs.LG
Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy
Research, Skywork AI(2050研究, Skywork AI)
Skywork-Reward-V2通过人机协同扩大偏好数据整理,提出SynPref-40M数据集和两阶段流程,训练出八种参数不同的奖励模型,在多个基准中取得最佳性能。
2026-03-02 cs.AI cs.CL cs.LG
HelpSteer3-Preference: Open Human-Annotated Preference Data across Diverse Tasks and Languages
NVIDIA
本文提出HelpSteer3-Preference,一个含4万+样本的开放人工标注偏好数据集,覆盖STEM、编程和多语言任务,用于训练奖励模型,在RM-Bench和JudgeBench上分别达到82.4%和73.7%的顶尖性能,显著优于现有模型。
2025-10-24 cs.AI cs.CL cs.LG
Evaluating and Aligning Human Economic Risk Preferences in LLMs
The Hong Kong University of Science and Technology(香港科技大学)
本研究评估了LLMs在不同人物设定下的经济风险偏好,发现其在复杂经济决策任务中表现下降,并提出一种对齐方法以增强LLM对特定人物设定的风险偏好的遵循,从而提升其在风险相关应用中的经济理性。
2025-09-13 cs.CL econ.GN q-fin.EC
Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文揭示LLM评估器的偏好脆弱性,并提出零样本提示优化框架ZEPO,通过优化偏好决策公平性,在无标注数据下显著提升了LLM评估器与人类评判的对齐度。
2024-10-12 cs.AI cs.CL cs.CY
MaxMin-RLHF: Alignment with Diverse Human Preferences
University of Maryland(马里兰大学);Princeton University(普林斯顿大学);JP Morgan Chase AI Research(摩根大通人工智能研究院);University of Central Florida(中佛罗里达大学)
本文针对单一奖励RLHF无法表示多样化人类偏好的问题,提出基于期望最大化和MaxMin目标的RLHF方法,在提升整体胜率的同时显著改善少数群体表现,兼顾鲁棒性与公平性。
2024-12-26 cs.AI cs.CL cs.LG
Optimizing Language Models for Human Preferences is a Causal Inference Problem
Carnegie Mellon University(卡内基梅隆大学)
本文将语言模型的人类偏好优化形式化为因果推断问题,提出因果偏好优化(CPO)及其双重稳健扩展DR-CPO,以无偏且低方差的方式优化大语言模型,并通过实验验证其有效性与稳健性。
2024-06-05 cs.CL cs.LG stat.ME
Approximating Human Preferences Using a Multi-Judge Learned System
BAISH | UBA | Apart Research(BAISH | UBA | Apart研究);University of São Paulo(圣保罗大学);Apart Research(Apart研究);Dovetail Research | Apart Research(Dovetail研究 | Apart研究)
本文提出一种通过学习聚合多个基于评估标准的评判器输出来建模多样化角色偏好的框架,包含基于角色的偏好标签合成方法及GAM和MLP两种聚合器实现,有效推进了RLHF奖励模型和模型路由系统等应用。
2025-10-29 cs.AI cs.CL cs.LG
Large Language Models Should Learn Personalized Rather Than Aggregated Human Preferences
University of Chicago, Data Science Institute(芝加哥大学数据科学学院)
本文主张大型语言模型应学习个性化偏好而非聚合偏好,分析聚合偏好的理论局限与实证问题,提出通过有界个性化框架兼顾个体自主与集体安全。
2026-05-30 cs.AI cs.CL cs.CY
Mobility-LLM: Learning Visiting Intentions and Travel Preferences from Human Mobility Data with Large Language Models
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Beijing Key Laboratory of Traffic Data Analysis and Mining(北京市交通数据分析与挖掘重点实验室);Department of Computer Science, Aalborg University(奥尔堡大学计算机系)
针对现有模型忽视签到序列语义的问题,提出Mobility-LLM框架,利用大型语言模型结合访问意图记忆网络和旅行偏好提示池,在四个基准数据集和三个下游任务上显著优于现有模型。
2024-10-29 cs.AI cs.CL cs.LG
CARE: Multilingual Human Preference Learning for Cultural Awareness
Georgia Institute of Technology(佐治亚理工学院);Sony Group Corporation(索尼集团);Sony AI(索尼人工智能)
本文提出多语言人类偏好资源CARE,通过纳入原住民文化偏好数据训练语言模型,显著提升了模型的文化意识,并揭示了初始文化性能更强的模型从对齐中获益更多的现象。
2025-09-18 cs.CL
Aligning Language Models with Human Preferences via a Bayesian Approach
The Hong Kong Polytechnic University(香港理工大学);Huazhong University of Science and Technology(华中科技大学)
本文提出基于贝叶斯框架的d-PM偏好模型来刻画人类偏好分歧分布,并结合对比学习训练NLG模型,在情感支持对话和Rule-of-Thumb生成任务上超越以往SOTA模型。
2024-01-13 cs.CL
Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback
Allen Institute for AI(艾伦人工智能研究院);University of Washington(华盛顿大学);The Ohio State University(俄亥俄州立大学)
提出混合偏好路由器HyPER,通过性能预测模型动态分配人类或AI标注,在降低成本的同时将奖励模型性能提升7-13%,并发现中等安全风险或复杂度的提示最受益于人类反馈。
2025-05-30 cs.CL
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
LILT;Amazon(亚马逊)
本文提出DQO方法,用预训练翻译质量估计模型替代人类偏好,并将DPO式对齐用于NMT,仅在部分语言上训练即可提升多语言模型的整体翻译质量。
2025-09-29 cs.CL
Do RNNs learn human-like abstract word order preferences?
UC Irvine(加州大学欧文分校);MIT(麻省理工学院)
RNN语言模型已经在各种任务上取得了最先进的成果,但它们究竟代表了什么语法尚不清楚。在这里,我们研究是否RNN语言模型学习人类的词序偏好的句法交替。我们收集了语言模型测试分数,用于控制句子刺激,表现出英语中主要的句法变化:重NP移位,粒子移位,与格交替,属格交替。我们表明,RNN语言模型再现人类的喜好,在这些交替的基础上,NP长度,生命力和明确性。我们收集人类的可接受性评级为我们的刺激,在第一个可接受性判断实验直接操纵预测的句法交替。我们表明,RNN的性能与人类可接受性评级相似,并且与n元语法基线模型不匹配。我们的研究结果表明,RNN学习的抽象特征的重量,生命力,和明确的基础软约束的句法交替。
2018-11-05 cs.CL
LRHP: Learning Representations for Human Preferences via Preference Pairs
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);NiuTrans Research(牛翻译研究院);Institute of Psychology, CAS(中国科学院心理研究所)
针对传统奖励建模将人类偏好编码为单一数值存在分析难、应用受限的问题,提出LRHP框架通过偏好对学习结构化人类偏好表征,在两个下游任务上性能显著优于基线。
2024-10-06 cs.AI cs.CL
Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment
University of Oxford(牛津大学);Southeast University(东南大学);University of Sydney(悉尼大学)
本文区分偏好对齐与行为对齐,证明偏好对齐可能降低模型的人类相似性,形成图灵测试差距,并提出人类相似性应作为独立对齐维度。
2026-09-23 cs.AI cs.CL cs.LG
SimulPL: Aligning Human Preferences in Simultaneous Machine Translation
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Graduate School of Translation and Interpretation, Beijing Foreign Studies University(北京外国语大学高级翻译学院)
SimulPL 提出面向同声机器翻译的偏好学习框架,将人类偏好归纳为翻译质量、单调性、关键点、简洁性和延迟五类,并利用 GPT-4/4o 生成偏好数据、将延迟偏好纳入优化目标,从而改进读/写策略,在多个语言方向上实现与人类偏好更好的对齐。
2025-02-05 cs.AI cs.CL
How Many Human Judgments Are Enough? Feasibility Limits of Human Preference Evaluation
Independent Researcher(独立研究者)
研究发现人类偏好评估中,当偏好信号分散时,比例分配是最佳策略,而精心设计的基准测试能通过减少方差提高检测性。
2026-01-15 cs.CL cs.LG
Pragmatic Feature Preferences: Learning Reward-Relevant Preferences from Human Input
Massachusetts Institute of Technology(麻省理工学院);Boston University(波士顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Google DeepMind(谷歌DeepMind)
本研究提出从人类偏好中提取特征级信息以学习更准确的奖励模型,在视觉和语言领域及蘑菇觅食任务中验证了其高效性和实用性。
2024-05-23 cs.CL cs.LG
Aligning language models with human preferences
Faculty of Engineering and Informatics(工程与信息学院);Department of Informatics(信息学系)
本论文探讨将语言模型与人类偏好对齐的多种方法,视其为贝叶斯推理,证明RLHF是分布匹配的特例,并发现预训练阶段引入人类反馈更有效。
2024-04-18 cs.CL cs.LG
Model-based Preference Optimization in Abstractive Summarization without Human Feedback
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对抽象式摘要幻觉及偏好优化依赖昂贵人类反馈的问题,提出MPO方法,利用模型自身不同解码策略生成偏好数据微调LLM,实验证明可显著提升摘要质量。
2024-10-02 cs.AI cs.CL
Pretraining Language Models with Human Preferences
New York University(纽约大学);FAR AI(FAR人工智能研究所);University of Sussex(萨塞克斯大学);Northeastern University(东北大学);Anthropic(Anthropic公司)
该研究针对语言模型预训练易生成违反人类偏好内容的问题,提出条件训练这一帕累托最优的预训练目标,可大幅降低不良内容生成率且保留下游性能,证明训练初期融入人类偏好优于后续微调对齐。
2023-06-14 cs.CL cs.LG
What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data
UC Berkeley(加州大学伯克利分校);FAIR at Meta(Meta AI研究院)
本文提出WIMHF方法,通过稀疏自编码器解释人类反馈数据,揭示偏好数据中的人类可解释特征,发现不同数据集中的偏好差异及潜在不安全偏好,为数据筛选和个性化调整提供支持。
2026-04-11 cs.AI cs.CL
Preference Tuning with Human Feedback on Language, Speech, and Vision Tasks: A Survey
Capital One(第一资本金融公司);Columbia University(哥伦比亚大学)
该综述系统梳理多模态偏好调优及人类反馈整合的最新进展,从基础理论、方法分类、应用与未来方向三方面展开,旨在为相关研究者和从业者提供领域全景,推动后续创新。
2024-11-03 cs.AI cs.CL cs.CV
DreamReward: Text-to-3D Generation with Human Preference
Tsinghua University(清华大学)
提出DreamReward框架,通过构建首个通用人类偏好奖励模型Reward3D和直接调优算法DreamFL,优化多视图扩散模型,显著提升了文本到3D生成的人类意图对齐与3D一致性。
2024-03-21 cs.CL cs.CV cs.LG
Whose Preferences? Differences in Fairness Preferences and Their Impact on the Fairness of AI Utilizing Human Feedback
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Oxford(牛津大学)
本文通过新数据集揭示不同人口统计学群体在内容审核公平偏好上的显著差异,并提出对不同群体分类器等权集成的方案以改善不同人口统计学交叉群体的公平性表现。
2024-06-09 cs.AI cs.CL cs.CY
Differential Privacy Protected Preference Alignment on Survey Derived Data
ShanghaiTech University(上海科技大学)
该研究针对世界价值观调查衍生数据的偏好对齐问题,提出结合随机响应、指数机制和DP-SGD的差分隐私流程,实验表明标签级机制优于梯度级方法,为带隐私保障的语言模型对齐提供了新方向。
2026-10-14 cs.CL cs.CR cs.LG
BATON: Aligning Text-to-Audio Model with Human Preference Feedback
Tsinghua University(清华大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
针对文本到音频模型生成内容难以对齐人类偏好的问题,提出包含数据集构建、奖励模型训练、模型微调三阶段的BATON框架,可显著提升生成音频的完整性、时间关系及人类偏好对齐度。
2024-02-01 cs.CL cs.SD eess.AS
The Impact of Preference Agreement in Reinforcement Learning from Human Feedback: A Case Study in Summarization
Google Research(谷歌研究院)
该研究以文本摘要任务为案例,探究人类反馈强化学习中偏好一致性的标注者一致程度对RLHF效果的影响,发现纳入不同一致性偏好可提升奖励模型准确率、改变质量特征并改善下游生成,为合成数据集设计提供参考。
2023-11-02 cs.AI cs.CL cs.HC
MetaMetrics: Calibrating Metrics For Generation Tasks Using Human Preferences
Capital One(第一资本金融公司);University of Toronto(多伦多大学);Monash University(莫纳什大学);Boston University(波士顿大学)
本文提出了一种名为 MetaMetrics 的校准元度量指标,通过监督方式优化现有度量指标的组合,使其在多模态生成任务中更好地与人类偏好对齐,提升多语言和多领域场景下的评估效果。
2025-02-28 cs.AI cs.CL cs.CV
LFQA-HP-1M: A Large-Scale Human Preference Dataset for Long-Form Question Answering
LFQA-HP-1M是一个大规模的人类偏好数据集,用于长形式问答的评估,提出了九个评估准则并展示了其在评估性能上的有效性。
2026-02-27 cs.AI cs.CL cs.IR
Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment
University of Southern California(南加州大学);Stanford University(斯坦福大学);OpenAthena
本文研究了如何通过最小子集高效评估LAM,发现50个样本即可达到高相关性,并通过回归模型提升预测效果,提出HUMANS基准作为高效评估代理。
2026-09-15 cs.AI cs.CL cs.SD
SpeechAlign: Aligning Speech Generation to Human Preferences
Fudan University(复旦大学)
本文提出 SpeechAlign,通过构建黄金与合成编解码器令牌的偏好数据集并迭代进行偏好优化,使语音语言模型对齐人类偏好、弥合训练推理分布差距。
2024-04-08 cs.CL cs.SD eess.AS
MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration
University of Toronto(多伦多大学);Boston University(波士顿大学);Monash Indonesia(莫纳什印度尼西亚分校);Capital One(第一资本金融公司)
该研究提出了通过人类偏好校准、基于高斯过程贝叶斯优化的机器翻译评估元指标MetaMetrics-MT,在WMT24数据集有参考设置下超越现有基线达SOTA,无参考设置下性能领先且效率更高。
2024-11-01 cs.AI cs.CL cs.LG