Aligning Teacher with Student Preferences for Tailored Training Data Generation
Tsinghua University（清华大学）
本文提出ARTE框架，通过收集学员偏好并对齐教师模型，为知识蒸馏生成定制化训练示例，实验证明其优于现有指令微调数据集，并验证了学员模型与对齐教师模型的泛化能力。
2024-06-27 cs.CL
AlignSum: Data Pyramid Hierarchical Fine-tuning for Aligning with Human Summarization Preference
Shanghai Jiao Tong University（上海交通大学）；Suzhou Laboratory（苏州实验室）
本文提出AlignSum框架，通过构建数据金字塔、高斯重采样和两阶段分层微调，使BART-Large等预训练语言模型在自动与人类评估中超越175B GPT-3，显著提升摘要生成与人类偏好的对齐。
2024-10-01 cs.CL
Arch-Router: Aligning LLM Routing with Human Preferences
Katanemo Labs, Inc.（Katanemo实验室）
提出Arch-Router，一个1.5B的偏好对齐路由框架，通过将查询映射到领域-动作偏好来匹配人类偏好，在对话数据集上达到SOTA，优于顶级专有模型，且支持无缝添加新模型。
2025-06-19 cs.CL
GAW-PO: Preference Optimization with Gradient-Aligned Token Weights
National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特国立科技理工大学）；NVIDIA（英伟达）
提出GAW-PO方法，通过梯度对齐的令牌重加权，在DPO中区分被拒绝令牌的惩罚强度，提升偏好优化性能，在11个基准上平均优于标准DPO 0.97分，且对激进优化更鲁棒。
2026-10-05 cs.CL
CTPD: Cross Tokenizer Preference Distillation
CTPD提出一种跨分词器的偏好蒸馏框架，通过对齐跨度投影、跨分词器重要性采样和教师锚定参考，实现不同分词器模型间的偏好信息高效转移。
2026-01-17 cs.CL
Se-DPO: Self-Evolving Token Credit for Direct Preference Optimization
University of California, Los Angeles（加州大学洛杉矶分校）；Shanghai AI Laboratory（上海人工智能实验室）
Se-DPO是一种在DPO训练中基于模型自身内部信号动态校准令牌信用的方法，无需外部模型，在AlpacaEval 2和Arena-Hard上较DPO分别提升9.8和12.2个百分点。
2026-08-11 cs.CL
Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；ByteDance Inc（字节跳动公司）
本文提出 Linear Alignment 算法，通过散度约束下策略优化的新参数化和闭式解，在单次推理中实现 LLM 与人类偏好对齐，无需标注或训练。
2024-07-02 cs.CL
Token-weighted Direct Preference Optimization with Attention
Cornell University（康奈尔大学）；Vanderbilt University（范德比大学）
提出Token-weighted DPO (TwDPO)方法，利用注意力机制估计令牌权重，在不增加额外训练成本的情况下提升大语言模型与人类偏好对齐的性能。
2026-08-26 cs.CL
TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation
Yale University（耶鲁大学）；Texas State University（德克萨斯州立大学）
针对结构化预测中偏好与拒绝对象仅少数token不同导致的梯度稀释和token侵蚀问题，提出基于混淆感知偏好构建和Token级自适应障碍的TAB-PO方法，在SciERC任务上显著提升关键指标。
2026-08-04 cs.CL
TTPA: Token-level Tool-use Preference Alignment Training Framework with Fine-grained Evaluation
University of Electronic Science and Technology of China（电子科技大学）；Shandong University（山东大学）
针对现有工具学习方法忽视细粒度优化的问题，提出TTPA框架，通过反向数据集构建、令牌级偏好采样和面向错误的评分机制，实现令牌级偏好对齐，在三个基准上显著提升工具使用性能并展现强泛化能力。
2025-05-26 cs.CL
WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback
Microsoft Corporation（微软公司）；Purdue University（普渡大学）；Texas A&M University（德克萨斯农工大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Southern California（南加州大学）
本文提出WildFeedback框架，通过实时用户反馈自动创建偏好数据集，提升大语言模型对用户偏好的对齐能力，解决了现有方法的可扩展性、主观性和偏见问题。
2026-04-17 cs.CL
Aligning to Thousands of Preferences via System Message Generalization
KAIST AI（KAIST人工智能学院）；Carnegie Mellon University（卡内基梅隆大学）
提出通过系统消息泛化实现个性化LLM对齐的新范式，构建Multifaceted数据集训练Janus模型，在多个基准上超越现有模型，兼顾个性化与通用对齐。
2024-11-05 cs.CL
Aligning Language Models Using Follow-up Likelihood as Reward Signal
National University of Singapore（新加坡国立大学）；Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯AI实验室）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Science and Technology of China（中国科学技术大学）
本文提出利用用户后续话语的似然作为奖励信号（FLR），无需人工或商业LLM偏好标注即可区分回答优劣，在多个基准上媲美强奖励模型，并用于自动挖掘偏好数据以提升基础模型有用性。
2025-02-23 cs.CL
DreamDPO: Aligning Text-to-3D Generation with Human Preferences via Direct Preference Optimization
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Yale University（耶鲁大学）
本文提出DreamDPO框架，通过直接偏好优化将人类偏好集成到文本到3D生成中，利用成对比较和偏好驱动损失函数实现更高质量、更可控的3D内容生成。
2025-02-05 cs.CL cs.GR cs.LG
Evaluating and Aligning CodeLLMs on Human Preference
Alibaba Group（阿里巴巴集团）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
本文构建贴近真实任务的CodeArena基准，并利用近20B tokens的SynCode-Instruct验证合成指令微调，表明开源代码LLM与专有模型在人类偏好对齐上仍有明显差距。
2024-12-06 cs.CL
Steering Risk Preferences in Large Language Models by Aligning Behavioral and Neural Representations
Princeton University（普林斯顿大学）；University of Warwick（华威大学）
本文提出将行为方法引出的潜在表征与 LLM 内部神经表征对齐以系统发现引导向量，并验证其可可靠调控模型的风险偏好输出。
2025-05-16 cs.AI cs.CL
Fair-PP: A Synthetic Dataset for Aligning LLM with Personalized Preferences of Social Equity
Zhejiang University（浙江大学）；IHPC and CFAR, A*STAR（IHPC和CFAR，A*STAR）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出源自社会调查的 Fair-PP 个性化公平偏好合成数据集，并结合自动生成框架、LLM偏好定位分析与样本重加权对齐方法，提升模型对目标人物画像的偏好适配效果。
2025-05-17 cs.AI cs.CL
Safer-Instruct: Aligning Language Models with Automated Preference Data
University of Southern California（南加州大学）
Safer-Instruct提出一种无需人工标注的自动化偏好数据构建流水线，结合反向指令调优、指令归纳和专家评估，在安全偏好数据上微调Alpaca模型取得优于人工标注数据的效果，并可推广至多领域。
2024-03-31 cs.AI cs.CL
Diffusion-RPO: Aligning Diffusion Models through Relative Preference Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Azure AI（微软Azure人工智能）
本文提出Diffusion-RPO方法，通过相对偏好优化并利用同提示及语义相关的跨模态提示-图像对来对齐扩散模型与人类偏好，同时引入风格对齐评估指标，在Stable Diffusion 1.5和XL-1.0上优于监督微调和Diffusion-DPO。
2024-06-10 cs.CL cs.CV cs.LG
Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington, Seattle（华盛顿大学西雅图分校）
本文提出 JPO，通过在完整指令-响应对上进行联合偏好优化来对齐 LLM，并在摘要与开放式对话任务上分别较 DPO 提升 5.2% 和 3.3% 胜率。
2025-01-07 cs.AI cs.CL cs.LG
Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE
Sun Yat-sen University（中山大学）；Snap Inc（Snap公司）
本文研究了在隐式反馈下直接偏好优化的行为，通过系统实验比较了常见负样本选择策略及其与DPO训练的交互，发现用动态top-K候选池进行随机采样可提升排名性能，原因在于减少错误抑制梯度和保留信息硬信号。
2026-03-31 cs.CL cs.IR
Aligning Large Language Models via Fully Self-Synthetic Data
University of California, Riverside（加州大学河滨分校）；University of Virginia（弗吉尼亚大学）
提出完全自合成数据框架SAO，让模型自我生成提示、回复和偏好进行对齐，在提升聊天能力的同时保持下游任务性能，为LLM自我改进提供实用方案。
2025-10-08 cs.CL
Varying Shades of Wrong: Aligning LLMs with Wrong Answers Only
University of Washington（华盛顿大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Allen Institute for AI（艾伦人工智能研究所）
针对缺乏可靠标注的挑战性任务，本文提出利用“错对错”偏好对齐LLM，通过自洽性、token概率和LLM评判等方法引导偏好并微调模型，实验证明该方法能提升模型表现并改善校准。
2024-10-14 cs.AI cs.CL
Evaluating and Aligning Human Economic Risk Preferences in LLMs
The Hong Kong University of Science and Technology（香港科技大学）
本研究评估了LLMs在不同人物设定下的经济风险偏好，发现其在复杂经济决策任务中表现下降，并提出一种对齐方法以增强LLM对特定人物设定的风险偏好的遵循，从而提升其在风险相关应用中的经济理性。
2025-09-13 cs.CL econ.GN q-fin.EC
Aligning LLMs by Predicting Preferences from User Writing Samples
University of Colorado（科罗拉多大学）；Apple（苹果公司）
本文提出 PROSE 方法，通过迭代细化偏好描述和跨样本验证，从用户写作样本中更精准地推断个性化偏好，显著提升了写作智能体的生成质量并证明了与 ICL 的互补性。
2025-05-27 cs.CL cs.LG
Direct Density Ratio Optimization: A Statistically Consistent Approach to Aligning Large Language Models
University of Tokyo（东京大学）
针对现有大语言模型对齐方法依赖特定偏好模型导致统计不一致的问题，提出直接密度比优化方法DDRO，通过直接估计偏好与非偏好输出的密度比实现对齐，理论证明其具有统计一致性，实验显示其在多个基准上性能优于现有方法。
2025-05-19 cs.CL cs.LG stat.ML
Prior Constraints-based Reward Model Training for Aligning Large Language Models
Northeastern University（东北大学）；NiuTrans Research（NiuTrans研究院）
针对大语言模型对齐中奖励模型训练无约束导致强化学习阶段奖励分数失控缩放的问题，提出基于先验约束的PCRM训练方法，引入长度比、余弦相似度约束优化，显著提升对齐效果且易集成到各类排序类对齐方法中。
2024-09-18 cs.CL
$λ$-GRPO: Unifying the GRPO Frameworks with Learnable Token Preferences
本文提出$λ$-GRPO，通过引入可学习参数统一GRPO框架，自适应调整令牌级权重以缓解长度偏差，在数学推理基准上较GRPO和DAPO持续提升准确率，且无需额外计算成本。
2025-10-09 cs.CL
Everyone Deserves A Reward: Learning Customized Human Preferences
Tencent AI Lab（腾讯人工智能实验室）；Duke University（杜克大学）；Shanghai Jiao Tong University（上海交通大学）
针对通用奖励模型无法满足个性化需求的问题，提出三阶段定制化奖励模型学习方案，并构建领域特定偏好数据集，发现通用偏好增强与定制化偏好模仿学习能有效保留通用偏好能力。
2023-09-15 cs.CL
Aligning with Logic: Measuring, Evaluating and Improving Logical Preference Consistency in Large Language Models
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
本研究针对LLMs判断不一致问题，提出基于传递性等三个属性的逻辑偏好一致性评估框架，引入REPAIR技术提升一致性并保持人类偏好对齐，实验证明该框架可反映鲁棒性且改进后算法性能更好。
2025-02-09 cs.AI cs.CL cs.LO
TPO: Aligning Large Language Models with Multi-branch & Multi-step Preference Trees
School of Computer Science, Peking University（北京大学计算机科学系）；Center on Frontiers of Computing Studies, Peking University（北京大学前沿计算研究中心）；National Research and Engineering Center of Software Engineering, Peking University（北京大学软件工程研究中心）
本文提出树偏好优化（TPO），直接利用整个偏好树进行偏好列表排序学习，并引入自适应步骤奖励，在数学推理任务上优于DPO，提升LLM长链推理能力。
2025-10-24 cs.AI cs.CL
Icon$^{2}$: Aligning Large Language Models Using Self-Synthetic Preference Data via Inherent Regulation
Zhejiang University（浙江大学）；Soochow Securities Co.,Ltd.（苏州证券有限公司）；HKUST(GZ)（香港科技大学（广州））；Nanjing University（南京大学）
本文提出Icon$^{2}$方法，利用LLM表示空间的内在调控构建自合成偏好数据，通过方向向量过滤指令和双向控制生成响应对，显著提升对齐效果并降低计算成本。
2025-09-06 cs.AI cs.CL
Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
针对大语言模型评估器存在偏差、与人类评估对齐度不足的问题，本研究提出基于不确定性引导的成对偏好搜索排序聚合方法，在长文本生成评估任务上取得最优性能，并揭示了成对偏好在量化模型传递性中的作用。
2025-01-17 cs.AI cs.CL cs.LG
TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching
National University of Singapore（新加坡国立大学）；Institute of Cybernetics and Robotics, Czech Technical University in Prague（捷克布拉格技术大学控制论与机器人研究所）
本文提出TBPO方法，通过比率匹配恢复token级偏好最优性，改进对齐质量和训练稳定性，并增加输出多样性。
2026-06-11 cs.AI cs.CL
Aligning Large Language Model Behavior with Human Citation Preferences
RIKEN AIP（日本研究所）
本研究通过构建数据集分析LLM引用行为与人类偏好的一致性，发现模型在引用医学文本和数字句子上存在偏差，通过优化可提升对齐效果。
2026-02-05 cs.AI cs.CL
AlignCap: Aligning Speech Emotion Captioning to Human Preferences
University of Science and Technology of China（中国科学技术大学）；Southern University of Science and Technology（南方科技大学）
针对语音情感描述中的幻觉与泛化问题，本文提出基于 LLM 的 AlignCap，通过语音-文本蒸馏对齐和人类偏好优化提升零样本描述性能。
2024-10-24 cs.CL cs.SD eess.AS
Sentence-level Reward Model can Generalize Better for Aligning LLM from Human Preference
Nanjing University（南京大学）；Polixir Technologies
针对粗粒度奖励模型稀疏性差、token级奖励模型语义不足问题，提出句子级中粒度奖励模型，通过句子分割、微分运算及新型注意力机制实现，在RewardBench和AlpacaEval上性能更优。
2025-06-11 cs.CL cs.LG
Aligning LLMs through Multi-perspective User Preference Ranking-based Feedback for Programming Question Answering
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Hefei University of Technology（合肥工业大学）；School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院）；University of Toronto（多伦多大学）
提出ALMupQA框架，通过多视角偏好排序对齐和检索增强上下文学习模块，结合新构建的StaCCQA数据集，有效提升了LLM在代码社区问答中满足用户多样化偏好和准确性的能力。
2024-05-27 cs.AI cs.CL
Aligning LLMs with Individual Preferences via Interaction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对大语言模型忽视个体偏好定制的问题，提出通过多轮对话隐式推断用户偏好并动态对齐的“交互式对齐”方法，构建3,310个用户画像和3K+对话数据集，经微调与强化学习训练，在ALOE基准上验证了有效性。
2024-12-15 cs.AI cs.CL cs.HC
Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
Korea University（韩国大学）；KAIST AI（韩国科学技术院人工智能研究中心）；Seoul National University（首尔国立大学）；AIGEN Sciences（AIGEN科学）
针对对话式搜索中现有重写-检索方法查询重写效果不佳的问题，提出RetPO框架，通过构建含41万+重写反馈的RF collection数据集微调小模型，实现与检索器偏好对齐，性能超现有SOTA。
2025-06-16 cs.CL cs.IR
Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent AI Lab（腾讯AI实验室）
本文提出了一种基于双人博弈和无悔学习的迭代纳什策略优化（INPO）算法，通过直接在偏好数据集上最小化新损失目标，避免了高昂的胜率估计成本，有效实现了LLMs与一般偏好的对齐。
2025-03-03 cs.AI cs.CL cs.GT
Not All Preferences are What You Need for Post-Training: Selective Alignment Strategy for Preference Optimization
Peking University（北京大学）
针对LLMs后训练对齐中token贡献不均的问题，提出利用策略与参考模型的token级对数概率差异聚焦高影响token的Selective-DPO方法，有效降低开销并提升对齐保真度，实验证明其优于标准DPO和蒸馏基线。
2025-07-10 cs.AI cs.CL
Masking Frequent Tokens Sharpens Direct Preference Optimization
针对DPO中高频词元对称出现导致梯度纠缠、偏好信号被稀释的问题，提出各向异性DPO（ADPO）及频率硬DPO，通过固定掩码置零高频词元隐式奖励，在多个基准上超越标准DPO，实现零开销的稳健偏好对齐。
2026-09-29 cs.CL cs.LG
Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments
University of Michigan（密歇根大学）
本研究针对语言模型评估中令牌计数偏差，提出贝叶斯统计和 t 检验量化及重新校准 GPTScorer 的方法，显著提升与人类评估的一致性，如推荐用例相关系数从 -27.27 升至 44.55。
2024-07-05 cs.AI cs.CL cs.HC
Aligning Tree-Search Policies with Fixed Token Budgets in Test-Time Scaling of LLMs
University of Tokyo（东京大学）
本文提出了一种名为Budget-Guided MCTS (BG-MCTS)的树搜索解码算法，通过将搜索策略与剩余令牌预算对齐，以提高在不同令牌预算下的推理性能。
2026-06-04 cs.AI cs.CL cs.LG
Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints
Zuoyebang Education Technology（中关村教育科技）
本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。
2026-04-20 cs.CL cs.SD eess.AS
HLPD: Aligning LLMs to Human Language Preference for Machine-Revised Text Detection
HLPD通过人类语言偏好优化提升机器修订文本检测性能，实现对GPT系列模型和先进大语言模型生成文本的高效识别。
2025-12-02 cs.CL cs.CR
Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models
University of California Los Angeles（加州大学洛杉矶分校）
本文提出 PEFT 方法 Aligner，通过全局共享可调节 Token 修改各层注意力，仅用 5,000 参数即可在指令遵循与价值对齐上媲美 LoRA，并揭示 LLM 对形式与知识的正交处理机制。
2023-12-09 cs.AI cs.CL cs.LG
COMAL: A Convergent Meta-Algorithm for Aligning LLMs with General Preferences
Yale University（耶鲁大学）；Allen Institute for AI（人工智能研究院）
COMAL是一种受博弈论启发的元算法，通过将偏好对齐建模为零和博弈并收敛至纳什均衡，确保50%胜率，在多种数据集上优于现有方法，并保持高胜率。
2025-10-13 cs.AI cs.CL cs.GT
Aligning to Illusions: Choice Blindness in Human and AI Feedback
研究揭示RLHF中偏好构建的问题，显示人类和AI反馈中的选择盲区受上下文影响，导致奖励信号失真。
2026-03-09 cs.AI cs.CL
From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
针对大型推理模型偏好对齐中轨迹采样导致的梯度方差问题，提出BVPO方法，通过混合高方差轨迹估计器和低方差空轨迹估计器优化偏差-方差权衡，理论证明降低方差并收紧收敛界，实验在多个基准上显著提升对齐和推理性能。
2025-10-06 cs.AI cs.CL cs.LG
Aligning Large Language Models from Self-Reference AI Feedback with one General Principle
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
提出自参考 AI 反馈框架，让 Llama2-Chat 依据通用原则、自我批评与自一致性生成高质量偏好数据，显著提升强化学习对齐效果。
2024-06-17 cs.AI cs.CL
Transforming and Combining Rewards for Aligning Large Language Models
University of Chicago（芝加哥大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Stanford University（斯坦福大学）
本研究针对奖励模型对齐语言模型中的变换与组合问题，提出LSC变换（log-sigmoid中心化变换），通过强调改进差输出并实现原则性聚合，在RLHF实验中显著提升有用性与无害性。
2024-07-19 cs.AI cs.CL
Aligning LLM Agents by Learning Latent Preference from User Edits
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
本文提出PRELUDE框架和CIPHER算法，通过从用户历史编辑中推断潜在偏好描述来生成个性化回复，无需微调LLM，在摘要和邮件写作任务上以最低编辑距离成本优于基线。
2024-11-23 cs.AI cs.CL cs.IR
