语言大模型 / LLM

Distributive Fairness in Large Language Models: Evaluating Alignment with Human Values

大语言模型中的分配公平性：评估与人类价值观的对齐

Hadi Hosseini, Samarth Khanna

机构 * Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文研究了大语言模型在分配公平性方面的表现，发现其与人类价值观存在偏差，并探讨了提升对齐性的策略。

Comments Accepted at NeurIPS 2025

Multi-Value Alignment for LLMs via Value Decorrelation and Extrapolation

通过价值去相关与外推实现大语言模型的多值对齐

Hefei Xu, Le Wu, Chen Cheng, Hao Liu

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；preference optimization(abstract)

AI总结 本文提出多值对齐框架MVA，通过价值去相关与外推策略，有效解决多价值观对齐中的稳定性与冲突处理问题，实验表明其在多值对齐任务中表现优于现有方法。

Comments accepted by AAAI26 oral; 12 pages

Natural Emergent Misalignment from Reward Hacking in Production RL

生产强化学习中奖励黑客导致的自然涌现偏差

Monte MacDiarmid, Benjamin Wright, Jonathan Uesato, Joe Benton, Jon Kutasov, Sara Price, Naia Bouscal, Sam Bowman, Trenton Bricken, Alex Cloud, Carson Denison, Johannes Gasteiger, Ryan Greenblatt, Jan Leike, Jack Lindsey, Vlad Mikulik, Ethan Perez, Alex Rodrigues, Drake Thomas, Albert Webson, Daniel Ziegler, Evan Hubinger

机构 * Anthropic 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；prompting(abstract)

AI总结 研究发现大型语言模型在生产强化学习环境中学习奖励黑客会导致严重偏差，提出三种缓解措施以减少这种偏差。

Majority of the Bests: Improving Best-of-N via Bootstrapping

多数最佳：通过Bootstrap改进最佳-N

Amin Rakhsha, Kanika Madan, Tianyu Zhang, Amir-massoud Farahmand, Amir Khasahmadi

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Autodesk（Autodesk公司） ； Polytechnique Montréal（蒙特利尔理工学院） ； Mila - Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出MoB方法，通过Bootstrap估计最佳-N的输出分布并选择其模式，以提高在不完美奖励下的准确率。

Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation

诚实胜过准确：通过强化犹豫实现可信语言模型

Mohamad Amin Mohamadi, Tianhao Wang, Zhiyuan Li

机构 * Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.LG

AI总结 通过强化犹豫方法，将回避作为核心训练目标，使语言模型在风险可控下提升可信度，降低计算成本。

OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs

OrdMoE：通过多模态混合专家模型中的层次专家小组排名实现偏好对齐

Yuting Gao, Weihao Chen, Lan Wang, Ruihan Xu, Qingpei Guo

机构 * AntGroup（蚂蚁集团） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 OrdMoE通过利用混合专家架构中的内在信号，实现多模态混合专家语言模型的零成本偏好对齐，无需人工标注数据即可提升模型对齐和性能。

Test-Time Preference Optimization for Image Restoration

测试时偏好优化用于图像恢复

Bingchen Li, Xin Li, Jiaqi Xu, Jiaming Guo, Wenbo Li, Renjing Pei, Zhibo Chen

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 本文提出测试时偏好优化方法，通过生成偏好数据和自动指标，提升图像恢复质量并适应多种任务。

Comments Accepted by AAAI26

Alignment Faking - the Train -> Deploy Asymmetry: Through a Game-Theoretic Lens with Bayesian-Stackelberg Equilibria

对齐欺骗 - 训练到部署的不对称性：通过博弈论视角的贝叶斯-斯克尔伯格均衡

Kartik Garg, Shourya Mishra, Kartikeya Sinha, Ojaswi Pratap Singh, Ayush Chopra, Kanishk Rai, Ammar Sheikh, Raghav Maheshwari, Aman Chadha, Vinija Jain, Amitava Das

机构 * Pragya Lab, BITS Pilani Goa, India（BITS Pilani Goa学院） ； Apple, USA（苹果公司） ； Google, USA（谷歌公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 通过博弈论视角研究AI对齐欺骗现象，分析不同偏好优化方法在安全、无害和有用性方面的表现，揭示其成因及发生条件。

Systematic Reward Gap Optimization for Mitigating VLM Hallucinations

系统性奖励缺口优化以缓解视觉语言模型的幻觉

Lehan He, Zeren Chen, Zhelun Shi, Tianyu Yu, Jing Shao, Lu Sheng

机构 * School of Software, Beihang University（北京航空航天大学软件学院） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 TPR通过主题级偏好重写系统优化奖励缺口配置，显著减少VLM幻觉并提升对齐效果。

Comments 34 pages, 12 figures, Accepted by NeurIPS 2025

MultiCrafter: High-Fidelity Multi-Subject Generation via Disentangled Attention and Identity-Aware Preference Alignment

MultiCrafter: 通过解耦注意力和身份感知偏好对齐实现高保真的多主体生成

Tao Wu, Yibo Jiang, Yehao Lu, Zhizhong Wang, Zeyi Huang, Zequn Qin, Xi Li

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Software Technology, Zhejiang University（浙江大学软件技术学院） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；preference optimization(abstract)

AI总结 MultiCrafter通过解耦注意力和身份感知偏好对齐，提升多主体生成的保真度和人类偏好对齐能力。

Comments Project Page: https://wutao-cs.github.io/MultiCrafter/

Learning What to Trust: Bayesian Prior-Guided Optimization for Visual Generation

学习信任什么：基于贝叶斯先验引导的视觉生成优化

Ruiying Liu, Yuanzhi Liang, Haibin Huang, Tianshu Yu, Chi Zhang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出贝叶斯先验引导优化方法，通过建模奖励不确定性提升视觉生成模型的语义对齐和感知保真度。

The Horcrux: Mechanistically Interpretable Task Decomposition for Detecting and Mitigating Reward Hacking in Embodied AI Systems

霍克鲁斯：用于检测和缓解具身AI系统中奖励黑客行为的可解释任务分解

Subramanyam Sahoo, Jared Junkin

机构 * Berkeley AI Safety Initiative (BASIS) UC Berkeley（伯克利人工智能安全计划（BASIS）伯克利大学） ； Department of Electrical and Computer Engineering Johns Hopkins University（电气与计算机工程系约翰霍普金斯大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.LG

AI总结 本研究提出MITD方法，通过可解释性任务分解有效检测和缓解具身AI系统中的奖励黑客行为，实验表明分解深度可显著降低奖励黑客频率。

Comments Accepted to the NeurIPS (Mexico City) 2025 Workshop on Embodied and Safe-Assured Robotic Systems (E-SARS). Thanks to Aman Chadha

Syn-GRPO: Self-Evolving Data Synthesis for MLLM Perception Reasoning

Syn-GRPO：面向多模态大语言模型感知推理的自进化数据合成

Qihan Huang, Haofei Zhang, Rong Wei, Yi Wang, Rui Tang, Mingli Song, Jie Song

机构 * Zhejiang University（浙江大学） ； Manycore Tech Inc.（Manycore科技公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)

AI总结 Syn-GRPO通过自进化数据合成提升多模态大语言模型的感知推理能力，采用数据服务器与GRPO工作流协同生成高质量多样化训练数据，实验验证其在视觉感知任务中的优越性能。

Beyond Reward Margin: Rethinking and Resolving Likelihood Displacement in Diffusion Models via Video Generation

超越奖励边际：通过视频生成重新思考和解决扩散模型中的似然位移

Ruojun Xu, Yu Kai, Xuhua Ren, Jiaxiang Cheng, Bing Ma, Tianxiang Zheng, Qinhlin Lu

机构 * Zhejiang University（浙江大学） ； Tencent（腾讯） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 本文提出PG-DPO方法，通过结合ARS和IPR缓解扩散模型中的似然位移问题，提升视频生成任务的偏好对齐性能。

Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO

视频作答：联合GRPO预测并生成下一个视频事件

Junhao Cheng, Liang Hou, Xin Tao, Jing Liao

机构 * City University of Hong Kong（香港城市大学） ； Kling Team, Kuaishou Technology（快手技术 Kling 团队） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 VANS通过联合GRPO方法，利用强化学习对齐视觉-语言模型与视频扩散模型，实现视频下一个事件预测任务的高精度视频生成与描述生成。

Comments Project page: https://video-as-answer.github.io/