大模型对齐与安全

When Human Preferences Flip: An Instance-Dependent Robust Loss for RLHF

当人类偏好翻转时：面向RLHF的实例依赖性鲁棒损失

Yifan Xu, Xichen Ye, Yifan Chen, Qiaosheng Zhang

专题命中 偏好对齐 ：RLHF(title,abstract)；alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出了一种面向RLHF的实例依赖性鲁棒损失算法，通过建模偏好翻转机制和引入实例依赖的翻转概率，提升对齐算法的鲁棒性。

Comments Accepted by AAAI-26-AIA

Closing the Gap: Data-Centric Fine-Tuning of Vision Language Models for the Standardized Exam Questions

弥合差距：面向标准化考试题目的视觉语言模型数据驱动微调

Egemen Sert, Şeyda Ertekin

机构 * organization= Department of Computer Engineering, Middle East Technical University (METU) , city= Ankara , country= Türkiye ； organization= METU-DTX Digital Transformation \& Innovation Centre, METU , city= Ankara , country= Türkiye 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究通过高质量数据和优化语法提升视觉语言模型在标准化考试题目的多模态推理性能，达到接近SOTA的水平。

Chain of Unit-Physics: A Primitive-Centric Approach to Scientific Code Synthesis

单元物理链：一种以基础原理为中心的科学代码合成方法

Vansh Sharma, Venkat Raman

机构 * University of Michigan（密歇根大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出单元物理链框架，通过以基础原理为中心的多代理系统，有效解决科学代码生成中的可靠性问题，实现高精度和高效能的代码生成。

Dialogue Is Not Enough to Make a Communicative BabyLM (But Neither Is Developmentally Inspired Reinforcement Learning)

对话不足以造就一个交际性的婴儿语言模型（但也不如发展启发式强化学习）

Francesca Padovani, Bastian Bunzeck, Manar Ali, Omar Momen, Arianna Bisazza, Hendrik Buschmeier, Sina Zarrieß

机构 * Center for Language and Cognition (CLCG), University of Groningen（语言与认知中心（CLCG）、格罗宁根大学） ； CRC 1646 – Linguistic Creativity in Communication, Bielefeld University（语言交流创造性研究（CRC 1646）、比尔特诺夫大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

AI总结 本文探讨了仅通过对话数据预训练是否能生成有效的小型语言模型，并通过多种微调策略提升模型的交际能力，发现DPO微调在自定义对话基准测试中表现更优。

Journal ref Proceedings of the First BabyLM Workshop (2025), pp. 421-435

Checklists Are Better Than Reward Models For Aligning Language Models

检查表比奖励模型更能对齐语言模型

Vijay Viswanathan, Yanchao Sun, Shuang Ma, Xiang Kong, Meng Cao, Graham Neubig, Tongshuang Wu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出基于检查表反馈的强化学习方法，通过灵活的指令特定准则提升语言模型的指令遵循能力，在多个基准测试中均取得性能提升。

Comments Presented at NeurIPS 2025