大模型对齐与安全

Why DPO is a Misspecified Estimator and How to Fix It

Aditya Gopalan, Sayak Ray Chowdhury, Debangshu Banerjee

机构 * IISc Bangalore（班加罗尔IISc） ； IIT Kanpur（坎purIIT） ； HP AI Research（HP人工智能研究） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；alignment(abstract)；RLHF(abstract)；分类 cs.LG

Permutative Preference Alignment from Listwise Ranking of Human Judgments

Yang Zhao, Yixin Wang, Mingzhang Yin

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； University of Florida（佛罗里达大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；DPO(abstract)；分类 cs.CL

Comments Published at EMNLP 2025 Main Conference

Aligning Transformers with Continuous Feedback via Energy Rank Alignment

Shriram Chennakesavalu, Frank Hu, Sebastian Ibarraran, Grant M. Rotskoff

机构 * Department of Chemistry Stanford University（化学系 斯坦福大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract)；分类 cs.AI、cs.LG

LeVo: High-Quality Song Generation with Multi-Preference Alignment

Shun Lei, Yaoxun Xu, Zhiwei Lin, Huaicheng Zhang, Wei Tan, Hangting Chen, Jianwei Yu, Yixuan Zhang, Chenyu Yang, Haina Zhu, Shuai Wang, Zhiyong Wu, Dong Yu

机构 * Shenzhen International Graduate School, Tsinghua University, Shenzhen（清华大学深圳国际研究生院） ； Tencent AI Lab（腾讯AI实验室） ； Wuhan University（武汉大学） ； The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳）） ； X-LANCE Lab, Shanghai Jiao Tong University, Shanghai（上海交通大学X-LANCE实验室） ； School of Intelligence Science and Technology, Nanjing University, Suzhou, China（南京大学智能科学与技术学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025

Pareto-Optimal Energy Alignment for Designing Nature-Like Antibodies

Yibo Wen, Chenwei Xu, Jerry Yao-Chieh Hu, Kaize Ding, Han Liu

机构 * Northwestern University（西北大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

Comments 21 pages

Ask a Strong LLM Judge when Your Reward Model is Uncertain

Zhenghao Xu, Qin Lu, Qingru Zhang, Liang Qiu, Ilgee Hong, Changlong Yu, Wenlin Yao, Yao Liu, Haoming Jiang, Lihong Li, Hyokun Yun, Tuo Zhao

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Amazon（亚马逊） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

Comments NeurIPS 2025, 18 pages

XtraGPT: Context-Aware and Controllable Academic Paper Revision

Nuo Chen, Andre Lin HuiKai, Jiaying Wu, Junyi Hou, Zining Zhang, Qian Wang, Xidong Wang, Bingsheng He

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

Comments Preprint. The model report is available at https://arxiv.org/abs/2505.11336v1

Optimized Distortion in Linear Social Choice

Luise Ge, Gregory Kehne, Yevgeniy Vorobeychik

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

Generative Reasoning Recommendation via LLMs

Minjie Hong, Zetong Zhou, Zirun Guo, Ziang Zhang, Ruofan Hu, Weinan Gan, Jieming Zhu, Zhou Zhao

专题命中 偏好对齐 ：alignment(abstract)

Vox-Evaluator: Enhancing Stability and Fidelity for Zero-shot TTS with A Multi-Level Evaluator

Hualei Wang, Na Li, Chuke Wang, Shu Wu, Zhifeng Li, Dong Yu

专题命中 偏好对齐 ：alignment(abstract)

Comments 10 pages, 5 figures