语言大模型 / LLM

Reward Collapse in Aligning Large Language Models

Ziang Song, Tianle Cai, Jason D. Lee, Weijie J. Su

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted for publication in the Journal of Data Science (JDS), reference JDS1201

Improving LLM Safety Alignment with Dual-Objective Optimization

Xuandong Zhao, Will Cai, Tianneng Shi, David Huang, Licong Lin, Song Mei, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

Comments ICML 2025

Human-assisted Robotic Policy Refinement via Action Preference Optimization

Wenke Xia, Yichu Yang, Hongtao Wu, Xiao Ma, Tao Kong, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing（中国人民大学北京校区人工智能学院） ； Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索与推荐工程研究中心） ； Beijing Key Laboratory of Research on Large Models（北京大型模型研究重点实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；foundation model(abstract)；分类 cs.AI

Comments Accepted By NeurIPS 2025

Incentivizing LLMs to Self-Verify Their Answers

Fuxiang Zhang, Jiacheng Xu, Chaojie Wang, Ce Cui, Yang Liu, Bo An

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Skywork AI 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Approximating Human Preferences Using a Multi-Judge Learned System

Eitán Sprejer, Fernando Avalos, Augusto Bernardi, Jose Pedro Brito de Azevedo Faustino, Jacob Haimes, Narmeen Fatimah Oozeer

机构 * BAISH | UBA | Apart Research（BAISH | UBA | Apart研究） ； University of São Paulo（圣保罗大学） ； Apart Research（Apart研究） ； Dovetail Research | Apart Research（Dovetail研究 | Apart研究） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

Explainable post-training bias mitigation with distribution-based fairness metrics

Ryan Franks, Alexey Miroshnikov, Konstandinos Kotsiopoulos

机构 * Discover Financial Services（Discover金融服务公司） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.LG

Comments 45 pages, 4 figures