大模型对齐与安全

Avoiding $\mathbf{exp(R_{max})}$ scaling in RLHF through Preference-based Exploration

Mingyu Chen, Yiding Chen, Wen Sun, Xuezhou Zhang

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） ； Boston University（波士顿大学） ； Department of Computer Science（计算机科学系） ； Cornell University（康奈尔大学） ； Faculty of Computing & Data Sciences（计算与数据科学学院） 纠错

专题命中 偏好对齐 ：RLHF(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

Preemptive Detection and Steering of LLM Misalignment via Latent Reachability

Sathwik Karnik, Somil Bansal

机构 * Safe and Intelligent Autonomy Lab, Stanford University（斯坦福大学安全与智能自主实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；分类 cs.AI、cs.LG

Random Direct Preference Optimization for Radiography Report Generation

Valentin Samokhin, Boris Shirokikh, Mikhail Goncharov, Dmitriy Umerenkov, Maksim Bobrin, Ivan Oseledets, Dmitry Dylov, Mikhail Belyaev

机构 * Artificial Intelligence Research Institute (AIRI)（人工智能研究院） ； Skolkovo Institute of Science and Technology（斯克罗夫学院） ； Institute for Information Transmission Problems（信息传输问题研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback

Gen Li, Yuling Yan

机构 * Department of Statistics and Data Science, The Chinese University of Hong Kong（统计与数据科学系，香港中文大学） ； Department of Statistics, University of Wisconsin-Madison（统计系，威斯康星大学麦迪逊分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

MesaTask: Towards Task-Driven Tabletop Scene Generation via 3D Spatial Reasoning

Jinkun Hao, Naifu Liang, Zhen Luo, Xudong Xu, Weipeng Zhong, Ran Yi, Yichen Jin, Zhaoyang Lyu, Feng Zheng, Lizhuang Ma, Jiangmiao Pang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； SII Southern University of Science and Technology（南方科技大学） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

Comments Accepted by NeurIPS 2025; Project page: https://mesatask.github.io/

Shadow-FT: Tuning Instruct Model via Training on Paired Base Model

Taiqiang Wu, Runming Yang, Jiayi Li, Pengfei Hu, Yik-Chung Wu, Ngai Wong, Yujiu Yang

机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

Comments 24 pages, 12 tables, 8 figures. Previous name: Shadow-FT: Tuning Instruct via Base

A Critical Look At Tokenwise Reward-Guided Text Generation

Ahmad Rashid, Ruotian Wu, Julia Grosse, Agustinus Kristiadi, Pascal Poupart

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； Western University（西方大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.LG

Comments Work accepted at COLM 2025

SPARK: Synergistic Policy And Reward Co-Evolving Framework

Ziyu Liu, Yuhang Zang, Shengyuan Ding, Yuhang Cao, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.LG

Comments Project:https://github.com/InternLM/Spark

Can Synthetic Query Rewrites Capture User Intent Better than Humans in Retrieval-Augmented Generation?

JiaYing Zheng, HaiNan Zhang, Liang Pang, YongXin Tong, ZhiMing Zheng

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

Comments 10 pages, 6 figures

video-SALMONN 2: Caption-Enhanced Audio-Visual Large Language Models

Changli Tang, Yixuan Li, Yudong Yang, Jimin Zhuang, Guangzhi Sun, Wei Li, Zejun Ma, Chao Zhang

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） ； ByteDance（字节跳动） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

SeamCrafter: Enhancing Mesh Seam Generation for Artist UV Unwrapping via Reinforcement Learning

Duoteng Xu, Yuguang Chen, Jing Li, Xinhai Liu, Xueqi Ma, Zhuo Chen, Dongyu Zhang, Chunchao Guo

机构 * Tencent Hunyuan（腾讯文英） ； SYSU（南方科技大学） ； SZU（深圳大学） ； USTC（中国科学技术大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)