大模型对齐与安全

LEME: Open Large Language Models for Ophthalmology with Advanced Reasoning and Clinical Validation

Hyunjae Kim, Xuguang Ai, Sahana Srinivasan, Aidan Gilson, Maxwell B. Singer, Krithi Pushpanathan, Qianqian Xie, Jungwoo Park, Serina Applebaum, Gabriel Dawei Yang, Minjie Zou, David Ziyou Chen, Ke Zou, Soshian Sarrafpour, Ji Liu, Yu Yin, Jimin Huang, Quang Ngoc Nguyen, Erping Long, Peixing Wan, Dianbo Liu, Richard Hintz, W. Jim Zheng, Sophia Y. Wang, Lucila Ohno-Machado, Hua Xu, Ron A. Adelman, Luciano V. Del Priore, Yih-Chung Tham, Qingyu Chen

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL

Human-assisted Robotic Policy Refinement via Action Preference Optimization

Wenke Xia, Yichu Yang, Hongtao Wu, Xiao Ma, Tao Kong, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing（中国人民大学北京校区人工智能学院） ； Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索与推荐工程研究中心） ； Beijing Key Laboratory of Research on Large Models（北京大型模型研究重点实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

Comments Accepted By NeurIPS 2025

PanicToCalm: A Proactive Counseling Agent for Panic Attacks

Jihyun Lee, Yejin Min, San Kim, Yejin Jeon, SungJun Yang, Hyounghun Kim, Gary Geunbae Lee

机构 * Graduate School of Artificial Intelligence, POSTECH（人工智能研究生院，POSTECH） ； Department of Computer Science and Engineering, POSTECH（计算机科学与工程系，POSTECH） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

Comments Accepted in EMNLP 2025

VIRAL: Vision-grounded Integration for Reward design And Learning

Valentin Cuzin-Rambaud, Emilien Komlenovic, Alexandre Faure, Bruno Yun

机构 * Université Claude Bernard Lyon 1（克莱尔伯恩大学里昂1分校） ； CNRS（国家科学研究中心） ； Ecole Centrale de Lyon（里昂中央理工学院） ； INSA Lyon（里昂工业高等学院） ； Université Lumière Lyon 2（里昂2大学卢米埃尔分校） ； LIRIS（图像研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization

Kaiyi Xu, Junchao Gong, Wenlong Zhang, Ben Fei, Lei Bai, Wanli Ouyang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

Chatbot To Help Patients Understand Their Health

Won Seok Jang, Hieu Tran, Manav Mistry, SaiKiran Gandluri, Yifan Zhang, Sharmin Sultana, Sunjae Kown, Yuan Zhang, Zonghai Yao, Hong Yu

机构 * Center for Healthcare Organization and Implementation Research, VA Bedford Health Care（VA贝德福德医疗中心健康组织与实施研究中心） ； Miner School of Computer and Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机与信息科学学院） ； Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校信息与计算机科学学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

Comments Accepted in EMNLP 2025 Findings

XtraGPT: Context-Aware and Controllable Academic Paper Revision

Nuo Chen, Andre Lin HuiKai, Jiaying Wu, Junyi Hou, Zining Zhang, Qian Wang, Xidong Wang, Bingsheng He

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

Comments Preprint. The model report is available at https://arxiv.org/abs/2505.11336v1

Optimized Distortion in Linear Social Choice

Luise Ge, Gregory Kehne, Yevgeniy Vorobeychik

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

CosmoCore Affective Dream-Replay Reinforcement Learning for Code Generation

Santhosh Kumar Ravindran

机构 * Microsoft Corporation（微软公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI

Comments 12 pages

ImageGem: In-the-wild Generative Image Interaction Dataset for Generative Model Personalization

Yuanhe Guo, Linxi Xie, Zhuoran Chen, Kangrui Yu, Ryan Po, Guandao Yang, Gordon Wetztein, Hongyi Wen

机构 * NYU（纽约大学） ； Stanford（斯坦福大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

The Curious Case of Curiosity across Human Cultures and LLMs

Angana Borah, Zhijing Jin, Rada Mihalcea

机构 * University of Michigan - Ann Arbor（密歇根大学安阿伯分校） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； MPI for Intelligent Systems, Tubingen, Germany（图宾根德国智能系统研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

Comments Preprint (Paper under review)

Aligning Language Models with Investor and Market Behavior for Financial Recommendations

Fernando Spadea, Oshani Seneviratne

机构 * Rensselaer Polytechnic Institute（拉特兰理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

Enhancing Long Chain-of-Thought Reasoning through Multi-Path Plan Aggregation

Siheng Xiong, Ali Payani, Faramarz Fekri

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Research（思科研究） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

Noise Projection: Closing the Prompt-Agnostic Gap Behind Text-to-Image Misalignment in Diffusion Models

Yunze Tong, Didi Zhu, Zijing Hu, Jinluan Yang, Ziyu Zhao

机构 * Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

Comments Appendix will be appended soon

RLSR: Reinforcement Learning with Supervised Reward Outperforms SFT in Instruction Following

Zhichao Wang, Andy Wong, Ruslan Belkin

机构 * Inflection AI 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL

Confidence as a Reward: Transforming LLMs into Reward Models

He Du, Bowen Li, Chengxing Xie, Chang Gao, Kai Chen, Dacheng Tao

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Xidian University（西安电子科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

Coordination Requires Simplification: Thermodynamic Bounds on Multi-Objective Compromise in Natural and Artificial Intelligence

Atma Anand

机构 * Department of Physics and Astronomy, University of Rochester（物理与天文学系，罗切斯特大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

Comments 15 pages, 1 figure, 9 pages supplementary material, submitted to Journal of Physics: Complexity

Cross-modal Associations in Vision and Language Models: Revisiting the Bouba-Kiki Effect

Tom Kouwenhoven, Kiana Shahrasbi, Tessa Verhoef

机构 * Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所） ； Leiden University（莱顿大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

Comments Presented at the Thirty-Ninth Annual Conference on Neural Information Processing Systems (2025)

Embedding the Teacher: Distilling vLLM Preferences for Scalable Image Retrieval

Eric He, Akash Gupta, Adian Liusie, Vatsal Raina, Piotr Molenda, Shirom Chabra, Vyas Raina

机构 * University of Cambridge（剑桥大学） ； Apta 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

Unspoken Hints: Accuracy Without Acknowledgement in LLM Reasoning

Arash Marioriyad, Shaygan Adim, Nima Alighardashi, Mahdieh Soleymani Banghshah, Mohammad Hossein Rohban

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL

Comments 5 Pages, 4 Figures, 4 Tables

Journal ref 39th Conference on Neural Information Processing Systems, 2025, Workshop: Reliable ML from Unreliable Data

LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models

Fengqi Zhu, Rongzhen Wang, Shen Nie, Xiaolu Zhang, Chunwei Wu, Jun Hu, Jun Zhou, Jianfei Chen, Yankai Lin, Ji-Rong Wen, Chongxuan Li

机构 * Gaoling School of AI, Renmin University of China（中国人民大学人工智能学院） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心） ； Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AdaPM: a Partial Momentum Algorithm for LLM Training

Yimu Zhang, Yuanshi Liu, Cong Fang

机构 * State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，智能科学与技术学院，北京大学） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.LG

RPO: Retrieval Preference Optimization for Robust Retrieval-Augmented Generation

Shi-Qi Yan, Quan Liu, Zhen-Hua Ling

机构 * National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（语音与语言信息处理国家工程研究中心，中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（认知智能国家重点实验室，iFLYTEK研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

BFS-Prover: Scalable Best-First Tree Search for LLM-based Automatic Theorem Proving

Ran Xin, Chenguang Xi, Jie Yang, Feng Chen, Hang Wu, Xia Xiao, Yifan Sun, Shen Zheng, Kai Shen

机构 * ByteDance Seed（字节跳动种子） ； ByteDance Applied Machine Learning（字节跳动应用机器学习） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

$λ$-GRPO: Unifying the GRPO Frameworks with Learnable Token Preferences

Yining Wang, Jinman Zhao, Chuangxin Zhao, Shuhao Guan, Gerald Penn, Shinan Liu

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL

Comments 9 pages

POME: Post Optimization Model Edit via Muon-style Projection

Yong Liu, Di Fu, Yang Luo, Zirui Zhu, Minhao Cheng, Cho-Jui Hsieh, Yang You

机构 * National University of Singapore（新加坡国立大学） ； Penn State University（宾夕法尼亚州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.LG

Structural Reward Model: Enhancing Interpretability, Efficiency, and Scalability in Reward Modeling

Xiaoyu Liu, Di Liang, Chang Dai, Hongyu Shan, Peiyang Liu, Yonghao Liu, Muling Wu, Yuntao Li, Xianjie Wu, LI Miao, Jiangrong Shen, Minlong Peng

机构 * Northeastern University, Boston（东北大学，波士顿） ； Independent Developer（独立开发者） ； Peiking University（北京大学） ； Jilin University（吉林大学） ； Beihang University（北航） ； Xi’an Jiaotong University（西安交通大学） ； Baidu Inc（百度公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

StepORLM: A Self-Evolving Framework With Generative Process Supervision For Operations Research Language Models

Chenyu Zhou, Tianyi Xu, Jianghao Lin, Dongdong Ge

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

Judging with Confidence: Calibrating Autoraters to Preference Distributions

Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

机构 * Google（谷歌） ； Vanderbilt University（范德比大学） ； Cornell University（康奈尔大学） ； DeepMind（深Mind） ； University of Alberta（阿尔伯塔大学） ； Virginia Tech（弗吉尼亚理工学院） ； Scale AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

UI-UG: A Unified MLLM for UI Understanding and Generation

Hao Yang, Weijie Qiu, Ru Zhang, Zhou Fang, Ruichao Mao, Xiaoyu Lin, Maji Huang, Zhaosong Huang, Teng Guo, Shuoyang Liu, Hai Rao

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI