大模型对齐与安全

Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework

超越RLHF和NLHF：在公理框架下的人口比例对齐

Kihyun Kim, Jiawei Zhang, Asuman Ozdaglar, Pablo A. Parrilo

机构 * MIT LIDS（麻省理工学院LIDS） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于公理框架的人口比例对齐方法，通过社会选择理论解决传统偏好学习中的偏差和操纵问题，并在推荐任务和语言模型对齐中验证了其有效性。

Comments ICLR 2026

Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment

逆强化学习与动态奖励缩放用于大语言模型对齐

Ruoxi Cheng, Haoxuan Ma, Weixin Wang, Ranjie Duan, Jiexi Liu, Xiaoshuang Jia, Simeng Qin, Xiaochun Cao, Yang Liu, Xiaojun Jia

机构 * Beijing Electronic Science and Technology Institute（北京电子科技学院） ； Alibaba Group（阿里巴巴集团） ； Nanjing University（南京大学） ； Duke University（杜克大学） ； BraneMatrix AI ； Renmin University of China（中国人民大学） ； Northeast University（东北大学） ； Nanyang Technological University（南洋理工大学） ； Zhejiang Lab（浙江实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DR-IRL通过动态奖励缩放和逆强化学习提升大语言模型的安全对齐性能，有效解决数据不平衡和静态奖励模型的局限性。

Quark Medical Alignment: A Holistic Multi-Dimensional Alignment and Collaborative Optimization Paradigm

夸克医疗对齐：一种全面的多维对齐与协作优化范式

Tianxiang Xu, Jiayi Liu, Yixuan Tong, Jialu Xu, Yunqing Wei, Kaiwen Feng, PanPan Hou, Kangping Yin, Jiyuan Hu, Hao Zhou, Zhenxin Ma, Jian Xu, Guanjun Jiang

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出夸克医疗对齐范式，通过多维对齐矩阵和统一优化机制解决医疗问答中的对齐问题，实现正确性、安全性和合规性的协同优化。

Elo-Evolve: A Co-evolutionary Framework for Language Model Alignment

Elo-Evolve：一种用于语言模型对齐的共进化框架

Jing Zhao, Ting Zhen, Junwei Bao, Hongfei Jiang, Yang Song

机构 * Zuoyebang, Beijing, China（北京中关村） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 Elo-Evolve通过动态多代理竞争和自适应对手选择，提升大型语言模型对齐的稳定性与效果。

Data Selection for LLM Alignment Using Fine-Grained Preferences

利用细粒度偏好进行LLM对齐的数据选择

Jia Zhang, Yao Liu, Chen-Xi Zhang, Yi Liu, Yi-Xuan Jin, Lan-Zhe Guo, Yu-Feng Li

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Algorithm Tech, Taobao & Tmall Group of Alibaba（阿里巴巴集团算法技术部） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文提出了一种基于细粒度偏好的数据选择方法，通过优化偏好分歧来提升LLM对齐效果，实验表明在少量数据下也能实现显著改进。

Reward Models Inherit Value Biases from Pretraining

奖励模型继承预训练中的价值偏见

Brian Christian, Jessica A. F. Thompson, Elle Michelle Yang, Vincent Adam, Hannah Rose Kirk, Christopher Summerfield, Tsvetomira Dumbalska

机构 * Department of Experimental Psychology, University of Oxford（心理学系，牛津大学） ； Department of Computer Science, University of Oxford（计算机科学系，牛津大学） ； AI/ML Research Group, Universitat Pompeu Fabra（人工智能/机器学习研究组，庞培法华大学） ； Oxford Internet Institute, University of Oxford（牛津互联网研究所，牛津大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究发现奖励模型继承预训练模型的价值偏见，影响其对代理和共融的偏好，揭示了预训练阶段对安全和对齐的重要性。

Journal ref International Conference on Learning Representations (ICLR), 2026

Token-Importance Guided Direct Preference Optimization

基于令牌重要性的直接偏好优化

Ning Yang, Hai Lin, Yibo Liu, Baoliang Tian, Guoqing Liu, Haijun Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； ByteDance（字节跳动） ； Microsoft Research AI4Science（微软研究院AI4Science） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出TI-DPO方法，通过混合加权机制和三元组损失实现细粒度语义控制，提升模型对偏好响应的准确性和生成多样性。

Comments ICLR 2026 Oral

MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages

MENLO：从偏好到熟练度——在47种语言上评估和建模原生质量

Chenxi Whitehouse, Sebastian Ruder, Tony Lin, Oksana Kurylo, Haruka Takagi, Janice Lam, Nicolò Busetto, Denise Diaz, Francisco Guzmán

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Handshake AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MENLO通过偏好评估和建模提升多语言LLM的原生质量，结合强化学习和多任务学习方法改进模型表现。

Comments ICLR 2026

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training

EstLLM：通过持续预训练和后训练增强多语言大语言模型中的爱沙尼亚能力

Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

机构 * Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究院） ； Department of Software Science, Tallinn University of Technology（塔林技术大学软件科学系） ； Institute of the Estonian Language, Tallinn, Estonia（爱沙尼亚语言研究院） ； School of Humanities, Tallinn University（塔林大学人文学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 EstLLM通过持续预训练和后训练提升多语言大语言模型中爱沙尼亚的能力，增强语言和推理表现。

Agency and Architectural Limits: Why Optimization-Based Systems Cannot Be Norm-Responsive

代理与架构限制：为何基于优化的系统无法回应规范

Radha Sarma

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.CY

AI总结 本文指出基于优化的系统无法回应规范，提出真正的代理性需要不可比较的边界和否定性回应机制，揭示了优化与规范治理的不兼容性及由此引发的收敛危机。

Comments About 10,600 words in all (includes ~1000 words of literature and ~2400 words of Appendices). Under journal review

Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents

解决粒度不匹配问题：用于长周期LLM代理的层次化偏好学习

Heyang Gao, Zexu Sun, Erxue Min, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Xu Chen

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（人工智能与数字经济广东实验室） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出层次化偏好学习方法，通过双层课程引导解决LLM代理长周期任务中的粒度不匹配问题，提升多粒度偏好优化能力。

Comments Accepted to ICLR 2026

When Data is the Algorithm: A Systematic Study and Curation of Preference Optimization Datasets

当数据成为算法：对偏好优化数据集的系统研究与整理

Aladin Djuhera, Farhan Ahmed, Swanand Ravindra Kadhe, Syed Zawad, Heiko Ludwig, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统研究并整理了多个开源DPO数据集，提出UltraMix混合数据集，通过Magpie框架进行精细标注，揭示偏好质量差异，并在关键基准上超越最佳单个数据集性能。

Journal ref The Fourteenth International Conference on Learning Representations (ICLR) 2026

EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing

EditReward：一种用于指令引导图像编辑的人类对齐奖励模型

Keming Wu, Sicong Jiang, Max Ku, Ping Nie, Minghao Liu, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； McGill University（麦吉尔大学） ； Independent（独立研究者） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 EditReward是一种基于人类偏好的奖励模型，通过大规模标注数据提升图像编辑任务的质量与性能，展示了在指令引导图像编辑中的卓越对齐能力。

Comments Accepted by ICLR 2026. Project Page: https://tiger-ai-lab.github.io/EditReward

ClinCoT: Clinical-Aware Visual Chain-of-Thought for Medical Vision Language Models

ClinCoT：面向医学视觉语言模型的临床感知视觉推理链

Xiwei Liu, Yulong Li, Xinlin Zhuang, Xuhui Li, Jianxu Chen, Haolin Yang, Imran Razzak, Yutong Xie

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； East China Normal University（东华大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 ClinCoT通过引入临床感知的视觉推理链框架，提升医学视觉语言模型在临床决策中的事实性支撑与多模态推理能力。

Revisiting Self-Play Preference Optimization: On the Role of Prompt Difficulty

重新审视自我对弈偏好优化：关于提示难度的作用

Yao Xiao, Jung-jae Kim, Roy Ka-wei Lee, Lidong Bing

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

AI总结 本文研究了提示难度对自我对弈偏好优化的影响，发现困难提示会降低性能，而简单提示更有效，提出通过训练少量简单提示来提升模型表现。

RLAR: An Agentic Reward System for Multi-task Reinforcement Learning on Large Language Models

RLAR：一种用于大型语言模型多任务强化学习的代理奖励系统

Andrew Zhuoer Feng, Cunxiang Wang, Bosi Wen, Yidong Wang, Yu Luo, Hongning Wang, Minlie Huang

机构 * Tsinghua Univeristy（清华大学） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 RLAR通过动态生成奖励函数提升大型语言模型在多任务强化学习中的性能和泛化能力。

Comments 25 pages, 7 figures

Vision-Language Feature Alignment for Road Anomaly Segmentation

视觉-语言特征对齐用于道路异常分割

Zhuolin He, Jiacheng Tang, Jian Pu, Xiangyang Xue

机构 * School of Computer Science, Fudan University（复旦大学计算机科学学院） ； Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)

AI总结 VL-Anomaly通过结合视觉-语言模型的语义先验，提出了一种新的道路异常分割框架，有效提升异常检测的准确性和鲁棒性。

ALTER: Asymmetric LoRA for Token-Entropy-Guided Unlearning of LLMs

ALTER: 用于LLM中基于令牌熵引导的不对称LoRA去学习

Xunlei Chen, Jinyu Guo, Yuang Li, Zhaokun Wang, Yi Gong, Jie Zou, Jiwei Wei, Wenhong Tian

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 ALTER通过不对称LoRA架构实现基于令牌熵引导的LLM高效去学习，取得SOTA性能并保留高模型效用。

Comments Accepted at The 40th Annual AAAI Conference on Artificial Intelligence (AAAI 2026)

LFPO: Likelihood-Free Policy Optimization for Masked Diffusion Models

LFPO：基于掩码扩散模型的似然自由策略优化

Chenxing Wei, Jiazhen Kang, Hong Wang, Jianqing Zhang, Hao Jiang, Xiaolong Xu, Ningyuan Sun, Ying He, F. Richard Yu, Yao Shu, Bo Jiang

机构 * Shenzhen University（深圳大学） ； Hong Kong University of Science（香港科学大学） ； Guangdong Laboratory of Artificial Intelligence（广东省人工智能与数字经济实验室） ； University of Science（科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Carleton University（卡尔顿大学） ； Southeast University（东南大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 LFPO通过似然自由策略优化提升掩码扩散模型的生成质量与推理效率。

Token-level Data Selection for Safe LLM Fine-tuning

令牌级数据选择用于安全大语言模型微调

Yanping Li, Zhening Liu, Zijian Li, Zehong Lin, Jun Zhang

机构 * The Hong Kong University of Science（香港科学与技术大学） ； School of Data Science, Lingnan University（岭南大学数据科学学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TOSS框架，通过令牌级数据选择提升LLM微调的安全性，同时在下游任务性能上优于现有样本级防御方法。

Comments Accepted by ICLR 2026

Learning to Explore: Policy-Guided Outlier Synthesis for Graph Out-of-Distribution Detection

学习探索：基于策略的异常合成用于图分布外检测

Li Sun, Lanxu Yang, Jiayu Tian, Bowen Fang, Xiaoyan Yu, Junda Ye, Peng Tang, Hao Peng, Philip S. Yu

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 PGOS通过强化学习策略生成高质量伪OOD图，提升图分布外检测的鲁棒性与性能

Comments Accepted by AAAI'26, 9 pages

Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models

奖励怀疑：一种强化学习方法用于大语言模型的校准置信表达

David Bani-Harouni, Chantal Pellegrini, Paul Stangel, Ege Özsoy, Kamilia Zaripova, Nassir Navab, Matthias Keicher

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种强化学习方法，通过直接微调大语言模型以实现校准的置信度表达，提升了模型的置信度校准能力和泛化能力。

Model Predictive Adversarial Imitation Learning for Planning from Observation

基于模型预测的对抗模仿学习用于从观察中规划

Tyler Han, Yanda Bao, Bhaumik Mehta, Gabriel Guo, Anubhav Vishwakarma, Emily Kang, Sanghun Jung, Rosario Scalise, Jason Zhou, Bryan Xu, Byron Boots

机构 * Paul G. Allen School of Computer Science & Engineering（保罗·G·阿伦计算机科学与工程学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出一种基于模型预测的对抗模仿学习方法，通过端到端学习从观察中规划，提升样本效率和鲁棒性。

Comments Accepted at ICLR 2026

Behavioral Generative Agents for Energy Operations

行为生成代理在能源运营中的应用

Cong Chen, Omer Karaduman, Xu Kuang

机构 * Thayer School of Engineering, Dartmouth College（达特茅斯学院泰勒工程学院） ； Graduate School of Business, Stanford University（斯坦福大学商学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出利用生成代理模拟客户决策，揭示能源运营中消费者行为模式，提升能源管理系统设计和政策分析能力。

Symphony: A Heuristic Normalized Calibrated Advantage Actor and Critic Algorithm in application for Humanoid Robots

Symphony：一种用于双足机器人的启发式规范化校准优势Actor-Critic算法

Timur Ishuov, Michele Folgheraiter, Madi Nurmanov, Goncalo Gordo, Richárd Farkas, József Dombi

机构 * Department of Computer Algorithms and Artificial Intelligence, University of Szeged（塞格德大学计算机算法与人工智能系） ； Department of Robotics and Mechatronics, Nazarbayev University（纳扎尔巴耶夫大学机器人与机电系） ； Tinker AI Limited（Tinker AI有限公司） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 Symphony算法通过规范化校准和安全动作策略，提升双足机器人从零开始的学习效率和安全性。

Comments https://github.com/SuspensionRailway/symphony

FireRed-OCR Technical Report

FireRed-OCR 技术报告

Hao Wu, Haoran Lou, Xinyue Li, Zuodong Zhong, Zhaojun Sun, Phellon Chen, Xuanhe Zhou, Kai Zuo, Yibo Chen, Xu Tang, Yao Hu, Boxiang Zhou, Jian Wu, Yongji Wu, Wenxin Yu, Yingmiao Liu, Yuhao Huang, Manjie Xu, Gang Liu, Yidong Ma, Zhichao Sun, Changhao Qiao

机构 * Super Intelligence Team（超级智能团队） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 FireRed-OCR 通过三阶段渐进训练策略，将通用 VLM 转化为高精度结构文档解析专家，实现 OCR 领域的突破性性能。

Investigating Group Relative Policy Optimization for Diffusion Transformer based Text-to-Audio Generation

探究基于扩散变压器的文本到音频生成中的群体相对策略优化

Yi Gu, Yanqing Liu, Chen Yang, Sheng Zhao

机构 * Tsinghua University（清华大学） ； Microsoft（微软） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 本文基于扩散变压器架构，利用群体相对策略优化提升文本到音频生成的保真度和提示遵循性。

BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

BitVLA：用于机器人操作的1位视觉-语言-动作模型

Hongyu Wang, Chuyan Xiong, Ruiping Wang, Xilin Chen

机构 * Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences University of Chinese Academy of Sciences（人工智能安全重点实验室，计算技术研究所，中国科学院，中国科学院大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 BitVLA是一种用于机器人操作的1位视觉-语言-动作模型，通过模型设计和优化提升部署效率，实现内存和延迟的显著降低。

Comments Work in progress

From Human Negotiation to Agent Negotiation: Personal Mobility Agents in Automated Traffic

从人类协商到智能体协商：个人移动智能体在自动化交通中的应用

Pascal Jansen

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出个人移动智能体，通过代理用户偏好与安全规则协商交通行为，解决自动化交通中用户与系统冲突的问题。

Comments Position Paper at the CHI 2026 Workshop AutomationXP26: Agentic Automation Experiences - Rethinking the Interaction of Humans and AI Agents. April 14, 2026. Barcelona, Spain

Minimalist Compliance Control

极简合规控制

Haochen Shi, Songbo Hu, Yifan Hou, Weizhuo Wang, Karen Liu, Shuran Song

专题命中 安全训练 ：safety(abstract)

AI总结 极简合规控制通过仅使用电机电流或电压信号实现无需力传感器的合规控制，适用于多种机器人和规划方法。

Comments Project website: https://minimalist-compliance-control.github.io/