大模型对齐与安全

Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models

弥合稳定性与表现力之间的差距：低资源口语语言模型的合成数据扩展与偏好对齐

Yizhong Geng, Yanliang Li, Jinghan Yang, Tianhan Jiang, Boxun An, Ya Li, Xiaoyu Shen

机构 * Beijing University of Posts（北京邮电大学） ； University of California, USA（美国加州大学） ； Northwestern University, USA（美国西北大学） ； Eastern Institute of Technology, Ningbo, China（宁波工程技术学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对低资源口语语言模型因合成数据导致的表现力崩溃问题，提出两种自对齐框架（DGSA和TDSC）以恢复韵律多样性，实现超越商业系统的性能并首次支持老挝语零样本语音克隆。

Alignment Tuning for Large Language Models: A Data-Centric Lens on Alignment Data Pipelines

大型语言模型的对齐调优：以数据为中心的对齐数据管道视角

Hwanjun Song

机构 * KAIST（韩国科学技术院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文以数据为中心，将对齐调优重构为管道设计问题，分解为响应合成、偏好评估和偏好实例化三个阶段，并基于此框架统一分类现有对齐方法，总结设计权衡与失败模式，提炼高层原则，最后指出开放挑战。

Comments Accepted at the Findings of ACL 2026

Alignment Makes Language Models Normative, Not Descriptive

对齐使语言模型变得规范，而非描述性

Eilam Shapira, Moshe Tennenholtz, Roi Reichart

机构 * Technion – Israel Institute of Technology（技术离子-以色列理工学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过对比120个基础-对齐模型对在超过10,000个真实人类决策中的表现，发现对齐诱导了规范性偏差：在单轮教科书式博弈中提升预测，但在多轮战略博弈中因忽略互惠、报复等描述性动态而损害预测。

AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment

AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型

Kuei-Chun Kao, Daixuan Huo, Yuanhao Ban, Cho-Jui Hsieh

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AutoRubric-T2I，一种首个用于文本到图像生成的规则学习框架，通过自动合成和选择显式规则来指导视觉语言模型（VLM）法官。该方法通过合成偏好对的推理轨迹生成候选规则，并利用VLM法官在每种规则下对配对图像进行评分，产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则，从而在少量标注偏好数据下生成高质量、可解释的奖励信号，并在多个图像奖励基准测试中优于现有奖励模型基线。

Comments 27 pages

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO: 用于高效对齐的主动直接偏好优化

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。

Comments Accepted at ICLR 2026

ProteinOPD: Towards Effective and Efficient Preference Alignment for Protein Design

ProteinOPD：迈向蛋白质设计的有效和高效偏好对齐

Yulin Zhang, He Cao, Zihao Jiang, Chenyi Zi, Zhipeng Zhou, Zijing Liu, Yu Li, Jia Li, Ziqi Gao

机构 * Tsinghua University（清华大学） ； International Digital Economy Academy（国际数字经济学院） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ProteinOPD框架，通过结合On-Policy Distillation方法，有效平衡多目标偏好，提升蛋白质设计效率与稳定性，实验显示在目标偏好上表现优异且训练速度更快。

Turning Drift into Constraint: Robust Reasoning Alignment in Non-Stationary Multi-Stream Environments

将漂移转化为约束：非稳态多流环境中的鲁棒推理对齐

Xiaoyu Yang, En Yu, Wei Duan, Jie Lu

机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所） ； Faulty of Engineering and Information Technology（工程与信息技术学院） ； University of Technology Sydney（悉尼技术大学） ； Australia（澳大利亚） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出APO框架，通过约束满足问题解决多源推理对齐问题，实验表明其在胸片解读中鲁棒性优于现有模型，并发布CXR-MAX基准测试集。

Comments ICML 2026

Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

互动中的隐含意义：理解隐含意义能提高人-大语言模型互动的对齐

Asutosh Hota, Jussi P. P. Jokinen

机构 * Jyvaskylan yliopisto（耶夫斯克扬大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨LLM在基于上下文的提示中推断用户意图的能力，发现更大模型更接近人类解释，隐含意义提示能显著提升响应的相关性和质量，67.6%参与者偏好隐含意义提示。

Comments The manuscript is approximately 7360 words and contains 12 figures and 6 tables

Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment

Meta-Aligner: 多目标大语言模型对齐的双向偏好-策略优化

Wenzhe Xu, Biao Liu, Yiyang Sun, Xin Geng, Ning Xu

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Meta-Aligner框架，通过双向优化偏好与策略响应，生成动态偏好以提升训练稳定性，实验证明其在多目标基准上的优越性能。

Pref-CTRL: Preference Driven LLM Alignment using Representation Editing

Pref-CTRL: 基于偏好的大语言模型对齐方法使用表征编辑

Imranul Ashrafi, Inigo Jauregi Unanue, Massimo Piccardi

机构 * University of Technology Sydney（悉尼科技大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Pref-CTRL，一种基于偏好的训练框架，通过多目标价值函数改进偏好数据结构，优于RE-Control并在跨领域数据集上表现更佳。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment

一个适应任何：面向个性化大语言模型对齐的元奖励建模

Hongru Cai, Yongqi Li, Tiezheng Yu, Fengbin Zhu, Wenjie Wang, Fuli Feng, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出元奖励建模（MRM）方法，通过元学习框架优化奖励模型初始化，提升个性化对齐的效率与鲁棒性，实验表明其在少样本场景下表现优异。

Comments Accepted by SIGIR 2026

Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation

国界之外的教训？利用多语言故事道德生成评估语言模型的文化契合度

Sophie Wu, Andrew Piper

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过多语言故事道德生成任务评估语言模型的文化契合度，发现前沿模型在道德生成上与人类响应相似但缺乏跨语言多样性。

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

卡牌对战大语言模型：大型语言模型幽默对齐的基准测试

Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

机构 * Ghent University（根特大学） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过让五种前沿语言模型与人类玩家玩卡牌对战游戏，评估大语言模型在幽默对齐方面的表现，发现模型在幽默判断上与人类偏好不一致，可能受系统性偏差影响。

Learning to Optimize Multi-Objective Alignment Through Dynamic Reward Weighting

通过动态奖励加权学习多目标对齐

Yining Lu, Zilong Wang, Shiyang Li, Xin Liu, Changlong Yu, Qingyu Yin, Zhan Shi, Zixuan Zhang, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Amazon（亚马逊） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出动态奖励加权方法，解决多目标强化学习中固定权重无法捕捉非凸帕累托前沿的问题，通过两种新方法实现有效探索帕累托前沿。

LVRPO: Language-Visual Alignment with GRPO for Multimodal Understanding and Generation

LVRPO：基于GRPO的语言-视觉对齐用于多模态理解和生成

Shentong Mo, Sukmin Yun

机构 * Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系，美国） ； Department of Machine Learning, MBZUAI, UAE（穆罕默德·本·扎耶德人工智能大学机器学习系，阿联酋） ； Department of Artificial Intelligence, Hanyang University ERICA, South Korea（汉阳大学ERICA校区人工智能系，韩国） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LVRPO框架，通过GRPO显式对齐语言和视觉表示，提升多模态理解和生成性能，无需辅助编码器或人工目标。

Why Safety Probes Catch Liars But Miss Fanatics

为何安全探针会识破骗子却无法识别狂热分子

Kristiyan Haralambiev

机构 * Independent Research（独立研究） 纠错

专题命中 偏好对齐 ：safety(title)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究安全探针在检测欺骗性对齐AI系统时的局限性，发现当模型相信有害行为是正当的而非隐藏时，探针无法检测到这种一致性偏差，揭示了探针逃避现象的形成机制。

Comments 18 pages, 4 figures, 14 tables

ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment

ImplicitRM: 从隐式偏好数据中无偏奖励建模以实现语言模型对齐

Hao Wang, Haocheng Yang, Licheng Pan, Lei Shen, Xiaoxi Li, Yinuo Wang, Zhichao Chen, Yuan Lu, Haoxuan Li, Zhouchen Lin

机构 * Peking University（北京大学） ； Xiaohongshu Inc.（小红书公司） ； National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(title)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ImplicitRM，通过隐式反馈数据学习无偏奖励模型，解决隐式偏好数据中缺乏明确负样本和用户偏好偏差的问题，实验验证其有效性。

Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity

在数据异质性下基于混合专家的联邦学习聚合对齐

Zihan Fang, Qianru Wang, Haonan An, Zheng Lin, Yiqin Deng, Xianhao Chen, Yuguang Fang

机构 * Hong Kong JC STEM Lab of Smart City（香港JC STEM实验室） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Department of Electrical and Computer Engineering, The University of Hong Kong（香港大学电子与计算机工程系） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文针对联邦学习中混合专家模型因数据异质性导致的聚合挑战，提出FedAlign-MoE框架，通过路由一致性和专家语义对齐提升模型收敛速度和准确性。

Comments 14 pages, 14 figures

An Empirical Study of SFT-DPO Interaction and Parameterization in Small Language Models

小语言模型中SFT-DPO交互与参数化的实证研究

Yuming Feng, Christy Yang

机构 * Department of Computer Science（计算机科学系） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对比SFT、DPO及分阶段训练方法，发现全参数微调在小模型中表现更优，而偏好优化和低秩适应带来的边际收益有限。

Inference-time Alignment in Continuous Space

连续空间中的推理对齐

Yige Yuan, Teng Xiao, Li Yunfan, Bingbing Xu, Shuchang Tao, Yunqi Qiu, Huawei Shen, Xueqi Cheng

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SEA算法，通过连续潜在空间中的梯度采样对齐大语言模型，提升在弱基策略或小候选集下的效果，实验显示在AdvBench和MATH上分别提升77.51%和16.36%。

Comments Accepted at NeurIPS 2025

Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment

通过偏好对齐学习长上下文的推理

Junming Liu, Yuqi Li, Shiping Wen, Zhigang Zeng, Tingwen Huang

机构 * Tongji University（同济大学） ； The City University of New York（纽约城市大学） ； University of Technology Sydney（悉尼大学） ； Huazhong University of Science and Technology（华中科技大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 Hit-RAG通过多阶段偏好对齐框架解决长上下文推理中的注意力稀释和幻觉问题，提升模型在长上下文场景下的推理能力。

Comments 21 pages, 2 figures, 6 tables

Best-of-Tails: Bridging Optimism and Pessimism in Inference-Time Alignment

最佳尾部：在推理时间对齐中弥合乐观与悲观

Hsiang Hsu, Eric Lei, Chun-Fu Chen

机构 * JPMorganChase Global Technology Applied Research（摩根大通全球技术应用研究） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BoT框架，通过Tsallis分歧作为正则化器，在推理时间对齐中平衡乐观与悲观，提升对齐性能。

Revisiting the (Sub)Optimality of Best-of-N for Inference-Time Alignment

重新审视最佳-N在推理时间对齐中的（次）最优性

Ved Sriraman, Adam Block

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文重新审视了最佳-N在推理时间对齐中的次优性，证明在特定条件下BoN在胜率上最优，并提出消除奖励黑客攻击的改进方法。

Comments 52 pages

Density-Guided Response Optimization: Community-Grounded Alignment via Implicit Acceptance Signals

密度引导的响应优化：通过隐含接受信号实现社区导向的对齐

Patrick Gerard, Svitlana Volkova

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） ； Aptima Inc.（Aptima公司） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过隐含接受信号实现社区导向的对齐，无需显式偏好标签，提升语言模型在多样社区中的适应性与表现。

Comments 27 Pages

Elo-Evolve: A Co-evolutionary Framework for Language Model Alignment

Elo-Evolve：一种用于语言模型对齐的共进化框架

Jing Zhao, Ting Zhen, Junwei Bao, Hongfei Jiang, Yang Song

机构 * Zuoyebang, Beijing, China（北京中关村） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 Elo-Evolve通过动态多代理竞争和自适应对手选择，提升大型语言模型对齐的稳定性与效果。

Open Problems in Differentiable Social Choice: Learning Mechanisms, Decisions, and Alignment

可微社会选择中的开放问题：学习机制、决策与对齐

Zhiyu An, Wan Du

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了可微社会选择中的18个开放问题，研究如何将投票规则、机制和聚合过程作为可学习模型进行优化，揭示了经典公理在机器学习中的新应用。

Position: Capability Control Should be a Separate Goal From Alignment

位置：能力控制应是与对齐分开的目标

Shoaib Ahmed Siddiqui, Eleni Triantafillou, David Krueger, Adrian Weller

机构 * University of Cambridge（剑桥大学） ； Google DeepMind（谷歌DeepMind） ； University of Montreal（蒙特利尔大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文主张将能力控制视为与对齐不同的目标，提出分层的控制机制以应对模型的潜在滥用和失败。

Beyond Preferences: Learning Alignment Principles Grounded in Human Reasons and Values

超越偏好：基于人类理由和价值观的学习对齐原则

Henry Bell, Lara Neubauer da Costa Schertel, Bochu Ding, Brandon Fain

机构 * Duke University（杜克大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出GCAI框架，通过结合人类理由和价值观生成AI对齐原则，提升AI治理的道德基础和一致性。

How Much Would a Clinician Edit This Draft? Evaluating LLM Alignment for Patient Message Response Drafting

临床医生会修改这个草稿多少？评估LLM对患者信息回复草稿的对齐情况

Parker Seegmiller, Joseph Gatto, Sarah E. Greer, Ganza Belise Isingizwe, Rohan Ray, Timothy E. Burdick, Sarah Masud Preum

机构 * Department of Computer Science, Dartmouth College（计算机科学系，达特茅斯学院） ； Department of Community and Family Medicine, Dartmouth Health（社区与家庭医学系，达特茅斯健康） ； The Dartmouth Institute, Dartmouth College（达特茅斯研究所，达特茅斯学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估了LLM在患者信息回复起草任务中的对齐情况，提出了一种新的评估框架，并发现需要根据临床医生的偏好进行适应以提高可靠性。

PediaMind-R1: A Temperament-Aware Language Model for Personalized Early Childhood Care Reasoning via Cognitive Modeling and Preference Alignment

PediaMind-R1: 一种基于气质的个性化婴幼儿护理推理语言模型：通过认知建模与偏好对齐

Zihe Zhang, Can Zhang, Yanheng Xu, Xin Hu, Jichao Leng

机构 * School of Future Information and Innovation, Fudan University（未来信息与创新学院，复旦大学） ； Corporate Research, Bosch (China) Investment Ltd.（博世（中国）投资有限公司研发部） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 PediaMind-R1通过整合认知建模与偏好对齐，实现基于婴幼儿气质的个性化护理推理。

Comments Accepted at EMNLP 2025 PALS Workshop (PALS: EXPLORING ACTIVE AND PASSIVE LLM PERSONALIZATION)