大模型对齐与安全

From Consumption to Reflection: Designing Human-AI Relations for Stable Reasoning

从消费到反思：为稳定推理设计人-人工智能关系

Rikard Rosenbacke, Carl Rosenbacke, Victor Rosenbacke, Martin McKee

机构 * Faculty of Medicine, Lund University（吕勒欧大学医学院） ； Department of Economics, Lund University School of Economics and Management（吕勒欧大学经济学与管理学院经济系） ； Department of Health Services Research and Policy, London School of Hygiene & Tropical Medicine（伦敦卫生与热带医学学院健康服务研究与政策系） 纠错

专题命中 偏好对齐 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 提出关系反思智能（RRI），一种推理时治理层，通过可审计的推理循环实现反思，将人机交互转变为联合推理系统，以补偿双方局限并实现稳定推理。

Emergence of Context Characteristics Sensitivity in Large Language Models

大型语言模型中上下文特征敏感性的涌现

Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

机构 * Nanyang Technological University（南洋理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段，发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化，其中监督微调使模型倾向于使用易理解的上下文，而后续阶段可能强化或改变这一偏好。

Scheduling Mixed RL Rollouts Beyond Prefix Locality

超越前缀局部性的混合强化学习回滚调度

Zetao Hong, Song Yuan, Yuanhao Ding, Yibo Zhu, Daxin Jiang, Zhibin Wang, Chen Tian

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 针对混合RL回滚调度的异构性问题，提出MISA-T策略，在多基准实验中显著提升回滚吞吐量并降低平均轮次时间，同时维持缓存命中率与工作负载混合比例。

LLM Reasoning for Subjective Tasks: Failure Modes, Mitigation, and Dynamic Reasoning Routing

用于主观任务的大语言模型推理：失败模式、缓解措施与动态推理路由

Juncheng Dong, Ding Tong, Ishan Gupta, Yuyan Wang

机构 * Duke University（杜克大学） ； Netflix（网飞公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 该研究针对主观任务中LLM推理的失败模式，提出带条件长度惩罚的后训练算法缓解推理崩溃，还发现推理风格不匹配是主观验证误差主因，给出算法补丁与架构蓝图。

Comments 20th ACM Conference on Recommender Systems (RecSys 2026)

MedLLM: An Open Medical Language Model at the Sub-Billion Scale

MedLLM：亚十亿参数规模的开源医疗语言模型

Maxx Richard Rahman, Asim Ahmed, Mihan Mohagheghzadeh, Wolfgang Maass

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出亚十亿参数规模的开源医疗语言模型MedLLM，经三阶段流程训练，在医疗基准测试中展现出亚十亿规模特有的能力分化现象，为医疗小模型研究提供了新方向。

SDO: Structure-Aware Data Organization for Efficient LLM Post-Training

SDO：面向高效大语言模型后训练的结构感知数据组织

Jinliang Gao, Ning Yang, Hai Wang, Baili Xiao, Pin Lyu

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 针对大语言模型后训练中数据组织固定导致的样本优化失衡问题，提出SDO框架，通过逐轮调整小批量与样本暴露，加快多任务收敛并均衡不同问题类型的准确率。

Comments 9 pages, 5 figures, 5 tables

Inverse RL Helps Align AI by Imitating Humans

逆强化学习通过模仿人类帮助对齐人工智能

Michał Wiliński, Liu Leqi, Chirag Nagpal

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 研究语言模型对齐问题，受逆强化学习启发提出PARED方法，通过恢复示范的隐式奖励来改进基础策略，无需特定任务偏好注释，经实验验证其有效性及可用于上下文对齐。

Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

让我看着你：用于对话语音合成的高级面部表情建模

Yifan Hu, Shuwei He, Rui Liu, Haizhou Li

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 研究针对对话语音合成中面部表情线索常被忽视及缺乏多模态数据集的问题，提出基于大语言模型的FacialTalker框架，含AUTokenizer和DualDPO策略，构建VSDD-1K数据集，实验表明该框架在表情感知和语音合成质量上表现出色。

Comments 10 pages, 5 figures, 5 tables. Accepted by ACM MM 2026

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

一种基于共识的大语言模型相对偏好评估框架

Mohtashim Khan

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 针对大语言模型传统评估基准不足，本文提出基于共识的评估框架，通过不同模型对候选响应排序，以模型间一致性衡量质量，经多模型跨领域研究揭示偏好模式，提供了可扩展的比较评估方法。

Comments 14 pages, 7 figures

Antigen-specific Antibody Multi-modal Foundation Model for Functional Antibody Design

用于功能性抗体设计的抗原特异性抗体多模态基础模型

Xiaoliang Shi, Zichen Wang, Runze Ma, Zhongyue Zhang, Shuangjia Zheng

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究针对抗原特异性抗体设计难题，引入AAMFM多模态基础模型，通过跨模态适配器整合抗原信息，用校准直接偏好优化微调，实现抗体 - 抗原相互作用联合建模，实验证明其在功能性抗体设计中性能最优，有抗原特异性抗体工程潜力。

A Method for Learning Value Systems in Generative AI

一种在生成式人工智能中学习价值系统的方法

Andrés Holgado-Sánchez, Holger Billhardt, Sascha Ossowski

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究生成式人工智能中价值系统学习问题，提出将先前验证的方法用于此场景，基于成对偏好数据同时学习价值基础实现与价值系统表示，算法动态排序，评估显示其性能优、权衡小且可解释性强。

Comments Full version of a to be published paper in proceedings of the 9th AAAI/ACM conference in AI, Ethics and Society (AIES 2026). Includes supplementary material. 20 pages, 2 figures

MentalHospital: A Virtual Environment for Evaluating Psychiatric Clinical Encounters

精神病院：一个用于评估精神科临床问诊的虚拟环境

Yuming Yang, Xiao Sun, Yuanwei Zou, Zhengxiao Wu, Yun Chen, Jiang Zhong, Haoyang Zeng, Jingwang Huang, Kaiwen Wei

机构 * School of Computer Science, Chongqing University（重庆大学计算机科学学院） ； School of Computer Science, Hunan University（湖南大学计算机科学学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 研究针对大语言模型在精神科临床问诊评估不足的问题，引入MentalHospital虚拟环境，实例化S.O.A.P.工作流程，用双轨协议评估，开发MentalEval，经测试其具有临床保真度且与专家高度一致，指出大语言模型在精神状态评估上落后临床医生。

Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations

化腐朽为神奇：事后重新标记大语言模型智能体轨迹以实现成功示范

Zichao Li, Gang Wu, Zichao Wang, Ruiyi Zhang, Wanrong Zhu, Ryan A. Rossi, Vlad I Morariu, Jihyung Kil

机构 * Mila, McGill University（米拉，麦吉尔大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 针对大语言模型智能体监督瓶颈，利用智能体展开中隐含的成功目标，引入事后监督学习（HSL），通过辅助大语言模型重新标记轨迹及目标并微调，提出两种技术减轻数据次优性，实验证明其优势。

Comments Accepted to ICLR 2026

The Model Organism Lottery: Model Organism Interpretability Strongly Depends on Training Methodology

模式生物彩票：模式生物可解释性强烈依赖于训练方法

Andrzej Szablewski, Gabriel Konar-Steenberg, Raffaello Fornasiere, Nikita Menon, Stefan Heimersheim

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 研究通过七种训练方法构建54个模式生物，发现模式生物可解释性强烈依赖于训练目标、目标行为、模型架构和数据生成流程，集成训练通常比事后方法更不可解释，质疑当前模式生物作为可解释性代理的有效性。

Comments 9 pages, 9 figures, references and appendices

The Value Axis: Language Models Encode Whether They're on the Right Track

价值轴：语言模型编码它们是否在正确的轨道上

Nick Jiang, Isaac Kauvar, Jack Lindsey

机构 * Stanford University（斯坦福大学） ； Anthropic 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 通过构建Qwen3-8B的“价值轴”，发现语言模型内部追踪当前轨迹的成功概率，并影响自信、自我纠正和探索行为。

Comments Code repository: https://github.com/nickjiang2378/value-axis

BayLing-Duplex: Native Full-Duplex Speech Dialogue with a Single Autoregressive LLM

BayLing-Duplex: 单一自回归LLM的原生全双工语音对话

Qingkai Fang, Shoutao Guo, Yang Feng

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所智能信息处理重点实验室） ； Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出BayLing-Duplex，一种原生全双工语音语言模型，通过单个自回归LLM决定何时听、说和停止，无需外部VAD模块，仅用少量特殊标记实现，在少量微调数据上达到高交互成功率并提升响应质量。

Comments Code: https://github.com/BayLing-Models/BayLing-Duplex

CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search

CoRe：一种持续奖励微调的LLM查询重写器，用于大规模视频搜索中的多阶段上下文感知相关性

Yilin Wen, Rong Yang, Xiaojia Chang, Hong Sun, Gefu Tang, Chunhui Liu, Jeffrey Chen, Zeyu Ma, Lisong Qiu, Xiaochuan Fan, Congjia Yu, Quan Zhou, Yuheng Chen, Zian Wang

机构 * TikTok 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出CoRe系统，通过半在线混合偏好优化和乘法奖励比，实现每周重新部署的LLM查询重写器，在多阶段视频搜索中显著降低变更查询率并提升相关性指标。

Comments 12 pages, 3 figures

Prefill Awareness in Large Language Models

大型语言模型中的预填充感知

Andy Wang, Parv Mahajan, David Demitri Africa, Alexandra Souly, Jordan Taylor, Robert Kirk

机构 * Constellation University of Wisconsin-Madison（威斯康星大学麦迪逊分校星座研究所） ； Constellation Georgia Institute of Technology（佐治亚理工学院星座研究所） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究大型语言模型能否识别并响应其助手消息被预填充或篡改，发现前沿模型具有显著预填充感知能力，可能影响安全评估方法。

Comments Submitted to NeurIPS 2026

Evoflux: Inference-Time Evolution of Executable Tool Workflows for Compact Agents

Evoflux: 紧凑型智能体的可执行工具工作流的推理时演化

Kushal Raj Bhandari, Ling Yue, Ching-Yun Ko, Dhaval Patel, Shaowu Pan, Pin-Yu Chen, Jianxi Gao

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Evoflux，一种推理时演化搜索方法，通过结构化编辑和执行反馈修复紧凑语言模型的工具工作流，将执行可行性从3%提升至17-24%，优于SFT和ReAct。

Comments Code is available at https://github.com/IBM/Evoflux

Beyond the Golden Teacher: Enhancing Graph Learning through LLM-GNN Co-teaching

超越黄金教师：通过LLM-GNN协同教学增强图学习

Zhuoyi Peng, Hanlin Gu, Lixin Fan, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； WeBank（微众银行） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 针对文本属性图上的少样本学习，提出LLM-GNN协同教学框架，避免固定教师模型，通过双向伪标签交换和基于轮次的偏好优化，显著提升图学习性能。

Comments Code: https://github.com/llmgnncoteaching/LLM-GNN-Coteaching

A Regret Minimization Framework on Preference Learning in Large Language Models

大语言模型中偏好学习的遗憾最小化框架

Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

机构 * KAIST（韩国科学技术院） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 提出基于遗憾的偏好优化方法RePO，通过遗憾最小化而非奖励最大化来建模人类偏好，在数学推理和人类偏好数据集上取得一致性能提升。

Large Language Models Should Learn Personalized Rather Than Aggregated Human Preferences

大型语言模型应学习个性化而非聚合的人类偏好

Cristina Garbacea

机构 * University of Chicago, Data Science Institute（芝加哥大学数据科学学院） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文主张大型语言模型应学习个性化偏好而非聚合偏好，分析聚合偏好的理论局限与实证问题，提出通过有界个性化框架兼顾个体自主与集体安全。

Comments Accepted to ICML 2026

SSR-GRPO: Integrating Supervision and Semantic IDs into Reinforcement Learning for Dense Retrieval in E-commerce

SSR-GRPO：将监督与语义标识符集成到强化学习中用于电商领域的密集检索

Guangxin Song, Xing Fang, Mingmin Jin, Jing Wang, Bokang Wang, Zhentao Song, Junjie Bai, Jianbo Zhu

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)

AI总结 该研究针对电商嵌入检索的语义处理难题，提出SSR-GRPO模型，通过双视角相关性评估、难负样本挖掘等策略优化R-GRPO，经实验验证有效并已部署于大规模电商平台。

Position: Align AI to Our Aspirations, Not Our Flaws

立场：将AI对齐于我们的抱负，而非缺陷

Nikita Kazeev, Bui Nhat Huyen Phan

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文主张AI不应与聚合的人类偏好对齐，而应基于能力、事实准确性、诚实和合法性等客观目标底线，在底线之上允许多元价值权衡。

Journal ref Pluralistic Alignment Workshop at ICML 2026

Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech

Emo-LiPO：基于LLM的文本到语音中细粒度情感强度控制的列表式偏好优化

Yihang Lin, Li Zhou, Congwei Cao, Dongchu Xie, Xiaoxue Gao, Chen Zhang, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Agency for Science, Technology and Research（新加坡科技研究局） ； National University of Singapore（新加坡国立大学） ； Shenzhen Research Institute of Big Data（深圳市大数据研究院） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)

AI总结 提出Emo-LiPO框架，将情感强度控制建模为学习排序问题，通过列表式偏好优化对齐文本与语音的情感强度，实现更忠实连续的情感表达，在ESD-plus数据集上显著提升情感准确性和强度可控性。

Comments Accepted by IJCAI 2026. Emotional TTS, Preference Optimization, Emotion Intensity Control

LLM-Mediated Demand Response Coordination in Smart Microgrids

LLM介导的智能微电网需求响应协调

J. de Curtò, I. de Zarzà

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)

AI总结 针对智能微电网中产消者自愿合作的需求响应协调问题，提出一种结合博弈论与LLM叙事评估的混合决策架构，通过结构化指令实现33.3%的需求削减合作率，优于非结构化消息和基线。

Comments Accepted for publication in 18th International Conference on Sustainability in Energy and Buildings (SEB-26), to appear in Springer Nature proceedings (KES Smart Innovation Systems and Technologies). The final authenticated version will be available online at Springer

Steerable Cultural Preference Optimization of Reward Models

可引导的文化偏好优化奖励模型

Minsik Oh, Advit Deepak, Sophie Wu, Douwe Kiela, Ekaterina Shutova

机构 * Stanford University（斯坦福大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 偏好对齐 ：alignment(abstract,comments)；分类 cs.CL、cs.AI

AI总结 提出SCPO算法，通过平衡多种文化偏好训练奖励模型，在PRISM和GlobalOpinionQA数据集上提升少数群体偏好预测准确率最多7点，训练效率提高280%。

Comments Accepted to Pluralistic Alignment @ ICML 2026

Preference Reasoning under Indeterminacy in Large Language Models

大语言模型在不确定性下的偏好推理

Hadi Hosseini, Samarth Khanna, Xiyuan Wang

机构 * Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文聚焦大语言模型决策智能体的偏好推理问题，将不确定性挑战形式化为认知与结构两类，发现当前模型无法区分确定与不确定实例，推理校准不当。

Comments 55 pages, 14 figures

Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards

谁的“金标准”？标注者群体在条目层面分歧巨大，却被小型排行榜掩盖

Anik Jha

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现标注者群体在条目层面分歧巨大，小型模型排行榜的一致性是假象，量化了其脆弱性，证明某数据集的标注者无差异假设错误，LLM评判器更贴合大众标注者群体。

Comments Submitted to the HAIC workshop at NeurIPS 2026

Enhancing VLM Reward Models Through Structure-Aware Fine-Tuning

通过结构感知微调增强视觉语言模型奖励模型

Pyrros Koussios, Chenhao Li, Xin Chen, Andreas Krause

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出结构感知微调（SAFT）方法，利用LoRA适配器和内在结构先验优化视觉语言模型奖励信号，实现更快策略收敛与更好对齐，为稳定文本条件强化学习提供可扩展路径。