大模型对齐与安全

Token-weighted Direct Preference Optimization with Attention

基于注意力的令牌加权直接偏好优化

Chengyu Huang, Zhuohang Li, Sheng-Yen Chou, Claire Cardie

机构 * Cornell University（康奈尔大学） ； Vanderbilt University（范德比大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL

AI总结 提出Token-weighted DPO (TwDPO)方法，利用注意力机制估计令牌权重，在不增加额外训练成本的情况下提升大语言模型与人类偏好对齐的性能。

The Theorems of Dr. David Blackwell and Their Contributions to Artificial Intelligence

大卫·布莱克韦尔定理及其对人工智能的贡献

Napoleon Paxton

机构 * School of Information, University of California, Berkeley（加州大学伯克利分校信息学院） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG

AI总结 本文综述了布莱克韦尔的三个重要定理及其对现代人工智能和机器学习的影响，包括马尔可夫链蒙特卡罗推断、自主机器人导航、生成模型训练等领域的应用。

Comments Survey article, 20 pages, 1 figure, 2 tables

Contextual Online Uncertainty-Aware Preference Learning for Human Feedback

基于上下文的在线不确定性感知偏好学习用于人类反馈

Nan Lu, Ethan Lee, Ethan X. Fang, Junwei Lu

机构 * Department of Biostatistics, Harvard T.H. Chan School of Public Health（哈佛大学T.H.陈公共卫生学院生物统计学系） ； Department of Biostatistics & Bioinformatics, Duke University（杜克大学生物统计学与生物信息学系） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一种新的统计框架，利用动态上下文信息在线决策和统计推断最优模型，通过人类偏好数据实现最优 regret 绑定和估计量渐近分布。

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training

EstLLM：通过持续预训练和后训练增强多语言大语言模型中的爱沙尼亚能力

Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

机构 * Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究院） ； Department of Software Science, Tallinn University of Technology（塔林技术大学软件科学系） ； Institute of the Estonian Language, Tallinn, Estonia（爱沙尼亚语言研究院） ； School of Humanities, Tallinn University（塔林大学人文学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 EstLLM通过持续预训练和后训练提升多语言大语言模型中爱沙尼亚的能力，增强语言和推理表现。

MediSkill-Evo: Process-Constrained Self-Evolution for Evidence-Grounded Clinical Interaction

MediSkill-Evo：面向证据依据的临床交互的过程约束自进化

Ruoyu Wu, Shenfu Xie, Yinqian Sun, Haibo Tong, Feifei Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 MediSkill-Evo是无需主干微调的临床智能体，通过四类经验存储库与过程约束偏好工具优化，在多维度评估中提升了诊断准确率等指标，验证了其临床交互性能。

AeroDPO: Unleashing Lightweight UAV Navigation with High-Fidelity Perception and Automated Preference Optimization

AeroDPO：释放具备高保真感知与自动偏好优化的轻量级无人机导航能力

Peng Xu, Chengcheng Wang, Shaohua Wan

专题命中 偏好对齐 ：DPO(abstract_cn)；分类 cs.AI

AI总结 本文提出AeroDPO，通过高保真感知与自动偏好优化，使20亿参数轻量级无人机导航模型达到70亿参数模型的成功率，同时降低分布外场景碰撞率，成为自主空中智能体新SOTA。

Comments 7 pages, 3 figures, 4 tables, Code is available at: [ this https URL (https://github.com/XuPeng23/AeroDPO) ]

Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric

开放评分系统：通过成对自适应评分表扩展强化学习

Ruipeng Jia, Yunyi Yang, Wen Wang, Yuxin Wu, Yongbo Gai, Siyuan Tao, Mengyu Zhou, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴文勤大模型应用团队） ； Beijing University Of Posts and Telecommunications（北京邮电大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 开放评分系统通过成对自适应评分表和可验证评分表实现强化学习的稳健对齐，提升开放性任务的辨别力和可验证性。

NeuronTune: Fine-Grained Neuron Modulation for Balanced Safety-Utility Alignment in LLMs

NeuronTune：用于大语言模型中安全-效用平衡对齐的细粒度神经元调制

Birong Pan, Jianhao Chen, Mayi Xu, Qiankun Pi, Yuanyuan Zhu, Ming Zhong, Tieyun Qian

机构 * Birong Pan, Mayi Xu, Qiankun Pi, Jianhao Chen, Yuanyuan Zhu, Ming Zhong, Tieyun Qian（作者） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 NeuronTune是一种细粒度神经元调制框架，通过定位安全关键与效用保留神经元并动态控制干预范围，实现了大语言模型安全与效用的平衡优化，性能优于现有最先进技术。

Comments This work was accepted by WISE2026

ADVERSA: Measuring Multi-Turn Guardrail Degradation and Judge Reliability in Large Language Models

ADVERSA：测量大型语言模型中多轮护栏退化和裁判可靠性

Harry Owiredu-Ashley

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 ADVERSA通过连续合规轨迹评估大型语言模型在多轮对抗中的护栏退化及裁判可靠性，揭示早期轮次更易成功突破。

Comments 12 pages, 12 figures. Independent research. Code and artifacts: this https URL (https://github.com/Harry-Ashley/adversa-guardrail-degradation). Published in the 2026 IEEE/ACIS 24th International Conference on Software Engineering Research, Management and Applications (SERA), pp. 414-417. Recipient of the Best Paper Award at IEEE/ACIS SERA 2026

Highway Congestion Reduction through Reinforcement Learning Based Eulerian Headway Control

基于强化学习的欧拉车头间距控制实现高速公路拥堵缓解

Yaron Veksler, Sharon Hornstein, Han Wang, Maria Laura Delle Monache, Daniel Urieli

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对传统拥堵控制策略的缺陷，提出基于强化学习的欧拉车头间距控制系统，经大规模仿真验证可显著提升交通流量，为高速公路拥堵缓解提供实用方案。

MPIB: A Benchmark for Medical Prompt Injection Attacks and Clinical Safety in LLMs

MPIB：用于医疗提示注入攻击和大语言模型临床安全性的基准

Junhyeok Lee, Han Jang, Kyu Sung Choi

机构 * Seoul National University College of Medicine（首尔国立大学医学院） ； Seoul National University（首尔国立大学） ； Seoul National University College of Medicine, Seoul National University Hospital（首尔国立大学医学院、首尔国立大学医院） 纠错

专题命中 提示注入 ：safety(title,abstract)；prompt injection(title,abstract)；分类 cs.CL、cs.LG

AI总结 MPIB是一个用于评估医疗提示注入攻击和大语言模型临床安全性的基准，通过测量临床危害事件率和攻击成功率来评估模型的安全性。

Comments 19 pages, 7 figures, 18 tables. Accepted to Findings of EMNLP 2026

Beyond OAuth: Task-Scoped Authorization for AI Agents via Natural Language Slices

PAuth - 精确任务范围授权 for 代理

Reshabh K Sharma, Linxi Jiang, Shuo Chen, Zhiqiang Lin

机构 * University of Washington（华盛顿大学） ； The Ohio State University（俄亥俄州立大学） ； Microsoft Research（微软研究院） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 PAuth通过隐式授权模型精确控制代理执行任务所需的操作权限，通过NL切片和信封结构确保操作合法性，实验表明其在安全和性能上均表现优异。

Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages

校准家族过拟合：为何可信破坏监测器不能跨谱系转移

Lucas Pinto

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 研究可信监测器跨谱系转移问题，以不可信策略家族为受控轴，通过拟合和应用监测器分解跨家族AUROC，发现相互作用为正且差距几何，给出四步协议，指出控制评估应报告跨家族转移矩阵，单一配对准确性高估安全性。

Comments 28 pages, 11 figures. Accepted at the COLM 2026 AI Measurement Science workshop. Code: this https URL (https://github.com/digdoug/calibration-family-overfit)

MedPriv-Bench: Benchmarking the Privacy-Utility Trade-off of Large Language Models in Medical Open-Ended Question Answering

MedPriv-Bench：医疗开放问答中大语言模型隐私-效用权衡的基准测试

Shaowei Guan, Yu Zhai, Hin Chi Kwok, Jiawei Du, Xinyu Feng, Jing Li, Harry Qin, Vivian Hui

专题命中 隐私与版权 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 MedPriv-Bench首次提出医疗开放问答中评估隐私保护与临床效用的基准，通过多代理人机协同流程生成敏感医疗情境，利用预训练RoBERTa-NLI模型量化数据泄露，揭示大语言模型在隐私与效用间的普遍权衡。

Comments Accepted to EMNLP 2026 Main Conference

Ad Insertion in LLM-Generated Responses

在大语言模型生成响应中插入广告

Shengwei Xu, Zhaohua Chen, Xiaotie Deng, Zhiyi Huang, Grant Schoenebeck

机构 * University of Michigan（密歇根大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 隐私与版权 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了解耦广告插入与响应生成、以及竞价与用户查询的框架，通过基于类型拍卖机制实现近最优的社会福利，同时提高计算效率和上下文一致性。

CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models

CASTLE：一个评估大语言模型学生定制个性化安全性的综合基准

Rui Jia, Ruiyi Lan, Fengrui Liu, Zhongxiang Dai, Bo Jiang, Jing Shao, Jingyuan Chen, Guandong Xu, Fei Wu, Min Zhang

机构 * East China Normal University（华东师范大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 CASTLE基准通过评估学生定制个性化安全性，揭示大语言模型在不同学生属性下的安全缺陷。

Comments Accepted to main of EMNLP 2026

Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms

视觉-语言-动作安全性：威胁、挑战、评估与机制

Qi Li, Bo Yin, Weiqi Huang, Ruhao Liu, Bojun Zou, Runpeng Yu, Jingwen Ye, Weihao Yu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） ； Monash University（墨尔本大学） ； Peking University（北京大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)

AI总结 本文探讨了视觉-语言-动作模型的安全性问题，分析了其在训练和推理阶段的威胁与防御机制，总结了评估方法及六个部署领域的安全挑战。

Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures

全息不变存储：通过向量符号架构实现设计时的安全合同

Arsenios Scrivens

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出全息不变存储协议，通过整合双极向量符号架构的特性，为LLM上下文漂移缓解提供设计时的安全合同，提供三种可预估的保障，提升系统工程师在设计阶段的恢复保真度和代码本容量预算能力。

Comments The experiment has a design defect: the VSA drift trigger was not in the causal path of its own runs, so the results do not test the claimed mechanism. Clean-room replication: content-aware re-injection beats neither random re-injection (p=0.46) nor a fixed timer (p=0.29), while positive controls confirm task signal (p=0.002, p=0.001). The conclusions are unsupported and should not be cited

Review of Explainable Decision Support and Adaptive Human-Machine Interfaces for Automation Transparency in Maritime Autonomous Surface Ships

面向海事自主船舶自动化透明度的可解释决策支持与自适应人机接口综述

Zhuoyue Zhang, Haitong Xu, Carlos Guedes Soares

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.CY

AI总结 本综述针对海事自主船舶自动化透明度，整合100项研究，提出自适应透明度框架，明确透明度设计策略与关键近阶段改进手段，以降低认知负荷、提升接管及时性并保障安全运行。

When May a Model Replace the Experiment? Audits, Licenses, and the Price of Trust in Surrogate-Driven Design

模型何时可替代实验？代理驱动设计中的审计、许可与信任代价

Shuangxiu (Max)Ma, Wenhe (Zachary) Zhao

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 该研究明确了机器学习代理替代实验的安全条件，推导了模型作为神谕的最小准则，提出选择感知审计可降低认证评估成本，经审计的筛选使认证神谕成本降低25倍。

Comments 47 pages (18 pages main text, 29 pages Supporting Information), 9 figures, 2 tables, 70 references. SI contains complete proofs of all theorems, extended experiments, and the verification methodology

RusFinChain: A Russian Benchmark for Verifiable Chain-of-Thought Reasoning in Finance with Fuzzy-Aligned Evaluation

RusFinChain：面向金融领域可验证思维链推理的俄语基准与模糊对齐评估

Mullosharaf K. Arabov

机构 * Kazan Federal University（喀山联邦大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出首个俄语金融可验证思维链推理基准RusFinChain，包含5280个参数化示例和模糊对齐评估指标，揭示模型在步骤对齐与最终答案正确性之间存在显著差距。

Comments Preprint

PHMForge: Evaluating LLM Agents on Industrial Prognostics through MCP-Native, Algorithm-Grounded Tools

PHMForge：通过MCP原生、算法基础的工具评估LLM代理在工业预测维护中的表现

Yusheng Li, Tianjun Feng, Yunfeng Chen, Chun-Yi Tsai, Yihan Sun, Ayan Das, Kaoutar El Maghraoui, Shuxin Lin, Dhaval Patel

机构 * Columbia University（哥伦比亚大学） ； Georgia Institute of Technology（佐治亚理工学院） ； IBM, New York（IBM，纽约） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 PHMForge通过MCP原生工具评估LLM代理在工业预测维护中的可靠性，揭示了静态检索在预测计算中的局限性，展示了不同框架和模型的表现差异。

Comments 23 pages, 3 figures

Retrieval-aligned Tabular Foundation Models Enable Robust Clinical Risk Prediction in Electronic Health Records Under Real-world Constraints

检索对齐的表格基础模型实现电子健康记录中在现实约束下的稳健临床风险预测

Minh-Khoi Pham, Thang-Long Nguyen Ho, Thao Thi Phuong Dao, Tai Tan Mai, Minh-Triet Tran, Marie E. Ward, Una Geary, Rob Brennan, Nick McDonald, Martin Crane, Marija Bezbradica

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对电子健康记录中高维、异质、类别不平衡和分布偏移等挑战，提出任务对齐检索框架AWARE，通过监督嵌入学习和轻量适配器提升表格上下文学习性能，在极端不平衡下AUPRC提升高达12.2%。

Comments Not peer-reviewed. Under revision

Smallholder Farmers on Remote Islands Receiving Retrieval-Grounded Multilingual LLM Assistance and Agronomic Advice

基于检索的多语言LLM辅助工具用于岛屿小农户

Nikolaos D. Tantaroudas, Ilias Karachalios, Andrew J. McCracken

专题命中 安全评测 ：trustworthy(abstract)

AI总结 针对偏远岛屿小农户获取农业建议困难且方言知识缺乏全球语料支持的问题，提出嵌入双语电商平台的对话AI助手Falco eleonorae，通过工具增强检索（MCP）获取本地化数据，实现可信的多语言、语音和图像交互。

Comments 13, 4

Multi-Scale Control of Large Agent Populations: From Density Dynamics to Individual Actuation

多尺度控制大规模群体：从密度动力学到个体驱动

Mario di Bernardo

专题命中 安全评测 ：safety(abstract)

AI总结 本文综述了作者与合作者在多尺度控制大规模群体方面的最新研究，探讨了从微观动态到宏观密度描述的系统性桥梁，以及直接控制与间接控制的统一方法。

Comments v2: adds Remark 1 introducing the agent-to-density (A/D) and density-to-agent (D/A) scale-converter terminology; Fig. 1 relabelled; conclusions revised

Code-Switching Reveals Language Anchoring in Multilingual LLMs

代码切换揭示多语言大模型中的语言锚定

Jeonghyun Park, Seunghyun Yoon, Yonghyun Jun, Hwanhee Lee

机构 * Chung-Ang University（中央大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CL

AI总结 通过语法强制代码切换诊断多语言大模型中的语言锚定现象，提出锚定偏差度量并设计CANVAS干预方法，有效缓解代码切换导致的问答性能下降。

Comments EMNLP 2026 Findings

GR-SAP: Generative Replay for Safety Alignment Preservation during Fine-Tuning

GR-SAP: 生成性重放用于在微调过程中保持安全对齐

Zhouxiang Fang, Jiawei Zhou, Hanjie Chen

专题命中 其他安全 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 GR-SAP通过生成领域特定对齐数据来保持微调过程中的安全对齐，有效缓解了微调导致的安全退化问题。

Adaptive GR(1) Specification Repair for Liveness-Preserving Shielding in Reinforcement Learning

自适应GR(1)规范修复用于强化学习中的存活保持防护

Tiberiu-Andrei Georgescu, Alexander W. Goodall, Dalal Alrajeh, Francesco Belardinelli, Sebastian Uchitel

机构 * Imperial College London（伦敦帝国理工学院） ； Universidad de Buenos Aires（布宜诺斯艾利斯大学） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI

AI总结 本文提出基于GR(1)规范的自适应防护框架，通过在线修复规范实现环境假设违反时的安全与存活保持。

Comments Accepted at NeSy 2026