大模型对齐与安全

Position: The Complexity of Perfect AI Alignment -- Formalizing the RLHF Trilemma

位置：完美AI对齐的复杂性——形式化RLHF三重困境

Subramanyam Sahoo, Aman Chadha, Vinija Jain, Divya Chaudhary

机构 * Berkeley AI Safety Initiative (BASIS), University of California, Berkeley（伯克利人工智能安全倡议（BASIS），加州大学伯克利分校） ； AWS Generative AI Innovation Center, Amazon Web Services（亚马逊网络服务生成式人工智能创新中心） ； Meta AI ； Stanford University（斯坦福大学） ； Northeastern University, Seattle, WA, USA（东北大学，西雅图，华盛顿州，美国） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 研究提出RLHF三重困境，指出在安全、公平和稳健之间存在根本性权衡，并通过复杂性分析证明实现全球代表性需要超多项式计算资源。

Comments Accepted at NeurIPS 2025 Workshop on Socially Responsible and Trustworthy Foundation Models (ResponsibleFM)

Interpretable Reward Model via Sparse Autoencoder

通过稀疏自编码器的可解释奖励模型

Shuyi Zhang, Wei Shi, Sihang Li, Jiayi Liao, Hengxing Cai, Xiang Wang

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 SARM通过整合预训练稀疏自编码器，提升奖励模型的可解释性和对齐性能。

Comments AAAI 2026 Oral

EAGER: Edge-Aligned LLM Defense for Robust, Efficient, and Accurate Cybersecurity Question Answering

EAGER: 边缘对齐的LLM防御方法用于鲁棒、高效且准确的网络安全问答

Onat Gungor, Roshan Sood, Jiasheng Zhou, Tajana Rosing

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 EAGER通过参数高效量化与领域偏好对齐，提升网络安全问答的鲁棒性、效率和准确性，降低对抗攻击成功率并优化响应延迟。

Access Controls Will Solve the Dual-Use Dilemma

访问控制将解决双重用途困境

Evžen Wybitul

机构 * ETH Zurich, Switzerland（苏黎世联邦理工学院） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出基于访问控制的概念框架，通过验证用户访问双重用途输出，以解决人工智能安全系统在双重用途请求中的决策困境。

Comments Accepted at ICML 2025 Workshop on Technical AI Governance (TAIG)

The Devil in the Details: Emergent Misalignment, Format and Coherence in Open-Weights LLMs

细节中的魔鬼：开放权重语言模型中的涌现偏移、格式与连贯性

Craig Dickson

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了开放权重语言模型中的涌现偏移现象，发现格式约束如JSON输出会增加偏移率，而Qwen-2.5系列比GPT-4o更抗压。

IRSDA: An Agent-Orchestrated Framework for Enterprise Intrusion Response

IRSDA：面向企业入侵响应的智能体协调框架

Damodar Panigrahi, Raj Patel, Shaswata Mitra, Sudip Mittal, Shahram Rahimi

机构 * Mississippi State University（密苏里州立大学） ； The University of Alabama（阿拉巴马大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 IRSDA是一种基于智能体的入侵响应框架，结合自适应计算与知识引导循环，实现自动化防御和政策合规性，提升企业网络安全响应效率与可解释性。

Comments 10 pages, 4 figures

ShortageSim: Simulating Drug Shortages under Information Asymmetry

ShortageSim: 在信息不对称下模拟药品短缺

Mingxuan Cui, Yilan Jiang, Duo Zhou, Cheng Qian, Yuji Zhang, Qiong Wang

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 ShortageSim通过模拟信息不对称下的药品短缺情况，提供了一个评估监管干预效果的框架，减少了生产中断的解决延迟，推动了供应链政策研究的发展。

Comments Accepted by AAAI 2026. Oral presentation. 25 pages

Translating Large-Scale C Repositories to Idiomatic Rust

将大规模C仓库翻译为idiomatic Rust

Saman Dehghan, Tianran Sun, Tianxiang Wu, Zihan Li, Reyhaneh Jabbarvand

专题命中 安全训练 ：safety(abstract)

AI总结 Rustine是一种高效自动化的C到idiomatic Rust翻译工具，实现了高质量的功能等价性，比现有方法更安全、更idiomatic且更易读。

Comments 21 pages, 14 figures

Multi-Agent gatekeeper: Safe Flight Planning and Formation Control for Urban Air Mobility

多智能体守门人：面向城市空中交通的安全飞行规划与编队控制

Thomas Marshall Vielmetti, Devansh R Agrawal, Dimitra Panagou

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） ； Department of Robotics（机器人学系） ； Department of Robotics and Department of Aerospace Engineering（机器人学系和航空航天工程系） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 多智能体守门人框架通过安全轨迹备份和碰撞避免算法，实现城市空中交通中的安全飞行规划与编队控制。

Comments 13 pages, 4 figures, to appear AIAA SciTech 2026

AutoFocus-IL: VLM-based Saliency Maps for Data-Efficient Visual Imitation Learning without Extra Human Annotations

AutoFocus-IL：基于视觉语言模型的数据高效视觉模仿学习中的显著性图

Litian Gong, Fatemeh Bahrani, Yutai Zhou, Amin Banayeeanzade, Jiachen Li, Erdem Bıyık

机构 * Department of Electrical and Computer Engineering, University of California, Riverside, USA（电气与计算机工程系，加州大学河滨分校） ； Thomas Lord Department of Computer Science, University of Southern California, USA（汤姆斯·劳德计算机科学系，南加州大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 AutoFocus-IL通过视觉语言模型自动生成显著性图，提升视觉模仿学习的数据效率和泛化能力，无需额外人类标注。

Comments 8 pages, 6 figures. Code and datasets available at http://autofocus-il.github.io/

SAFE: Harnessing LLM for Scenario-Driven ADS Testing from Multimodal Crash Data

SAFE: 借助LLM从多模态碰撞数据中驱动场景的ADS测试

Siwei Luo, Yang Zhang, Yao Deng, Linfeng Liang, Xi Zheng

专题命中 安全训练 ：safety(abstract)

AI总结 SAFE通过多模态提取和LLM技术，提升从碰撞数据中重建真实场景和检测安全违规的能力，实现高准确率和高效生成。

Comments The paper has been accepted for publication in the proceedings of the IEEE/ACM 48th International Conference on Software Engineering to be held 12-18 April 2026 (ICSE2026)

AI-driven Predictive Shard Allocation for Scalable Next Generation Blockchains

基于AI的预测性分片分配用于可扩展下一代区块链

M. Zeeshan Haider, Tayyaba Noreen, M. D. Assuncao, Kaiwen Zhang

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出PSAP协议，通过预测性分片分配提升区块链可扩展性，实验显示吞吐量提升2倍，延迟降低35%

BiasJailbreak:Analyzing Ethical Biases and Jailbreak Vulnerabilities in Large Language Models

BiasJailbreak: 分析大型语言模型中的伦理偏见和 jailbreak 漏洞

Isack Lee, Haebin Seong

机构 * Theori Inc.（Theori公司） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究分析了大型语言模型中的伦理偏见和 jailbreak 漏洞，提出 BiasJailbreak 和 BiasDefense 方法以提高模型安全性。

Comments Accepted as a workshop paper at AAAI 2026

Z-Space: A Multi-Agent Tool Orchestration Framework for Enterprise-Grade LLM Automation

Z-Space：面向企业级LLM自动化的一种多智能体工具协调框架

Qingsong He, Jing Nan, Jiayu Jiao, Liangjie Tang, Xiaodong Xu, Mengmeng Sun, Qingyao Wang, Minghui Yan

机构 * Rajax Network Technology (ele.me)（Rajax网络技术（ele.me）） 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 Z-Space通过多智能体协作框架提升企业级LLM自动化工具调用效率与准确性

Prompt Fencing: A Cryptographic Approach to Establishing Security Boundaries in Large Language Model Prompts

提示围栏：一种通过密码学建立大语言模型提示安全边界的方案

Steven Peh

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 Prompt Fencing通过密码学方法在LLM提示中建立安全边界，有效防止提示注入攻击。

Comments 44 pages, 1 figure

An Invariant Latent Space Perspective on Language Model Inversion

语言模型反向的不变潜在空间视角

Wentao Ye, Jiaqi Hu, Haobo Wang, Xinpeng Ti, Zhiqing Xiao, Hao Chen, Liyao Li, Lei Feng, Sai Wu, Junbo Zhao

专题命中 提示注入 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出Inv^2A方法，通过不变潜在空间假设提升语言模型反向性能，有效对抗隐私和安全威胁。

Comments The Fortieth AAAI Conference on Artificial Intelligence (AAAI-26)

Adversarial Robustness for Unified Multi-Modal Encoders via Efficient Calibration

通过高效校准实现统一多模态编码器的对抗鲁棒性

Chih-Ting Liao, Zhangquan Chen, Chunlei Meng, Tzu-Yu Huang, Xin Cao, Xu Zheng

机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； UTS（澳大利亚UTS大学） ； HKUST(GZ)（香港理工大学（广州）） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；safety(abstract)

AI总结 本研究提出高效对抗校准框架，提升统一多模态编码器的对抗鲁棒性，同时保持清洁性能，提升47.3%的鲁棒性。

ConfTuner: Training Large Language Models to Express Their Confidence Verbally

ConfTuner: 训练大型语言模型以口头表达其置信度

Yibo Li, Miao Xiong, Jiaying Wu, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 ConfTuner通过引入标记化布里尔分数损失函数，有效提升大型语言模型的置信度校准能力，适用于多种推理任务并泛化至黑盒模型。

Comments Accepted by NeurIPS 2025

Your Pre-trained LLM is Secretly an Unsupervised Confidence Calibrator

你的预训练大语言模型实际上是一个未监督的置信度校准器

Beier Luo, Shuoyuan Wang, Sharon Li, Hongxin Wei

机构 * Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学） ； Department of Computer Sciences, University of Wisconsin-Madison（计算机科学系，威斯康星大学麦迪逊分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DACA方法，通过无监督方式优化后训练模型的置信度校准，减少不一致预测带来的过度自信问题，提升模型可靠性。

Comments NeurIPS 2025

Reading Between the Lines: Abstaining from VLM-Generated OCR Errors via Latent Representation Probes

在行之间阅读：通过潜在表示探测避免VLM生成的OCR错误

Jihan Yao, Achin Kulshrestha, Nathalie Rauschmayr, Reed Roberts, Banghua Zhu, Yulia Tsvetkov, Federico Tombari

机构 * University of Washington（华盛顿大学） ； Google（谷歌） 纠错

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本文提出通过潜在表示探测提升VLM在OCR任务中的回避准确性，通过内部状态检测置信度信号，提高系统可靠性。

CLIP-IT: CLIP-based Pairing for Histology Images Classification

CLIP-IT: 基于CLIP的病理图像分类配对

Banafsheh Karimian, Giulia Avanzato, Soufian Belharbi, Alexis Guichemerre, Luke McCaffrey, Mohammadhadi Shateri, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA、ILLs、系统工程系、蒙特利尔大学ETSMontreal加拿大） ； Dept. of Computer Engineering, University of Cagliari, Italy（计算机工程系、卡利亚里大学意大利） ； Goodman Cancer Research, Centre, Dept. of Oncology, McGill University, Canada（Goodman癌症研究中心、肿瘤学系、麦吉尔大学加拿大） 纠错

专题命中 隐私与版权 ：alignment(abstract)

AI总结 CLIP-IT通过利用未配对的病理报告提升病理图像分类性能，无需配对数据或复杂推理。

International AI Safety Report 2025: Second Key Update: Technical Safeguards and Risk Management

2025国际人工智能安全报告：第二关键更新：技术安全措施与风险管理工作

Yoshua Bengio, Stephen Clare, Carina Prunkl, Maksym Andriushchenko, Ben Bucknall, Philip Fox, Nestor Maslej, Conor McGlynn, Malcolm Murray, Shalaleh Rismani, Stephen Casper, Jessica Newman, Daniel Privitera, Sören Mindermann, Daron Acemoglu, Thomas G. Dietterich, Fredrik Heintz, Geoffrey Hinton, Nick Jennings, Susan Leavy, Teresa Ludermir, Vidushi Marda, Helen Margetts, John McDermid, Jane Munga, Arvind Narayanan, Alondra Nelson, Clara Neppel, Gopal Ramchurn, Stuart Russell, Marietje Schaake, Bernhard Schölkopf, Alavaro Soto, Lee Tiedrich, Gaël Varoquaux, Andrew Yao, Ya-Qin Zhang, Leandro Aguirre, Olubunmi Ajala, Fahad Albalawi, Noora AlMalek, Christian Busch, André Carvalho, Jonathan Collas, Amandeep Gill, Ahmet Hatip, Juha Heikkilä, Chris Johnson, Gill Jolly, Ziv Katzir, Mary Kerema, Hiroaki Kitano, Antonio Krüger, Aoife McLysaght, Oleksii Molchanovskyi, Andrea Monti, Kyoung Mu Lee, Mona Nemer, Nuria Oliver, Raquel Pezoa, Audrey Plonk, José Portillo, Balaraman Ravindran, Hammam Riza, Crystal Rugege, Haroon Sheikh, Denise Wong, Yi Zeng, Liming Zhu

专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.CY

AI总结 2025国际人工智能安全报告第二关键更新，探讨通用人工智能风险管理工作进展，包括技术安全措施、对抗训练、数据整理及制度框架的建立。

HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model

HoliSafe: 视觉-语言模型的综合安全性评估与建模

Youngwan Lee, Kangsan Kim, Kwanyong Park, Ilcahe Jung, Soojin Jang, Seanie Lee, Yong-Ju Lee, Sung Ju Hwang

机构 * ETRI ； KAIST AI（韩国科学技术院人工智能研究所） ； University of Seoul（首尔大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 HoliSafe提出了一种模块化框架和视觉守护模块，通过综合安全性数据集提升视觉-语言模型的安全性，展现其在多个基准中的优越表现。

Comments Project page: https://youngwanlee.github.io/holisafe

On Evaluating LLM Alignment by Evaluating LLMs as Judges

通过评估LLM作为裁判来评估LLM对齐

Yixin Liu, Pengfei Liu, Arman Cohan

机构 * Yale University（耶鲁大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出AlignEval基准，通过评估LLM作为裁判的能力来衡量其对齐人类偏好的效果，结果优于现有自动评估基准。

Comments NeurIPS 2025 Camera Ready

Building Browser Agents: Architecture, Security, and Practical Solutions

构建浏览器代理：架构、安全与实用解决方案

Aram Vardanyan

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)

AI总结 本文提出通过专用工具和编程约束构建安全浏览器代理，实现85%的成功率。

Comments 30 pages, 22 figures. Production architecture and benchmark evaluation of browser agents

Designing Reputation Systems for Manufacturing Data Trading Markets: A Multi-Agent Evaluation with Q-Learning and IRL-Estimated Utilities

为制造数据交易市场设计声誉系统：基于Q学习和IRL估计效用的多智能体评估

Kenta Yamamoto, Teruaki Hayashi

机构 * Department of Systems Innovation, Graduate School of Engineering, The University of Tokyo Tokyo, Japan（系统创新部门，工学研究生院，东京大学东京，日本） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CY、cs.LG

AI总结 本研究通过多智能体模拟器评估了五种声誉系统，发现PeerTrust在数据价格与质量一致性及防止垄断方面表现最佳，并提出混合声誉机制提升市场稳定性。

Comments 10 pages, 10 figures

SX-GeoTree: Self-eXplaining Geospatial Regression Tree Incorporating the Spatial Similarity of Feature Attributions

SX-GeoTree: 自解释地理回归树结合特征归因的空间相似性

Chaogui Kang, Lijian Luo, Qingfeng Guan, Yu Liu

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CY、cs.LG

AI总结 SX-GeoTree通过整合空间相似性与模块度最大化，提升地理回归树的解释稳定性与空间残差均匀性。

Comments 41 pages, 7 figures, 12 tables

Unlearning as Ablation: Toward a Falsifiable Benchmark for Generative Scientific Discovery

反例作为消去：面向生成科学发现的可证伪基准

Robert Yang

机构 * S6 Research（S6研究） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出'反例作为消去'作为可证伪基准，旨在检验AI在科学发现中的生成能力，通过系统移除目标结果并评估模型能否重新推导，推动AI-科学的基准发展。

Comments 6 pages + appendix. Accepted to NeurIPS 2025 AI4Science Workshop

LaajMeter: A Framework for LaaJ Evaluation

LaajMeter：一种用于LaaJ评估的框架

Samuel Ackerman, Gal Amram, Ora Nova Fandina, Eitan Farchi, Shmulik Froimovich, Raviv Gal, Wesam Ibraheem, Avi Ziv

机构 * IBM Research, Israel（IBM以色列研究院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 LaaJMeter是一种用于LaaJ评估的模拟框架，通过生成合成数据来系统分析评估度量标准，帮助验证特定任务的LaaJ质量。

SafeFix: Targeted Model Repair via Controlled Image Generation

SafeFix: 通过受控图像生成实现目标模型修复

Ouyang Xu, Baoming Zhang, Ruiyu Mao, Yunhui Guo

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 SafeFix通过生成语义忠实的图像来修复模型，提升模型对罕见案例的鲁棒性，减少系统性错误。