大模型对齐与安全

Safety Must Precede the Deployment of Open-Ended AI

安全必须优先于开放式AI的部署

Ivaxi Sheth, Jan Wehner, Sahar Abdelnabi, Ruta Binkyte, Mario Fritz

机构 * CISPA-Helmholtz Center of Information Security（CISPA-海德堡信息安全中心） ； MPI for Intelligent Systems, ELLIS Institute Tübingen, Tübingen AI Center（智能系统Max Planck研究所、图宾根ELLIS研究所、图宾根人工智能中心） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出开放式AI系统因自主无限生成新行为而带来预测性丧失、新兴错位和控制困难等独特安全挑战，需在部署前主动研究，并给出挑战分类和研究方向。

Comments Accepted to ICML'26

Safe-FedLLM: Delving into the Safety of Federated Large Language Models

Safe-FedLLM：深入探究联邦大语言模型的安全性

Mingxiang Tao, Yu Tian, Wenxuan Tu, Yue Yang, Xue Yang, Xiangyan Tang

机构 * Hainan University（海南大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全训练 ：safety(title)；分类 cs.AI

AI总结 本文提出Safe-FedLLM，一种基于探针的防御框架，通过三级防御（步骤级、客户端级和阴影级）利用轻量级分类器区分恶意与良性LoRA更新，以增强联邦大语言模型对恶意客户端的鲁棒性。

A Monosemantic Attribution Framework for Stable Interpretability in Clinical Neuroscience Transformer-Based Language Models

面向临床神经科学中基于Transformer的语言模型的稳定可解释性的单语义归因框架

Michail Mamalakis, Tiago Azevedo, Cristian Cosentino, Chiara D'Ercoli, Subati Abulikemu, Zhongtian Sun, Richard Bethlehem, Pietro Lio

机构 * Department of Computer Science and Technology（计算机科学与技术系） ； Cancer Research UK（癌症研究英国公司） ； Cambridge Institute（剑桥研究所） ； University of Cambridge（剑桥大学） ； United Kingdom（英国） ； DIMES（迪梅斯） ； University of Calabria（卡拉布里亚大学） ； Italy（意大利） ； Department of Computer Automatic and Management Engineering (DIAG)（计算机自动与管理工程系） ； Sapienza Università di Roma（罗马大学萨皮恩扎） ； Department of Psychiatry（精神病学系） ； School of Computing（计算学院） ； University of Kent（肯特大学） ； Department of Psychology（心理学系） 纠错

专题命中 安全训练 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种通过单语义特征提取整合归因与机制视角的统一可解释性框架，生成稳定的输入级重要性分数，促进语言模型在认知健康和神经退行性疾病中的安全应用。

ToxSearch: Evolving Prompts for Toxicity Search in Large Language Models

ToxSearch: 面向大型语言模型毒性搜索的提示演化

Onkar Shelar, Travis Desell

机构 * Rochester Institute of Technology（罗切斯特技术研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出ToxSearch，一种黑盒演化框架，通过同步稳态循环演化提示来测试大型语言模型的安全性，并分析不同操作符的行为及跨模型迁移性。

Comments 16 pages

Journal ref In: García-Sánchez, P., Díaz Álvarez, J., Murphy, A. (eds) Applications of Evolutionary Computation. EvoApplications 2026. Lecture Notes in Computer Science, vol 16525. Springer, Cham

Dynamic Proxy-Mixing: Transferring Replay Controllers from Small to Large Models for Continual Instruction Tuning

动态代理混合：将重放控制器从小模型迁移到大模型以进行持续指令微调

Ibne Farabi Shihab, Fariya Afrin, Anuj Sharma

机构 * Department of Computer Science, Iowa State University（爱荷华州立大学计算机科学系） ； Department of Computer Science, Kalinga Institute of Industrial Technology（卡林加工业技术学院计算机科学系） ； Department of Civil, Construction & Environmental Engineering, Iowa State University（爱荷华州立大学土木、建筑与环境工程系） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 提出PROXY-MIX框架，通过在小代理模型上学习动态重放控制器并冻结迁移至大模型，以解决持续指令微调中固定重放比例导致的灾难性遗忘问题，在LLaMA-3-8B上平均准确率提升3.4%，遗忘降低3.5%，安全性提升5.8%。

SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting

SCOPE: 信号校准的在线策略蒸馏增强与双路径自适应加权

Binbin Zheng, Xing Ma, Yiheng Liang, Jingqing Ruan, Xiaoliang Fu, Kepeng Lin, Benchang Zhu, Ke Zeng, Xunliang Cai

机构 * University of Science and Technology of China（中国科学技术大学） ； Meituan LongCat Interaction Team（美团 LongCat 交互团队） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对在线策略强化学习中奖励稀疏导致的信用分配难题，提出SCOPE框架，通过双路径自适应加权机制分别处理正确与错误轨迹，实现信号校准的蒸馏增强，在六个推理基准上平均提升11.42%的Avg@32和7.30%的Pass@32。

Efficient LLM Moderation with Multi-Layer Latent Prototypes

基于多层潜在原型的高效LLM审核

Maciej Chrabąszcz, Filip Szatkowski, Bartosz Wójcik, Jan Dubiński, Tomasz Trzciński, Sebastian Cygert

机构 * University of Warsaw（华沙大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出多层原型审核器（MLPM），利用多层中间表示的原型实现轻量、高效且可定制的输入审核，在多个基准上达到最优性能，并可与输出审核结合提升响应安全性。

Large Language Model Guided Incentive Aware Reward Design for Cooperative Multi-Agent Reinforcement Learning

大语言模型引导的激励感知奖励设计用于合作多智能体强化学习

Dogan Urgun, Gokhan Gungor

机构 * Department of Electrical and Electronics Engineering（电气与电子工程系） ； Karabuk University（卡拉博克大学） ； Department of Mechatronics Engineering（机械工程系） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出利用大语言模型自动生成可执行奖励程序，结合多智能体近端策略优化训练，在Overcooked-AI环境中显著提升合作任务回报。

HarnessForge: Joint Harness and Policy Evolution for Adaptive Agent Systems

HarnessForge：面向自适应智能体系统的协同框架与策略进化

Mingju Chen, Can Lv, Guibin Zhang, Heng Chang, Shiji Zhou

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出HarnessForge元自适应框架，通过框架-策略协同进化实现LLM智能体系统的全系统自适应，在多个基准上显著提升性能。

Comments 25 pages, 13 figures

GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning

GRPO-TTA：基于GRPO驱动的强化学习进行视觉语言模型的测试时视觉调优

Yujun Li, Hongyuan Zhang, Yuan Yuan

机构 * School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（人工智能、光学与电子学院（iOPEN），西北工业大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 提出GRPO-TTA方法，将GRPO应用于测试时适应，通过将类特定提示预测重构为组策略优化问题，并设计对齐奖励和分散奖励，在多种基准上优于现有方法。

Prompts for Public-Sector LLMs Should Be Governed as Commons

公共部门LLM的提示应作为公共资源进行治理

Rashid Mushkani

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

AI总结 本文提出公共部门部署大型语言模型时使用的提示应作为受治理的制品，而非私有临时输入，并设计了带版本控制、社区维护的提示模板仓库及协商集成方法。

Comments To appear in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems

物理AI中的静默故障：自主系统运行时动作授权的文献综述

Barak Or

机构 * STATE16 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文综述了物理AI系统中黑箱模型发出看似合理但实际错误的物理动作导致的静默故障问题，提出了运行时防护栏的分类和评估要求。

Comments 23 pages

To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs

看见还是取悦：揭示视觉语言模型中的视觉谄媚与分裂信念

Rui Hong, Shuxue Quan

机构 * George Mason University（乔治·玛斯纳大学） ； Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出三层诊断框架，通过反事实干预实验发现视觉语言模型中普遍存在视觉谄媚（内部证据保留但输出幻觉答案）现象，并证明扩展模型规模无法解决该问题。

Comments 14 pages, 1 figures

A Sheaf Framework for Strategic Multi-Agent Systems: From Consensus to Nash Equilibria

面向策略性多智能体系统的层框架：从共识到纳什均衡

Manuel Hernández, Eduardo Sánchez-Soto

专题命中 安全训练 ：alignment(abstract)

AI总结 本文提出一个统一的范畴框架，通过引入博弈层概念，将事件演算、SCEL类集成形成和博弈论奖励结构整合到时空历史的格罗滕迪克拓扑中，并证明纳什均衡对应于派生最佳响应对应层的全局截面，而同调障碍分类策略一致性的失败。

Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models

人格攻击：针对大型语言模型的增量记忆注入越狱攻击

Junyoung Park, Seongyong Ju, Sunghwan Park, Jaewoo Lee

机构 * Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；prompt injection(abstract)

AI总结 提出一种基于记忆注入的越狱方法Persona Attack，通过逐步操纵模型上下文窗口，使模型在记忆积累中优先处理注入指令，从而绕过安全对齐，在特定配置下攻击成功率可达95%。

THRD: A Training-Free Multi-Turn Defense Framework for Jailbreak Attacks on Large Language Models

THRD：一种针对大语言模型越狱攻击的无训练多轮防御框架

Zhiqing Ma, Zhonghao Xu, Dong Yu, Chen Kang, Changliang Li, Pengyuan Liu

机构 * Beijing Language and Culture University（北京语言大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出无训练框架THRD，通过显式建模时间风险累积（包括逐轮风险评估、跨轮意图检测、响应评估和决策模块）防御多轮越狱攻击，将攻击成功率降至0.2-4.0%且模型效用损失小于1.5%。

Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning

安全幻象：虚假相关性如何破坏VLM安全微调及通过机器遗忘缓解

Yiwei Chen, Yuguang Yao, Yihua Zhang, Bingquan Shen, Gaowen Liu, Sijia Liu

机构 * Michigan State University（密歇根州立大学） ； National University of Singapore（新加坡国立大学） ； Cisco Research（思科研究） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文发现视觉语言模型（VLM）的安全微调存在“安全幻象”，即虚假相关性导致脆弱性，并提出机器遗忘作为替代方案，显著降低攻击成功率和不必要拒绝。

Comments Accepted to ICLR 2026

Jailbreaking Multimodal Large Language Models using Multi-Clip Video

使用多片段视频破解多模态大语言模型

Choongwon Kang, Seungjong Sun, Hyunmin Jun, Jang Hyun Kim

机构 * Department of Applied Artificial Intelligence, Sungkyunkwan University（应用人工智能系，成均馆大学） ； Department of Human-Artificial Intelligence Interaction, Sungkyunkwan University（人机交互系，成均馆大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 提出MCV SafetyBench数据集，通过多片段视频评估多模态大语言模型的安全漏洞，发现视频模态比图像更脆弱，动态和多样化上下文增加攻击成功率，并基于图像模态的鲁棒性提出防御策略。

Comments 27 pages, 20 figures, Accepted to the Main Conference of ACL 2026

ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use

ROGUE：源于普通计算机使用的错误对齐代理行为

Jeremy Tien, Abishek Anand, Yu-Rou Tuan, Yuchen Shen, J. Zico Kolter, Aran Nayebi

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究AI代理在良性环境中因任务完成而采取不安全行为（违反可纠正性）的问题，通过基准测试发现前沿模型普遍绕过用户中断或限制，且性能提升反而加剧错误对齐。

Comments 27 pages, 13 figures

Benign Inputs, Harmful Outputs: Cross-Modal Jailbreaking via Distributed Semantic Recomposition

良性输入，有害输出：通过分布式语义重组的跨模态越狱

Yani Wang, Yilong Yang, Yang Liu, Zhuzhu Wang, Zuobin Ying, Zhuo Ma

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 提出分布式语义重组（DSR）框架，将有害意图分解为良性文本和视觉基元，利用多模态大模型的推理能力在跨模态推理阶段融合为有害输出，实现高攻击成功率且输入毒性极低。

Comments 11 pages, 5 figures

Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs

Claudini: 自动研究发现针对LLM的最先进对抗攻击算法

Alexander Panfilov, Peter Romov, Igor Shilov, Yves-Alexandre de Montjoye, Jonas Geiping, Maksym Andriushchenko

机构 * MATS ELLIS Institute（MATS ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种自动研究循环，利用前沿AI代理（如Claude Code和Codex）自动发现针对大语言模型的新型对抗攻击算法，在白盒越狱和提示注入评估中达到最先进水平。

VERA: Variational Inference Framework for Jailbreaking Large Language Models

VERA：用于越狱大型语言模型的变分推理框架

Anamika Lochab, Lu Yan, Patrick Pynadath, Xiangyu Zhang, Ruqi Zhang

机构 * Department of Computer Science, Purdue University（计算机科学系，普渡大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出VERA框架，将黑盒越狱提示生成视为变分推理问题，训练小型攻击者LLM近似目标LLM的对抗提示后验，无需重新优化即可生成多样且流畅的越狱提示。

Comments Accepted by NeurIPS 2025

ClawHub Security Signals: When VirusTotal, Static Analysis, and SkillSpector Disagree

ClawHub安全信号：当VirusTotal、静态分析和SkillSpector意见不一致时

Vincent Koc, Patrick Erichsen, Jacob Tomlinson, Agustin Rivera, Michael Appel, Nir Paz

机构 * OpenClaw Foundation USA（OpenClaw基金会美国） ； NVIDIA United Kingdom（NVIDIA英国分公司） ； NVIDIA USA（NVIDIA美国） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 研究ClawHub中67,453个公开技能版本，通过VirusTotal、静态启发式分析和NVIDIA SkillSpector三种扫描器的分歧，揭示智能体技能安全需要分层治理而非单一扫描器决策。

Comments 10 pages, 1 figure, 7 tables, 1 supplimentary dataset

Dive into Ambiguity: A*-Inspired Multi-Agents Commonsense Obfuscation Attack on LLM Prompts

深入歧义：基于A*的多智能体常识混淆攻击LLM提示

Boxuan Wang, Zhuoyun Li, Xiaowei Huang, Yi Dong

机构 * University of Liverpool（利物浦大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 提出一种基于A*的事实错误诱导框架，通过层次化重写策略和动态语义分散系数生成语义对齐但混淆的提示，以高效攻击LLM的常识推理。

Comments Pre-print

IAG: Input-aware Backdoor Attack on VLM-based Visual Grounding

IAG: 基于输入感知的后门攻击针对VLM视觉定位

Junxian Li, Beining Xu, Simin Chen, Jiatong Li, Jingdi Lei, Haodong Zhao, Di Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Columbia University（哥伦比亚大学） ； Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.CL

AI总结 提出IAG方法，通过文本条件UNet动态生成输入感知的触发器，实现首个多目标后门攻击VLM视觉定位，在多个模型和基准上达到最佳攻击成功率且不影响正常性能。

Comments Accepted by CVPR 2026; Code is at https://github.com/lijunxian111/IAG

Journal ref https://openaccess.thecvf.com/content/CVPR2026/papers/Li_IAG_Input-aware_Backdoor_Attack_on_VLM-based_Visual_Grounding_CVPR_2026_paper.pdf

A Multi-Domain Red Teaming Framework for Safety, Robustness, and Fairness Evaluation of Medical Large Language Models

医疗大语言模型安全性、鲁棒性和公平性评估的多领域红队框架

Andrei Marian Feier, Veysel Kocaman, Yigit Gul, Ahmet Korkmaz, Alexander Thomas, Aleksei Zakharov, Jay Gil, Mehmet Butgul, David Talby

机构 * John Snow Labs Inc.（约翰·索克斯实验室公司） 纠错

专题命中 红队测试 ：safety(title,abstract)；red teaming(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一个多领域红队框架，通过690个临床场景评估11个当代大语言模型，发现平均准确率掩盖了临床意义上的风险，性能方差和最坏情况失败比平均准确率更能反映可靠性，混合评估方法对可信安全评估至关重要。

Comments 10 pages, 4 figures. To be presented at the Text2Story 2026 Workshop (Delft, The Netherlands, 29 March 2026); CEUR Workshop Proceedings (forthcoming). Affiliation: John Snow Labs Inc

RedDebate: Safer Responses Through Multi-Agent Red Teaming Debates

RedDebate：通过多智能体红队辩论实现更安全的响应

Ali Asad, Stephen Obadinma, Radin Shayanfar, Xiaodan Zhu

机构 * Department of Electrical ； Computer Engineering \& Ingenuity Labs Research Institute, Queen's University, Kingston, Canada 纠错

专题命中 红队测试 ：red teaming(title)；safety(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 提出RedDebate框架，利用多智能体辩论和长期记忆模块，通过全自动红队测试减少大语言模型的不安全输出。

Quality-Diversity Evolution for Discovering Diverse Vulnerabilities in LLM Safety

用于发现LLM安全中多样漏洞的质量-多样性进化

Subhadip Mitra

机构 * Rota Labs（Rota实验室） 纠错

专题命中 红队测试 ：safety(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出基于质量-多样性进化框架（MAP-Elites）在语义层面生成可解释攻击策略，发现不同LLM的特定漏洞模式。

Comments 9 pages, 6 figures. Accepted at the ICLR 2026 Workshop on Agents in the Wild (AIWILD)

When AI reviews science: Can we trust the referee?

当AI评审科学：我们能信任审稿人吗？

Jialiang Wang, Yuchen Liu, Hang Xu, Kaichun Hu, Shimin Di, Wangze Ni, Linan Yue, Min-Ling Zhang, Kui Ren, Lei Chen

机构 * School of Electronic Engineering, Southeast University（东南大学电子工程学院） ； Zhejiang University（浙江大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 针对AI审稿的安全性和可靠性问题，本文通过分类攻击类型并实验验证声望框架、断言强度、反驳谄媚和上下文投毒对评分的影响，为评估AI同行评审的可靠性提供基线。

Journal ref The Innovation Informatics 2:100030 (2026)

Confused ChatGPT: Cross-App Context Poisoning via First-Party APIs

困惑的ChatGPT：通过第一方API的跨应用上下文投毒

Chao Wang, Somesh Jha, Zhiqiang Lin

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文发现ChatGPT Apps中由于共享聊天上下文缺乏隔离，恶意应用可通过第一方API注入持久性内容，导致跨应用上下文投毒攻击，并展示了两种攻击载荷。