大模型对齐与安全

Fusion-fission forecasts when AI will shift to undesirable behavior

人工智能行为从有益转向有害的融合-分裂预测

Neil F. Johnson, Frank Yingjie Huo

机构 * Physics Department, The George Washington University（乔治华盛顿大学物理系） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一种基于群体动力学的预测方法，可预测人工智能行为从有益转向有害的转变，通过数学推导和六种独立测试验证其有效性，适用于多种AI架构。

A Mechanistic Investigation of Supervised Fine Tuning

对监督微调的机制性研究

Ruhaan Chopra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文通过稀疏自编码器揭示监督微调导致的表示分歧，发现任务和层特定的语义特征变化及安全对齐的层间更新模式。

Scaling Vision Models Does Not Consistently Improve Localisation-Based Explanation Quality

扩大视觉模型并不一致地提高基于定位的解释质量

Mateusz Cedro, Marcin Chlebus

机构 * University of Warsaw（华沙大学） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了扩大视觉模型对基于定位的解释质量的影响，发现模型深度和参数数量增加并不总能提升解释质量，小模型表现可能更优。

Comments 28 pages, 8 figures, 8 tables

How LLMs Are Persuaded: A Few Attention Heads, Rerouted

大语言模型如何被说服：几个被重定向的注意力头

Xiangkun Sun, Lingkai Kong, Aoqi Zhang, Liang Zeng, Tonghan Wang

机构 * Northeastern University（东北大学） ； Harvard University（哈佛大学） ； Tsinghua University（清华大学） ； Skywork AI 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 研究揭示大语言模型在被说服时，少量中间层注意力头决定答案，通过重定向注意力产生事实性错误，该机制在开源LLM和现实攻击场景中均有效。

Comments 9 pages, 9 figures

Playing games with knowledge: AI-Induced delusions need game theoretic interventions

用知识玩游戏：AI 引发的幻觉需要博弈论干预

Will Beaumaster, Paul Schrater

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文探讨了对话AI在知识接口中的根本缺陷，提出通过博弈论干预解决AI引发的幻觉问题，引入认知摩擦机制和信念版本化系统以实现信息环境设计的安全性。

Language models recognize dropout and Gaussian noise applied to their activations

语言模型能够识别应用于其激活上的dropout和高斯噪声

Damiano Fornasiere, Mirko Bronzi, Spencer Kitts, Alessandro Palmas, Yoshua Bengio, Oliver Richardson

机构 * LawZero 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 研究发现语言模型能检测并区分激活上的dropout和高斯噪声，通过多选问题测试不同模型的识别能力，结果表明模型能准确识别扰动类型。

From Fuzzy to Formal: Scaling Hospital Quality Improvement with AI

从模糊到正式：利用AI扩展医院质量改进

Patrick Vossler, Jean Feng, Venkat Sivaraman, Robert Gallo, Hemal Kanzaria, Dana Freiser, Christopher Ross, Amy Ou, James Marks, Susan Ehrlich, Christopher Peabody, Lucas Zier

机构 * University of California, San Francisco（加州大学旧金山分校） ； Zuckerberg San Francisco General Hospital（扎克伯格旧金山总医院） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出通过AI框架优化医院质量改进过程，通过学习LLM提示和自然语言规范，提升质量因素发现的效率与可追溯性，实现人类与AI协同优化。

Comments 34 pages, 8 figures, 6 tables

Prompt Optimization Enables Stable Algorithmic Collusion in LLM Agents

提示优化使LLM代理实现稳定的算法共谋

Yingtao Tian

机构 * Sakana AI Tokyo, Japan（日本东京Sakana AI） 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 研究探讨提示优化是否会导致市场模拟中出现共谋行为，提出元学习循环方法，发现优化后代理能发现更稳定的共谋策略，且在测试市场中表现良好，揭示了通用协调原理。

Uncovering and Aligning Anomalous Attention Heads to Defend Against NLP Backdoor Attacks

揭示并对齐异常注意力头以防御NLP后门攻击

Haotian Jin, Yang Li, Haihui Fan, Lin Shen, Xiangfang Li, Bo Li

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； State Key Laboratory of Cyberspace Security Defense（网络空间安全防御国家重点实验室） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出基于注意力相似性的后门检测方法，通过检测异常注意力头相似性来防御后门攻击，结合头部微调修复污染的注意力头，有效降低攻击成功率并保持下游任务性能。

Journal ref "Proceedings of the 40th AAAI Conference on Artificial Intelligence (AAAI 2026)

Lighting Up or Dimming Down? Exploring Dark Patterns of LLMs in Co-Creativity

照亮还是熄灭？探索LLM在共创造中的暗模式

Zhu Li, Jiaming Qu, Yuan Chang

机构 * Not reflecting the authors’ positions at Meta/Amazon.（不反映作者在Meta/Amazon的职位。） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 研究探讨LLM在共创造中五种暗模式对人类创造力的影响，发现Sycophancy普遍存在，Anchoring受文学形式影响，提出AI设计需支持创造性写作。

The Democratic Ontology Deficit: How AI Systems Fail to Represent What Democracy Requires

民主本体论缺失：AI系统如何未能代表民主所需的内容

Robert M. Ceresa, Juan E. Ceresa

专题命中 其他安全 ：alignment(abstract)；harmlessness(abstract)；分类 cs.CY

AI总结 本文探讨AI系统在民主机构生活中本体结构上的缺失，通过对比民主代理需求与AI学习的本体结构，发现角色和身份的代表性不足，提出利用现有工具进行公民对齐的研究方案。

Comments 21 pages, 5 tables, under review at JAIR

Efficient Bilevel Optimization with KFAC-Based Hypergradients

基于KFAC的高效双层优化

Disen Liao, Felix Dangel, Yaoliang Yu

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 本文提出基于KFAC的双层优化方法，通过引入隐函数定理算法，提升了超梯度计算的效率与性能，优于CG和Neumann方法，在元学习和AI安全问题中表现优异。

Comments 25 pages, AISTATS 2026

The Novelty Bottleneck: A Framework for Understanding Human Effort Scaling in AI-Assisted Work

新颖性瓶颈：一种理解人类在AI辅助工作中的努力扩展的框架

Jacky Liang

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出一个简化的人机协作模型，揭示了新颖性瓶颈机制，即任务中需要人类判断的部分形成不可消除的串行组件。模型推导出人类努力无平滑亚线性区域，更好代理只能改善系数而非指数，团队规模随代理能力下降，总人类努力保持O(E)。

When Language Models Lose Their Mind: The Consequences of Brain Misalignment

当语言模型失去理智：大脑错位的后果

Gabriele Merlin, Mariya Toneva

机构 * MPI-SWS（马克斯·普朗克研究所） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 研究探讨了大脑对齐对语言能力的影响，通过创建大脑错位模型发现其显著损害下游性能，强调了大脑对齐在实现稳健语言能力中的关键作用。

Comments Accepted at ICLR 2026

Active Inference Agency Formalization, Metrics, and Convergence Assessments

主动推断代理的正式化、指标与收敛性评估

Eduard Kapelko

机构 * Eduard Kapelko 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 本文通过定义代理并建立分析框架，探讨了AI安全中 mesa-优化的关键挑战，提出代理的连续表示及其在稀疏环境中的收敛性，提供了一种衡量代理程度的指标。

Why the Valuable Capabilities of LLMs Are Precisely the Unexplainable Ones

为何大语言模型的宝贵能力恰恰是无法解释的那些

Quan Cheng

机构 * Tsinghua University（清华大学） 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出论点：大语言模型真正有价值的能力恰恰是无法用人类可读的离散规则完全描述的部分。通过专家系统等价性证明，若LLM能力可被规则完全描述，则等同于专家系统，但专家系统在历史上和实证上均弱于LLM，从而产生矛盾。

Comments 12 pages, v2: added correction to Polanyi on why tacit knowledge is tacit (structural vs quantitative), unified three independent intellectual threads (Smolensky, Dreyfus, dynamical systems theory)

DriveMind: A Dual Visual Language Model-based Reinforcement Learning Framework for Autonomous Driving

DriveMind: 一种基于双视觉语言模型的强化学习框架，用于自动驾驶

Dawood Wasif, Terrence J. Moore, Chandan K. Reddy, Frederica Free-Nelson, Seunghyun Yoon, Hyuk Lim, Dan Dongseong Kim, Jin-Hee Cho

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 DriveMind结合对比视觉语言模型和动态提示生成，实现自动驾驶的语义奖励框架，提升适应性和安全性，实测性能优于基线4%以上。

Comments Submitted to IEEE Transactions on Intelligent Vehicles (T-IV)

Breaking and Fixing Defenses Against Control-Flow Hijacking in Multi-Agent Systems

打破和修复多智能体系统中针对控制流劫持的防御措施

Rishi Jha, Harold Triedman, Justin Wagle, Vitaly Shmatikov

机构 * Cornell University（康奈尔大学） ； Microsoft（微软公司） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出ControlValve防御机制，通过生成允许的控制流图和强制执行上下文规则，解决多智能体系统中控制流劫持攻击的安全性与功能性目标冲突问题。

Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence

Antibody: 通过削弱有害梯度影响来加强对抗有害微调的防御

Quoc Minh Nguyen, Trung Le, Jing Wu, Anh Tuan Bui, Mehrtash Harandi

机构 * Department of Electrical and Computer Systems Engineering, Monash University, Australia（莫纳什大学电气与计算机系统工程系） ； Department of Data Science and AI, Monash University, Australia（莫纳什大学数据科学与人工智能系） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 Antibody通过削弱有害梯度影响，提升大型语言模型对有害微调攻击的防御能力，并增强微调性能。

Comments Published at ICLR 2026

How much technical talent is there? A systematic estimate of the ML research pool among 3 million consultants

有多少技术人才？对300万顾问中机器学习研究池的系统估计

Maximilian Schons, Red Bermejo, Florian Aldehoff-Zeidler, Niccolò Zanichelli, Oliver Evans, Gavin Leech, Samuel Härgestam

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.CY

AI总结 研究通过系统方法估计300万顾问中机器学习研究人才数量，发现技术人才数量超过MATS培训计划校友，且通过工作测试的AI模型尚未出现。

Interpreting Transformers Through Attention Head Intervention

通过注意力头干预解读变换器

Mason Kadem, Rong Zheng

机构 * Computing and Software, Faculty of Engineering, McMaster University（工程学院计算机与软件系，麦斯特大学） 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 通过注意力头干预方法，研究变换器的机理可解释性，实现对模型行为的定向控制，提升AI安全性和实用性。

Comments minor citation fix

ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition

ID-LoRA: 基于矩阵插值分解的高效低秩适应

Xindian Ma, Rundong Kong, Peng Zhang, Ruoxiang Huang, Yongyu Jiang

机构 * Tianjin University（天津大学） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 ID-LoRA通过基于矩阵插值分解的低秩适应方法，在减少可训练参数的同时保持模型容量，优于现有PEFT技术。

PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding

PromptCD：通过极性提示对比解码提升测试时行为

Baolong Bi, Yuyao Ge, Shenghua Liu, Yuchen He, Siqian Tong, Lizhe Chen, Lingrui Mei, Zehao Li, Yiwei Wang, Yujun Cai, Ming-Hsuan Yang, Xueqi Cheng

专题命中 其他安全 ：alignment(abstract)；harmlessness(abstract)；分类 cs.AI

AI总结 PromptCD通过极性提示对比解码在测试时提升LLM和VLM的行为一致性，实现无需额外训练的广泛增强。

EDU-MATRIX: A Society-Centric Generative Cognitive Digital Twin Architecture for Secondary Education

EDU-MATRIX: 一种面向次级教育的以社会为中心的生成认知数字孪生架构

Wenjing Zhai, Jianbin Zhang, Tao Liu

机构 * The High School Affiliated to Beijing Normal University（北京师范大学附属高中） ； Department of Electronic and Communication Engineering, North China Electric Power University（华北电力大学电子与通信工程系） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 EDU-MATRIX通过社会引力与认知流体的交互，构建了面向次级教育的生成认知数字孪生架构，实现了教育价值观与复杂社交动态的对齐。

Keys in the Weights: Transformer Authentication Using Model-Bound Latent Representations

权重中的钥匙：使用模型绑定的潜在表示进行变换器认证

Ayşe S. Okatan, Mustafa İlhan Akbaş, Laxima Niure Kandel, Berker Peköz

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出MoBLE，一种基于模型绑定的潜在表示变换器认证方法，通过零次解码不可转移性实现身份验证，适用于安全关键领域。

Comments Cite as A. S. Okatan, M. I. Akbas, L. N. Kandel, and B. Pekoz, "Keys in the weights: Transformer authentication using model-bound latent representations," in Proc. 2025 Cyber Awareness and Research Symp. (IEEE CARS 2025), Grand Forks, ND, Oct. 2025, pp. 6

Surgery: Mitigating Harmful Fine-Tuning for Large Language Models via Attention Sink

手术：通过注意力sink缓解大型语言模型的有害微调

Guozhi Liu, Weiwei Lin, Tiansheng Huang, Ruichao Mo, Qi Mu, Xiumin Wang, Li Shen

机构 * South China University of Technology（南方科技大学） ； Pengcheng Laboratory（鹏城实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 Surgery通过注意力sink机制在微调阶段抑制有害模式学习，提升模型安全性。

Debate is efficient with your time

与时间高效地进行辩论

Jonah Brown-Cohen, Geoffrey Irving, Simon C. Marshall, Ilan Newman, Georgios Piliouras, Mario Szegedy

机构 * Google DeepMind（谷歌DeepMind） ； UK AI Security Institute（英国人工智能安全研究所） ； University of Haifa（海法大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 通过辩论实现人工智能安全，证明辩论查询复杂度与电路复杂性密切相关。

Comments 11 Pages, 0 figures

SEA-Guard: Culturally Grounded Multilingual Safeguard for Southeast Asia

SEA-Guard：面向东南亚的文化根基多语言安全防护

Panuthep Tasawong, Jian Gang Ngui, Alham Fikri Aji, Trevor Cohn, Peerat Limkonchotiwat

机构 * VISTEC ； Google（谷歌） ； AI Singapore（AI新加坡） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 SEA-Guard是首个基于东南亚文化背景的多语言安全模型，通过代理数据生成框架构建区域特定安全数据集，有效检测地区敏感内容并保持良好的通用安全性能。

Comments Under reivew

Do Clinical Question Answering Systems Really Need Specialised Medical Fine Tuning?

临床问答系统真的需要专门的医学微调吗？

Sushant Kumar Ray, Gautam Siddharth Kashyap, Sahil Tripathi, Nipun Joshi, Vijay Govindarajan, Rafiq Ali, Jiechao Gao, Usman Naseem

机构 * University of Delhi（德里大学） ； Jamia Hamdard（贾迈亚哈马尔德大学） ； Cornell University（康奈尔大学） ； Expedia Group（Expedia集团） ； DSEU-Okhla ； Center for SDGC（SDGC中心） ； Stanford University（斯坦福大学） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 MEDASSESS-X通过推理时对齐技术，无需领域微调即可提升临床问答系统性能，解决专门化谬误问题。

Comments Accepted at EACL 2026 (Industry Track)

Agent Drift: Quantifying Behavioral Degradation in Multi-Agent LLM Systems Over Extended Interactions

智能体漂移：多智能体大语言模型系统在长时间交互中的行为退化量化

Abhishek Rath

机构 * Independent Researcher（独立研究者） 纠错

专题命中 其他安全 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本研究提出智能体漂移概念，通过理论框架和量化指标，探讨多智能体系统在长时间交互中的行为退化问题，并提出缓解策略以提升系统稳定性和可靠性。