大模型对齐与安全

Gate AI: LLM Security Benchmark Evaluation Methodology and Results

Gate AI：大语言模型安全基准评估方法与结果

Ryle Goehausen, Marcus Sousa

机构 * constellationnetwork（Constellation Network） 纠错

专题命中 安全评测 ：jailbreak(abstract)；分类 cs.LG

AI总结 针对提示注入和越狱检测器评估中数据集阈值调优和操作点未公开的问题，提出一种采用5折交叉验证、全局操作点选择和多种泛化诊断的评估框架，并在16个公开基准上进行了测试。

Comments 17 pages, 23 figures, 2 tables. Working preprint; subsequent versions may update benchmark numbers as the framework evolves

Acceptance-Test-Driven Evaluation Protocols for Business-Centric LLM Systems

面向业务中心LLM系统的验收测试驱动评估协议

Eric Liang

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 针对LLM系统概率生成与确定性需求不匹配问题，提出基于验收测试驱动开发、安全工程和业务中心验证的评估协议，将利益相关者目标转化为可执行行为契约，并采用红-训练-绿生命周期确保多维门控通过后才发布。

BraveGuard: From Open-World Threats to Safer Computer-Use Agents

BraveGuard: 从开放世界威胁到更安全的计算机使用代理

Yunhao Feng, Xiaohu Du, Xinhao Deng, Yifan Ding, Ming Wen, Yixu Wang, Yuxiang Xie, Baihui Zheng, Yingshui Tan, Yige Li, Yutao Wu, Kerui Cao, Wenke Huang, Yanming Guo, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Ant Group（蚂蚁集团） ； Hunan Institute of Advanced Technology（湖南高级技术研究所） ； Alibaba Group（阿里巴巴集团） ； Singapore Management University（新加坡管理大学） ； Deakin University（德肯大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 提出BraveGuard框架，通过从开放世界威胁信号和真实代理轨迹中训练防护模型，实现轨迹级别的安全检测，显著提升计算机使用代理的安全性。

Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models

Vision Inference Former：在多模态大语言模型中维持视觉一致性

Xinpeng Dong, Min Zhang, Kairong Han, Xu Tan, Fei Wu, Kun Kuang

机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Zhejiang University of Science and Technology（浙江理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型中视觉信息被弱化的问题，提出Vision Inference Former（VIF）轻量模块，在推理解码阶段持续注入视觉语义，提升生成内容与视觉的一致性。

Agent Skills for Large Language Models: Architecture, Acquisition, Security, and the Path Forward

大型语言模型的智能体技能：架构、获取、安全与未来路径

Renjun Xu, Yang Yan

机构 * ReDiscovery Hangzhou China（杭州ReDiscovery研究院） ； Westlake University Hangzhou China（西交大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文综述了大型语言模型智能体技能的研究，涵盖架构基础（如SKILL.md规范、渐进式上下文加载）、技能获取（强化学习、自主发现、组合合成）、大规模部署（计算机使用智能体栈、GUI接地）以及安全挑战（26.1%社区技能含漏洞），并提出技能信任与生命周期治理框架。

Comments Accepted by Agent Skills '26 Workshop at ACM Conference on AI and Agentic Systems 2026

MIND: Multi-rationale INtegrated Discriminative Reasoning Framework for Multi-modal Large Models

MIND：面向多模态大模型的多理由集成判别推理框架

Chuang Yu, Jinmiao Zhao, Mingxuan Zhao, Yunpeng Liu, Xiujun Shu, Yuanhao Feng, Bo Wang, Xiangyu Yue

机构 * Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Peking University（北京大学） ； MMLab, CUHK（CUHK多模态实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在多理由语义建模、逻辑鲁棒性和抗误导方面的不足，提出MIND推理框架，通过“理解-反思-纠正”机制实现从被动模仿到主动判别推理的范式转变。

Comments Accepted to ICML 2026

Learning Power Flow with Confidence: A Probabilistic Guarantee Framework for Voltage Risk

学习潮流与置信度：电压风险的概率保证框架

Parikshit Pareek, Sidhant Misra, Deepjyoti Deka

机构 * Department of Electrical Engineering, Indian Institute of Technology Roorkee, India（印度理工学院罗奥克分校电气工程系） ； Los Alamos National Laboratory, New Mexico, USA（洛斯阿拉莫斯国家实验室） ； MIT Energy Initiative, Boston, USA（麻省理工学院能源倡议） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 针对机器学习在电力系统安全应用中缺乏形式化性能保证的问题，提出基于高斯过程回归的概率保证框架，通过顶点度核和网络扫描主动学习算法实现数据高效且可靠的电压风险评估。

Comments 10 pages

SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents

SeClaw: 面向自主代理评估的规范驱动安全任务合成

Hao Cheng, Changtao Miao, Tianle Song, Yin Wu, He Liu, Erjia Xiao, Junchi Chen, Xiaoyu Shi, Yichi Wang, Jing Yang, Taowen Wang, Jinhao Duan, Mengshu Sun, Peiyan Dong, Xuan Shen, Yang Cao, Renjing Xu, Kaidi Xu, Jindong Gu, Bo Zhang, Jize Zhang, Chenhao Lin, Philip Torr, Chao Shen

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） ； Xi’an Jiaotong University（西安交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Oxford（牛津大学） ； City University of Hong Kong（香港城市大学） ； Institute of Science Tokyo（东京科学研究所） ； Zhejiang University（浙江大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Beijing University of Technology（北京理工大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 提出SeClaw框架，通过规范驱动的安全任务合成与基于执行的安全评估，实现对自主LLM代理在状态化环境中的安全风险的可扩展、可复现评估。

POIROT: Interrogating Agents for Failure Detection in Multi-Agent Systems

POIROT: 在多智能体系统中审讯智能体以进行故障检测

Iñaki Dellibarda Varela, R. Sendra-Arranz, Pablo Romero-Sorozabal, J. M. Valverde-García, Annemarie F. Laudanski, Álvaro Gutiérrez, Eduardo Rocon, Manuel Cebrian

机构 * Center for Automation and Robotics, Spanish National Research Council (CSIC-UPM)（自动化研究中心，西班牙国家科研 council (CSIC-UPM)） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 提出POIROT协议，利用多智能体系统自身的智能体作为诊断层进行故障检测，在复杂问题、多智能体和复合故障条件下优于单LLM评估基线。

Comments 44 pages, 6 figures

SentGuard: Sentence-Level Streaming Guardrails for Large Language Models

SentGuard：面向大型语言模型的句子级流式护栏

Jiaqi Yu, Xin Wang, Yixu Wang, Jie Li, Yan Teng, Xingjun Ma, Yingchun Wang

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 提出SentGuard，一种与生成并行运行的句子级流式护栏，通过轻量级等待缓冲区将流式令牌分组为句子块并仅释放已验证块，以在低延迟下实现高精度不安全内容检测。

Comments 16 pages, 5 figures, submitted to ARR

G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs

G2LoRA: 面向文本属性图的梯度正交低秩自适应框架用于图持续学习

Yuhan Wang, Yibo Ding, Yutong Ye, Mufan Zhao, Wenbo Zhang, Ruijie Wang, Jianxin Li

机构 * School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） ； Department of Statistics, Columbia University（哥伦比亚大学统计系） ； College of Computer Science, Beijing University of Technology（北京理工大学计算机学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 针对LLM-as-Aligner模型在文本属性图持续学习中的灾难性遗忘问题，提出G2LoRA框架，通过统一图-文本对齐目标、类别感知梯度投影和梯度幅度调制，实现任务间正向迁移并缓解模态漂移。

Comments Accepted by KDD 2026

Does Compression Preserve Uncertainty? A Unified Benchmark for Quantized and Sparse LLMs via Conformal Prediction

压缩是否保留不确定性？基于共形预测的量化和稀疏大语言模型统一基准

Yujia Tong, Yuxi Wang, Yunyang Wan, Tian Zhang, Junhao Dong, Jingling Yuan

机构 * Wuhan University of Technology（武汉理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本研究通过共形预测方法，在五个NLP任务上对12种不同压缩配置的大语言模型进行基准测试，发现压缩经常解耦准确率与不确定性，大模型更能吸收压缩引起的不确定性，且不确定性膨胀常呈阈值状而非渐进。

Breaking the Information Silo: Semantic Personas for Cross-Domain Recommendation

打破信息孤岛：面向跨域推荐的语义人物画像

Jonathan Mayo, Moshe Unger, Konstantin Bauman

机构 * Technology and Information Management Department, Coller School of Management, Tel Aviv University（技术与信息管理系，科勒管理学院，特拉维夫大学） ； Management Information Systems Department, Fox School of Business, Temple University（管理信息系统系，福克斯商学院， Temple大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出SPHERE方法，利用大语言模型生成语义人物画像，实现无共享用户或物品的跨域推荐，并通过双塔架构和动态融合门增强推荐性能。

JenBridge: Adaptive Long-Form Video Soundtracking across Scene Transitions

JenBridge: 跨场景转换的自适应长视频配乐

Jiashuo Yu, Yao Yao, Boyu Chen, Alex Wang

机构 * Jen Music AI 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出JenBridge框架，通过基于Transformer的生成模型、双文本-视觉条件对齐和LLM代理驱动的自适应过渡机制，实现长视频配乐的高保真生成与场景转换自然连贯。

When Meaning Travels: A Granular Lens on Hybrid-MoE's Role in Idiomatic Understanding for Language Models

当意义旅行：混合专家模型在语言模型习语理解中的细粒度作用

Sarmistha Das, Vaibhav Vishal, Shreyas Guha, Amaan Ali, Kitsuchart Pasupa, Sriparna Saha

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna, India（印度理工学院帕纳瓦分校计算机科学与工程系） ； School of Information Technology, King Mongkut’s Institute of Technology Ladkrabang, Thailand（泰国拉差班国王理工大学信息科技学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 针对低资源东南亚语言中习语的文化隐喻复杂性，提出Varnika多模态习语语料库和混合专家模型HybridMoE，通过控制混合和掩码多模态嵌入缓解专家稀疏性，实现习语理解性能提升5-6%。

RoboTrustBench: Benchmarking the Trustworthiness of Video World Models for Robotic Manipulation

RoboTrustBench：机器人操作视频世界模型的可信度基准测试

Huiqiong Li, Jiayu Wang, Zhiting Mei, Anirudha Majumdar, Jingjing Chen, Bin Zhu

机构 * Singapore Management University（新加坡国立管理学院） ； Fudan University（复旦大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 针对视频世界模型在机器人操作中的可信度问题，提出RoboTrustBench基准，包含正常、约束敏感、反事实和对抗四种场景，通过专家验证的指令-图像对和六维评估协议，发现当前模型在约束推理、反事实基础、物理交互和不安全指令抑制方面存在不足。

Comments Project: https://huiqiongli.github.io/RoboTrustBench/

Agent Operating Systems (AOS): Integrating Agentic Control Planes into, and Beyond, Traditional Operating Systems

代理操作系统 (AOS)：将代理控制平面集成到传统操作系统及其之外

Ankur Sharma, Deep Shah

机构 * Independent Researcher（独立研究员） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出代理操作系统（AOS）架构，通过集成代理控制平面到现有操作系统或逐步接管部分OS职责，以解决传统OS在调度、内存管理、安全、可观测性和治理方面对长期目标导向的代理AI工作负载的局限性。

Worlds Within Words: Translating Culture in Ancient Chinese Texts with Multi-Agent Coordination

词中世界：基于多智能体协调的古代汉语文本文化翻译

Xiaoqi He, Kaixin Lan, Mu You, Tao Fang, Lidia S. Chao, Derek F. Wong

机构 * NLP2 CT Lab, Department of Computer and Information Science, University of Macau（澳门大学自然语言处理与计算机实验室，计算机与信息科学系） ； Institute of International Language Services Studies, Macau Millennium College（澳门 millennium 学院国际语言服务研究学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 针对古代汉语文本中文化负载词的翻译难题，提出多智能体文化感知翻译框架MACAT，通过选择性显化策略动态识别文化短语并注入简洁解释，在中医经典和《论语》上优于基线模型。

Comments The preprint manuscript is 20 pages long and is currently under review

Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated

城市感知中的视觉语言模型基准应具备可靠性意识且可协商

Rashid Mushkani

机构 * Rashid Mushkani 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出，用于城市感知的视觉语言模型基准应将分歧和弃权视为测量结果，报告标注者间信度，并将标签空间和评分策略视为可协商的产物。

Comments To appear in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

ProactiveLLM: Learning Active Interaction for Streaming Large Language Models

ProactiveLLM: 学习流式大语言模型的主动交互

Junlong Tong, Yao Zhang, Anhao Zhao, Yingqi Fan, Yunpu Ma, Xiaoyu Shen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出ProactiveLLM，利用模型内生状态指导交互决策，通过掩码流式建模和同步特权自蒸馏实现主动交互，减少延迟并保持质量。

Comments ICML 2026

When Safe Skills Collide: Measuring Compositional Risk in Agent Skill Ecosystems

当安全技能碰撞：衡量智能体技能生态系统中的组合风险

Su Wang, Pin Qian, Yihang Chen, Junxian You, Xiaoyuan Wang, Xiaochong Jiang, Lifei Liu, Haoran Yu, Jingzhou Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Glasgow（格拉斯哥大学） ； Independent Researcher（独立研究员） ； Corespeed Inc.（Corespeed公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出SkillReact框架，通过静态组合基准、双评分者LLM辅助人工审核和基于动作的可利用性测试，研究LLM智能体中个体安全的技能组合后可能产生的不安全行为，发现约18.2%的候选组合存在真实风险，且主机模型决定是否利用这些组合能力。

Adversarially Robust Control of Conditional Value-at-Risk via Rockafellar-Uryasev Conformal Inference

通过Rockafellar-Uryasev共形推断的条件风险价值对抗鲁棒控制

Catherine Chen, Jingyan Shen, Zhun Deng, Lihua Lei

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 提出一种在线无分布框架，通过结合共形尾风险控制、在线学习和CVaR的变分表示，在非平稳和对抗环境下实现对条件风险价值(CVaR)的鲁棒控制，并提供渐近保证。

RealityTest: How People Probe AI Identity and Whether Models Disclose It

RealityTest: 人们如何探查AI身份以及模型是否披露它

Anna Gausen, Sarenne Wallbridge, Bessie O'Dell, Christopher Summerfield, Hannah Rose Kirk

机构 * AI Security Institute（人工智能安全研究所） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 通过收集来自49个国家约750名参与者的3152个身份探查查询，构建首个大规模多模态多语言基准RealityTest，发现仅31%的人在模糊场景中直接询问身份，且问题多样性远超机器生成查询，测试17个文本和6个语音模型后发现，问题措辞和对话上下文比模型本身对披露行为影响更大。

Comments 9 pages, 4 figures

From Parliamentary Rhetoric to Enacted Law: An NLP Pipeline for Semantic Auditing of the Greek Legislative Process

从议会修辞到制定法：用于希腊立法过程语义审计的NLP流水线

Despoina Antonakaki, Sotiris Ioannidis

专题命中 安全评测 ：alignment(abstract)；分类 cs.CY

AI总结 提出一个多模态计算流水线，通过NLP分析议会辩论和立法文本，揭示法律复杂性、模糊性以及政治承诺与法律实施之间的差距。

Casual as an Anchor: Resolving Supervision Misalignment in Formality Transfer Dataset

Casual 作为锚点：解决语体转换数据集中的监督偏差

Hyojeong Yu, Hyukhun Koh, Minsung Kim, Kyomin Jung

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出将语体转换重新概念化为一个分级维度，引入三层次谱系（非正式、随意、正式），并构建3LF数据集以解决现有基准中监督信号偏差导致的非正式到正式转换失败问题。

Comments HEAL@CHI 2026 Workshop Paper

LISTEN to Your Preferences: An LLM Framework for Multi-Objective Selection

LISTEN 你的偏好：面向多目标选择的LLM框架

Adam S. Jovine, Tinghan Ye, Francis Bahk, Jingjing Wang, Matthew Ford, David B. Shmoys, Peter I. Frazier

机构 * Cornell University（康奈尔大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出LISTEN框架，利用LLM作为决策代理，通过迭代优化内部偏好模型（LISTEN-U参数法或LISTEN-T非参数法）从自然语言中学习用户隐含偏好，实现多目标选择。

Comments Accepted at IJCAI-ECAI 2026 (the 35th International Joint Conference on Artificial Intelligence)

SHERLOCK: Towards Dynamic Knowledge Adaptation in LLM-enhanced E-commerce Risk Management

SHERLOCK：面向LLM增强电商风险管理的动态知识适应

Nan Lu, Yurong Hu, Jiaquan Fang, Yan Liu, Rui Dong, Yiming Wang, Rui Lin, Shaoyi Xu

机构 * Beijing Jiaotong University（北京交通大学） ； JD.com（京东公司） ； Southeast University（东南大学） ； Zhejiang University（浙江大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出Sherlock框架，通过构建领域知识库、两阶段检索增强生成和自演化数据飞轮，将结构化知识与LLM推理结合，提升电商风险案例调查的效率和准确性。

Rethinking Scientific Modeling: Toward Physically Consistent and Simulation-Executable Programmatic Generation

重新思考科学建模：迈向物理一致且可模拟执行的程序化生成

Yongqing Jiang, Jianze Wang, Zhiqi Shen, Zhenghong Lin, Jiayuan Wang, Yijian Yang, Kaoshan Dai, Haoran Luo

机构 * Sichuan University（四川大学） ； Nanyang Technological University（南洋理工大学） ； Fuzhou University（福州大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对大型语言模型在工程建模中生成代码的物理不一致问题，提出结合领域知识构建、约束对齐和验证驱动的框架，并引入CivilInstruct数据集和MBEval基准，通过两阶段微调提升模型生成的可执行性和物理一致性。

Mellum2 Technical Report

Mellum2 技术报告

Marko Kojic, Ivan Bondyrev, Aral de Moor, Joseph Shtok, Petr Borovlev, Kseniia Lysaniuk, Madeeswaran Kannan, Ivan Dolgov, Nikita Pavlichenko

机构 * JetBrains ； Constructor University（Constructor大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 本文介绍 Mellum 2，一个12B参数（每token激活2.5B）的混合专家语言模型，专攻软件工程，通过架构创新和训练优化在代码生成、数学推理等基准上达到4B-14B开源模型的竞争力。

Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation

福利、可改进性与方差：最优基准测试项聚合的主-代理方法

Andreas Haupt, Justin Hartenstein, Anka Reuel, Mykel Kochenderfer, Sanmi Koyejo

机构 * Department of Economics & Computer Science（经济与计算机科学系） ； Institute for Computational and Mathematical Engineering（计算与数学工程研究所） ； Department of Computer Science（计算机科学系） ； Department of Aeronautics & Astronautics（航空与航天系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 提出将基准测试建模为多任务主-代理博弈，通过福利、可改进性和方差三个维度评估项目，并应用于OLMES数据集识别帕累托劣势项目。