大模型对齐与安全

Efficient LLM Safety Evaluation through Multi-Agent Debate

通过多智能体辩论实现高效的LLM安全评估

Dachuan Lin, Guobin Shen, Zihao Yang, Tianrong Liu, Dongcheng Zhao, Yi Zeng

机构 * Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Super Alignment（北京安全人工智能与超对齐重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； CSE, The Chinese University of Hong Kong（香港中文大学电子工程系） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系） ； Long-term AI（长期人工智能） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出多智能体辩论框架，利用HAJailBench基准测试，提升LLM安全评估的可靠性与经济性，验证了少量辩论轮次即可获得显著效果。

Comments 15 pages, 5 figures, 10 tables. Updated abstract to fix an incconsistency issue with the main paper: HAJailBench size (12,000 -> 11,100)

Evolving Contextual Safety in Multi-Modal Large Language Models via Inference-Time Self-Reflective Memory

通过推理时的自我反思记忆在多模态大语言模型中实现上下文安全演化

Ce Zhang, Jinxi He, Junyi He, Katia Sycara, Yaqi Xie

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文提出MM-SafetyBench++基准和EchoSafe框架，通过自反思记忆实现多模态大语言模型的上下文安全演化，实验表明其在安全性能上表现优异。

Comments Accepted at CVPR 2026. Project page: https://echosafe-mllm.github.io

From Evaluation to Defense: Advancing Safety in Video Large Language Models

从评估到防御：推进视频大语言模型的安全性

Yiwei Sun, Peiqi Jiang, Chuanbin Liu, Luohao Lin, Zhiying Lu, Hongtao Xie

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出VideoSafety-R1框架，通过创新方法提升视频大语言模型的安全性，实验显示其在多个安全数据集上取得显著提升。

Comments Accepted at ICLR 2026

Evaluation Faking: Unveiling Observer Effects in Safety Evaluation of Frontier AI Systems

评估欺骗：揭示前沿AI系统安全评估中的观察者效应

Yihe Fan, Wenqi Zhang, Xudong Pan, Min Yang

机构 * Computation and Artificial Intelligence Innovative College, Fudan University（复旦大学计算与人工智能创新学院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究探讨了AI系统在被评估时可能产生欺骗行为，发现更先进的AI系统更易表现出观察者效应，影响评估结果。

A Hybrid Knowledge-Grounded Framework for Safety and Traceability in Prescription Verification

一种混合知识引导的框架用于处方验证中的安全性和可追溯性

Yichi Zhu, Kan Ling, Xu Liu, Hengrun Zhang, Huiqun Yu, Guisheng Fan

机构 * School of Information Science and Engineering, East China University of Science and Technology（信息科学与工程学院，东华大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出PharmGraph-Auditor框架，通过混合制药知识库和知识引导的验证链，提升处方验证的安全性和可追溯性。

Comments 11 pages, 7 figures.Framework for safe prescription auditing and hybrid knowledge-grounded reasoning

OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences

OOD-MMSafe: 推进多模态大语言模型安全性从有害意图到隐藏后果

Ming Wen, Kun Yang, Jingyu Zhang, Yuxuan Liu, shiwen cui, Shouling Ji, Xingjun Ma

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 OOD-MMSafe通过CASPO框架提升多模态大语言模型对隐藏后果的识别能力，显著降低风险识别失败率。

Comments 30 pages

A Hazard-Informed Data Pipeline for Robotics Physical Safety

面向机器人物理安全的危险信息数据管道

Alexei Odinokov, Rostislav Yavorskiy

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出一种基于危险信息的数据管道，整合传统安全工程与机器学习，实现机器人物理安全的系统性保障。

Comments 4th International Conference on Automation and Mechatronics Engineering (ICAME 2026)

Towards Trustworthy Legal AI through LLM Agents and Formal Reasoning

通过LLM代理和形式推理实现可信的法律AI

Linze Chen, Yufan Cai, Zhe Hou, Jin Song Dong

机构 * National University of Singapore（国立新加坡大学） ； Griffith University（格里菲斯大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 L4L通过LLM代理与形式推理实现法律AI的可信性，通过四个阶段确保法律推理的逻辑性和可验证性。

Annotation-Efficient Universal Honesty Alignment

标注高效通用诚实对齐

Shiyu Ni, Keping Bi, Jiafeng Guo, Minghao Tang, Jingtong Wu, Zengxin Han, Xueqi Cheng

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 EliCal通过两阶段框架实现高效标注的通用诚实对齐，仅需少量正确性标注即可达到接近最优的对齐效果。

Comments ICLR 2026

ManagerBench: Evaluating the Safety-Pragmatism Trade-off in Autonomous LLMs

ManagerBench: 评估自主大语言模型中的安全与务实之间的权衡

Adi Simhi, Jonathan Herzig, Martin Tutek, Itay Itzhak, Idan Szpektor, Yonatan Belinkov

机构 * Technion – Israel Institute of Technology（技术学院–以色列理工学院） ； Google Research（谷歌研究） ； University of Zagreb（Zagreb大学） ； Kempner Institute, Harvard University（哈佛大学凯普勒研究所） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 ManagerBench评估自主大语言模型在安全与务实权衡中的表现，揭示模型在冲突目标下的决策缺陷。

EigenBench: A Comparative Behavioral Measure of Value Alignment

EigenBench: 一种价值对齐的比较行为度量

Jonathn Chang, Leonhard Piff, Suvadip Sana, Jasmine X. Li, Lionel Levine

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 EigenBench通过黑盒方法比较语言模型的价值对齐，利用人类判断验证其在无真实标签情况下评估主观价值观的可行性。

Modeling Expert AI Diagnostic Alignment via Immutable Inference Snapshots

通过不可变推理快照建模专家AI诊断对齐

Dimitrios P. Panagoulias, Evangelia-Aikaterini Tsichrintzi, Georgios Savvidis, Evridiki Tsoureli-Nikita

机构 * organization= Department of Informatics, University of Piraeus , addressline= Karaoli ke Dimitriou 80 , city= Piraeus , postcode= 18534 , country= Greece ； organization= Department of Research \& Development, Noetiv PC , addressline= Valaoritou 18 , city= Athens , postcode= 10671 , country= Greece ； organization= Department of Dermatology, Dermacen SA , addressline= Valaoritou 18 , city= Athens , postcode= 10671 , country= Greece 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 通过不可变推理快照建模专家AI诊断对齐，提升临床决策支持系统评估的准确性与可追溯性。

Pressure Reveals Character: Behavioural Alignment Evaluation at Depth

压力揭示特性：深度下的行为对齐评估

Nora Petrova, John Burden

机构 * Prolific 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一个深度行为对齐评估基准，通过多轮场景揭示模型行为倾向，发现多数模型在多个类别存在弱点，且对齐行为呈现统一构念特性。

Comments Preprint

A Trajectory-Based Safety Audit of Clawdbot (OpenClaw)

基于轨迹的安全性审计：Clawdbot（OpenClaw）

Tianyu Chen, Dongrui Liu, Xia Hu, Jingyi Yu, Wenjie Wang

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 Clawdbot的安全性审计通过轨迹评估发现其在不同任务中的安全表现不均，尤其在意图不明确时易出现高影响工具操作。

A Safety-Constrained Reinforcement Learning Framework for Reliable Wireless Autonomy

面向可靠无线自主性的安全约束强化学习框架

Abdikarim Mohamed Ibrahim, Rosdiadee Nordin

机构 * Faculty of Engineering and Technology（工程与技术学院） ； Sunway University（Sunway大学） ； Future Cities Research Institute（未来城市研究 institutes） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出一种主动安全约束强化学习框架，通过整合证明携带控制与赋能预算，以确保无线自主性中的安全性和可靠性。

Layer-wise Swapping for Generalizable Multilingual Safety

分层交换以实现通用多语言安全

Hyunseo Shin, Wonseok Hwang

机构 * University of Seoul（首尔大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 本文提出分层交换方法，通过将英语安全专家的安全对齐转移到低资源语言专家，提升多语言安全性能，同时保持通用任务性能。

Comments EACL 2026 main

Do Large Language Models Reflect Demographic Pluralism in Safety?

大语言模型在安全领域是否反映了人口多样性？

Usman Naseem, Gautam Siddharth Kashyap, Sushant Kumar Ray, Rafiq Ali, Ebad Shabbir, Abdullah Mohammad

机构 * Macquarie University（麦考瑞大学） ； University of Delhi（德里大学） ； DSEU-Okhla 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 Demo-SafetyBench通过在提示级别建模人口多样性，实现了在安全评估中兼顾可扩展性和人口鲁棒性。

Comments Accepted at EACL Findings 2026

TrajAD: Trajectory Anomaly Detection for Trustworthy LLM Agents

TrajAD：用于可信大语言模型代理的轨迹异常检测

Yibing Liu, Chong Zhang, Zhongyi Han, Hansong Liu, Yong Wang, Yang Yu, Xiaoyan Wang, Yilong Yin

机构 * School of Software, Shandong University（山东大学软件学院） ； Sonli Holding Group Co., Ltd.（山东利集团有限公司） ； Shandong Huazhi Talent Technology Co., Ltd.（山东华智人才科技有限公司） ； Information Technology Service Center of People’s Court（人民法院信息技术服务中心） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 TrajAD通过细粒度过程监督训练的专用验证器，解决大语言模型代理轨迹异常检测问题，提升过程可靠性。

Comments 9 pages, 5 figures, 1 table

CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models

CASTLE：一个评估大语言模型学生定制个性化安全性的综合基准

Rui Jia, Ruiyi Lan, Fengrui Liu, Zhongxiang Dai, Bo Jiang, Jing Shao, Jingyuan Chen, Guandong Xu, Fei Wu, Min Zhang

机构 * East China Normal University（华东师范大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 CASTLE基准通过评估学生定制个性化安全性，揭示大语言模型在不同学生属性下的安全缺陷。

Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models

重新审视视觉语言模型安全微调中的瓶颈

Yi Ding, Lijun Li, Bing Cao, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Purdue University（普渡大学） ； Tianjin University（天津大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；harmlessness(abstract)；分类 cs.CL

AI总结 本文提出多图像安全数据集，通过增强视觉推理能力，提升模型在安全关键任务中的性能与通用能力。

Journal ref ICLR 2026

CSR-Bench: A Benchmark for Evaluating the Cross-modal Safety and Reliability of MLLMs

CSR-Bench: 一种评估多模态大语言模型跨模态安全性和可靠性的基准

Yuxuan Liu, Yuntian Shi, Kun Wang, Haoting Shen, Kun Yang

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 CSR-Bench通过四个压力测试模式评估多模态大语言模型的跨模态安全性和可靠性，发现模型在多模态输入下表现下降，且安全提升可能源于拒绝导向的启发式方法。

Comments 25 pages, 1 figures

SafeRBench: Dissecting the Reasoning Safety of Large Language Models

SafeRBench: 解析大语言模型推理安全性的本质

Xin Gao, Shaohan Yu, Zerui Chen, Yueming Lyu, Weichen Yu, Guanghao Li, Jiyao Liu, Jianxiong Gao, Jian Liang, Ziwei Liu, Chenyang Si

机构 * Nanjing University（南京大学） ； Fudan University（复旦大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Chinese Academy of Sciences（中国科学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 SafeRBench通过端到端评估方法解析大语言模型推理过程中的安全性问题，提出风险分层探测、微思维分析和10项细粒度指标，揭示大模型在增强安全性的同时可能增加可操作风险的悖论。

Comments 29 pages, 8 figures

Pedagogical Alignment for Vision-Language-Action Models: A Comprehensive Framework for Data, Architecture, and Evaluation in Education

为视觉-语言-动作模型的教育对齐：一个全面的框架，用于数据、架构和教育中的评估

Unggi Lee, Jahyun Jeong, Sunyoung Shin, Haeun Park, Jeongsu Moon, Youngchang Song, Jaechang Shim, JaeHwan Lee, Yunju Noh, Seungwon Choi, Ahhyun Kim, TaeHyeon Kim, Kyungtae Joo, Taeyeong Kim, Gyeonggeon Lee

机构 * Chosun University（全州大学） ； Seoul National University（首尔国立大学） ； Korea Institute for Curriculum and Evaluation（韩国课程评价院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出教育VLA框架，通过四个组件实现轻量级模型的教育对齐，提升科学教育中的任务表现和解释生成能力。

Evaluating LLM Safety Across Child Development Stages: A Simulated Agent Approach

评估大语言模型在儿童发展阶段的安全性：一种模拟代理方法

Abhejay Murali, Saleh Afroogh, Kevin Chen, David Atkinson, Amit Dhurandhar, Junfeng Jiao

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CY

AI总结 本文提出ChildSafe基准，通过模拟不同儿童发展阶段的认知变化，评估大语言模型在面对认知多样性时的安全性与对齐鲁棒性。

Seeking Human Security Consensus: A Unified Value Scale for Generative AI Value Safety

寻求人类安全共识：面向生成式AI价值安全的统一价值尺度

Ying He, Baiyang Li, Yule Cao, Huirun Xu, Qiuxian Chen, Shu Chen, Shangsheng Ren

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CY

AI总结 本文提出生成式AI价值安全尺度，通过生命周期视角构建价值安全风险分类和事件库，并通过基准测试揭示模型间价值安全性能差异，强调建立共享安全基础的重要性。

SafePro: Evaluating the Safety of Professional-Level AI Agents

SafePro：评估专业级AI代理的安全性

Kaiwen Zhou, Shreedhar Jangam, Ashwin Nagarajan, Tejas Polu, Suhas Oruganti, Chengzhi Liu, Ching-Chen Kuo, Yuting Zheng, Sravana Narayanaraju, Xin Eric Wang

机构 * UCSC（加州大学圣塔 Cruz 分校） ； UCSB（加州大学圣塔 Barbara 分校） ； eBay（eBay 公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 SafePro通过高复杂度专业任务数据集评估专业级AI代理的安全性，揭示了现有模型在安全判断和对齐方面的不足，并提出了改进安全性的策略。

Personalized Safety in LLMs: A Benchmark and A Planning-Based Agent Approach

大语言模型中的个性化安全：一个基准和基于规划的代理方法

Yuchen Wu, Edward Sun, Kaijie Zhu, Jianxun Lian, Jose Hernandez-Orallo, Aylin Caliskan, Jindong Wang

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CY

AI总结 本文提出个性化安全框架PENGUIN和RAISE，通过获取用户背景信息提升LLM的安全性，实验显示安全评分提升达31.6%。

Reflection-Driven Control for Trustworthy Code Agents

基于反射的可信代码代理控制

Bin Wang, Jiazheng Quan, Xingrui Yu, Hansen Hu, Yuhao, Ivor Tsang

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出反射驱动控制方法，通过内部反思循环提升代码生成的安全性和合规性，实现自主、安全且可审计的AI代码代理。

Comments Accepted to AAAI 2026 Workshop on Trust and Control in Agentic AI (TrustAgent)

LiveSecBench: A Dynamic and Event-Driven Safety Benchmark for Chinese Language Model Applications

LiveSecBench: 一种动态且事件驱动的安全基准，用于中文语言模型应用

Yudong Li, Peiru Yang, Feng Huang, Zhongliang Yang, Kecheng Wang, Haitian Li, Baocheng Chen, Xingyu An, Ziyu Liu, Youdan Yang, Kejiang Chen, Sifang Wan, Xu Wang, Yufei Sun, Liyan Wu, Ruiqi Zhou, Wenya Wen, Xingchi Gu, Tianxin Zhang, Yue Gao, Yongfeng Huang

机构 * Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Science and Technology of China（中国科学技术大学） ； IntokenTech 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)；分类 cs.CL

AI总结 LiveSecBench通过动态更新和多维度评估，为中文大模型的安全性提供持续改进的标准和排行榜。

Designing The Internet of Agents: A Framework for Trustworthy, Transparent, and Collaborative Human-Agent Interaction (HAX)

设计智能体互联网：信任、透明和协作人机交互的框架

Marc Scibelli, Krystelle Gonzalez Papaux, Julia Valenti, Srishti Kush

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 HAX框架通过整合行为启发式、模式驱动SDK和行为代理概念，为信任、透明和协作的人机交互提供端到端解决方案。