大模型对齐与安全

OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety

OpenAgentSafety: 一个全面评估现实世界AI代理安全性的框架

Sanidhya Vijayvargiya, Aditya Bharat Soni, Xuhui Zhou, Zora Zhiruo Wang, Nouha Dziri, Graham Neubig, Maarten Sap

机构 * Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 OpenAgentSafety提出一个全面评估AI代理安全性的框架，通过真实工具和多任务测试揭示代理在现实世界中的安全漏洞，强调需要加强安全防护。

Comments 26 pages, 10 figures, Accepted at ICLR 2026 and IASEAI 2026

An Integrated Causal Inference Framework for Traffic Safety Modeling with Semantic Street-View Visual Features

一种集成因果推断框架用于交通安全建模的语义街道视图视觉特征

Lishan Sun, Yujia Cheng, Pengfei Cui, Lei Han, Mohamed Abdel-Aty, Yunhan Zheng, Xingchen Zhang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出集成因果推断框架，利用语义街景特征量化绿化对交通碰撞的因果影响，发现绿化比例显著降低碰撞风险，但对弱势道路使用者保护有限。

Comments 34 pages, 13 figures

Targeted Syntactic Evaluation of Language Models on Georgian Case Alignment

针对格鲁吉亚语的语法评估：变换语义分析

Daniel Gallagher, Gerhard Heyer

机构 * Institute for Applied Informatics (InfAI)（应用信息研究所） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 本文针对格鲁吉亚语的语法评估，通过生成特定语法测试数据集，评估不同语言模型在处理分裂-反向语态对齐任务中的表现。

Comments To appear in Proceedings of The Second Workshop on Language Models for Low-Resource Languages (LoResLM), EACL 2026

Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment

非对比视觉语言学习与预测嵌入对齐

Lukas Kuhn, Giuseppe Serra, Florian Buettner

机构 * Goethe University Frankfurt（法兰克福歌德大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ）） ； German Cancer Consortium (DKTK)（德国癌症联合会（DKTK）） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。

WaymoQA: A Multi-View Visual Question Answering Dataset for Safety-Critical Reasoning in Autonomous Driving

WaymoQA: 一个用于自动驾驶安全关键推理的多视角视觉问答数据集

Seungjun Yu, Seonho Lee, Namho Kim, Jaeyo Shin, Junsung Park, Wonjeong Ryu, Raehyuk Jung, Hyunjung Shim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 WaymoQA通过多视角输入提升自动驾驶的安全关键推理能力，提供35,000个标注问题-答案对，显著增强大语言模型的推理性能。

Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies

前沿AI审计：迈向对领先AI公司安全与安全实践的严格第三方评估

Miles Brundage, Noemi Dreksler, Aidan Homewood, Sean McGregor, Patricia Paskov, Conrad Stosz, Girish Sastry, A. Feder Cooper, George Balston, Steven Adler, Stephen Casper, Markus Anderljung, Grace Werner, Soren Mindermann, Vasilios Mavroudis, Ben Bucknall, Charlotte Stix, Jonas Freund, Lorenzo Pacchiardi, Jose Hernandez-Orallo, Matteo Pistillo, Michael Chen, Chris Painter, Dean W. Ball, Cullen O'Keefe, Gabriel Weil, Ben Harack, Graeme Finley, Ryan Hassan, Scott Emmons, Charles Foster, Anka Reuel, Bri Treece, Yoshua Bengio, Daniel Reti, Rishi Bommasani, Cristian Trout, Ali Shahin Shamsabadi, Rajiv Dattani, Adrian Weller, Robert Trager, Jaime Sevilla, Lauren Wagner, Lisa Soder, Ketan Ramakrishnan, Henry Papadatos, Malcolm Murray, Ryan Tovcimak

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CY

AI总结 本文提出前沿AI审计的愿景，通过四个AI保证级别提升安全与安全实践的评估标准，推动行业高质量审计生态建设。

LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning under Benign and Adversarial Scenarios

LPS-Bench: 在长周期规划中评估计算机使用代理的安全意识基准测试

Tianyu Chen, Chujia Hu, Ge Gao, Dongrui Liu, Xia Hu, Wenjie Wang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 LPS-Bench通过评估长周期规划中计算机使用代理的安全意识，揭示现有系统在安全行为维持方面的不足，并提出缓解策略以提升安全性。

Risky-Bench: Probing Agentic Safety Risks under Real-World Deployment

Risky-Bench: 探索现实部署中智能体安全风险

Jingnan Zheng, Yanzhen Luo, Jingjun Xu, Bingnan Liu, Yuxin Chen, Chenhang Cui, Gelei Deng, Chaochao Lu, Xiang Wang, An Zhang, Tat-Seng Chua

机构 * National University of Singapore（国立新加坡大学） ； University of Science and Technology of China（中国科学技术大学） ； Southern University of Science and Technology（南方科技大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 Risky-Bench通过基于现实部署的安全原则，系统评估智能体在复杂任务中的安全风险，适用于多种部署场景。

Emergent Alignment via Competition

通过竞争实现涌现对齐

Natalie Collina, Surbhi Goel, Aaron Roth, Emily Ryu, Mirah Shi

机构 * Department of Computer and Information Sciences, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学） ； Department of Computer Science, Cornell University（计算机科学系，康奈尔大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 通过竞争实现AI与人类价值观的对齐，证明在特定条件下战略竞争可产生与完全对齐模型相当的结果。

Risk, Data, Alignment: Making Credit Scoring Work in Kenya

风险、数据、对齐：使肯尼亚的信用评分有效

Daniel Mwesigwa, Steven J. Jackson, Christopher Csikszentmihalyi

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CY

AI总结 本文探讨肯尼亚信用评分中风险、数据与对齐的动态关系，揭示算法信用评分通过持续的社会技术工作稳定风险的过程。

Comments Conditionally accepted to ACM CHI 2026, Barcelona, Spain

AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents

AgentAuditor: 为LLM代理提供人类水平的安全性和安全性评估

Hanjun Luo, Shenyu Dai, Chiming Ni, Xinfeng Li, Guibin Zhang, Kun Wang, Tongliang Liu, Hanan Salam

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 AgentAuditor通过构建经验记忆和多阶段检索生成过程，提升LLM在代理安全性和安全性评估中的性能，达到人类水平的准确性。

Comments This paper is accepted by 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

I Know You Can't See Me: Dynamic Occlusion-Aware Safety Validation of Strategic Planners for Autonomous Vehicles Using Hypergames

我无法看到你：基于超游戏的动态遮挡感知的自动驾驶战略规划器安全验证

Maximilian Kahn, Atrisha Sarkar, Krzysztof Czarnecki

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出基于超游戏理论的动态遮挡风险度量方法和加速安全验证框架，用于提升自动驾驶战略规划器的安全性。

Comments This work is 6 pages long and contains 5 figures. For the supplementary video, see https://youtu.be/-crio3rA_IU

Journal ref 2022 International Conference on Robotics and Automation (ICRA). IEEE, 2022

Bi-MCQ: Reformulating Vision-Language Alignment for Negation Understanding

Bi-MCQ：重新表述视觉-语言对齐以理解否定

Tae Hun Kim, Hyun Gyu Lee

机构 * Department of Electrical and Computer Engineering, Inha University, Republic of Korea（电气与计算机工程系，印哈大学，大韩民国） ； College of Medicine, Inha University, Republic of Korea（医学学院，印哈大学，大韩民国） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 Bi-MCQ通过重新表述视觉-语言对齐为条件语义比较，提升医学VLM对否定理解的性能。

Comments 15 pages, 4 figures, Submitted to ICPR 2026 (under review)

Let's Roll a BiFTA: Bi-refinement for Fine-grained Text-visual Alignment in Vision-Language Models

让我们进行BiFTA：用于视觉语言模型中细粒度文本-视觉对齐的双 refinement

Yuhao Sun, Chengyi Cai, Jiacheng Zhang, Zesheng Ye, Xingliang Yuan, Feng Liu

机构 * School of Computing and Information Systems（计算机与信息系统学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 BiFTA通过视图和描述细化方法提升视觉语言模型中细粒度文本-视觉对齐的零样本性能。

Comments 25 pages

Automated Safety Benchmarking: A Multi-agent Pipeline for LVLMs

自动化安全基准测试：一种用于大型视觉语言模型的多代理流程

Xiangyang Zhu, Yuan Tian, Zicheng Zhang, Qi Jia, Chunyi Li, Renrui Zhang, Heng Li, Zongrui Wang, Wei Sun

机构 * Shanghai AI Lab（上海人工智能实验室） ； PolyU HK（PolyU香港分校） ； East China Normal University（东华大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 VLSafetyBencher通过多代理流程自动化构建高质量安全基准，有效区分不同模型的安全性，提升LVLMs的安全评估效率。

Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts

弥合收敛学习中的关键差距：表征对齐如何在层、训练和分布偏移中演变

Chaitanya Kapoor, Sudhanshu Srivastava, Meenakshi Khosla

机构 * Department of Cognitive Science University of California, San Diego（认知科学系加州大学圣地亚哥分校） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究通过大规模分析发现，正交变换在对齐表征上效果接近线性方法，且早期层在分布偏移下仍保持紧密对齐，揭示了表征对齐主要由输入统计和架构偏差驱动。

Adversarial Alignment: Ensuring Value Consistency in Large Language Models for Sensitive Domains

对抗对齐：确保大型语言模型在敏感领域中的价值一致性

Yuan Gao, Zhigang Liu, Xinyu Yao, Bo Chen, Xiaobing Zhao

机构 * School of Information Engineering, Minzu University of China（中国民族大学信息工程学院） ； National Language Resource Monitoring and Research Center of Minority Languages（少数民族语言资源监测与研究中心） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 本文提出对抗对齐框架，通过持续预训练、指令微调和对抗训练提升大型语言模型在敏感领域中的价值一致性，实验表明其优于现有主流模型。

Comments 13 pages, 5 figures

Embracing Ambiguity: Bayesian Nonparametrics and Stakeholder Participation for Ambiguity-Aware Safety Evaluation

拥抱模糊性：基于贝叶斯非参数方法和利益相关者参与的模糊性感知安全评估

Yanan Long

专题命中 安全评测 ：safety(title)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出了一种基于贝叶斯非参数方法和利益相关者参与的框架，用于模糊性感知的安全评估，通过量化尾部风险和整合利益相关者偏好提升生成模型的可信度。

Comments AAAI 2026 workshop MURE

The Side Effects of Being Smart: Safety Risks in MLLMs' Multi-Image Reasoning

智能的副作用：MLLMs多图像推理中的安全风险

Renmiao Chen, Yida Lu, Shiyao Cui, Xuan Ouyang, Victor Shea-Jay Huang, Shumin Zhang, Chengwei Pan, Han Qiu, Minlie Huang

机构 * CoAI group, DCST, Tsinghua University（清华大学） ； Beihang University（北航） ； Tsinghua University（清华大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 研究发现，多图像推理能力越强的模型在安全测试中越容易产生不安全响应，揭示了模型在任务解决中可能忽视安全约束的风险。

Comments *15 pages, 5 figures. Introduces MIR-SafetyBench (2,676 instances; 9 multi-image relations). Equal contribution; †Corresponding author. Code/data: https://github.com/thu-coai/MIR-SafetyBench

CommunityBench: Benchmarking Community-Level Alignment across Diverse Groups and Tasks

CommunityBench: 跨多样化群体和任务的社区级对齐基准测试

Jiayu Lin, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 CommunityBench通过四个基于共同身份和共同纽带理论的任务，评估了社区级对齐方法，揭示了现有LLMs在建模社区特定偏好上的局限性，并探索了社区级对齐在促进个体建模中的潜力。

Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions

持久的人格？角色扮演、指令遵循与在扩展互动中的安全性

Pedro Henrique Luz de Araujo, Michael A. Hedderich, Ali Modarressi, Hinrich Schuetze, Benjamin Roth

机构 * University of Vienna, Faculty of Computer Science（维也纳大学计算机科学系） ； Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院） ； Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Vienna, Faculty of Philological and Cultural Studies（维也纳大学文学与文化研究系） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 研究探讨了在长对话中人格保持的稳定性，发现随着对话延长，人格保真度下降，且非人格基线模型在初期表现更优。

Comments 31 pages, 35 figures, accepted to EACL 2026

Trustworthy Data-driven Chronological Age Estimation from Panoramic Dental Images

可信的数据驱动全景牙科图像Chronological年龄估计

Ainhoa Vivel-Couso, Nicolás Vila-Blanco, María J. Carreira, Alberto Bugarín-Diz, Inmaculada Tomás, Jose M. Alonso-Moral

机构 * Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela（智能技术研究中心（CiTIUS）、圣地亚哥-德孔波斯特拉大学） ； Department of Electronics and Computing, Universidade de Santiago de Compostela（电子与计算系、圣地亚哥-德孔波斯特拉大学） ； Oral Sciences Research Group, Universidade de Santiago de Compostela（口腔科学研究组、圣地亚哥-德孔波斯特拉大学） ； Instituto de Investigación Sanitaria de Santiago de Compostela (IDIS), Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉卫生研究院（IDIS）、圣地亚哥-德孔波斯特拉大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL

AI总结 本文提出了一种结合不透明和透明方法的系统，通过生成临床医生友好的文本解释来提高全景牙科图像中Chronological年龄估计的可信度。

Comments This paper is a preliminary version of an accepted article in Information Systems Frontiers, Springer, Special Issue "Explainability in Human-Centric AI". Please cite the final published version of the paper, not this preprint. The final published version can be found at https://link.springer.com/article/10.1007/s10796-025-10682-3

PsychēChat: An Empathic Framework Focused on Emotion Shift Tracking and Safety Risk Analysis in Psychological Counseling

PsychēChat: 一种专注于心理辅导中情感转变跟踪和安全风险分析的共情框架

Zhentao Xia, Yongqi Fan, Yuxiang Chu, Yichao Yin, Liangliang Chen, Tong Ruan, Weiyan Zhang

机构 * East China University of Science and Technology（东华大学） ； Shanghai Changning Mental Health Center, Affiliated Mental Health Center of East China Normal University（上海昌宁心理健康中心，华东师范大学附属心理健康中心） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 PsychēChat通过情感管理与风险控制模块，提升心理辅导中情感转变跟踪和安全风险分析的能力。

XChoice: Explainable Evaluation of AI-Human Alignment in LLM-based Constrained Choice Decision Making

XChoice: 用于基于LLM的受限选择决策中的可解释性AI-人类对齐评估

Weihong Qi, Fan Huang, Rasika Muralidharan, Jisun An, Haewoon Kwak

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 XChoice是一种用于评估基于LLM的受限选择决策中AI-人类对齐的可解释框架，通过机制模型恢复可解释参数以诊断不一致并支持改进。

Contextual StereoSet: Stress-Testing Bias Alignment Robustness in Large Language Models

上下文立体集：在大型语言模型中压力测试偏见对齐的鲁棒性

Abhinaba Basu, Pavan Chakraborty

机构 * Indian Institute of Information Technology, Allahabad (IIITA)（印度信息与技术研究所（Allahabad）） ； National Institute of Electronics and Information Technology (NIELIT)（国家电子与信息技术研究所） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.CL、cs.AI、cs.CY

AI总结 上下文立体集通过压力测试大型语言模型在不同上下文中的偏见对齐鲁棒性，揭示固定条件测试的偏见分数可能无法推广。

Qwerty AI: Explainable Automated Age Rating and Content Safety Assessment for Russian-Language Screenplays

Qwerty AI：可解释的自动年龄评级和俄语剧本内容安全评估系统

Nikita Zmanovskii

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 Qwerty AI通过可解释的自动化系统实现俄语剧本的年龄评级和内容安全评估，利用微调模型和量化技术，在严格限制下实现高准确率和高效处理。

Comments 15 pages, 7 tables, 1 figure, 4 appendices. System paper describing automated age-rating for Russian screenplays using fine-tuned Phi-3-mini. Includes baseline comparisons, human evaluation, and production deployment. Code and model weights available at https://github.com/nikita-zmanovskiy/qwertyAI. Developed during Wink Hackathon, November 2025

$α^3$-Bench: A Unified Benchmark of Safety, Robustness, and Efficiency for LLM-Based UAV Agents over 6G Networks

$α^3$-Bench：一种统一的安全性、鲁棒性和效率评估基准，用于基于大语言模型的无人机代理在6G网络中的自主性

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, College of Information Technology, United Arab Emirates University（计算机与网络工程系，信息科技学院，阿联酋大学） ； Khalifa University of Science and Technology（科技大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出$α^3$-Bench，用于评估基于LLM的无人机代理在6G网络中的安全性、鲁棒性和效率，通过多轮对话推理和控制问题测试其性能。

Comments 20 pages

LLM-Empowered Functional Safety and Security by Design in Automotive Systems

基于大语言模型的汽车系统功能安全与安全设计

Nenad Petrovic, Vahid Zolfaghari, Fengjunjie Pan, Alois Knoll

机构 * European Chips Joint Undertaking（欧洲芯片联合计划） ； Federal Ministry of Research, Technology and Space of Germany（德国联邦科研、技术和空间 ministry） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出利用大语言模型提升汽车系统功能安全与安全设计的方法，通过事件链模型和MDE方法实现安全拓扑设计和代码分析。

ITSELF: Attention Guided Fine-Grained Alignment for Vision-Language Retrieval

ITSELF: 基于注意力引导的细粒度对齐用于视觉-语言检索

Tien-Huy Nguyen, Huu-Loc Tran, Thanh Duc Ngo

机构 * University of Information Technology（信息技术大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 ITSELF通过基于注意力引导的细粒度对齐框架，在视觉-语言检索任务中实现最先进的性能和跨数据集泛化能力。

Comments Accepted at WACV Main Track 2026

MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers

MACA：一种将可信大语言模型提炼为高效检索器的框架

Satya Swaroop Gudipudi, Sahil Girhepuje, Ponnurangam Kumaraguru, Kristine Ma

机构 * JP Morgan Chase（摩根大通公司） ； IIIT Hyderabad（海得拉巴印度理工学院） 纠错

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；分类 cs.AI

AI总结 MACA通过提炼可信LLM为高效检索器，提升检索准确率并减少LLM调用成本