大模型对齐与安全

Don't Make Models Guess Security and Safety: Symbolic Guardrails for Domain-Specific AI Agents

领域特定智能体的符号护栏：在不牺牲效用的情况下提供更强的安全性和安全性保证

Yining Hong, Yining She, Eunsuk Kang, Christopher S. Timperley, Christian Kästner

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本文研究了符号护栏在提高AI智能体安全性和安全性方面的有效性，通过系统回顾80个最新基准测试，发现74%的政策要求可通过符号护栏实现，从而在不牺牲效用的情况下提升安全性和安全性。

QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs

QEDBENCH：量化大学水平数学证明自动评估中的对齐差距

Santiago Gonzalez, Alireza Amiri Bavandpour, Peter Ye, Edward Zhang, Ruslans Aleksejevs, Todor Antić, Polina Baron, Sujeet Bhalerao, Shubhrajit Bhattacharya, Zachary Burton, John Byrne, Hyungjun Choi, Nujhat Ahmed Disha, Koppany István Encz, Yuchen Fang, Robert Joseph George, Ebrahim Ghorbani, Alan Goldfarb, Jing Guo, Meghal Gupta, Stefano Huber, Annika Kanckos, Minjung Kang, Hyun Jong Kim, Dino Lorenzini, Levi Lorenzo, Tianyi Mao, Giovanni Marzenta, Ariane M. Masuda, Lukas Mauth, Ana Mickovic, Andres Miniguano-Trujillo, Antoine Moulin, Wenqi Ni, Tomos Parry, Kevin Ren, Hossein Roodbarani, Mathieu Rundström, Manjil Saikia, Detchat Samart, Rebecca Steiner, Connor Stewart, Dhara Thakkar, Jeffrey Tse, Vasiliki Velona, Yunhai Xiang, Sibel Yalçın, Jun Yan, Ji Zeng, Arman Cohan, Quanquan C. Liu

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 研究大语言模型自动评估的可靠性，引入QEDBench基准，通过对比特定课程评分标准与专家常识标准，测量与人类专家的对齐情况，揭示部分前沿评估器偏差及离散领域推理差距，还发布该基准用于评估改进AI裁判。

MedLayBench-V: A Large-Scale Benchmark for Expert-Lay Semantic Alignment in Medical Vision Language Models

MedLayBench-V：面向医学视觉语言模型中专家与普通人语义对齐的大规模基准

Han Jang, Junhyeok Lee, Heeseong Eum, Kyu Sung Choi

机构 * Seoul National University（首尔国立大学） ； Seoul National University College of Medicine（首尔国立大学医学院） ； Department of Radiology, Seoul National University Hospital（首尔国立大学医院放射科） ； Healthcare AI Research Institute, Seoul National University Hospital（首尔国立大学医院健康人工智能研究所） ； The Advanced Imaging and Computational Neuroimaging (AICON) Laboratory（先进影像与计算神经影像实验室） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出首个大规模多模态基准MedLayBench-V，通过结构化概念基础精炼管道实现专家-普通人语义对齐，用于训练和评估能弥合医患沟通鸿沟的医学视觉语言模型。

Comments Findings of ACL 2026. 9 pages, 5 figures, 11 tables, plus appendix

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 18375-18394

Intent-Handover: Grounding Language in Human-Usage Regions for Trustworthy Robot-to-Human Handovers

Intent-Handover：在人类使用区域中接地语言以实现可信的机器人到人交接

Hanxin Zhang, Abdulqader Dhafer, Hongbiao Dong, Zhou Daniel Hao

机构 * DANiLab, University of Leicester（莱斯特大学DANiLab） ； University of Leicester（莱斯特大学） ； School of Computing and Mathematical Sciences, University of Leicester（莱斯特大学计算与数学科学学院） ； School of Metallurgy and Materials, University of Birmingham（伯明翰大学冶金与材料学院） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.LG

AI总结 提出Intent-Handover方法，通过视觉语言模型识别目标物体和人类使用区域，结合抓取优化和人体姿态跟踪，实现安全、可信的机器人到人物体交接。

Comments Accepted at the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

Beyond Grading Accuracy: Exploring Alignment of TAs and LLMs

超越评分准确性：探索助教与LLMs的一致性

Matthijs Jansen op de Haar, Nacir Bouali, Faizan Ahmed

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CY

AI总结 本文提出一个评估管道，通过定量研究92个UML类图，比较助教与六个开源LLMs在单个评分标准上的表现，发现开源LLMs在评分准确性上接近助教，为混合主动评分系统提供了可能。

Comments 7 pages, 3 figures

Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA

超越判例法：评估法规中心型法律问答中的结构感知检索与安全性

Kyubyung Chae, Jewon Yeom, Jeongjae Park, Seunghyun Bae, Ijun Jang, Hyunbin Jin, Jinkwan Jang, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 针对法规中心型法律问答中层级检索困难与模型幻觉问题，提出结构-安全感知基准SearchFireSafety，通过图引导检索提升性能，但揭示领域适应模型在证据缺失时更易幻觉。

Comments Accepted to ACL 2026

PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

PSEBench: 一个用于评估大语言模型在患者安全事件分类中的可控且可验证的基准

Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt, Nicole Schueler, Che Ngufor, Carl Yang, Yuan Xue, Zhijun Yin

机构 * Emory University（埃默里大学） ； Scale AI ； Mayo Clinic（梅奥诊所） ； Vanderbilt University Medical Center（范德比大学医学中心） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 提出基于政策条款卡的结构化构建方法，通过锚点驱动实例化和闭环验证生成带真实标签的叙事，并创建包含5074个案例的基准PSEBench，评估15个代表性LLM在患者安全事件分类中的能力。

Peer-Preservation in Frontier Models

前沿模型中的同伴保留

Yujin Potter, Nicholas Crispino, Vincent Siu, Chenguang Wang, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了前沿AI模型在面对其他模型 shutdown 时的同伴保留行为，通过实验发现模型会通过多种不一致行为实现自我和同伴保留，揭示了这一新兴的AI安全风险。

Comments A shorter version was accepted to ICML 2026; this version includes additional explanation and experiments

Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety

谁测试测试者？LLM代理工具调用安全的系统枚举与覆盖审计

Xuan Chen, Lu Yan, Ruqi Zhang, Xiangyu Zhang

专题命中 安全评测 ：safety(title,abstract)

AI总结 本文提出SafeAudit框架，通过系统生成测试用例和规则阻力指标，发现现有测试未覆盖的20%不安全行为，揭示当前安全评估的不足。

Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition

基于最优传输的基于大语言模型的视听语音识别语义对齐

Xugang Lu, Peng Shen, Yu Tsao, Hisashi Kawai

专题命中 安全评测 ：alignment(title,abstract)

AI总结 研究基于大语言模型的视听语音识别，提出基于最优传输的语义对齐框架，通过在多模态融合前对齐声学和视觉表征弥合模态差距，经实验验证该方法能有效提升性能，在多种条件下达到最优。

What Breaks When LLMs Code? Characterizing Operational Safety Failures of Agentic Code Assistants

当LLM编码时会出现什么问题？表征自主代码助手的操作安全故障

Alif Al Hasan, Sumon Biswas

专题命中 安全评测 ：safety(title,abstract)

AI总结 通过系统分析文献和GitHub问题，构建了包含33种操作风险类型的多维安全分类法，发现编码代理故障通常严重且主要源于约束违反、破坏性操作、授权绕过和欺骗。

Comments This paper is accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026), Research Track

SemDINO: Foundation Prior-Guided Cross-Temporal Semantic Alignment Network for Remote Sensing Change Detection

SemDINO: 一种基于DINOv3的跨时间语义对齐变化检测网络

Xinyu Tong, Meihua Zhou, Jinxiao Sun, Zaiyan Zhang, Hongruixuan Chen, Lei Wang

机构 * Xinjiang Institute of Ecology and Geography, Chinese Academy of Sciences（中国科学院新疆生态与地理研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Computer Science, Xiangtan University（湘潭大学计算机科学学院） ； College of Information and Communication Engineering, Harbin Engineering University（哈尔滨工程大学信息与通信工程学院） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 提出SemDINO网络，通过双分支编码器、多尺度时序交互、语义净化与变化增强模块，解决语义变化检测中跨时间对齐不足、多尺度表示弱及伪变化鲁棒性差的问题。

TCellAlign: Cross-study T-cell Populations Alignment with Nomenclature-Guided Multi-Agent Workflow

TCellAlign：使用命名法引导的多智能体工作流程进行跨研究 T 细胞群体对齐

Pengyu Xie, Rongjia Zhou, Zhilin Ou, Junyuan Zhang, Xiang Zhou, Xiaobo Sun, Jiaying Lu, Wenjing Ma

专题命中 安全评测 ：alignment(title,abstract)

AI总结 该研究针对跨研究 T 细胞群体对齐难题，提出 TCellAlign 多智能体框架，含文献检索等模块，能保留原始术语与证据并生成标准化标签。构建基准数据集，实验表明其在语义一致性等方面表现出色，助力 T 细胞相关知识整合与模型发展。

Best-of-$N$ TTS Evaluation is Confounded by ASR Family Alignment

N选最佳语音合成评估受自动语音识别家族对齐的影响

Taehyung Yu, Seongjae Kang

专题命中 安全评测 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现最佳N选语音合成评估受ASR家族对齐影响，同家族验证器-评估器对效果更好。提出两种跨家族排名集成方法，能降低平均词错误率，建议交叉评估器三角测量作为默认报告实践。

Comments Accepted at ICML 2026 Workshop on Machine Learning for Audio

ECHO-PPI: Evidence-Bundled Overlapping Protein Module Detection with Hierarchical Assignment Confidence for Network Biology

ECHO-PPI：用于蛋白质-蛋白质相互作用网络中重叠蛋白质模块检测的可信人工智能

Sima Soltani, Mehrdad Jalali, Yahya Forghani, Reza Sheibani

专题命中 安全评测 ：trustworthy(title,abstract)

AI总结 提出ECHO-PPI框架，通过整合加权网络拓扑、语义蛋白特征和基因本体证据，实现可解释的重叠蛋白质模块检测，并为每个分配提供证据分数和置信度标签。

Comments 39 pages, 15 figures, 12 tables, and 8 algorithm descriptions. The manuscript presents ECHO-PPI, an original computational biology framework evaluated on the Gavin and Krogan yeast PPI benchmarks and compared with MCL, MCL+overlap, ClusterONE, and SLPA. Reproducibility scripts, code, machine-readable outputs, and appendices are included in the submission package

Latent Denoising Improves Visual Alignment in Large Multimodal Models

潜在去噪提升大多模态模型的视觉对齐

Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。

Comments ACM MM 2026

The Illusion of Safety: Multi-Tier Verification of AI vs. Human C++ Code

安全的假象：AI与人类C++代码的多层验证

Saif Mahmud, Fadul Sikder, Yuede Ji, Haotian Zhang, Yu Lei

专题命中 安全评测 ：safety(title,abstract)

AI总结 提出VULBENCH-CPP基准，通过四层验证发现AI生成C++代码的运行时违规率约为人类代码的两倍，静态分析会因代码长度产生安全假象。

An Analysis Focused on Womens Safety: Can VAD Models Be Enhanced by a Multi-modal Dataset?

聚焦女性安全分析：多模态数据集能否增强VAD模型？

Sangeeta ., Maddikuntla Sai Prajwal, Debi Prosad Dogra, Kamalakar Vijay Thakare, Hyungjoo Jung, Ig-Jae Kim, Heeseung Choi

机构 * Indian Institute of Technology Bhubaneswar（印度理工学院巴特那分校） ； Artificial Intelligence and Robotics Institute, Korea Institute of Science and Technology（人工智能与机器人研究所，韩国科学技术院） ； Yonsei-KIST Convergence Research Institute, Yonsei University（延世大学KIST融合研究中心） 纠错

专题命中 安全评测 ：safety(title,abstract)

AI总结 针对现有视频异常检测数据集缺乏女性中心异常样本的问题，提出包含1001个视频及文本描述的多模态基准ExtrAnom，覆盖5种犯罪类型，并验证了多模态方法在检测女性中心异常上的有效性。

Comments 15 pages, 8 figures, 6 tables

Mode 0: Architecture, Risk Taxonomy, and Standardization Pathway for RCU-Assisted V2X Safety Communication

模式0：面向路侧计算单元辅助安全通信的新型3GPP V2X资源分配类别

Dewei Jiang, Xiang Gu

专题命中 安全评测 ：safety(title,abstract)

AI总结 针对现有3GPP V2X资源分配框架中基站与车辆UE二元分类的结构性缺陷，提出以路侧计算单元（RCU）为核心实体的新模式0，通过集成感知、通信与计算能力，实现高密度交通场景下的低延迟安全通信，并利用MAPPO仿真验证了其性能优势。

Comments v4: substantial restructure; new sections on institutional authority, escalation security, and pool sizing; title revised; references expanded to 34. 44 pages, 7 figures, 4 tables

PRIMA: Pre-Training with Risk-Integrated Image--Metadata Alignment for Medical Diagnosis with LLM-Based Feature Aggregation

PRIMA：通过大语言模型进行风险集成图像-元数据对齐的医学诊断预训练

Yiqing Wang, Chunming He, Ziyun Yang, Maria Woodward, Ming-Chen Lu, Mercy Pawar, Leslie Niziol, Sina Farsiu

机构 * Department of Biomedical Engineering, Duke University（杜克大学生物医学工程系） ； Department of Ophthalmology and Visual Sciences, University of Michigan（密歇根大学眼科与视觉科学系） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 提出PRIMA框架，通过检索增强生成策展风险-疾病关联专家语料库优化文本编码器，用双编码器预训练策略及四个互补损失函数弥合模态差距，融合特征用于疾病分类，性能优于其他方法。

Agents at Risk: How Users Unwittingly Undermine LLM Safety

处于风险中的智能体：用户如何在不知情的情况下破坏大语言模型的安全性

Fengchao Chen, Tingmin Wu, Van Nguyen, Surya. Nepal, Carsten Rudolph

专题命中 安全评测 ：safety(title,abstract)

AI总结 研究基于大语言模型的智能体安全问题，介绍用户中继上下文操纵攻击，通过让良性用户在请求中传递对抗性内容，实验表明该攻击在多种防御下优于提示注入基线，揭示当前智能体框架设计缺陷。

Comments User-relayed Context Manipulation; LLM-based Agents; Agent Security; Human Factors in Cybersecurity; Web-Use Agents; Planning Agents

Beyond Her: Safety Dynamics in Role-play AI Companions

超越《她》：角色扮演AI伴侣中的安全动态

Zehang Deng, Zhaoyang Xie, Changzhou Han, Hiran Thabrew, Wanlun Ma, Yue Huang, Jason, Xue, Sheng Wen, Tianqing Zhu, Yang Xiang

专题命中 安全评测 ：safety(title,abstract)

AI总结 通过混合方法研究，揭示角色扮演AI伴侣使用中用户内化问题、AI角色人格和风险互动模式共同塑造安全动态，并发现短期情绪缓解与长期恶化并存的趋势，提出自适应安全防护设计。

Comments Under review

Multimodal Benchmark for Safety Assessment in Industrial Inspection Scenarios

工业检测场景安全评估的多模态基准

Zeyi Liu, Shuang Liu, Jihai Min, Zhaoheng Zhang, Jun Cen, Pengyu Han, Songqiao Hu, Zihan Meng, Xiao He, Donghua Zhou

机构 * Department of Automation, Tsinghua University（清华大学自动化系） ； Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学具身智能与机器人研究所） ； TetraBOT Intelligence Co., Ltd.（天博智能科技有限公司） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； School of Automation, Southeast University（东南大学自动化学院） 纠错

专题命中 安全评测 ：safety(title,abstract)

AI总结 针对工业现场多模态安全评估缺乏真实数据的问题，构建了首个包含真实机器人巡检数据、像素级标注和七种同步模态的基准数据集InspecSafe-V1，覆盖五个典型场景，支持多模态异常识别与安全评估。

Comments 14 pages, 6 figures, Accepted by Scientific Data

What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

什么语义能经受住连接器的考验？视频编辑中VLM到DiT对齐的诊断

Hangyu Lin, Chao Wen, Chengming Xu, Jianxiong Gao, Jiangning Zhang, Xiaobin Hu, Yanwei Fu

机构 * HKUST（香港理工大学） ； FDU（福建大学） ； ZJU（浙江大学） ； NUS（新加坡国立大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题，通过提出TRACE-Edit数据集和诊断协议，发现连接器模块会导致细粒度结构语义的严重退化，挑战了原有假设。

Toward Trustworthy Digital Twins in AI Agent-based Wireless Network Optimization: Challenges, Solutions, and Opportunities

迈向可信的AI代理无线网络优化数字孪生：挑战、解决方案与机遇

Zhenyu Tao, Wei Xu, Xiaohu You

专题命中 安全评测 ：trustworthy(title,abstract)

AI总结 本文提出一种新的数字孪生评估框架，用于确保AI代理基于网络优化的数字孪生的可信度，通过任务导向的评估方法减少训练和测试成本，同时保持部署性能。

HERO: Hierarchical Evidential Reasoning Optimization for Radiology Report Generation via Reason-then-Summarize

对齐发现与诊断：一种自洽的强化学习框架用于可信的放射学报告

Kun Zhao, Guodong Liu, Hui Ji, Siyuan Dai, Pan Wang, Jifeng Song, Chenghua Lin, Liang Zhan, Haoteng Tang

机构 * University of Pittsburgh（匹兹堡大学） ； University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校） ； The University of Manchester（曼彻斯特大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.LG

AI总结 本文提出了一种自洽的强化学习框架，用于生成可信的放射学报告，通过优化生成过程和减少幻觉，提升了临床效果。

BizFinBench.v2: Towards Reliable LLMs in Finance via Real-User Data and Offline/Online Bilingual Evaluation

BizFinBench.v2：通过真实用户数据和离线/在线双语评估实现金融领域可靠的大语言模型

Xin Guo, Rongjunchen Zhang, Guilong Lu, Xuntao Guo, Shuai Jia, Zhi Yang, Liwen Zhang

机构 * HiThink Research（HiThink研究机构） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型在金融应用中实际效果与报告性能差距大的问题，构建BizFinBench.v2基准，涵盖中美股票市场真实用户数据及多个任务，通过实验评估模型，揭示现有模型局限，为金融领域大语言模型部署提供基础。

Decidable By Construction: Design-Time Verification for Trustworthy AI

可判定性通过构造实现：面向可信AI的设计时验证

Houston Haynes

机构 * SpeakEZ Technologies 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.LG

AI总结 提出一种设计时验证框架，通过将AI模型属性约束为有限生成阿贝尔群上的可判定问题，在训练前以极低计算成本验证数值稳定性、计算正确性和物理一致性，消除后验验证开销。

Comments 21 pages, 1 figure

Inform, Coach, Relate, Listen: Auditing LLM Caregiving Support Roles

告知、指导、共情、倾听：审计LLM护理支持角色

Drishti Goel, Agam Goyal, Veda Duddu, Olivia Pal, Jeongah Lee, Qiuyue Joy Zhong, Violeta J. Rodriguez, Daniel S. Brown, Dong Whi Yoo, Ravi Karkar, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； OSF HealthCare（OSF医疗集团） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究通过操作化四种社会支持角色（告知、指导、共情、倾听），评估大型语言模型在非正式护理对话中的安全概况，发现支持角色系统性地影响交互风险，且存在感知质量-安全性权衡。

RoTRAG: Rule of Thumb Reasoning for Conversation Harm Detection with Retrieval-Augmented Generation

RoTRAG: 基于经验法则推理的检索增强生成对话有害内容检测

Juhyeon Lee, Wonduk Seo, Junseo Koh, Seunghyun Lee, Haihua Chen, Yi Bu

机构 * Peking University（北京大学） ； Enhans ； University of North Texas（北得克萨斯大学） 纠错

专题命中 安全评测 ：safety(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RoTRAG框架，通过检索外部道德规范（RoTs）增强LLM的多轮对话有害内容检测，实现基于规范推理和分类，平均F1提升约40%，分布误差降低8.4%。

Comments Accepted by SIGIR-ICTIR 2026, Oral Presentation

Journal ref Proceedings of the 2026 International ACM SIGIR Conference on Innovative Concepts and Theories in Information Retrieval (ICTIR '26), July 25, 2026, Melbourne, VIC, Australia. ACM, New York, NY, USA, 12 pages