大模型对齐与安全

Towards Clinically Faithful Medical Image Captioning via Enhanced Vision-Language Alignment

基于增强型视觉-语言对齐的临床可信医学图像描述生成研究

Yunseo Lee, Hyun Jun Kim, Heeseung Shin, Changwon Lim

机构 * Chung-Ang University（中央大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本研究针对医学图像描述生成的临床可信性问题，提出分离训练与推理对齐的框架，结合多编码器、辅助学习及MedPAIR-SCST方法，通过选择与强化学习对齐提升临床一致性，在数据受限场景下改善医学图像描述的可信度。

Comments 10 pages, 2 figures, 7 tables. Preprint submitted to IEEE for possible publication

Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models

基准的基准：评估小型语言模型的自动化安全基准

Nyamtulla Shaik, Fengjun Li, Bo Luo

机构 * University of Kansas（堪萨斯大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本研究通过评估5个基准套件在26个开源SLMs上的表现，发现现有以LLM为中心的安全基准无法可靠评估SLMs，模糊性会导致模型排名出现显著变化。

Comments This paper is accepted for publication at ESORICS 2026

Group Alignment-Induced Sycophancy: A Two-Sided Evaluation of Steerable Pluralistic Alignment

群体对齐诱导的谄媚性：可引导的多元对齐的双向评估

Haokai Zhao, Yunze Xiao, Weihao Xuan, Flora Salim, Benjamin Tag, Aditya Joshi

机构 * University of New South Wales（新南威尔士大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Tokyo（东京大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 该研究提出GAS指标，评估3种方法、4个模型在13个人口统计群体上的对齐效果，发现群体对齐的观点收益和谄媚性变化存在群体异质性，建议采用双向多维度报告方式。

Comments 9 pages main text, 23 pages in total, under review

Evidence-Grounded Trustworthy Multimodal Reasoning and Evaluation Benchmark in Complex Urban Scenes

复杂城市场景中基于证据的可信多模态推理与评估基准

Zhaoyang Wei, Bowen Jiang, Xumeng Han, Jiashu Li, Xuehui Yu, Yuling Liu, Guorong Li, Zhenjun Han, Jianbin Jiao

机构 * University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Tencent CDG（腾讯云与智慧产业事业群） ； Institute of Information Engineering, CAS（中国科学院信息工程研究所） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 针对复杂城市场景中多模态大语言模型的推理可靠性问题，提出AD2-Bench基准与EGVOR模型，提升了不利条件下的多模态推理稳定性。

Comments Accepted by IJCV

TRACE: Trustworthy Retrieval-Augmented Conversational Engine

TRACE：可信赖的检索增强对话引擎

Touseef Hasan, Laila Cure, Souvika Sarkar

机构 * Wichita State University（威奇托州立大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 研究人员提出TRACE框架，通过强化检索提升公共服务对话系统的约束满足度、减少幻觉，降低对模型规模的依赖，证实检索质量是系统稳健性的关键。

SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs

SurakshaEval：面向多语言大语言模型的印度语安全基准

Debopriyo Banerjee, Kapil Rajesh Kavitha, Angana Borah, Xudong Han, Yuxia Wang, Parameswari Krishnamurthy, Utkarsh Agarwal, Atharva Kulkarni, Swaran Lata, Ayush Munot, Dhruv Sahnan, Aaryamonvikram Singh, Preslav Nakov, Monojit Choudhury

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 针对现有LLM安全评估数据集忽视印度语言文化安全风险的问题，本文推出SurakshaEval基准，测试发现多语言LLM在印度语场景下安全表现不足，凸显了适配区域数据的安全评估框架的必要性。

What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)

当前AI基准测试未测量的内容：模态、搜索、引用及其对安全评估的启示

Ro Encarnación, Tina Behzad, Emma Lurie, Danaé Metaxa

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)；分类 cs.AI

AI总结 该研究发现AI基准测试未涵盖模态、搜索等关键因素，以ChatGPT为例对比两种模态及搜索条件，发现这些因素会影响模型准确率、一致性等，主张AI安全评估需纳入这些维度。

Comments 18 pages

Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks

安全，还是仅仅是能力？智能体安全基准的有效性审计

Youting Wang, Xiao Han, Dingyan Shang, Yuan Tang, Bowen Liu

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 该研究审计了R-Judge等四个智能体安全基准的有效性，发现其排名分歧源于小样本偏差，能力与对齐错误安全负相关，AgentHarm与越狱安全的关联为收敛效度而非通用安全，强调安全主张需明确关键要素。

Probabilistic Concept-Aware Steering for Trustworthy LLM Inference

用于可信大语言模型推理的概率概念感知引导

Brian Becker, Rui Chu, Yingjie Lao

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究针对大语言模型推理中现有引导向量方法的问题，提出概率概念感知引导框架，通过概念驱动检索和概率校准，在保留模型能力的同时实现可控、安全的语义偏差引导。

Closing the AI Trust Gap: The Case for Independent Certification for Trustworthy AI

缩小人工智能信任差距：可信人工智能独立认证的案例

Trisevgeni Papakonstantinou, Cansu Canca, Farah Nanji, Waheedullah Pardess, Jen Weedon, Jasmijn Remmers, Eliza Krigman, Matthew Ball, Yalda Daryani, Kiran Iqbal, Francielle Vargas, María Llorente Sánchez, Joe Humphreys, Fendi Tsim, Kelly Fitzpatrick, Jeff Dunn, Catherine Feldman

机构 * University College London（伦敦大学学院） ； AI Ethics Lab（人工智能伦理实验室） ； University of Cambridge（剑桥大学） ； Columbia University（哥伦比亚大学） ； MATS ； Tech with Intention（技术与意图） ； University of Southern California（南加州大学） ； Kyushu University（九州大学） ； University of Chile（智利大学） ； BehSci Meets AI（行为科学与人工智能） ； Digital Trust Council（数字信任委员会） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究指出负责任AI虽有实践但未形成奖励可信度的市场，存在信任差距。原因包括关注重点偏差及三个复合失败。通过审查治理工具发现不足，进而提出以结果为导向的独立认证来缩小信任差距，补充监管与内部治理。

Democratizing Agent Deployment Safety: A Structural Monitoring Approach

使智能体部署安全民主化：一种结构监测方法

Preeti Ravindra, Rahul Tiwari, Vincent Wolowski

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究人工智能智能体部署安全问题，引入信息流图（IFG）监测器，通过控制流、数据流图及原始代码差异分析结构安全回归。实验表明，IFG监测器能降低攻击错过率，还可同步作为部署前保障，为组织实现部署安全民主化提供实用途径。

Comments Accepted in ICML 2026 Workshops: AI4GOOD and AIWILD

Toward Contemplative LLM: A Modular Framework for Evaluating and Enhancing LLM Alignment in Mental Health

迈向沉思型大语言模型：心理健康领域中评估与增强大语言模型对齐性的模块化框架

Asher Sprigler, Yang-Yang Feng, Iftach Amir, Jonathan E. Bogard, Todd S Braver, Yi Ding, David Kinney, Yixue Zhao

机构 * Purdue University（普渡大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Yixue Research Institute（易学研究所） 纠错

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 针对新模型等涌现使评估沉思原则增强大语言模型对齐性具挑战的问题，提出模块化可扩展评估框架，能集成新元素并重现先进结果，支持交叉评估，其提示模块便于纳入伦理视角，为跨学科研究及有益人机生态系统奠定基础。

Comments Accepted as an oral presentation at HARMONY 2026 (Human-centered AI Research for Mental Health, an Open Networking Symposium), co-located with IEEE/ACM Conference on Connected Health: Applications, Systems, and Engineering Technologies (CHASE 2026) held in Pittsburgh, August 6, 2026

Safety-Aware Evaluation of LLM-Generated Driver Intervention Messages through Multi-Task Risk Fusion

通过多任务风险融合的LLM生成驾驶员干预信息的安全感知评估

Keito Inoshita

机构 * Faculty of Business and Commerce, Kansai University（关西大学商学部） ； Data Science and AI Innovation Research Promotion Center, Shiga University（滋贺大学数据科学与人工智能创新研究推进中心） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 提出DSAIS指标，结合规则与LLM评估五个维度，通过多任务风险融合框架提升干预信息质量，实验表明多任务集成使上下文相关性提升9.1%。

AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent

AgentLens: 通过机制子空间实现多轮编码代理的可解释安全引导

Weidi Luo, Qiming Zhang, Yihao Quan, Mingyu Jin, Jie Cai, Chaowei Xiao, Jingcheng Niu, Zhen Xiang

机构 * University of Georgia（佐治亚大学） ； University of South Florida（南佛罗里达大学） ； Rutgers University（罗格斯大学） ； University of Southern California（南加州大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出AgentLens框架，从内部表示层检测和缓解多轮编码代理的安全风险，通过单层10维子空间干预实现运行时安全控制，并在MAS基准上验证有效性。

Revelio: Cost-Efficient Agentic Memory Safety Vulnerability Detection For Repository-Scale Codebases

Revelio: 面向仓库级代码库的高性价比智能体内存安全漏洞检测

Yiwei Hou, Hao Wang, Muxi Lyu, Marius Momeu, Eric Nguyen, Taige Yang, Koushik Sen, Dawn Song, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 提出Revelio框架，通过生成可执行漏洞证明并用确定性消毒器验证，结合低成本LLM和轻量静态分析，在仓库级代码库中高效发现内存安全漏洞，7个项目中19个新漏洞，成本约300美元。

The Wrong Kind of Right: Quantifying and Localizing Misfired Alignment in LLMs

错误的正确：量化和定位大语言模型中的失调对齐

Naihao Deng, Yiming Feng, Chimaobi Okite, Kaijian Zou, Lu Wang, Rada Mihalcea, Yulong Chen

机构 * University of Michigan（密歇根大学） ； University of Cambridge（剑桥大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出VETO基准和失调对齐率（MAR）指标，发现所有LLM在刻板印象相关问题上均存在非平凡的失调对齐，且人类为0%，机制分析表明对齐诱导的线索会放大该现象。

Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents

能力最小化作为安全原语：风险感知因果门控实现最小特权LLM代理

Laxmipriya Ganesh Iyer, Rahul Suresh Babu

机构 * Independent Researcher（独立研究者） ； United States of America（美国） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 提出风险感知因果门控（RACG）框架，通过因果效应估计与校准风险控制决定是否采纳模型预测，显著降低高成本错误，同时保持非门控策略的大部分效用。

SpheriCity: Designing Trustworthy Conversational AI for Sustainability Decision Support

SpheriCity：为可持续发展决策支持设计可信赖的对话式AI

Ahmed Qayyum, Madison Werner, Kathryn Youngblood, Jenna R. Jambeck, Tahiya Chowdhury

机构 * Department of Computer Science, Colby College（科里尔学院计算机科学系） ； Circularity Informatics Lab, University of Georgia（佐治亚大学循环信息实验室） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 提出SpheriCity，一种基于来源的对话式AI原型，通过结构化合成和交互支架，支持从城市循环性评估报告中可信地获取知识，解决大语言模型在可持续性高风险领域中的透明度与信任问题。

Comments Accepted to ACM SIGCAS/SIGCHI Conference on Computing and Sustainable Societies (COMPASS '26)

The Containment Gap: How Deployed Agentic AI Frameworks Fail Public-Facing Safety Requirements

遏制缺口：已部署的自主AI框架如何未能满足面向公众的安全要求

Md Jafrin Hossain, Mohammad Arif Hossain, Weiqi Liu, Nirwan Ansari

机构 * New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究发现主流自主AI框架缺乏架构级安全保证，内存完整性漏洞可导致定向腐败，提出轻量级遏制机制消除攻击向量。

Comments ICML 2026 (AI4GOOD Workshop)

When Vocabulary Comprehension Fails Clinical Reasoning: Evaluating Therapy Bots' Safety Risks for Generation Alpha

当词汇理解失效于临床推理：评估面向阿尔法世代（Gen Alpha，2010-2024年出生）的治疗机器人的安全风险

Manisha Mehta, Virendra Mehta

机构 * Lynbrook High School（林布鲁克高中） ； University of Trento（特伦托大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究构建两个基准评估Claude、GPT-4o等LLM的治疗机器人安全风险，发现其存在10-14个百分点的词汇理解与临床风险校准差距，识别六种失败模式，提出四项监管与技术改进建议。

Comments 42 pages, 6 figures. Accepted at ACM FAccT '26

E$^3$mo-Bench: A Scalable Benchmark for Multimodal Evoked and Expressed Emotion Understanding via Bayesian Pairwise Alignment

E³mo-Bench：基于贝叶斯成对对齐的可扩展多模态诱发与表达情感理解基准

Lancheng Gao, Ziheng Jia, Shengyan Li, Zixuan Xing, Jiarui Wang, Huiyu Duan, Xiongkuo Min

专题命中 安全评测 ：alignment(title,abstract)

AI总结 该研究针对现有多模态情感理解基准的不足，推出E³mo-Bench基准，提出贝叶斯成对对齐方法与E³mo-Score智能体，验证了框架有效性并指出MLLMs在情感任务中的缺陷，为多模态情感智能发展指明方向。

HoloAegis: Frozen Representation, Topological Inference: Minimally Parametric Safety Manifolds for Zero-Shot LLM Guardrails

HoloAegis：冻结表示、拓扑推理：用于零样本大语言模型（LLM）护栏的最小参数安全流形

Tak Ho Alex Li, Kaijie Liu, Lik-Hang Lee, Kin Chung Ho, Ping Shum, Michael K. Ng

机构 * Hong Kong Baptist University（香港浸会大学） ； Guangdong Polytechnic Normal University（广东技术师范大学） ； Guangdong Institute of Digital Industry（广东数字产业研究院） ； The Hong Kong Polytechnic University（香港理工大学） ； The Education University of Hong Kong（香港教育大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HoloAegis是一种最小参数拓扑推理框架，通过冻结语义表示的纯几何推理实现零样本LLM安全护栏，在8个基准测试中达到最先进准确率，兼具低延迟、零冷启动数据和跨语言迁移能力。

Comments Preprint, August 2026. 10 tables, 2 figures

Alignment Is Local: A Paired Diagnostic for GUI Agents under User-Side Persuasion

对齐是局部的：用户侧说服下GUI智能体的配对诊断

Haoxin An, Yunpeng Song, Zihao Bai, Zhongmin Cai, Guojun Xiong, Chenhao Lin, Wentao Chen, Feng Wei, Chao Shen

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)

AI总结 本文通过配对诊断发现GUI智能体的提示级对齐是局部现象，一行防护栏可大幅降低单次ASR，但四轮升级链会使其防护效果下降，静态单轮ASR高估了实际部署的鲁棒性。

Expectation Alignment of Language Models for Real-World User Expectations

语言模型与现实世界用户期望的期望对齐

Miaomiao Li, Yang Wang, Bin Liang, Shudong Liu, Zhiwei Zhang, Kam-Fai Wong

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究LLMs是否满足用户期望，提出提取期望程序并引入ExpectBench基准，分析发现LLMs存在问题，进而提出LENS框架，可让模型内化期望以生成更契合的响应，凸显明确建模用户期望对实现现实人机对齐的重要性。

Comments Accepted by ICML 2026

Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

安全相关环境中的人类注视与视觉语言模型注意力的比较

Marta Vallejo, Siwen Wang

机构 * Heriot-Watt University（赫瑞-瓦特大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)

AI总结 本研究通过眼动追踪实验和GPT-4o等视觉语言模型，比较了人类与模型在安全相关场景中的注意力分布，发现模型无需训练数据即可近似人类注视模式。

Comments 30 pages, 33 figures. Submitted as a preprint. Code and data available upon reasonable request

To Intervene or Not: Guiding Inference-time Alignment with Probabilistic Model Blending

干预还是不干预：通过概率模型混合指导推理时对齐

Jin Gan, Xin Li, Jun Luo

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出BlendIn框架，通过质量感知对齐和按可靠性加权混合模型知识，解决推理时对齐中指导有效性差异大的问题，在困难模型对上实现最高50%的性能提升。

Comments Accepted by ACL 2026

Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

M P V S Gopinadh

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI

Comments 3 pages. Accepted at ACL 2026 Workshop on Evaluation in Practice: Methodological Rigor, Sociotechnical Perspectives, & Community Collaboration (EvalEval)

Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence

用于脑-语言对应关系的边际正则化结构化语义对齐

Jiaqi Wang, Huawen Hu, Shu Zhang

机构 * School of Computer Science and Technology, Northwestern Polytechnical University（西北工业大学计算机科学与技术学院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文针对脑-语言解码的模糊性问题，提出MD-SigLIP框架，通过边际正则化结构化语义对齐实现基于检索的解码，在全词汇与子集评估下均取得最优检索性能。

Regulatory Approval Is Not Enough: Gaps in Trustworthy AI Reporting in FDA-Cleared Medical Devices

监管批准并不足够：FDA clearance医疗设备中可信赖AI报告的缺口

Ahmed M Salih, Oliver Díaz, Alejandro Guzman, Noah Marquez Vara, Fotios Avgoustidis, Rituraj Singh, Saman Barakat, Zahra Raisi-Estabragh, Karim Lekadir

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CY、cs.LG

AI总结 该研究分析2021-2025年FDA获批的519份AI/ML医疗设备报告，发现可信赖AI报告存在显著缺口，获批年份或临床领域不影响报告透明度，仅监管批准不足以证明AI可信赖性。

Position: The Alignment Community is Unintentionally Building a Censor's Toolkit

立场：对齐社区正在无意之中构建审查者的工具包

Sarah Ball, Phil Hackemann

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 该立场论文指出现代AI对齐方法是两用技术，可能被恶意滥用，呼吁社区讨论其滥用风险并提出缓解策略。

Comments Accepted as oral paper at ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026