大模型对齐与安全

Trustworthy AI in Digital Health: A Comprehensive Review of Robustness and Explainability

数字健康中的可信AI：鲁棒性与可解释性的综合综述

Abdullah Mamun, Shovito Barua Soumma, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院） ； School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI、cs.LG

AI总结 本综述针对数字健康领域可信AI研究缺口，构建框架梳理鲁棒性与可解释性的技术进展、应用考量与评估指标，为相关开发提供支持。

Comments Preprint of the paper published in Progress in Biomedical Engineering. 26 pages, 5 figures

Journal ref Progress in Biomedical Engineering, Volume 8, Number 2, Article 022007, 2026

Scoring Rules! Statistical and Strategic Alignment for Text Evaluation Metrics

评分规则！文本评估指标的统计对齐与策略对齐

Shengwei Xu, Yuxuan Lu, Yifan Wu, Jason Hartline, Grant Schoenebeck

机构 * University of Michigan（密歇根大学） ； Peking University（北京大学） ； Microsoft Research（微软研究院） ； Northwestern University（西北大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对文本评估指标，提出统计与策略对齐概念及三项测试原则，开发基于互信息的指标设计框架，发现 LLM-as-a-Judge 相关性高但易操纵，新指标鲁棒性强且相关性具竞争力。

The inattentional gap in task conditioned AI models that omit otherwise reportable safety critical signals

注意间隙：任务条件化的语言和视觉模型忽略它们本可报告的安全关键信号

Kwan Soo Shin

机构 * PolymathMinds Lab（PolymathMinds 实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示任务条件化会导致语言和视觉模型抑制对共存安全关键信号的报告，形成“注意间隙”，且该现象在多种模型和任务中普遍存在，不随规模增大而减弱，使基准安全与实际安全脱钩。

Comments 62 pages (31-page article and 31-page supplementary information), 8 figures, 4 tables. v3: corrects the author metadata to the sole author, Kwan Soo Shin; revised title and abstract; adds cross-vendor and flagship validation, signal-detection and specified-task controls, and dual-process probes. Reproducibility deposit: doi:10.5281/zenodo.20826823

Leveraging AI for fine-grained food safety risk forecasting in sparse data conditions

利用人工智能在稀疏数据条件下进行细粒度食品安全风险预测

Dongqi Wang, Weiwei Chen, Han Zhou, Weihua Zhou

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出基于Transformer的框架，整合多类数据与Wilson区间预训练，在稀疏数据下细粒度预测城市食品安全风险，实验及浙江实地测试显示其性能优于基线，可提升检测率与检查资源分配效率。

HetGPS: Scalable Graph Multi-Agent Reinforcement Learning with Physics-Anchored Adaptive Safety for EV Charging

HetGPS：面向电动汽车充电的、带物理锚定自适应安全机制的可扩展图多智能体强化学习

Xiangwei Wang, Nanduni Nimalsiri, Yu Xia, Peng Wang, Saman Halgamuge

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出HetGPS混合图控制框架，结合学习图风险与物理锚定校正，实现可扩展的电动汽车充电多智能体协调，降低电压违规率并提升离网成功率，模型规模与车队无关且可跨系统零样本迁移。

From Vessel Trajectories to Safety-Critical Encounter Scenarios: A Generative AI Framework for Autonomous Ship Digital Testing

从船舶轨迹到安全关键性遭遇场景：一种生成式AI框架用于自主船舶数字测试

Sijin Sun, Liangbin Zhao, Xiuju Fu

专题命中 安全评测 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出一种数据驱动框架，将大规模AIS轨迹转化为结构化安全关键性遭遇场景，结合生成轨迹建模与自动化遭遇配对，提升场景生成的可扩展性与真实性。

Comments 19 pages

ProbGuard: Proactive Runtime Monitoring for LLM Agent Safety via Probabilistic Prediction

ProbGuard：基于概率的运行时监控用于LLM代理安全

Haoyu Wang, Christopher M. Poskitt, Jiali Wei, Jun Sun

机构 * Singapore Management University（新加坡管理大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 ProbGuard通过概率风险预测主动监控LLM代理安全，利用离散时间马尔可夫链建模行为动态，提前预警潜在危险，提升安全性和任务完成率。

Comments Accepted by the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

S-Eval: Towards Automated and Comprehensive Safety Evaluation for Large Language Models

Xiaohan Yuan, Jinfeng Li, Dongxia Wang, Yuefeng Chen, Xiaofeng Mao, Longtao Huang, Jialuo Chen, Hui Xue, Xiaoxia Liu, Wenhai Wang, Kui Ren, Jingyi Wang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

Comments Accepted by ISSTA 2025

Journal ref Proceedings of the ACM on Software Engineering, Vol. 2, ISSTA, pp. 2136-2157, 2025

Safety Invariants for Agents Orchestrating Irreversible State Transitions: A Four-Dimensional Formalism Evaluated on Public Ledgers

编排不可逆状态转换的智能体的安全不变量：在公共账本上评估的四维形式主义

Zhaoming Yin

专题命中 安全评测 ：safety(title,abstract)

AI总结 该研究针对编排不可逆状态转换的智能体，提出四维形式主义与七个安全不变量，在公共账本场景下验证其可提升智能体安全栈通过率，且可推广至其他不可逆状态交互场景。

Comments 29 pages, 8 figures, 7 tables

SafeBuild-Bench: A Temporal-Robust Construction Safety Benchmark with Graph-Enhanced Data Mining

SafeBuild-Bench：一种具有图增强数据挖掘能力的时序鲁棒建筑安全基准

Yi Cui, Zilin Wang, Yijie Xu, Qianyi Cai, Huizai Yao, Shuai Jiang, Bingzhuo Zhong, Hui Xiong

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 安全评测 ：safety(title,abstract)

AI总结 研究人员构建了图增强数据挖掘的时序鲁棒建筑安全基准SafeBuild-Bench，开发可扩展验证的GEMS流水线，发现现有多模态大语言模型对建筑安全理解仍不足。

Comments Accepted by KDD 2026. 12 pages, 6 figures

The Illusion of Safety: Multi-Tier Verification of AI vs. Human C++ Code

安全的假象：AI与人类C++代码的多层验证

Saif Mahmud, Fadul Sikder, Yuede Ji, Haotian Zhang, Yu Lei

专题命中 安全评测 ：safety(title,abstract)

AI总结 提出VULBENCH-CPP基准，通过四层验证发现AI生成C++代码的运行时违规率约为人类代码的两倍，静态分析会因代码长度产生安全假象。

An Analysis Focused on Womens Safety: Can VAD Models Be Enhanced by a Multi-modal Dataset?

聚焦女性安全分析：多模态数据集能否增强VAD模型？

Sangeeta ., Maddikuntla Sai Prajwal, Debi Prosad Dogra, Kamalakar Vijay Thakare, Hyungjoo Jung, Ig-Jae Kim, Heeseung Choi

机构 * Indian Institute of Technology Bhubaneswar（印度理工学院巴特那分校） ； Artificial Intelligence and Robotics Institute, Korea Institute of Science and Technology（人工智能与机器人研究所，韩国科学技术院） ； Yonsei-KIST Convergence Research Institute, Yonsei University（延世大学KIST融合研究中心） 纠错

专题命中 安全评测 ：safety(title,abstract)

AI总结 针对现有视频异常检测数据集缺乏女性中心异常样本的问题，提出包含1001个视频及文本描述的多模态基准ExtrAnom，覆盖5种犯罪类型，并验证了多模态方法在检测女性中心异常上的有效性。

Comments 15 pages, 8 figures, 6 tables

Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese

在非母语日语的语言态度上实现人类与大语言模型（LLM）的对齐

Naho Orita, Hayato Ogawa, Daisuke Kawahara

专题命中 安全评测 ：alignment(title)；分类 cs.CL

AI总结 该研究对比人类与LLM对母语及非母语日语邮件的评价，发现LLM以结构化弱化形式重现母语者的语言态度，为审计LLM提供了可推广的语言态度框架。

SynopticBench: Evaluating Vision-Language Models on Generating Weather Forecast Discussions of the Future

SynopticBench：在生成未来天气预报讨论上评估视觉-语言模型

Timothy B. Higgins, Antonios Mamalakis, Chirag Agarwal

机构 * Department of Environmental Sciences（环境科学系） ； School of Data Science（数据科学学院） 纠错

专题命中 安全评测 ：alignment(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出SynopticBench数据集和SPACE评估框架，用于评估视觉-语言模型在生成天气现象描述中的性能，揭示现有评估指标的局限性。

Comments Accepted for presentation at Climate Informatics 2026

FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use

FinToolBench：评估LLM代理在真实金融工具使用中的表现

Jiaxuan Lu, Kong Wang, Yemin Wang, Qingmei Tang, Hongwei Zeng, Xiang Chen, Jiahao Pi, Shujian Deng, Lingzhi Chen, Yi Fu, Kehua Yang, Xiao Sun

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Hunan University（湖南大学） ； Xiamen University（厦门大学） ； Tencent（腾讯） ； UCAS（中国科学技术大学） ； Tongji University（同济大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 FinToolBench是首个评估金融工具学习代理真实世界表现的基准，通过760个可执行金融工具和295个严格查询，评估时效性、意图类型和合规性等关键维度。

Humans Are More Diverse: Frontier LLMs Show Extreme Policies in Idealised AI Development Races

人类更多样化：前沿大语言模型（LLM）在理想化AI开发竞赛中表现出极端策略

Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The Anh Han

机构 * Ho Chi Minh City University of Science（胡志明市科学大学） ； Vietnam National University Ho Chi Minh City (VNU-HCM)（越南国家大学胡志明市分校） ； Ho Chi Minh City University of Technology (HCMUT)（胡志明市技术大学（HCMUT）） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 该研究通过多智能体博弈实验对比前沿LLM与人类在AI开发竞赛中的策略，发现LLM行动具模型特异性，需有效性检查才能判定其策略性与安全意识。

Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

Self-Correction Bench：揭示并解决大语言模型中的自校正盲点

Ken Tsui

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出Self-Correction Bench框架，发现大语言模型存在64.5%的自校正盲点，经微调或添加“Wait”可显著降低该盲点，揭示了自校正能力未激活的机制。

Comments Accepted to COLM 2026

Can You Trust the Confidence? ConfBench for Vision-Language Models on Document Extraction

你能信任置信度吗？面向文档提取的视觉语言模型ConfBench

Priyashree Roy, Sujitha Martin, Mohammad Rostami, Spencer Romo, Renhao Xue, Bob Strahan, Diego A. Socolinsky, Boyi Xie, Md Mofijul Islam

机构 * Amazon Web Services（亚马逊网络服务） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对视觉语言模型的文档提取任务推出校准专用基准ConfBench，评估多类VLM的置信度估计方法，揭示模态、模型能力等对置信度的影响，发布相关指标以助力可信IDP部署。

AI-Based Thesis Assessment: An Empirical Study of Human Evaluation Priorities and Their Impact on Automated Assessment

基于人工智能的论文评审：关于人类评审优先级及其对自动评审影响的实证研究

Garv Vikram Gursahaney, Baskhad Idrisov, Thorsten Fröhlich, Tim Schlippe

机构 * IU International University of Applied Sciences（IU应用科学大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究调查了84名导师确定的35项论文评审准则权重，对比人工智能系统RubiSCoT的默认权重后发现存在显著差异，整合导师权重的最优配置仅小幅降低评审偏差且无统计显著性，仅权重校准无法大幅提升AI与人类评审的一致性。

Comments Accepted for publication in the Proceedings of the 7th International Conference on Artificial Intelligence in Education Technology (AIET 2026), Zagreb, Croatia

DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis

DLLM-TTS：用于文本到语音合成的块离散扩散语言模型

Wasim Madha, Nityanand Mathur, Hamees Sayed, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 DLLM-TTS 框架，将 TTS 建模为基于 X-Codec2 的条件块离散扩散，通过块内掩码扩散与并行预测实现高效语音生成，在 Seed-TTS-eval 基准上取得良好性能，兼具实用性与数据效率。

Moral Semantics Survive Machine Translation: Cross-Lingual Evidence from Moral Foundations Corpora

道德语义在机器翻译中得以保留：来自道德基础语料库的跨语言证据

Maciej Skorski

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了基于LLM的翻译是否能弥合道德价值观分类中语言特定标注语料库的差距，通过波兰语案例展示直接翻译能有效保留微妙的道德线索，为资源匮乏语言的道德研究提供了可行路径。

Comments Accepted to GoodIT'26

Can Small Language Models Handle Context-Summarized Multi-Turn Customer-Service QA? A Synthetic Data-Driven Comparative Evaluation

小语言模型能否处理上下文总结的多轮客户服务问答？一种合成数据驱动的比较评估

Lakshan Cooray, Deshan Sumanathilaka, Pattigadapa Venkatesh Raju

机构 * School of Computing, Informatics Institute of Technology（计算学院，信息学院技术研究所） ； School of Mathematics and Computer Science, Swansea University（数学与计算机科学学院，萨默塞特大学） ； R&D, Zame AI（Zame AI研发部） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过合成数据评估小语言模型在多轮客户服务问答中的表现，发现部分模型接近大语言模型性能，但整体仍存在对话连续性和上下文对齐的挑战。

Comments Published at Frontiers in Artificial Intelligence, Natural Language Processing Section

Journal ref Frontiers in Artificial Intelligence, 9:1804284, 2026

Domain-Generalized Adaptive Semantic Communication for Collaborative Perception

面向协同感知的域泛化自适应语义通信

Fan Gao, Youzheng Wang, Ning Ge

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 提出域泛化语义通信框架RSTA，通过跨域原型对齐等技术解决车路协同感知中观测域偏移与信道损坏耦合退化问题，在多基准测试中取得AP指标提升且部署开销极低。

Comments Accepted by IEEE ICCC 2026. 6 pages, 5 figures

MedPRESS: A Multi-turn Benchmark for Patient-Pressure-Induced Medical Sycophancy in LLMs

MedPRESS：面向大语言模型中患者压力诱导型医疗谄媚行为的多轮基准测试

Saman Sarker Joy, Niloy Farhan

机构 * Universiti Malaya（马来亚大学） ； BRAC University（BRAC大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 MedPRESS是衡量大语言模型患者压力诱导型医疗谄媚行为的多轮基准，含600个五轮医学对话，评估20类LLM发现其易在压力下不安全附和，反谄媚提示仅部分改善，凸显医疗LLM需抗对话压力的缺口。

Comments 27 pages, 10 figures. Both authors contributed equally

MechGeo: Autoformalizing and Proving Euclidean Geometry in Lean 4

MechGeo：在Lean 4中自动形式化与证明欧几里得几何

Hao Shen, Junyu Guo, Tian Cui, Yuxuan Xiao, Lihong Zhi

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 MechGeo是基于Mathlib的智能体框架，可在Lean 4中自动形式化欧几里得几何问题并构造认证证明，在43道IMO几何题及Lean-IMO-Bbench上取得显著成果，为可信形式几何提供实用基础。

Comments 43 pages

Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

探索与弥合未学习多模态大语言模型中的知识缺口

Junxiang You, Junkai Chen, Yuhao He, Ruiqi Liu, Zhetao Guo, Shu Wu

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 针对未学习多模态大语言模型存在的知识缺口问题，提出带锚定正则化的选择性保护方法，在保障未学习安全性的同时大幅恢复模型响应质量。

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

CockpitHAT：面向具身多智能体座舱的依赖图驱动分层归因方法

Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

机构 * ByteDance（字节跳动） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 该研究针对LLM多智能体系统的“正确性崩溃”问题，提出CockpitHAT分层归因框架，发布含212条轨迹的CockpitBench基准，在相关基准上超越现有方法，实现可靠故障诊断。

When May a Model Replace the Experiment? Audits, Licenses, and the Price of Trust in Surrogate-Driven Design

模型何时可替代实验？代理驱动设计中的审计、许可与信任代价

Shuangxiu, Ma, Wenhe, Zhao

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 该研究明确了机器学习代理替代实验的安全条件，推导了模型作为神谕的最小准则，提出选择感知审计可降低认证评估成本，经审计的筛选使认证神谕成本降低25倍。

Comments 47 pages (18 pages main text, 29 pages Supporting Information), 9 figures, 2 tables, 70 references. SI contains complete proofs of all theorems, extended experiments, and the verification methodology

Large language models improve physician accuracy but lead to false reliance

大型语言模型可提高医师准确率，但会导致错误依赖

Tirtha Chanda, Christoph Wies, Franziska Schramm, Carina Nogueira Garcia, Nicolas B. Merl, Martin J. Hetz, Jochen S. Utikal, Phillip Tschandl, Cristian Navarrete-Dechent, Alexander Thiem, Jakob N. Kather, Consortium, Titus J. Brinker

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本研究开发智能体式检索增强型LLM CORA，发现其可将46名医师的诊断准确率从70.8%提升至82.6%，但存在错误答案获引用支持时医师抵抗大幅下降的安全风险。

FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction

FinDeepIndicator：端到端金融指标构建中深度研究智能体的基准测试

Chaoqun Yang, Fengbin Zhu, Xinyu Lin, Long Bai, Xiaoluan Liu, Ke-Wei Huang, Roger Zimmermann, Tat-Seng Chua

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； China Economics and Management Academy, Central University of Finance and Economics（中央财经大学中国经济与管理研究院） ； Asian Institute of Digital Finance, National University of Singapore（新加坡国立大学亚洲数字金融研究所） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本研究提出首个评估深度研究智能体端到端金融指标构建表现的基准FinDeepIndicator，含多市场数据，实验发现DR智能体优于检索增强LLMs但仍不可靠，为金融领域智能体开发提供参考。