大模型对齐与安全

Adversarial Fragility and Language Vulnerability in Clinical AI: A Systematic Audit of Diagnostic Collapse Under Imperceptible Perturbations and Cross-Lingual Drift in Low-Resource Healthcare Settings

临床AI中的对抗脆弱性与语言脆弱性：在低资源医疗环境中对诊断崩溃的系统审计及不可察觉扰动和跨语言漂移的影响

Anthonio Oladimeji Gabriel, Ahmad Rufai Yusuf

机构 * Centre for Clinical Intelligence & Safety（临床智能与安全中心） ； Tomorrow University of Applied Sciences（明天应用科学大学） 纠错

专题命中 安全评测 ：safety(abstract,comments)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文系统地审计了临床AI在不可察觉扰动和跨语言漂移下的诊断崩溃问题，揭示了对抗脆弱性和语言脆弱性对低资源医疗环境中的临床AI系统的影响。

Comments 23 pages, 9 figures, 3 tables. Code and data available at https://github.com/anthoniooladimeji11-coder/clinical-ai-safety-audit

Can we trust the evaluation on ChatGPT?

Rachith Aiyappa, Jisun An, Haewoon Kwak, Yong-Yeol Ahn

专题命中 安全评测 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG；trustworthy(journal_ref)

Journal ref Proceedings of the 3rd Workshop on Trustworthy Natural Language Processing (TrustNLP 2023) (July 2023) 47-54

Attacks on Third-Party APIs of Large Language Models

Wanru Zhao, Vidit Khazanchi, Haodi Xing, Xuanli He, Qiongkai Xu, Nicholas Donald Lane

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY；trustworthy(comments)

Comments ICLR 2024 Workshop on Secure and Trustworthy Large Language Models

On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective

Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng, Yidong Wang, Linyi Yang, Haojun Huang, Wei Ye, Xiubo Geng, Binxin Jiao, Yue Zhang, Xing Xie

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG；trustworthy(comments)

Comments Highlighted paper at ICLR 2023 workshop on Trustworthy and Reliable Large-Scale Machine Learning Models; code is at: https://github.com/microsoft/robustlearn; more works: https://llm-eval.github.io/

Measuring Reliability of Large Language Models through Semantic Consistency

Harsh Raj, Domenic Rosati, Subhabrata Majumdar

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.CY；safety(comments)

Comments NeurIPS 2022 ML Safety Workshop, https://neurips2022.mlsafety.org

Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI

用于第一人称视角视频的视觉-语言模型：从手-物交互到具身智能

Mohammad Zamani, Fatemeh Ziaeetabar

机构 * University of Tehran（德黑兰大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

AI总结 本综述梳理了用于第一人称视角视频理解的视觉-语言模型的发展，分析其挑战、研究方向与局限，明确了可部署具身智能的关键优先方向。

SkillNet: Create, Evaluate, and Connect AI Skills

SkillNet: 创建、评估和连接AI技能

Yuan Liang, Ruobin Zhong, Haoming Xu, Chen Jiang, Yi Zhong, Runnan Fang, Jia-Chen Gu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Yida Xue, Xin Xu, Tongtong Wu, Kun Wang, Yang Liu, Zhen Bi, Jungang Lou, Yuchen Eleanor Jiang, Hangcheng Zhu, Gang Yu, Haiwen Hong, Longtao Huang, Hui Xue, Chenxi Wang, Yijun Wang, Zifei Shan, Xi Chen, Zhaopeng Tu, Feiyu Xiong, Xin Xie, Peng Zhang, Zhengke Gui, Lei Liang, Jun Zhou, Chiyu Wu, Jin Shang, Yu Gong, Junyu Lin, Changliang Xu, Hongjie Deng, Wen Zhang, Keyan Ding, Qiang Zhang, Fei Huang, Ningyu Zhang, Jeff Z. Pan, Guilin Qi, Haofen Wang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Tongji University（同济大学） ； Southeast University（东南大学） ； Alibaba Group（阿里巴巴集团） ； Tencent（腾讯） ； Fudan University（复旦大学） ； The University of Edinburgh（爱丁堡大学） ； Monash University（墨尔本大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Huzhou University（湖州大学） ； Hornor Device Co., Ltd（Hornor设备有限公司） ； Hangzhou Institute for Advanced Study, UCAS（杭州先进研究所，UCAS） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SkillNet通过统一的本体和多维评估机制，大规模创建、评估和连接AI技能，提升代理性能并促进技能的持久掌握。

Comments http://skillnet.openkg.cn/; add SkillNet-Gym, a benchmark for evaluating skill retrieval, utilization, composition, and SkillNet-Fabric for task-specific skill routing through lightweight Wikis

MS-MFAD : Multimodal large language models for Face Anti-spoofing Detection

MS-MFAD：用于人脸活体检测的多模态大语言模型

Xiaoyong Yu, Rongzhen Li, Shuming Shi, Xinge You

机构 * Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

AI总结 针对人脸活体检测的复合威胁与现有方法瓶颈，提出基于多模态大语言模型MFAD的可解释系统，通过细粒度像素-语义锚定机制与少量语义标注实现优异检测性能，鲁棒性与效率更优。

Toward Better Assessment of LLMs' Performance in Clinical Error Detection

面向更好评估大型语言模型（LLMs）在临床错误检测中的性能

Yifan Zhang, Rahmatollah Beheshti

机构 * University of Delaware（特拉华大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对LLMs临床错误检测评估的不足，通过多语言多模型实验发现多数LLMs配对判别能力差，提出用配对评估补充聚合指标的改进方案。

Comments Accepted at Machine Learning for Healthcare (MLHC) 2026; to appear in Proceedings of Machine Learning Research (PMLR), Vol. 340

VirnyFlow: Optimizing ML Pipelines for Accuracy, Fairness, and Stability at Scale

VirnyFlow：面向大规模场景下兼顾准确率、公平性与稳定性的机器学习流水线优化

Denys Herasymuk, Anastasiia Mozghova, Nazar Protsiv, Vladyslav Sydorak, Julia Stoyanovich

机构 * Ukrainian Catholic University（乌克兰天主教大学） ； New York University（纽约大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 VirnyFlow是兼顾准确率、公平性与稳定性的大规模ML流水线优化系统，可扩展至多节点，在真实数据集上性能优于主流AutoML系统，支持人类在环迭代调整优化目标。

NAST: Improving Negation Handling in Medical Vision-Language Models through Negation-Aware Selective Training

针对医学视觉-语言模型中否定处理改进的分层微调

Ali Abbasi, Mehdi Taghipour, Rahmatollah Beheshti

机构 * University of Delaware（德克萨斯大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)

AI总结 本研究提出NAST方法，通过因果追溯效应调节逐层梯度更新，提升医学视觉-语言模型对否定处理的识别能力，同时保持一般视觉-语言对齐。

Comments 16 pages, 6 figures. Accepted to MLHC 2026

Position: Reasoning is a Learnable Rule-Based Process

立场：推理是一个可学习的基于规则的过程

Rachel Lawrence, Jacqueline Maasch

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出推理是可学习的基于规则的过程，针对生成式AI社区推理定义模糊问题，给出操作定义与研究交流最佳实践清单，以保障推理评估的结构效度。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

When AI Is Your Pastor: A Benchmark for Theological Triage and Pastoral Guidance in Large Language Models

当AI成为你的牧师：大型语言模型的神学分诊与牧灵指导基准测试

Alex Chao

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究推出FMG-Bench基准测试，评估LLM在基督教神学分诊与牧灵指导场景的表现，发现结构化框架可提升模型表现与鲁棒性，且该基准仅为测量工具。

Comments Full paper. Code and dataset are available at https://github.com/FideAI/fmg-bench and https://huggingface.co/datasets/FideAI/fmg-bench

Doctorina MedBench: A Dialogue-Based Benchmark and Evaluation Framework for Agent-Based Medical AI

Doctorina MedBench：基于真实医患交互的医疗AI端到端评估框架

Anna Kozlova, Stanislau Salavei, Pavel Satalkin, Hanna Plotnitskaya, Sergey Parfenyuk, Andy Nkansah

机构 * A.I. Doctor Medical Assist LTD（A.I. Doctor Medical Assist有限公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Doctorina MedBench通过模拟真实医患对话评估医疗AI系统，包含诊断、观察、治疗和步骤计数四项指标，用于评估临床正确性和对话效率，同时支持多层级测试和质量监控。

GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

用于金融建议生成的GRPO：在CATE评估下优于商用大语言模型

Ofir Ben Shoham, Shrutendra Harsola, Vignesh Subrahmaniam, Shravan Mohan, Yakov Gazman, Oded Vainas

机构 * Intuit（英图易（金融科技公司）） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究将金融建议生成建模为强化学习问题，用GRPO微调开放权重大语言模型，经独立于评判者的CATE审计，其毛利润提升约为最强商用基线的两倍，表现优于商用大语言模型。

RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

RedditPersona: 一个用于从Reddit进行社区条件化LLM适配的模块化框架

Amirhossein Ghaffari, Ali Goodarzi, Huong Nguyen, Simo Hosio, Lauri Lovén, Ekaterina Gilman

机构 * Future Computing Group University of Oulu（未来计算组奥卢大学） ； Centre for Applied Computing University of Oulu（应用计算中心奥卢大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RedditPersona模块化框架，通过五种分组策略和QLoRA训练参数高效适配器，在112个Reddit子版块上评估社区条件化语言模型，发现适配器的行为可识别性与策略内在一致性相关，且所有策略在可识别性和分布相似性之间存在一致权衡。

Comments Accepted manuscript (CC BY 4.0). To appear in ACM CIKM 2026, Rome, Italy, Nov 7-11, 2026. DOI: https://doi.org/10.1145/3799682.3840182

Moxia: A Trust-First Neuro-Symbolic Execution Architecture for Self-Explaining Mathematical Reasoning

AXIOM: 一种用于可验证数学推理的信任优先神经符号执行架构

Alessio Bruno

机构 * Independent researcher（独立研究者） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AXIOM架构，将语言模型限制为规范化器，通过确定性计算机代数系统管道实现可验证的数学推理，在4个MATH类别上达到94.36%的正确率和100%的信任度。

Comments Preprint. 16 pages, 2 figures. Live interactive demo: https://huggingface.co/spaces/Squagghy/moxia. Paper artifact and dataset on Zenodo (concept-DOI): 10.5281/zenodo.21906509

ELBench: A Multi-Dimensional Benchmark for Education-Facing Large Language Models

ELBench：面向教育场景的大语言模型多维基准

Yilin Jiang, Xiaorong Zhu, Fei Tan, Zicheng Zhang, Kaiyi Huang, Yang Yu, Zexuan Fei, Yiming Luo, Keqian Li, Hao Hao, Guangtao Zhai, Aimin Zhou

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 ELBench是首个评估教育大模型四项核心要求的综合基准，评估发现通用模型综合表现相近但模块优势不同，中国模型在安全性模块领先，教育专用模型未在教育模块占优，高阶培养存在系统性盲点。

Comments 13 pages, 6 figures, 8 tables. Benchmark data: https://huggingface.co/datasets/ZeroLoss-Lab/ELBench

Investigating Adversarial Robustness of Multi-modal Large Language Models

探究多模态大语言模型的对抗鲁棒性

Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

机构 * Mohamed Bin Zayed University of AI, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） ； Khalifa University, UAE（哈利法大学，阿联酋） ； Australian National University, Australia（澳大利亚国立大学，澳大利亚） 纠错

专题命中 安全评测 ：alignment(abstract)；jailbreak(abstract)

AI总结 通过系统研究多模态大语言模型的对抗鲁棒性，提出诊断性CLIP对齐协议预测鲁棒视觉编码器的迁移效果，并证明端到端多模态对抗训练能显著提升模型在强对抗攻击下的性能。

Journal ref The 37th British Machine Vision Conference (BMVC) 2026

Multilingual Agent-Based World Modeling for Social Science

MASim：面向社会科学的多语言代理模拟

Xuan Zhang, Wenxuan Zhang, Anxu Wang, See-Kiong Ng, Yang Deng

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 MASim是一种多语言代理模拟框架，用于研究社会行为，通过多语言代理模拟公众意见和媒体影响，展现多语言模拟在社会科学中的重要性。

Comments Accepted at COLM 2026

Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

基于视觉基础模型的对抗鲁棒小样本异常检测

Akib Mohammed Khan, Bartosz Krawczyk

机构 * Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)

AI总结 该研究针对视觉基础模型的小样本异常检测场景，提出无需训练骨干网络的对抗鲁棒方法，经实验在多数据集上提升了对抗检测性能，且保持较高干净准确率。

Comments Accepted to BMVC 2026

Artificial Leviathan: Exploring Social Evolution of LLM Agents Through the Lens of Hobbesian Social Contract Theory

人工智能利维坦：通过霍布斯社会契约理论视角探索大语言模型智能体的社会演化

Gordon Dai, Weijia Zhang, Jinhan Li, Siqi Yang, Chidera Onochie lbe, Srihas Rao, Arthur Caetano, Misha Sra

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究基于LLM智能体构建模拟社会，通过霍布斯社会契约理论验证其演化契合该理论，证实LLMs可模拟复杂社会动态，有望助力人类对社会系统的理解。

Inspecting Training Dynamics of Similarity Development in Supervised Vision Networks

监督视觉网络中相似度发展的训练动态分析

Katarzyna Filus, Mateusz Żarski

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

AI总结 本研究提出训练时框架DSI，分析卷积与Transformer视觉网络的相似度发展，发现其分三阶段形成结构且存在错误细化现象，为AI评估提供训练视角。

NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts

NuclearDiffusion：用于学习核能概念的文生成像基础模型

Mohammed I. Radaideh, Jeremy Moon, Andre Gala-Garza, Emma Son, Yug Shah, Majdi I. Radaideh

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本研究通过微调开源扩散模型构建核能文生成像模型，发现微调效果依赖生成架构，且微调后开源模型在专业核能图像生成上优于主流商业系统，证实领域特定微调是开发可信领域生成式AI的可行路径。

Comments 29 pages, 10 figures, and 4 tables

Amplitude-Only FFN Intervention for Tool-Structured LLM Inference Method: Gated Evaluation Protocol, and Cross-Model Empirical Results

用于工具结构化大语言模型推理方法的仅幅度前馈网络干预：门控评估协议及跨模型实证结果

Sheng Xu, Zhen Chen, Junhua Wang, Boyuan Huang, Ke Jia, Jiadun Zhu, Yiming Xu

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究推理时FFN干预改善大语言模型结构化输出，提出无损的幅度门控方法，定义细粒度干预系统和评估协议。在多个模型上实验，AG在工具结构化任务中效果最佳，不同AG变体各有优劣，确定工具结构化推理是FFN级推理优化首要目标。

Comments 30 pages, 9 figures

EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners

EduClaw-Bench：面向教学大型语言模型智能体的长周期基准测试集（含模拟学习者）

Unggi Lee, Sookbun Lee, Yeil Jeong, Eunjoo Lee, Minchul Shin, Hoilym Kwon

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究人员推出EduClaw-Bench长周期基准测试集，结合模拟学习者评估LLM智能体辅导效果，发现辅导质量取决于基础模型与智能体适配器的结合，且多数组合无法维持全程良好辅导。

From Pixels to Semantics: A Multi-Stage AI Framework for Structural Damage Detection in Satellite Imagery

从像素到语义：一种多阶段AI框架用于卫星图像中的结构损坏检测

Bijay Shakya, Catherine Hoier, Khandaker Mamun Ahmed

机构 * The Beacom College of Computer & Cyber Sciences, Dakota State University（达科他州立大学比康计算机与网络科学学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)

AI总结 本文提出一种多阶段AI框架，结合超分辨率、目标检测和视觉-语言模型，提升灾害后建筑损坏评估的语义解读能力，通过CLIPScore和多模型策略提高检测可靠性。

Journal ref IEEE/CVF Conference on Computer Vision & Pattern Recognition Workshop (CVPRW) 2026

Humans Are More Diverse: Frontier LLMs Show Extreme Policies in Idealised AI Development Races

人类更多样化：前沿大语言模型（LLM）在理想化AI开发竞赛中表现出极端策略

Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The Anh Han

机构 * Ho Chi Minh City University of Science（胡志明市科学大学） ； Vietnam National University Ho Chi Minh City (VNU-HCM)（越南国家大学胡志明市分校） ； Ho Chi Minh City University of Technology (HCMUT)（胡志明市技术大学（HCMUT）） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 该研究通过多智能体博弈实验对比前沿LLM与人类在AI开发竞赛中的策略，发现LLM行动具模型特异性，需有效性检查才能判定其策略性与安全意识。

Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

Self-Correction Bench：揭示并解决大语言模型中的自校正盲点

Ken Tsui

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出Self-Correction Bench框架，发现大语言模型存在64.5%的自校正盲点，经微调或添加“Wait”可显著降低该盲点，揭示了自校正能力未激活的机制。

Comments Accepted to COLM 2026

Benchmarks Are Not Monolithic: Sample-Level Auditing and Orchestration for LLM Evaluation

基准并非单一整体：面向大语言模型评估的样本级审计与编排

Philipp D. Siedler, Jordan Sassoon

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出样本级审计的元评估框架，标注五大基准的内部异质性，可编排复合基准子集实现模型能力针对性评估，为基准重组提供原则性方法。