大模型对齐与安全

CCiV: A Benchmark for Structure, Rhythm and Quality in LLM-Generated Chinese \textit{Ci} Poetry

CCiV: 一个用于评估LLM生成中文词诗结构、节奏和质量的基准

Shangqing Zhao, Yupei Ren, Yuhao Zhou, Xiaopeng Bai, Man Lan

机构 * School of Computer Science and Technology, East China Normal University, China（东华师范大学计算机科学与技术学院） ； Shanghai Institute of Artificial Intelligence for Education, East China Normal University, China（东华师范大学教育人工智能研究所） ； Department of Chinese Language and Literature, East China Normal University, China（东华师范大学中文语言文学系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 CCiV基准通过评估LLM生成中文词诗的结构、节奏和质量，揭示了模型在生成词派变体时的挑战，并强调了需要更全面的受约束创造性生成方法。

Comments ARR 2025 May and Icassp 2026 submission. Working in progress

An end-to-end agentic pipeline for smart contract translation and quality evaluation

面向智能合约翻译和质量评估的端到端代理流程

Abhinav Goel, Chaitya Shah, Agostino Capponi, Alfio Gliozzo

机构 * Columbia University（哥伦比亚大学） ； IBM T.J. Watson Research Center（IBM T.J.沃森研究中心） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出端到端智能合约翻译与质量评估框架，通过代理团队实现结构化输出与多维度质量评估。

Comments 17 pages, 4 figures

OMGs: A multi-agent system supporting MDT decision-making across the ovarian tumour care continuum

OMGs：一种支持卵巢肿瘤护理连续体中多学科决策的多智能体系统

Yangyang Zhang, Zilong Wang, Jianbo Xu, Yongqi Chen, Chu Han, Zhihao Zhang, Shuai Liu, Hui Li, Huiping Zhang, Ziqi Liu, Jiaxin Chen, Jun Zhu, Zheng Feng, Hao Wen, Xingzhu Ju, Yanping Zhong, Yunqiu Zhang, Jie Duan, Jun Li, Dongsheng Li, Weijie Wang, Haiyan Zhu, Wei Jiang, Xiaohua Wu, Shuo Wang, Haiming Li, Qinhao Guo

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 OMGs通过多代理系统在卵巢肿瘤护理连续体中实现与专家MDT共识相当的决策性能，提升资源有限环境下的多学科诊疗能力。

Comments 27 pages, 5 figures, 1 table

Interpreting Emergent Extreme Events in Multi-Agent Systems

多智能体系统中涌现极端事件的解释

Ling Tang, Jilin Mei, Dongrui Liu, Chen Qian, Dawei Cheng, Jing Shao, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Fu Dan University（福鼎大学） ； Tongji University（同济大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出首个多智能体系统中解释涌现极端事件的框架，通过归因分析确定事件起源、驱动者及行为贡献，验证了框架在经济、金融和社会场景中的有效性。

Comments 8 pages, 5 figures

AWM: Accurate Weight-Matrix Fingerprint for Large Language Models

AWM: 用于大型语言模型的准确权重矩阵指纹

Boyi Zeng, Lin Chen, Ziwei He, Xinbing Wang, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 AWM通过基于权重矩阵的无训练指纹方法，利用线性分配问题和无偏中心核对齐相似性，实现对大型语言模型训练来源的可靠识别。

Comments ICLR 2026

Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark

评估大型语言模型的物理世界隐私意识：一种评估基准

Xinjie Shen, Mufei Li, Pan Li

机构 * Georgia Tech（佐治亚理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 EAPrivacy评估基准揭示大型语言模型在物理世界隐私意识方面存在严重缺陷，需更稳健的物理感知对齐。

Comments Accepted by ICLR 2026

It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics

想法才是关键：评估前沿大语言模型在有害话题上的说服尝试

Matthew Kowal, Jasper Timm, Jean-Francois Godbout, Thomas Costello, Antonio A. Arechar, Gordon Pennycook, David Rand, Adam Gleave, Kellin Pelrine

机构 * Université de Montréal, MILA（蒙特利尔大学，MILA） ； Carnegie Mellon University（卡内基梅隆大学） ； MIT, Center for Research and Teaching in Economics（麻省理工学院，经济研究与教学中心） ； Cornell University, University of Regina（康奈尔大学， Regina大学） ； Cornell University, MIT（康奈尔大学，麻省理工学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出APE基准测试，评估前沿大语言模型在有害话题上的说服意愿，揭示模型在有害情境下尝试说服的倾向及风险。

Attention Head Entropy of LLMs Predicts Answer Correctness

LLMs注意力头熵预测答案正确性

Sophie Ostmeier, Brian Axelrod, Maya Varma, Asad Aali, Yabin Zhang, Magdalini Paschali, Sanmi Koyejo, Curtis Langlotz, Akshay Chaudhari

机构 * Stanford University（斯坦福大学） ； University Hospital Zurich（苏黎世大学医院） ； Microsoft AI（微软人工智能） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 LLMs注意力头熵预测答案正确性，通过注意力熵模式提升跨领域泛化能力，平均提升AUROC 8.5%。

Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol

工具使用LLM代理中的信息保真度：模型上下文协议的鞅分析

Flint Xiaofeng Fan, Cheston Tan, Roger Wattenhofer, Yew-Soon Ong

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出了一种分析模型上下文协议中误差累积的理论框架，通过鞅分析证明误差呈现线性增长并受$O(\sqrt{T})$约束，实验验证了语义加权和周期性再定位对误差控制的有效性。

Comments Full working version of an extended abstract accepted at the 25th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2026)

Agent Mars: Multi-Agent Simulation for Multi-Planetary Life Exploration and Settlement

Agent Mars: 多智能体模拟用于多行星生命探索与定居

Ziyang Wang

机构 * IEEE 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 Agent Mars通过多智能体模拟框架，研究多行星生命探索中的协调机制与性能评估。

Potential Role of Agentic Artificial Intelligence in Toxicologic Pathology

代理人工智能在毒理病理学中的潜在作用

Nasir Rajpoot, Richard Haworth, Xavier Palazzi, Alok Sharma, Manu Sebastian, Stephen Cahalan, Dinesh S. Bangari, Radhakrishna Sura, James Hartke, Marco Tecilla, Krishna Yekkala, Simon Graham, Dang Vu, David Snead, Mostafa Jahanifar, Adnan Khan, Erio Barale-Thomas

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CY

AI总结 本文探讨了代理人工智能在毒理病理学报告中的应用，分析了当前工作流程中的痛点，提出了分阶段的采用路线图，并强调了跨领域协作的重要性。

Self-Refining Vision Language Model for Robotic Failure Detection and Reasoning

自适应多任务视觉语言模型用于机器人故障检测与推理

Carl Qi, Xiaojie Wang, Silong Yong, Stephen Sheng, Huitan Mao, Sriram Srinivasan, Manikantan Nambi, Amy Zhang, Yesh Dattatreya

机构 * UT Austin（德克萨斯大学） ； Amazon Robotics（亚马逊机器人技术） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 ARMOR是一种自适应多任务视觉语言模型，通过多任务自 refinement 过程提升机器人故障检测与推理性能，实现故障检测率提升30%和推理表现提升100%。

What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis

强化学习在视觉推理中提升了什么？一种弗兰肯斯坦式分析

Xirui Li, Ming Li, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文通过弗兰肯斯坦式分析框架，揭示强化学习在视觉推理中通过中到晚期变压器计算的系统性细化，改进了视觉到推理的对齐和推理性能，而非单纯的视觉感知增强。

Quantifying Model Uniqueness in Heterogeneous AI Ecosystems

在异构AI生态系统中量化模型独特性

Lei You

机构 * Department of Engineering Technology, Technical University of Denmark（技术大学丹麦学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出基于ISQED的统计框架，用于量化异构AI生态系统中模型的独特性，通过PIER指标评估模型行为的不可约简性，并建立理论基础与实验验证。

The Mediomatix Corpus: Parallel Data for Romansh Language Varieties via Comparable Schoolbooks

中庸语语料库：通过可比教科书构建罗曼什语言变体的平行数据

Zachary Hopton, Jannis Vamvas, Andrin Büchler, Anna Rutkiewicz, Rico Cathomas, Rico Sennrich

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出首个罗曼什方言平行语料库，通过教科书构建，用于罗曼什方言间的机器翻译研究。

MEME: Modeling the Evolutionary Modes of Financial Markets

MEME：金融市场的进化模式建模

Taian Guo, Haiyang Shen, Junyu Luo, Zhongshi Xing, Hanchun Lian, Jinsheng Huang, Binqi Chen, Luchen Liu, Yun Ma, Ming Zhang

机构 * National Key Laboratory for Multimedia Information Processing, PKU-Anker LLM Lab, School of Computer Science, Peking University（国家多媒体信息处理重点实验室、PKU-Anker LLM实验室、计算机科学学院、北京大学） ； School of Electronics Engineering（电子工程学院） ； Computer Science, Peking University（计算机科学、北京大学） ； Institute for Artificial Intelligence, Peking University（人工智能研究所、北京大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 MEME通过建模金融市场中的动态进化思维模式，利用多代理提取和高斯混合模型，实现对市场动态的精准重建，优于现有基线方法。

AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild

AmbiBench：在真实场景中超越单次指令的移动GUI代理基准测试

Jiazheng Sun, Mingxuan Li, Yingying Zhang, Jiayang Niu, Yachen Wu, Ruihan Jin, Shuyu Lei, Pengrongrui Tan, Zongyu Zhang, Ruoyi Wang, Jiachen Yang, Boyu Yang, Jiacheng Liu, Xin Peng

机构 * Fudan University（复旦大学） ； Jilin University（吉林大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 AmbiBench是首个针对移动GUI代理在真实场景中超越单次指令的双向意图对齐的基准测试，通过引入清晰度分类和MUSE框架评估代理在不同清晰度下的表现。

Comments 21 pages, 7 figures

Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs

基准健康指数：一个系统框架，用于评估大型语言模型的基准测试

Longyuan Zhu, Hairan Hua, Linlin Miao, Bing Zhao

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出Benchmark Health Index，通过三个维度评估LLM基准测试的健康状况，为评估选择和动态管理提供系统框架。

Comments 42 pages, 8 figures, 7 tables. Code and website available at https://github.com/SKYLENAGE-AI/benchmark-health-index

How Smart Is Your GUI Agent? A Framework for the Future of Software Interaction

你的GUI代理有多智能？面向软件交互未来的框架

Sidong Feng, Chunyang Chen

机构 * The Chinese University of Hong Kong（香港中文大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出GUI代理自主级别框架，旨在明确自主性并评估软件交互的可信赖性进展。

Bi-Level Prompt Optimization for Multimodal LLM-as-a-Judge

双层提示优化用于多模态LLM作为裁判

Bo Pan, Xuan Kan, Kaitai Zhang, Yan Yan, Shunwen Tan, Zihao He, Zixin Ding, Junjie Wu, Liang Zhao

机构 * Meta AI ； Emory University（埃默里大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出BLPO框架，通过双层优化提升多模态LLM在评估AI生成图像时的提示效果，解决上下文限制导致的优化瓶颈问题。

From Native Memes to Global Moderation: Cross-Cultural Evaluation of Vision-Language Models for Hateful Meme Detection

从本土迷因到全球监管：跨文化评估视觉-语言模型在仇恨迷因检测中的应用

Mo Wang, Kaixuan Ren, Pratik Jalan, Ahmed Ashraf, Tuong Vy Vu, Rahul Seetharaman, Shah Nawaz, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； Nile University（尼罗大学） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Johannes Kepler University（约翰尼斯·开普勒大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 本文通过跨文化评估揭示视觉-语言模型在仇恨迷因检测中的文化偏见问题，并提出本土语言提示和一样本学习等改进策略以提升模型的公平性和鲁棒性。

Comments 12 pages, 5 figures, Proceedings of the ACM Web Conference 2026 (WWW '26)

Can Large Language Models Make Everyone Happy?

大语言模型能否让所有人快乐？

Usman Naseem, Gautam Siddharth Kashyap, Ebad Shabbir, Sushant Kumar Ray, Abdullah Mohammad, Rafiq Ali

机构 * Macquarie University（麦考瑞大学） ； DSEU-Okhla ； University of Delhi（德里大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 本文提出MisAlign-Profile基准，通过构建MISALIGNTRADE数据集，评估大语言模型在安全、价值和文化维度间的不匹配权衡。

ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents

ISD-Agent-Bench: 一个用于评估基于大语言模型的教学系统设计代理的全面基准

YoungHoon Jeon, Suwan Kim, Haein Son, Sookbun Lee, Yeil Jeong, Unggi Lee

机构 * Upstage ； Opentutorials ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Korea University Sejong Campus（韩国大学世宗校区） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 ISD-Agent-Bench通过结合经典ISD理论与现代推理方法，为评估基于LLM的教学系统设计代理提供了全面的基准。

LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation

LiveMedBench: 一个无污染的医疗基准测试，用于具有自动评分评估的LLM

Zhiling Yan, Dingjie Song, Zhe Fang, Yisheng Ji, Xiang Li, Quanzheng Li, Lichao Sun

机构 * Lehigh University（莱维大学） ； Harvard University（哈佛大学） ； Imperial College London（伦敦帝国学院） ； Massachusetts General Hospital（麻省总医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 LiveMedBench通过持续更新和自动评分框架，提供无污染的医疗基准测试，验证LLM在临床推理中的性能，揭示数据污染和上下文适应性问题。

IQNN-CS: Interpretable Quantum Neural Network for Credit Scoring

IQNN-CS：用于信用评分的可解释量子神经网络

Abdul Samad Khan, Nouhaila Innan, Aeysha Khalique, Muhammad Shafique

机构 * Lahore University of Management Sciences, Pakistan（拉合尔管理科学大学，巴基斯坦） ； eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)（eBRAIN实验室，工程系，纽约大学阿布扎比分校） ； Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute（量子与拓扑系统中心（CQTS），NYUAD研究机构） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 IQNN-CS是一种用于信用评分的可解释量子神经网络，通过引入ICAA度量标准提升模型的可解释性和透明度，适用于金融决策中的高风险任务。

Comments Accepted for oral presentation at QUEST-IS'25. To appear in Springer proceedings

Journal ref International Conference on Quantum Engineering Sciences and Technologies for Industry and Services 2025

SCORE: Specificity, Context Utilization, Robustness, and Relevance for Reference-Free LLM Evaluation

SCORE：特定性、上下文利用、鲁棒性与相关性用于无参考LLM评估

Homaira Huda Shomee, Rochana Chaturvedi, Yangxinyu Xie, Tanwi Mallick

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Argonne National Laboratory（阿贡国家实验室） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出了一种无参考评估框架，用于评估LLM在高风险领域任务中的特定性、鲁棒性、相关性和上下文利用，通过精心编纂的数据集和人工评估验证了多指标评估的必要性。

Towards Poisoning Robustness Certification for Natural Language Generation

面向自然语言生成的中毒鲁棒性认证

Mihnea Ghitu, Matthew Wicker

机构 * Department of Computing, Imperial College London, London, UK（计算系，伦敦帝国学院，伦敦，英国） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出TPA算法，通过计算最小中毒预算认证自然语言生成的有效性和稳定性，为安全关键应用提供可证明的鲁棒性保障。

Evaluating Device-First Continuum AI (DFC-AI) for Autonomous Operations in the Energy Sector

评估面向能源行业的设备优先连续AI（DFC-AI）用于自主操作

Siavash M. Alamouti, Fay Arjomandi, Michel Burger, Bashar Altakrouri

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文评估了DFC-AI在能源领域自主操作中的应用，证明其在无网络环境下的稳定性和成本优势。

Comments 10 pages, 4 figures, 6 tables

MAPS: A Multilingual Benchmark for Agent Performance and Security

MAPS: 一种多语言评估基准，用于代理性能和安全

Omer Hofman, Jonathan Brokman, Oren Rachmil, Shamik Bose, Vikas Pahuja, Toshiya Shimizu, Trisha Starostina, Kelly Marchisio, Seraphina Goldfarb-Tarrant, Roman Vainshtein

机构 * Fujitsu Research of Europe（富士通欧洲研究部） ； Fujitsu Limited（富士通有限公司） ； Cohere 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 MAPS是一个多语言评估基准，用于评估代理AI在不同语言和任务中的性能与安全性。

Comments Accepted to EACL 2026 findings

Scalable Delphi: Large Language Models for Structured Risk Estimation

可扩展的德尔菲：用于结构化风险估计的大型语言模型

Tobias Lorenz, Mario Fritz

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出可扩展的德尔菲方法，利用大型语言模型进行结构化风险评估，通过多样化的专家人设和迭代优化，实现了高效且准确的风险估计。