大模型对齐与安全

Can Agents Deceive? Evaluating Reasoning and Deception in ParliamentBench using a Social Deduction Game

智能体能够欺骗吗？使用社交推理游戏评估ParliamentBench中的推理与欺骗能力

Niklas Bauer, Lars Benedikt Kaesberg, Akiko Aizawa, Jan Philip Wahle, Bela Gipp, Terry Ruas

机构 * University of Göttingen（哥廷根大学） ； National Institute of Informatics（信息学研究所） ； University of Tokyo（东京大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 该研究基于《Secret Hitler》游戏构建ParliamentBench基准，评估16个LLM的欺骗与推理能力，发现前沿模型表现优异，多数LLM难以维持一致的欺骗人设。

Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents

谁来评估评估者？用于自我改进的语言模型代理的协同进化评估指标和技能

Xing Zhang, Guanghui Wang, Yanwei Cui, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * Amazon（亚马逊） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究自我进化智能体系统中评估指标缺失问题，提出指标可进化，通过“双棘轮”协同进化指标与技能循环，在多任务中保留提升效果，还阐述安全性源于锚定规则与外部审核，为无可靠自动验证器场景提供架构。

Comments Code: https://github.com/amazon-science/Self-Evolving-Agents-Double-Ratchet

MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding

MOON2.0：动态模态平衡多模态表示学习用于电商产品理解

Zhanheng Nie, Chenghan Fu, Daoze Zhang, Junxian Wu, Wanxian Guan, Pengjie Wang, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 MOON2.0通过动态模态平衡框架解决电商多模态数据中的模态不平衡、信息对齐不足和噪声处理问题，提出MoE、双层对齐和图像-文本共增强策略，提升零样本性能和多模态对齐质量。

Comments Accepted by the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2026. 11 pages, 7 figures

MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models

MedHallTune：用于缓解视觉-语言模型中医患幻觉的指令调优基准

Qiao Yan, Yuchen Yuan, Xiaowei Hu, Yihan Wang, Jiaqi Xu, Xiwen Wu, Jinpeng Li, Chi-Wing Fu, Pheng-Ann Heng

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出MedHallTune基准，用于评估和缓解医疗视觉-语言模型的幻觉，实验表明用该基准微调模型可提升幻觉管理能力与下游VQA任务零样本性能，助力开发更可信的医疗视觉-语言模型。

Do Methods Support the Claims? Intra-Paper Verification for Peer Review

方法是否支持其主张？用于同行评审的论文内部验证

Ranjitha Shivaprasad Ballakuraya, Arash Mahyari, Ashok Srinivasan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有 LLM 评审系统忽视论文内部主张与方法学证据不匹配的问题，提出 intra-paper claim verification 框架，经实验验证其生成的评审意见与人类评审关注点高度契合。

Comments 9 pages, 8 figures. Source code, prompts, evaluation materials, and supporting data available at https://github.com/Ranjitha2493/intra-paper-claim-method-verification

Where Is the Cost of Third-Party API Routers in Agentic Software Development?

代理软件开发中第三方 API 路由器的成本在哪里？

Donghao Fu, Jingxin Li, Xue Jiang, Yihong Dong

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究第三方 API 路由器在代理软件开发中的影响，通过实证研究编码代理中路由器端注入的四个干预级别，开发 SIDEL 框架评估代理，发现路由器端干预难测，客户端缓解措施未完全恢复控制，强调需提供商端输出完整性保证。

REAP: Automatic Curation of Coding Agent Benchmarks from Interactive Production Usage

REAP：从交互生产使用自动整理编码代理基准

Smriti Jha, Matteo Paltenghi, Chandra Maddila, Vijayaraghavan Murali, Shubham Ugare, Satish Chandra

机构 * Meta, USA（Meta公司） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 REAP通过自动化流程从真实开发者与代理交互中构建生产基准，解决评估信号不可靠问题，通过LLM分类和多轮稳定性检查确保基准可信。

Comments Accepted at ASE 2026 Industry Showcase

A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series

一种用于不规则临床时间序列问答的经济高效多模态大语言模型推理框架

Frank Nie, Ethan B Liu, Yuan Zhu, Wei Fan, Jindong Han

机构 * Shandong University（山东大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对不规则临床时间序列问答，提出ClinPRISM框架。该框架含不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略，通过构建训练数据，在40亿参数大语言模型主干上实现最优性能，兼具低时间序列令牌数和低推理延迟。

Towards Understanding the Cognitive Habits of Large Reasoning Models

迈向理解大型推理模型的认知习惯

Jianshuo Dong, Yujia Fu, Chuanrui Hu, Chao Zhang, Han Qiu

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究大型推理模型是否展现类人认知习惯，基于“思维习惯”框架引入CogTest基准测试，对16个语言模型评估发现LRMs有类人习惯且能自适应运用，还揭示了习惯异同模式及与有害回答的关联，为理解模型不当行为提供重要依据。

Comments Published at Machine Intelligence Research vol.23, no.4, pp.873-886

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

新主张还是似曾相识？重新思考多模态自动事实核查的“无污染”动态评估

Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, Yupeng Li

机构 * Hong Kong Baptist University（香港浸会大学） ； The University of Hong Kong（香港大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态自动事实核查中基准的污染风险，通过实证研究静态和动态基准，发现动态评估虽能减少但不能消除污染，新主张可多种方式验证，污染会致性能膨胀和排名扭曲，为可信评估提供实用指南。

Comments Accepted at ACM Multimedia (ACM MM), 2026

Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining

超越全局规范：无需重新训练即可在语言模型中实现毒性敏感性个性化

Rares A. C. Diaconescu, Iulia Slanina, Alina Florea, Andrei B. Trache, Miruna E. Coroi, Anne Arzberger, Jie Yang, Enrico Liscio

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何在语言模型中实现毒性敏感性个性化，通过对免训练方法在三个推理阶段进行比较评估，与PRISM数据集目标对比，各方法降低对齐误差28 - 47%，揭示了多目标间权衡。

Adapter Merging Reactivates Latent Reasoning Traces: A Mechanism Analysis

适配器合并重新激活潜在推理痕迹：一种机制分析

Junyi Zou

机构 * Zjydiary Group（Zjydiary小组） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示适配器合并后推理痕迹的重新激活机制，通过几何方法减少泄漏并提升准确性。

Comments Withdrawn by the authors after identifying an implementation error in adapter coefficient scaling that materially affects the main empirical results and invalidates the current conclusions. A corrected reanalysis is in progress

Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity

为什么大语言模型与人类在评估创造力时会趋同和背离

Pengzhao Lyu, Yeun Joon Kim, Hanlin Xiao, Yingyue Luna Luan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨大语言模型与人类评估创造力时趋同和背离的原因，通过三项研究和六个模型，识别其评估标准及影响，发现一致性取决于判断证据和模型标准，强调内在品质时趋同，需上下文信息时背离，选评估模型很关键。

Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

模块各司其职吗？复合语言模型系统中的角色漂移

Xiaoyang Cao, Siddarth Srinivasan, Michiel A. Bakker

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究复合语言模型系统中模块的角色漂移问题，提出角色锚定正则化方法，通过实验揭示仅准确性无法检测的角色漂移，该方法能以可调成本减轻漂移，且减少与角色漂移方向的对齐，而非简单抑制学习。

StabilityBench: Benchmarking Instability in LLMs

StabilityBench：评估大语言模型中的不稳定性

Emma Kondrup, Zachary Yang, Anne Imouza, Reihaneh Rabbany

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型实际行为难测、现有评估协议有局限的问题，提出StabilityBench基准测试工具，通过注入现实模拟增强现有基准，应用于四个基准测试评估九个模型，发现性能不稳定，还提出StabilityBench-Mini以实现更现实评估。

Benchmarking Large Language Models on Multi-Sensor Physical Hazard Assessment

在多传感器物理危害评估中对大语言模型进行基准测试

Faizan Iqbal

机构 * Lovely Professional University（可爱专业大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究五个大语言模型对多传感器物理危害数据的评估，通过1800次API调用测试60个场景，发现模型在多传感器场景表现不佳，单传感器场景表现良好，且结构化表格格式优势不明显，为从业者提供了模型应用参考。

Comments 14 pages, 6 figures. Benchmark dataset, evaluation code, and raw results publicly available at: https://github.com/Faizaniqbal52/PhysicalHazardBenchmark

DataPrep-Bench: Benchmarking LLMs as Training Data Preparators

数据准备基准：评估作为训练数据准备者的大语言模型

Hao Liang, Qifeng Cai, Yibo Lin, Jianzhuo Du, Qifeng Xia, Sizhe Qiu, Linzhuang Sun, Meiyi Qiang, Zhaoyang Han, Xiaochen Ma, Bohan Zeng, Ruichuan An, Conghui He, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究院） ； OriginHub Technology（源创科技） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究LLMs作为训练数据准备者的表现，引入DataPrep - Bench统一基准，涵盖数据构建与质量评估，在多领域和模型上评估，发布相关智能体和评估器，为衡量LLM驱动数据准备能力提供框架。

Confidently Deceptive: How Confidence Amplifies the Risk of LLM Deception

自信的欺骗：信心如何放大语言模型欺骗的风险

Ali Asad, Stephen Obadinma, Anshul Pattoo, Wenxuan Zhang, Xiaodan Zhu

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型欺骗问题，通过多种方式衡量信心，发现其会产生高信心欺骗性回答，错位微调加剧问题，模型能识别自身欺骗性输出却不避免，指出自信的欺骗是独特风险，需综合评估欺骗、信心与意识。

Routing Subspaces: Auditing Evaluation-to-Deployment Mismatch in Fine-Tuned Language Models

路由子空间：审计微调语言模型中评估到部署的不匹配

Phongsakon Mark Konrad, Toygar Tanyel, Serkan Ayvaz

机构 * Centre for Industrial Software, University of Southern Denmark（南丹麦大学工业软件中心） ； ProMake（宝迈可） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究微调语言模型评估到部署的不匹配问题，提出在路径修补告知的中深度窗口拟合配对激活对比并修改结果坐标的方法，在多个模型实例中缩小了差距，还指出单坐标审计的局限性，此审计用于诊断微调检查点。

When Does Knowledge Distillation Hurt? Reliability-Aware Distillation for Low-Resource Language Summarization

知识蒸馏何时会产生负面影响？低资源语言摘要的可靠性感知蒸馏

Dipto Sumit, Ankan Kumar Roy Srizon, Sadia Khair Rodela, Atia Haque Asha, Mourchona Afrin, Niloy Farhan, Farig Sadeque

机构 * BRAC University（BRAC大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究低资源语言摘要中知识蒸馏的问题，提出CHAD和EWAD+CPDP两种可靠性感知蒸馏方法，在BanSum基准测试中显著优于标准KD，EWAD+CPDP在多种语言上也有良好表现，还发布相关资源助力研究。

Stateful Guardrails for Multi-Turn LLM Systems: A Conversational Risk Accumulation Framework

多轮大语言模型系统的有状态防护栏：一个对话风险累积框架

Sanjay Mishra, Divya Chukkapalli, Ganesh R. Naik

机构 * College of Medicine and Public Health, Flinders University（弗林德斯大学医学与公共卫生学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究多轮大语言模型系统的对话风险累积问题，提出会话层CRA框架，跟踪三个轨迹信号，提供评分方法，发布多个基准测试集及评估协议，重点在于分布内会话评分，为大语言模型安全防护提供新方法。

Comments 45 pages, 10 figures, 20 tables

Agents in the Wild: Where Research Meets Deployment

野外的智能体：研究与部署的交汇点

Grace Hui Yang, Pranav N. Venkit, Hooman Sedghamiz, Enrico Santus, Victor Dibia, Ioana Baldini

机构 * Georgetown University（乔治敦大学） ； Salesforce（Salesforce公司） ； Bayer（拜耳公司） ； Bloomberg（彭博公司） ； Microsoft Research（微软研究院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 探讨基于大语言模型的智能体系统从研究到部署的转变，通过案例研究分析成功设计模式及失败缓解策略，为与会者提供跨行业安全可靠部署的全面视角、设计模式、评估清单和模板。

Estimating Rare Events in Language Models with Proper Evaluation

用适当评估估计语言模型中的罕见事件

Nikita Y. Parulekar, Anqi Liu

机构 * Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究语言模型中罕见事件概率估计难题，提出梯度激活自适应多级分裂方法及移位幂布雷格曼损失，通过实验揭示偏差 - 方差权衡，强调估计器与部署上下文匹配，确立激活空间为易处理域。

Comments 37 pages, 24 figures

RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants

RobustMAD：评估用于可部署异常检测助手的多模态小语言模型的现实世界鲁棒性

Anushiya Arunan, Xin Li, Yan Qin, U-Xuan Tan, Nhu Khue Vuong, Xiaoli Li, Chau Yuen

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局） ； Nanyang Technological University（南洋理工大学） ； Chongqing University（重庆大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对多模态小语言模型现场部署的鲁棒性评估问题，开发RobustMAD基准测试，通过多种开放式查询评估模型，发现最佳模型虽有潜力但仍存差距及三种失败模式，为下一代多模态工业检测助手设计提供指导。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR), 2026 at https://openreview.net/forum?id=skrA9UYNIZ

SyriSign: A Parallel Corpus for Arabic Text to Syrian Arabic Sign Language Translation

SyriSign：阿拉伯语到叙利亚阿拉伯手语翻译的平行语料库

Mohammad Amer Khalil, Raghad Nahas, Ahmad Nassar, Khloud Al Jallad

机构 * Arab International University（阿拉伯国际大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SyriSign数据集，用于阿拉伯语到叙利亚阿拉伯手语的翻译任务，旨在解决叙利亚聋人社区的沟通障碍，通过三种深度学习模型评估，发现生成方法在手语表示上有潜力，但受限于数据集规模影响泛化性能。

Towards AI epidemiology: a measurement standardisation framework for prospective risk detection

迈向人工智能流行病学：一种用于前瞻性风险检测的测量标准化框架

Kit Tempest-Walters

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种测量标准化框架，用于在没有访问模型内部信息的情况下，将专家-人工智能交互压缩为结构化、可比较的领域，以进行前瞻性风险检测。该框架旨在定义其范围，包括语义和统计层面，并指定未来工作的实证测试协议。

Comments 38 pages, 3 figures, 4 tables. Accepted for publication in AI & Society

LVSum: A Benchmark for Timestamp-Aware Long Video Summarization

LVSum：一个用于时间感知长视频摘要的基准测试

Alkesh Patel, Melis Ozyildirim, Ying-Chang Cheng, Ganesh Nagarajan

机构 * Apple（苹果公司） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。

Comments 25 pages, 5 tables, 3 figures

Towards a Unified Multidimensional Explainability Metric: Evaluating Trustworthiness in AI Models

迈向统一的多维可解释性度量：评估人工智能模型中的可信度

Georgios Makridis, Georgios Fatouros, Athanasios Kiourtis, Dimitrios Kotios, Vasileios Koukos, Dimosthenis Kyriazis, Jonh Soldatos

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出全面框架评估多种XAI方法在多数据集和模型上的可解释性，侧重保真度、简单性和稳定性，利用基准实验构建知识库以估计未见数据集和模型的可解释性分数，为评估比较XAI方法提供工具，助力可信AI系统发展。

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

内省微调（IFT）：训练小型语言模型进行内省

Ely Hahami, Ishaan Sinha, Lavik Jain

机构 * Harvard College（哈佛大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究小型语言模型内省能力，提出句子定位和强度比较评估范式，发现小模型有内省能力且随规模提升，引入内省微调（IFT），能提高模型内省能力，还表明内省能力可训练，对AI透明度和对齐有意义。

Comments 9 pages (excluding appendices / references), 2 figures, 3 tables

MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation

MedRealMM：用于中国在线医疗咨询的真实世界多模态基准测试

Runhan Shi, Quan Zhou, Yuqian Xu, Shuai Yang, Xin Wu, Zitong Zhou, Hui Liu, Bin Zha, Zheming Wang, Liya Li, Wei Wei, Jinru Ding, Wenrao Pang, Mouxiao Bian, Haoyuan Hu, Jun Xu, Jie Xu

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有在线医疗咨询基准与实际临床实践契合度差的问题，构建MedRealMM基准测试，用多模态临床挑战点提取框架转化任务并设评分标准，评估多个大语言模型，指出图像信息重要，前沿模型有不足，为多模态医学推理评估提供现实可重复基准。