大模型对齐与安全

AI-Based Thesis Assessment: An Empirical Study of Human Evaluation Priorities and Their Impact on Automated Assessment

基于人工智能的论文评审：关于人类评审优先级及其对自动评审影响的实证研究

Garv Vikram Gursahaney, Baskhad Idrisov, Thorsten Fröhlich, Tim Schlippe

机构 * IU International University of Applied Sciences（IU应用科学大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究调查了84名导师确定的35项论文评审准则权重，对比人工智能系统RubiSCoT的默认权重后发现存在显著差异，整合导师权重的最优配置仅小幅降低评审偏差且无统计显著性，仅权重校准无法大幅提升AI与人类评审的一致性。

Comments Accepted for publication in the Proceedings of the 7th International Conference on Artificial Intelligence in Education Technology (AIET 2026), Zagreb, Croatia

DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis

DLLM-TTS：用于文本到语音合成的块离散扩散语言模型

Wasim Madha, Nityanand Mathur, Hamees Sayed, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 DLLM-TTS 框架，将 TTS 建模为基于 X-Codec2 的条件块离散扩散，通过块内掩码扩散与并行预测实现高效语音生成，在 Seed-TTS-eval 基准上取得良好性能，兼具实用性与数据效率。

The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations

苏格拉底测试的理论基础：动态、多模态、对话式考试

Ilya Mikhelson

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本文提出苏格拉底测试的理论基础，整合多类教育评估原则与分类学，量化最近发展区并设计非补偿性加法评分架构，以解决传统评估的缺陷并提升测量可靠性。

Comments 21 pages, 1 figure, submitted to Computers and Education: Artificial Intelligence

Sensitivity Analysis of GRU, LSTM and Transformer Encoder in Classification of Automated Driving Systems

GRU、LSTM与Transformer编码器在自动驾驶系统分类中的敏感性分析

Bidhya Shrestha, Christos Papadopoulos

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究GRU、LSTM、Transformer编码器对Level 2级自动驾驶系统的分类性能，提出含5类损坏的鲁棒性评估框架，发现时间抖动会大幅降低三类模型的宏F1。

Comments 7 pages, 6 figures, under review Milcom 2026

Can Agents Deceive? Evaluating Reasoning and Deception in ParliamentBench using a Social Deduction Game

智能体能够欺骗吗？使用社交推理游戏评估ParliamentBench中的推理与欺骗能力

Niklas Bauer, Lars Benedikt Kaesberg, Akiko Aizawa, Jan Philip Wahle, Bela Gipp, Terry Ruas

机构 * University of Göttingen（哥廷根大学） ； National Institute of Informatics（信息学研究所） ； University of Tokyo（东京大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 该研究基于《Secret Hitler》游戏构建ParliamentBench基准，评估16个LLM的欺骗与推理能力，发现前沿模型表现优异，多数LLM难以维持一致的欺骗人设。

Do Methods Support the Claims? Intra-Paper Verification for Peer Review

方法是否支持其主张？用于同行评审的论文内部验证

Ranjitha Shivaprasad Ballakuraya, Arash Mahyari, Ashok Srinivasan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有 LLM 评审系统忽视论文内部主张与方法学证据不匹配的问题，提出 intra-paper claim verification 框架，经实验验证其生成的评审意见与人类评审关注点高度契合。

Comments 9 pages, 8 figures. Source code, prompts, evaluation materials, and supporting data available at https://github.com/Ranjitha2493/intra-paper-claim-method-verification

A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series

一种用于不规则临床时间序列问答的经济高效多模态大语言模型推理框架

Frank Nie, Ethan B Liu, Yuan Zhu, Wei Fan, Jindong Han

机构 * Shandong University（山东大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对不规则临床时间序列问答，提出ClinPRISM框架。该框架含不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略，通过构建训练数据，在40亿参数大语言模型主干上实现最优性能，兼具低时间序列令牌数和低推理延迟。

Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking

新主张还是似曾相识？重新思考多模态自动事实核查的“无污染”动态评估

Haorui He, Xinwen Chen, Dacheng Wen, Reynold Cheng, Francis C. M. Lau, Yupeng Li

机构 * Hong Kong Baptist University（香港浸会大学） ； The University of Hong Kong（香港大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态自动事实核查中基准的污染风险，通过实证研究静态和动态基准，发现动态评估虽能减少但不能消除污染，新主张可多种方式验证，污染会致性能膨胀和排名扭曲，为可信评估提供实用指南。

Comments Accepted at ACM Multimedia (ACM MM), 2026

Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining

超越全局规范：无需重新训练即可在语言模型中实现毒性敏感性个性化

Rares A. C. Diaconescu, Iulia Slanina, Alina Florea, Andrei B. Trache, Miruna E. Coroi, Anne Arzberger, Jie Yang, Enrico Liscio

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何在语言模型中实现毒性敏感性个性化，通过对免训练方法在三个推理阶段进行比较评估，与PRISM数据集目标对比，各方法降低对齐误差28 - 47%，揭示了多目标间权衡。

Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity

为什么大语言模型与人类在评估创造力时会趋同和背离

Pengzhao Lyu, Yeun Joon Kim, Hanlin Xiao, Yingyue Luna Luan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨大语言模型与人类评估创造力时趋同和背离的原因，通过三项研究和六个模型，识别其评估标准及影响，发现一致性取决于判断证据和模型标准，强调内在品质时趋同，需上下文信息时背离，选评估模型很关键。

Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

模块各司其职吗？复合语言模型系统中的角色漂移

Xiaoyang Cao, Siddarth Srinivasan, Michiel A. Bakker

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究复合语言模型系统中模块的角色漂移问题，提出角色锚定正则化方法，通过实验揭示仅准确性无法检测的角色漂移，该方法能以可调成本减轻漂移，且减少与角色漂移方向的对齐，而非简单抑制学习。

StabilityBench: Benchmarking Instability in LLMs

StabilityBench：评估大语言模型中的不稳定性

Emma Kondrup, Zachary Yang, Anne Imouza, Reihaneh Rabbany

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型实际行为难测、现有评估协议有局限的问题，提出StabilityBench基准测试工具，通过注入现实模拟增强现有基准，应用于四个基准测试评估九个模型，发现性能不稳定，还提出StabilityBench-Mini以实现更现实评估。

Benchmarking Large Language Models on Multi-Sensor Physical Hazard Assessment

在多传感器物理危害评估中对大语言模型进行基准测试

Faizan Iqbal

机构 * Lovely Professional University（可爱专业大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究五个大语言模型对多传感器物理危害数据的评估，通过1800次API调用测试60个场景，发现模型在多传感器场景表现不佳，单传感器场景表现良好，且结构化表格格式优势不明显，为从业者提供了模型应用参考。

Comments 14 pages, 6 figures. Benchmark dataset, evaluation code, and raw results publicly available at: https://github.com/Faizaniqbal52/PhysicalHazardBenchmark

DataPrep-Bench: Benchmarking LLMs as Training Data Preparators

数据准备基准：评估作为训练数据准备者的大语言模型

Hao Liang, Qifeng Cai, Yibo Lin, Jianzhuo Du, Qifeng Xia, Sizhe Qiu, Linzhuang Sun, Meiyi Qiang, Zhaoyang Han, Xiaochen Ma, Bohan Zeng, Ruichuan An, Conghui He, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究院） ； OriginHub Technology（源创科技） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究LLMs作为训练数据准备者的表现，引入DataPrep - Bench统一基准，涵盖数据构建与质量评估，在多领域和模型上评估，发布相关智能体和评估器，为衡量LLM驱动数据准备能力提供框架。

Confidently Deceptive: How Confidence Amplifies the Risk of LLM Deception

自信的欺骗：信心如何放大语言模型欺骗的风险

Ali Asad, Stephen Obadinma, Anshul Pattoo, Wenxuan Zhang, Xiaodan Zhu

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型欺骗问题，通过多种方式衡量信心，发现其会产生高信心欺骗性回答，错位微调加剧问题，模型能识别自身欺骗性输出却不避免，指出自信的欺骗是独特风险，需综合评估欺骗、信心与意识。

Routing Subspaces: Auditing Evaluation-to-Deployment Mismatch in Fine-Tuned Language Models

路由子空间：审计微调语言模型中评估到部署的不匹配

Phongsakon Mark Konrad, Toygar Tanyel, Serkan Ayvaz

机构 * Centre for Industrial Software, University of Southern Denmark（南丹麦大学工业软件中心） ； ProMake（宝迈可） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究微调语言模型评估到部署的不匹配问题，提出在路径修补告知的中深度窗口拟合配对激活对比并修改结果坐标的方法，在多个模型实例中缩小了差距，还指出单坐标审计的局限性，此审计用于诊断微调检查点。

When Does Knowledge Distillation Hurt? Reliability-Aware Distillation for Low-Resource Language Summarization

知识蒸馏何时会产生负面影响？低资源语言摘要的可靠性感知蒸馏

Dipto Sumit, Ankan Kumar Roy Srizon, Sadia Khair Rodela, Atia Haque Asha, Mourchona Afrin, Niloy Farhan, Farig Sadeque

机构 * BRAC University（BRAC大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究低资源语言摘要中知识蒸馏的问题，提出CHAD和EWAD+CPDP两种可靠性感知蒸馏方法，在BanSum基准测试中显著优于标准KD，EWAD+CPDP在多种语言上也有良好表现，还发布相关资源助力研究。

Stateful Guardrails for Multi-Turn LLM Systems: A Conversational Risk Accumulation Framework

多轮大语言模型系统的有状态防护栏：一个对话风险累积框架

Sanjay Mishra, Divya Chukkapalli, Ganesh R. Naik

机构 * College of Medicine and Public Health, Flinders University（弗林德斯大学医学与公共卫生学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究多轮大语言模型系统的对话风险累积问题，提出会话层CRA框架，跟踪三个轨迹信号，提供评分方法，发布多个基准测试集及评估协议，重点在于分布内会话评分，为大语言模型安全防护提供新方法。

Comments 45 pages, 10 figures, 20 tables

Agents in the Wild: Where Research Meets Deployment

野外的智能体：研究与部署的交汇点

Grace Hui Yang, Pranav N. Venkit, Hooman Sedghamiz, Enrico Santus, Victor Dibia, Ioana Baldini

机构 * Georgetown University（乔治敦大学） ； Salesforce（Salesforce公司） ； Bayer（拜耳公司） ； Bloomberg（彭博公司） ； Microsoft Research（微软研究院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 探讨基于大语言模型的智能体系统从研究到部署的转变，通过案例研究分析成功设计模式及失败缓解策略，为与会者提供跨行业安全可靠部署的全面视角、设计模式、评估清单和模板。

Estimating Rare Events in Language Models with Proper Evaluation

用适当评估估计语言模型中的罕见事件

Nikita Y. Parulekar, Anqi Liu

机构 * Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究语言模型中罕见事件概率估计难题，提出梯度激活自适应多级分裂方法及移位幂布雷格曼损失，通过实验揭示偏差 - 方差权衡，强调估计器与部署上下文匹配，确立激活空间为易处理域。

Comments 37 pages, 24 figures

RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants

RobustMAD：评估用于可部署异常检测助手的多模态小语言模型的现实世界鲁棒性

Anushiya Arunan, Xin Li, Yan Qin, U-Xuan Tan, Nhu Khue Vuong, Xiaoli Li, Chau Yuen

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局） ； Nanyang Technological University（南洋理工大学） ； Chongqing University（重庆大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对多模态小语言模型现场部署的鲁棒性评估问题，开发RobustMAD基准测试，通过多种开放式查询评估模型，发现最佳模型虽有潜力但仍存差距及三种失败模式，为下一代多模态工业检测助手设计提供指导。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR), 2026 at https://openreview.net/forum?id=skrA9UYNIZ

Towards a Unified Multidimensional Explainability Metric: Evaluating Trustworthiness in AI Models

迈向统一的多维可解释性度量：评估人工智能模型中的可信度

Georgios Makridis, Georgios Fatouros, Athanasios Kiourtis, Dimitrios Kotios, Vasileios Koukos, Dimosthenis Kyriazis, Jonh Soldatos

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出全面框架评估多种XAI方法在多数据集和模型上的可解释性，侧重保真度、简单性和稳定性，利用基准实验构建知识库以估计未见数据集和模型的可解释性分数，为评估比较XAI方法提供工具，助力可信AI系统发展。

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

内省微调（IFT）：训练小型语言模型进行内省

Ely Hahami, Ishaan Sinha, Lavik Jain

机构 * Harvard College（哈佛大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究小型语言模型内省能力，提出句子定位和强度比较评估范式，发现小模型有内省能力且随规模提升，引入内省微调（IFT），能提高模型内省能力，还表明内省能力可训练，对AI透明度和对齐有意义。

Comments 9 pages (excluding appendices / references), 2 figures, 3 tables

Traffic-Aware Randomized Smoothing for LLM-Based Network Intrusion Detection

基于大语言模型的网络入侵检测的流量感知随机平滑

Zhenpeng Li

机构 * Guangzhou Health Science College（广州健康科学学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究基于大语言模型的网络入侵检测系统对流量操纵的鲁棒性，提出流量感知随机平滑方法TA-RS，通过在特定子空间注入噪声，提升认证准确率，不同数据集表现有差异，还探究了方法局限性及改进策略。

Comments 44 pages, 14 figures, 14 tables. Submitted to Expert Systems with Applications

Analogical Deep Research: Retrieving and Integrating Historical Analogies for Foresight Analysis

类比深度研究：检索和整合历史类比以进行前瞻性分析

Yongqiang Chen, Guangyi Chen, Yuewen Sun, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出类比深度研究（ADR）任务及ADR-bench，发现LLM智能体找类比能力差。基于理论分析提出ADR原则，构建因果类比研究者（CANA）框架，提升历史类比生成效果，超越现有智能体，案例研究证实其利用历史类比的有效性。

Comments Ongoing project

Federated Explainable Artificial Intelligence: Roles, Architectures, Evaluation, and Open Challenges

联邦可解释人工智能：角色、架构、评估及开放挑战

Masoume Gholizade, Fabrizio Ruffini, Pietro Ducange, Francesco Marcelloni

机构 * Department of Information Engineering, University of Pisa（比萨大学信息工程系） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文综述联邦可解释人工智能（FedXAI）范式，介绍其分类法，回顾多种方法及评估实践，讨论不足，识别如非IID数据下可解释性等关键挑战，为设计可信、透明且隐私保护的联邦人工智能系统提供参考。

Comments 68 pages, 4 figures

Journal ref Expert Systems with Applications, Volume 331, 2026, 133183

Auditing the Risk Claims of Distributional Reinforcement Learning

审核分布强化学习的风险声明

Hari Prasad

机构 * Hari Prasad 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究分布强化学习智能体风险声明真实性，结合决策指标与统计工具审核，发现多数声明被驳斥，风险反映训练假象，阳性对照证实部分真实声明，训练和集成无法消除问题，重新校准仅否定声明，还记录审核陷阱。

Comments 25 pages, 8 figures, 3 tables (main text); includes supplementary material

Filtering Harmful Actions Isn't Enough: Phantom Transfer in Agentic SDF

过滤有害行为是不够的：智能体自反决策函数中的幻影转移

Chinmayi Dixit

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究在含对抗交互的合成智能体轨迹训练的影响，通过微调Llama 3.3 70B Instruct并评估，发现有害行为过滤不足，生成过程引入失调倾向且分散编码，依赖生成模型，安全基准难区分影响，强调动作级过滤无法确保合成智能体训练数据安全。

A Personalized Computational Framework for Assessing the Sufficiency of Partially Observed Data in Healthcare AI models

用于评估医疗保健人工智能模型中部分观测数据充分性的个性化计算框架

Qingchu Jin, Felistas Mazhude, Jamie B. Rabb, Robert S. Kramer, Douglas B. Sawyer, Raimond L. Winslow

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对医疗保健人工智能模型部分观测数据问题，提出特征充分性分析（FSA），通过估计缺失变量分布来评估数据充分性，经案例研究验证其能进行患者特定评估、提供特征排序方法等，助力医疗人工智能系统部署。

Riemannian Geometry for Pre-trained Language Model Embeddings

预训练语言模型嵌入的黎曼几何

Szczepan Konior, Alexandre Quemy, Przemysław Klocek, Bartłomiej Sobieski, Grégoire Cattan

机构 * IBM Automation and AI（IBM自动化与人工智能） ； Hother（霍瑟） ； University of Warsaw（华沙大学） ； Centre for Credible AI, Warsaw University of Technology（华沙理工大学可信人工智能中心） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究预训练语言模型嵌入的几何结构，提出黎曼均值池化方法，通过提取回拉度量并聚合，在三个数据集上RMP优于欧几里得均值池化，消融实验定位增益来源，训练好的编码器在特定数据集贡献额外信号。