大模型对齐与安全

MHGraphBench: Knowledge Graph-Grounded Benchmarking of Mental Health Knowledge in Large Language Models

MHGraphBench: 用于评估大语言模型中心理健康知识的图知识基准

Weixin Liu, Congning Ni, Shelagh A. Mulvaney, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin

机构 * Vanderbilt University（范德比大学） ； Vanderbilt University Medical Center（范德比大学医学院） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 本文提出MHGraphBench基准，评估大语言模型在心理健康实体识别、关系判断及双跳推理能力，发现模型在实体类型识别和小关系类型判断上表现优异，但在关系预测和双跳推理上仍有不足，且输出格式可靠性对性能有显著影响。

Comments Accepted to GEM 2026, ACL 2026 Workshop; 9 pages main text plus references and appendices

Validated Hypotheses as a Lens for Human-Likeness Evaluation in AI Agents

以验证假设为视角评估AI代理的人性化程度

Xuan Liu, HaoYang Shang, Zizhang Liu, Yuanjun Feng, Guankai Zhai, Yunze Xiao, Yiwen Tu, Haojian Jin

专题命中 安全评测 ：alignment(abstract)；分类 cs.CY

AI总结 本文提出利用验证过的行为假设作为评估AI代理人性化的视角，通过HumanStudy-Bench平台对12个研究进行评估，发现代理响应在完全复制与彻底失败间极化，代理设计比模型规模对齐影响更大但效果非单调。

MuteBench: Modality Unavailability Tolerance Evaluation for Incomplete Multimodal Fusion

MuteBench: 多模态融合不完整性容忍性评估

Wugeng Zheng, Ziwen Kan, Tianlong Chen, Chen Chen, Song Wang

机构 * University of Central Florida（中央佛罗里达大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 MuteBench评估多模态融合在模态缺失和内模态缺失下的鲁棒性，发现架构类型是预测鲁棒性的最强因素，且通道独立模型对模态缺失容忍性高但对内模态缺失敏感。

Vision-Core Guided Contrastive Learning for Balanced Multi-modal Prognosis Prediction of Stroke

基于视觉核心的对比学习用于脑卒中平衡多模态预后预测

Liren Chen, Lidong Sun, Mingyan Huang, Junzhe Tang, Yinghui Zhu, Guanjie Wang, Yiqing Xia, Ting Xiao

机构 * School of Information Science and Engineering, East China University of Science and Technology（信息科学与工程学院，东华大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出三模态融合模型，通过大语言模型生成半结构化诊断文本并设计VDAFM模块，提升多模态融合鲁棒性，实现脑卒中预后预测的高精度。

Comments Corresponding author: Ting Xiao

Deepchecks: Evaluating Retrieval-Augmented Generation (RAG)

Deepchecks: 评估检索增强生成（RAG）

Assaf Gerner, Netta Madvil, Nadav Barak, Alex Zaikman, Jonatan Liberman, Liron Hamra, Rotem Brazilay, Shay Tsadok, Yaron Friedman, Neal Harow, Noam Bresler, Shir Chorev, Philip Tannor, Lior Rokach

机构 * Deepchecks, Ramat Gan, Israel（深检查，以色列拉马特甘） ； Ben-Gurion University, Beer Sheva, Israel（本· Gurion大学，以色列贝尔谢巴） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出Deepchecks框架，用于评估RAG系统，通过多维方法和根本原因分析，提升系统可靠性、相关性和用户满意度。

Coordinates of Capability: A Unified MTMM-Geometric Framework for LLM Evaluation

能力坐标：一种统一的MTMM-几何框架用于LLM评估

Adib Sakhawat, Tahsin Islam, Takia Farhin, Syed Rifat Raiyan, Hasan Mahmud, Md Kamrul Hasan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出一种统一的MTMM-几何框架，将九种评估指标统一到共享的潜在坐标空间中，通过三个正交维度分析模型能力，提供稳健且经验稳定的基准设计方法。

Comments The paper has mistake of undertaking political spaces to semantic dimensions. This needs to be removed because this is a fetal flaw in consideration. The initial hypothesis and premise needs to be rigorously formulated within the political landscape not generalizing the metrics. Hence a withdrawal for now is necessary

Comparing Developer and LLM Biases in Code Evaluation

比较开发者与LLM在代码评估中的偏见

Aditya Mittal, Ryan Shar, Zichu Wu, Shyam Agarwal, Tongshuang Wu, Chris Donahue, Ameet Talwalkar, Wayne Chi, Valerie Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出TRACE框架，评估LLM在代码评估中的偏见，发现LLM在与开发者偏好对齐方面表现不佳，揭示了人类与模型在代码质量标准上的系统性差异。

Descriptor: Distance-Annotated Traffic Perception Question Answering (DTPQA)

描述：距离标注的交通感知问答（DTPQA）

Nikos Theodoridis, Tim Brophy, Reenu Mohandas, Ganesh Sistu, Fiachra Collins, Anthony Scanlan, Ciaran Eising

机构 * Department of Electronic and Computer Engineering, University of Limerick（利默尼克大学电子与计算机工程系） ； Data Driven Computer Engineering Research Centre, University of Limerick（利默尼克大学数据驱动计算机工程研究中心） ； Lero, The Irish Software Research Centre, University of Limerick（利默尼克大学Lero爱尔兰软件研究中心） ； Valeo Vision Systems（瓦莱奥视觉系统） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出DTPQA基准，用于评估视觉语言模型在交通场景中的感知能力，包含合成和真实数据集，通过距离标注分析模型在远距离下的表现。

Journal ref IEEE Data Descriptions, 2026

CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering

CounselBench: 一个大规模专家评估和对抗性基准测试，用于评估大型语言模型在心理健康问答中的表现

Yahan Li, Jifan Yao, John Bosco S. Bunyi, Adam C. Frank, Angel Hsing-Chi Hwang, Ruishan Liu

机构 * Department of Computer Science, University of Southern California（南加州大学计算机科学系） ； Department of Electrical and Computer Engineering, University of Southern California（南加州大学电气与计算机工程系） ； Suzanne Dworak-Peck School of Social Work, University of Southern California（南加州大学苏兹安·德沃拉克-佩克社会工作学院） ； Department of Psychiatry and the Behavioral Sciences, University of Southern California（南加州大学精神病学与行为科学系） ； Annenberg School for Communication, University of Southern California（南加州大学安纳伯格通信学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 CounselBench通过100名心理健康专家评估GPT-4、LLaMA 3等模型在真实求助场景中的表现，揭示其在临床敏感性和安全风险方面的不足，并通过对抗性数据集深入分析模型失败模式。

Confidence Estimation for LLMs in Multi-turn Interactions

在多轮交互中对大语言模型的置信度估计

Caiqi Zhang, Ruihan Yang, Xiaochen Zhu, Chengzu Li, Tiancheng Hu, Yijiang River Dong, Deqing Yang, Nigel Collier

机构 * University of Cambridge（剑桥大学） ； Fudan University（复旦大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 本文研究了多轮对话中大语言模型置信度估计的问题，提出了一种评估框架和新指标，发现传统方法在多轮对话中表现不佳，而新方法更有效。

Comments ACL 2026 Findings

Neurosymbolic Auditing of Natural-Language Software Requirements

神经符号自然语言软件需求审计

Bethel Hall, William Eiers

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出神经符号方法用于审计自然语言软件需求，通过形式逻辑转换和SMT求解器检测歧义与不一致，提升医疗设备软件需求的严谨性。

Comments 10

Beyond Anthropomorphism: Exploring the Roles of Perceived Non-humanity and Structural Similarity in Deep Self-Disclosure Toward Generative AI

超越拟人化：探索感知非人性与结构相似性在深度自我披露向生成AI中的作用

Satoru Shibuya

机构 * Graduate School of Business and Finance, Waseda University（早稻田大学商经研究生院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文研究了生成AI中的深度自我披露，探讨了感知非人性和结构相似性作为心理因素的作用，发现高感知组更可能披露，且披露深度存在显著差异。

Comments Submitted to International Journal of Human-Computer Interaction (IJHCI). 35 pages, 2 tables, 3 figures

Efficient Geometry-Controlled High-Resolution Satellite Image Synthesis

高效几何控制高分辨率卫星图像合成

Vlad Vasilescu, Daniela Faur, Teodor Costachioiu

机构 * Univ. POLITEHNICA Bucharest SIGMA Lab , CAMPUS Institute（巴比什-博亚尔银行大学 SIGMA 实验室，CAMPUS 机构） ； Univ. POLITEHNICA Bucharest GEOSENSE , CAMPUS Institute（巴比什-博亚尔银行大学 GEOSENSE，CAMPUS 机构） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出一种高效方法，通过利用跳连特征和滑动窗口交叉注意力模块，改进扩散模型以实现几何控制的高分辨率卫星图像合成，同时探讨了当前评估方法的局限性。

Comments 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)

Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking

LLM pipelines 中隐藏的测量误差扭曲了注释、评估和基准测试

Solomon Messing

机构 * Center for Social Media, AI, and Politics（社交媒体、人工智能与政治中心） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 本文分析了LLM评估流程中隐藏的测量误差来源，通过设计研究减少总评估误差，并展示改进后的精度和基准测试效果。

Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?

Agent^2 RL-Bench: 能否让LLM代理在训练后设计自主强化学习？

Wanyi Chen, Xiao Yang, Xu Yang, Tianming Sha, Qizheng Li, Zhuo Wang, Bowen Xian, Fang Kong, Weiqing Liu, Jiang Bian

机构 * Soochow University（苏州大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Stony Brook University（石溪大学） ； The University of Chicago（芝加哥大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 Agent2 RL-Bench评估LLM代理在训练后自主设计、实现、调试和执行提升基础模型的管道能力，展示代理在强化学习中的智能行为与局限性。

Comments 37 pages, 7 figures, 20 tables

Quantitative Certification of Agentic Tool Selection

代理工具选择的定量认证

Jehyeok Yeon, Isha Chaudhary, Gagandeep Singh

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出LLMCert-T框架，通过统计方法为代理工具选择流程提供高置信度的正确性上限，揭示当前LLM代理在干扰选择和Top-N饱和规格下的脆弱性。

When Does Hierarchy Help? Benchmarking Agent Coordination in Event-Driven Industrial Scheduling

何时层级有助于？事件驱动工业调度中的代理协调基准测试

Ziqi Wang, Yuhao Yang, Zhiwei Ling, Wenzhuo Qian, Hailiang Zhao

机构 * Zhejiang University（浙江大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文通过DESBench基准测试，探讨不同协调范式在复杂环境中的表现，揭示层级结构对代理系统行为的影响及设计权衡。

SMA: Submodular Modality Aligner For Data Efficient Multimodal Learning

SMA：用于数据高效多模态学习的子模ularity模态对齐器

Truong Pham, Anay Majee, Rishabh Iyer

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出SMA，通过子模ularity目标提升多模态对齐效率，利用集合形式学习更丰富的跨模态结构，在低数据场景下实现显著性能提升。

TokaMind for Power Grid: Cross-Domain Transfer from Fusion Plasma

TokaMind用于电网：从融合等离子体的跨域迁移

JC Wu, Norton Lee, Kai Siang Chen

机构 * TaiScience Research Group（TaiScience研究组） ； Fu Jen Catholic University（辅仁大学） ； Center for Geometry and Physics（几何与物理中心） ； Institute for Basic Science (IBS)（基础科学研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 TokaMind通过多模态Transformer模型在等离子体诊断数据上预训练，展现优于CNN的方法。研究发现其表示在物理不同但结构相似的领域有效，尤其在电网同步相位数据中表现最佳，提出跨域迁移框架和评估协议。

Comments 8 pages, 5 figures

IndustryBench: Probing the Industrial Knowledge Boundaries of LLMs

IndustryBench: 探索大语言模型在工业知识边界的限制

Songlin Bai, Xintong Wang, Linlin Yu, Bin Chen, Zhiang Xu, Yuyang Sheng, Changtong Zan, Xiaofeng Zhu, Yizhe Zhang, Jiru Li, Mingze Guo, Ling Zou, Yalong Li, Chengfu Huo, Liang Ding

机构 * Multimodal and Industrial AI Team（多模态与工业AI团队） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 IndustryBench通过中国国家标准和工业产品记录构建2049项工业采购问答基准，揭示LLM在工业QA中的可靠性问题，发现标准与术语能力最弱，扩展推理降低安全调整分数，安全违规率影响排行榜。

Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory

基于项目反应理论的LLM自动简答评分能力与响应难度估计

Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne

机构 * DIPF | Leibniz Institute for Research and Information in Education（德意志教育研究所 | 列支敦士登教育研究所） ； Faculty of Computer Science, Goethe University Frankfurt（法兰克福歌德大学计算机学院） ； Chemnitz University of Technology（化学工业大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出基于项目反应理论的LLM自动简答评分评估框架，分析评分准确率与响应难度的关系，揭示不同模型在评分表现上的差异及中间标签崩溃问题。

Comments accepted at BEA 2026, the 21st Workshop on Innovative Use of NLP for Building Educational Applications

Connecting the Dots: A Machine Learning Ready Dataset for Ionospheric Forecasting Models

连接点：为电离层预报模型准备的机器学习数据集

Linnea M. Wolniewicz, Halil S. Kelebek, Simone Mestici, Michael D. Vergalla, Giacomo Acciarini, Bala Poduval, Olga Verkhoglyadova, Madhulika Guhathakurta, Thomas E. Berger, Atılım Güneş Baydin, Frank Soboczenski

机构 * Department of Information and Computer Science（信息与计算机科学系） ； University of Hawai‘i at Mānoa（夏威夷大学毛纳罗亚分校） ； Department of Engineering Science（工程科学系） ； University of Oxford（牛津大学） ； Università degli Studi di Roma Sapienza（罗马大学） ； Free Flight Research Lab（自由飞行研究实验室） ； University of New Hampshire（新罕布什尔大学） ； European Space Agency (ESA)（欧洲航天局） ； NASA Jet Propulsion Laboratory（美国宇航局喷气推进实验室） ； NASA Headquarters（美国宇航局总部） ； Space Weather Technology, Research, and Education Center（空间天气技术、研究与教育中心） ； University of Colorado Boulder（科罗拉多大学博尔德分校） ； Department of Computer Science（计算机科学系） ； University of York & King’s College London（约克大学及伦敦国王学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 本文提出一个整合多种电离层和日球层数据的机器学习数据集，用于改进电离层预报模型，支持科学探索和实际应用。

Comments 8 pages, 2 figures, 2 tables. Accepted as a poster presentation in the Machine Learning for the Physical Sciences workshop at NeurIPS 2025. Dataset can be found on Zenodo (https://zenodo.org/records/18343833) or GitHub (https://github.com/FrontierDevelopmentLab/2025-HL-Ionosphere-dataset)

Constraints-of-Thought: A Framework for Constrained Reasoning in Language-Model-Guided Search

思维约束：一种在语言模型引导搜索中进行约束推理的框架

Kamel Alrashedy, Vriksha Srihari, Zulfiqar Zaidi, Ridam Srivastava, Pradyumna Tambwekar, Matthew Gombolay

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出Const-o-T框架，通过约束推理提升语言模型在多步骤任务中的规划效率和决策可靠性，适用于风险游戏、CAD代码生成和算术推理等复杂领域。

AgenticAITA: A Proof-Of-Concept About Deliberative Multi-Agent Reasoning for Autonomous Trading Systems

AgenticAITA: 关于自主交易系统中 deliberative 多智能体推理的证明概念

Ivan Letteri

机构 * Department of Information Engineering, Computer Science, and Mathematics, Center of Excellence for Research DEWS, University of L’Aquila（信息工程、计算机科学和数学系，DEWS研究中心，拉奎拉大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出AGENTICAITA框架，通过多智能体协作推理替代传统信号执行模式，实现自主交易系统中无离线训练的决策流程，展示其在金融决策中的可行性与有效性。

Question Difficulty Estimation for Large Language Models via Answer Plausibility Scoring

通过答案可信度评分估计问题难度

Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

机构 * University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出Q-DAPS方法，通过计算候选答案可信度的熵来估计问题难度，在四个数据集上表现优异，具有可解释性和鲁棒性。

Comments Accepted at ACL 2026

Journal ref Proceedings of the 64rd Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Fair Conformal Classification via Learning Representation-Based Groups

基于表示学习的公平符合分类

Senrong Xu, Yanke Zhou, Yuhao Tan, Zenan Li, Yuan Yao, Taolue Chen, Feng Xu, Xiaoxing Ma

机构 * State Key Lab of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； Birkbeck, University of London（伦敦大学伯克贝克学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文提出一种公平符合推理框架，通过学习基于表示的群体构建预测集，确保在自适应识别的子群体上实现条件覆盖，提升分类任务的公平性与可信度。

MolDeTox: Evaluating Language Model's Stepwise Fragment Editing for Molecular Detoxification

MolDeTox：评估语言模型的逐步片段编辑用于分子去毒化

Jueon Park, Wonjune Jang, Jiwoo Lee, Yein Park, Jaewoo Kang

机构 * Korea University（韩国大学） ； Myongji University（明知大学） ； AIGEN Sciences（AIGEN科技公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出MolDeTox基准，用于评估语言模型在分子去毒化中的逐步片段编辑能力，通过细粒度评估提升分子结构有效性与生成质量。

Rollout Cards: A Reproducibility Standard for Agent Research

Rollout Cards: 代理研究的可重复性标准

Charlie Masters, Ziyuan Liu, Stefano V. Albrecht

机构 * Deepflow ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出Rollout Cards作为代理研究的可重复性标准，通过保留rollout记录并声明报告规则，解决评估结果不可复现的问题。

Toward Modeling Player-Specific Chess Behaviors

朝向建模玩家特定的国际象棋行为

Loris Sogliuzzo, Aloïs Rautureau, Eric Piette

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出了一种适应冠军特定嵌入的统一Maia-2模型，结合限制性MCTS过程和基于Jensen-Shannon散度的新行为度量，以更准确地评估玩家与AI模型的行为一致性。

Cross-Model Consistency of Feature Importance in Electrospinning: Separating Robust from Model-Dependent Features

跨模型特征重要性的一致性在电纺过程中：区分稳健与模型依赖的特征

Mehrab Mahdian, Ferenc Ender, Tamas Pardy

机构 * Thomas Johann Seebeck Department of Electronics, Tallinn University of Technology, Tallinn, Estonia（塔林技术大学电子系，爱沙尼亚塔林） ； Department of Electron Devices, Budapest University of Technology（布达佩斯技术大学电子器件系） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文通过评估多种机器学习模型的特征重要性一致性，揭示了电纺过程中参数的重要性差异，指出单一模型可能不可靠，强调需跨模型验证以提高解释可靠性。