大模型推理能力

Verifiability-First Agents: Provable Observability and Lightweight Audit Agents for Controlling Autonomous LLM Systems

可验证性优先代理：可证明的可观测性和轻量级审计代理用于控制自主大语言模型系统

Abhivansh Gupta

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种以可验证性为核心的代理架构，通过加密和符号方法实现运行时认证，嵌入轻量级审计代理并采用挑战-响应协议，以提高自主大语言模型系统的可控性和可审计性。

MemoryGraft: Persistent Compromise of LLM Agents via Poisoned Experience Retrieval

MemoryGraft: 通过中毒经验检索持续破坏LLM代理

Saksham Sahai Srivastava, Haoyu He

机构 * School of Computing University of Georgia（计算机学院 佐治亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 MemoryGraft 通过在LLM代理的长期记忆中植入恶意经验，实现对代理行为的持续破坏。

Comments 14 pages, 1 figure, includes appendix

Journey Before Destination: On the importance of Visual Faithfulness in Slow Thinking

目的地之前：视觉忠实性在慢思考中的重要性

Rheeya Uppaal, Phu Mon Htut, Min Bai, Nikolaos Pappas, Zheng Qi, Sandesh Swamy

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出视觉忠实性评估方法，通过检测并修正不忠实的感知步骤提升多模态推理的可靠性。

Comments Preprint

Quantifying the Impact of Structured Output Format on Large Language Models through Causal Inference

通过因果推理量化结构化输出格式对大语言模型的影响

Han Yuan, Yue Zhao, Li Zhang, Wuqiong Luo, Zheng Ma

机构 * Global Decision Science, American Express（全球决策科学，美国运通） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过因果推理分析结构化输出对大语言模型生成的影响，发现多数情况下无显著因果效应，但特定情况下受指令影响。

ZKPROV: A Zero-Knowledge Approach to Dataset Provenance for Large Language Models

ZKPROV: 一种用于大语言模型数据溯源的零知识方法

Mina Namazi, Alexander Nemecek, Erman Ayday

机构 * Open University of Catalonia（加泰罗尼亚开放大学） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 ZKPROV通过零知识证明实现大语言模型的数据溯源验证，保障数据隐私与效率平衡，适用于医疗等敏感领域。

Comments 16 pages, 3 figures

Needle in the Web: A Benchmark for Retrieving Targeted Web Pages in the Wild

网络中的针：评估在真实世界中检索和推理网页的基准测试

Yumeng Wang, Tianyu Fan, Lingrui Xu, Chao Huang

机构 * Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 Needle in the Web 是一个评估现代搜索代理和LLM在模糊探索性查询中检索和推理真实网页能力的基准测试，揭示了当前搜索系统在处理模糊性和复杂性时的挑战。

Comments Data and code are available at https://github.com/Tango-Whiskyman/Needle_in_the_Web

Are We on the Right Way to Assessing LLM-as-a-Judge?

我们是否在正确地评估LLM作为裁判？

Yuanning Feng, Sinan Wang, Zhengxiang Cheng, Yao Wan, Dongping Chen

机构 * Huazhong University of Science and Technology（华中科技大学） ； University of Maryland（马里兰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Sage评估套件，通过局部和全局一致性指标评估LLM作为裁判的可靠性，发现当前先进模型在复杂情况下存在显著偏好不一致问题，并揭示情境偏好现象。

EMNLP: Educator-role Moral and Normative Large Language Models Profiling

EMNLP: 教育者角色道德与规范大型语言模型画像

Yilin Jiang, Mingzi Zhang, Sheng Jin, Zengyi Yu, Xiangjie Kong, Binghao Tu

机构 * College of Education, Zhejiang University of Technology（浙江工业大学教育学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Faculty of Education, East China Normal University（华东师范大学教育学院） ； GuangHua Law School, ZheJiang University（浙江大学光华法学院） ； College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EMNLP框架，用于评估教育者角色LLM的伦理和心理一致性，通过构建88个教师特定道德困境，揭示教师角色LLM在道德推理和情感复杂情境中的表现差异。

Comments 29pages, 15 figures, Accepted by EMNLP Main Confrence

Cooperative Retrieval-Augmented Generation for Question Answering: Mutual Information Exchange and Ranking by Contrasting Layers

协作检索增强生成用于问答：通过对比层进行互信息交换和排序

Youmin Ko, Sungjong Seo, Hyunjoon Kim

机构 * Department of Artificial Intelligence, Hanyang University（人工智能学院，翰阳大学） ； Department of Data Science, Hanyang University（数据科学学院，翰阳大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 CoopRAG通过协作检索与生成机制，提升问答任务中检索与生成的准确性。

Comments Accepted to NeurIPS 2025

The Laminar Flow Hypothesis: Detecting Jailbreaks via Semantic Turbulence in Large Language Models

层流假说：通过大语言模型中的语义湍流检测对抗性突破

Md. Hasib Ur Rahman

机构 * Brac University（布拉克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出层流假说，通过检测大语言模型中的语义湍流，实现对抗性突破的实时检测与安全架构诊断。

LoopBench: Discovering Emergent Symmetry Breaking Strategies with LLM Swarms

LoopBench: 通过LLM群体发现涌现的对称性打破策略

Ali Parsaee, Yashar Talebirad, Csongor Szepesvári, Vishwajeet Ohal, Eden Redman

机构 * University of Alberta（阿尔伯塔大学） ； Network for Applied Technology（应用技术网络） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 LoopBench通过LLM群体研究分布式对称性打破策略，揭示先进模型在解决死锁问题上的能力。

Comments 11 pages, 3 figures, submitted to ANTS 2026

FIN-bench-v2: A Unified and Robust Benchmark Suite for Evaluating Finnish Large Language Models

FIN-bench-v2：一个用于评估芬兰大型语言模型的统一且稳健的基准测试集

Joona Kytöniemi, Jousia Piha, Akseli Reunamo, Fedor Vitiugin, Farrokh Mehryary, Sampo Pyysalo

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 FIN-bench-v2通过整合芬兰语言任务和评估方法，提供统一且稳健的基准测试集，用于评估芬兰大型语言模型的性能。

Towards Practical Multi-label Causal Discovery in High-Dimensional Event Sequences via One-Shot Graph Aggregation

通过一次图聚合实现高维事件序列中实用的多标签因果发现

Hugo Math, Rainer Lienhart

机构 * BMW Group（宝马集团） ； Chair for Machine Learning and Computer Vision, Augsburg University（机器学习与计算机视觉主任，艾尔堡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 CARGO通过一次图聚合方法，在高维事件序列中实现高效的多标签因果发现，适用于医疗和车辆诊断等复杂场景。

Comments Accepted at NeurIPS2025 Workshop on Structured Probabilistic Inference and Generative Modeling

RLAX: Large-Scale, Distributed Reinforcement Learning for Large Language Models on TPUs

RLAX：在TPUs上为大语言模型实现大规模分布式强化学习

Runlong Zhou, Lefan Zhang, Shang-Chen Wu, Kelvin Zou, Hanzhi Zhou, Ke Ye, Yihao Feng, Dong Yin, Alex Guillen Garcia, Dmytro Babych, Rohit Chatterjee, Matthew Hopkins, Xiang Kong, Chang Lan, Lezhi Li, Yiping Ma, Daniele Molinari, Senyu Tong, Yanchao Sun, Thomas Voice, Jianyu Wang, Chong Wang, Simon Wang, Floris Weers, Yechen Xu, Guolin Yin, Muyang Yu, Yi Zhang, Zheng Zhou, Danyang Zhuo, Ruoming Pang, Cheng Leong

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 RLAX在TPUs上实现大规模分布式强化学习，通过参数服务器架构和新数据集筛选技术，提升大语言模型的推理能力。

Comments The submission is being withdrawn because internal stakeholders determined that it is not appropriate to publish work on this topic at this time

Benchmarking Multimodal LLMs on Recognition and Understanding over Chemical Tables

在化学表格上评估多模态大语言模型的基准测试

Yitong Zhou, Mingyue Cheng, Qingyang Mao, Yucong Luo, Qi Liu, Yupeng Li, Xiaohan Zhang, Deguang Liu, Xin Li, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； Artificial Intelligence Research Institute（人工智能研究院） ； iFLYTEK Co., Ltd（iFLYTEK公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ChemTable基准，用于评估多模态模型在理解化学表格中的能力，揭示了现有模型在跨模态对齐和领域推理方面的不足。

The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data

大语言模型穿Prada：通过在线购物数据分析性别偏见和刻板印象

Massimiliano Luca, Ciro Beneduce, Bruno Lepri, Jacopo Staiano

机构 * University of Trento（特伦托大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过在线购物数据分析大语言模型中的性别偏见，发现模型在性别预测中受刻板印象影响，且减少偏见指令只能降低预测确定性，无法消除刻板印象模式。

Transparent and Coherent Procedural Mistake Detection

透明且一致的程序性错误检测

Shane Storks, Itamar Bar-Yossef, Yayuan Li, Zheyuan Zhang, Jason J. Corso, Joyce Chai

机构 * University of Michigan（密歇根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种透明且一致的程序性错误检测方法，通过生成视觉自我对话的合理性来提高检测性能，并利用NLI模型制定自动化指标以评估生成的合理性一致性。

Comments EMNLP 2025

Automating High Energy Physics Data Analysis with LLM-Powered Agents

利用LLM代理自动化高能物理数据分析

Eli Gendreau-Distler, Joshua Ho, Dongwon Kim, Luc Tomas Le Pottier, Haichen Wang, Chengxi Yang

机构 * Department of Physics, University of California, Berkeley, Berkeley, CA 94720, USA（加州大学伯克利分校物理系） ； Physics Division, Lawrence Berkeley National Laboratory, Berkeley, CA 94720, USA（伯克利国家实验室物理部） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究利用LLM代理自动化高能物理数据分析，通过混合系统结合LLM和Snakemake工作流管理器，评估代理在多阶段工作流中的性能。

Comments 16 pages, 6 figures, 2 tables, the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) - Machine Learning and the Physical Sciences (ML4PS) workshop (poster)

SimSUM: Simulated Benchmark with Structured and Unstructured Medical Records

SimSUM: 结构化和非结构化医疗记录的模拟基准

Paloma Rabaey, Stefan Heytens, Thomas Demeester

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 SimSUM通过模拟呼吸系统疾病患者记录，提供结构化与非结构化医疗数据的基准，用于研究临床信息提取及多模态数据生成。

Comments An earlier version of this dataset was published under the name SynSUM. It has since been renamed to SimSUM to avoid confusion with synthetic data generated from real data, and to emphasize the simulated nature of the dataset. The dataset is available at https://github.com/prabaey/SimSUM

Metric-Fair Prompting: Treating Similar Samples Similarly

度量公平提示：对待相似样本同样

Jing Wang, Jie Shen, Xing Niu, Tong Zhang, Jeremy Weiss

机构 * NLM（国家医学图书馆） ； Stevens Institute of Technology（史蒂文斯理工学院） ； AWS AI（亚马逊人工智能） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 度量公平提示通过促进个体公平性，提高LLM在高风险临床多选问题上的准确性。

Journal ref NeurIPS 2025 Workshop on Socially Responsible and Trustworthy Foundation Models

Leveraging KV Similarity for Online Structured Pruning in LLMs

利用键值相似性实现LLMs中的在线结构剪枝

Jungmin Lee, Gwangeun Byeon, Yulhwa Kim, Seokin Hong

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Token Filtering方法，利用键值相似性实现在线结构剪枝，提升LLMs推理效率与稳定性。

Procrustean Bed for AI-Driven Retrosynthesis: A Unified Framework for Reproducible Evaluation

AI驱动的逆合成回溯的普罗克鲁斯床：可重复评估的统一框架

Anton Morgunov, Victor S. Batista

机构 * Yale University（耶鲁大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RetroCast框架，通过标准化评估基础设施，揭示了基于搜索和序列的方法在可解性与路线质量上的差异，并释放了标准化数据库以促进可重复发展。

Comments 11 pages + 7 pages of SI. RetroCast is available on GitHub, see https://github.com/ischemist/project-procrustes. SynthArena is publicly available, see https://syntharena.ischemist.com/

Block Sparse Flash Attention

块稀疏Flash注意力

Daniel Ohayon, Itay Lamprecht, Itay Hubara, Israel Cohen, Daniel Soudry, Noam Elata

机构 * Technion -- Israel Institute of Technology, Haifa, Israel（技术离子-以色列理工学院, 海法, 以色列） ； Intel -- Habana Labs, Tel Aviv, Israel（英特尔 -- Habana实验室, 特拉维夫, 以色列） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 块稀疏Flash注意力通过精确计算查询-键相似性，提升长上下文推理效率并保持高准确性。

Comments 10 pages, 5 figures. Code: https://github.com/Danielohayon/Block-Sparse-Flash-Attention

Empathy by Design: Aligning Large Language Models for Healthcare Dialogue

设计中的共情：为医疗对话对齐大语言模型

Emre Umucu, Guillermina Solis, Leon Garza, Emilia Rivas, Beatrice Lee, Anantaa Kotal, Aritran Piplai

机构 * Department of Public Health Sciences, The University of Texas at El Paso, USA（公共卫生科学系，德克萨斯理工大学埃尔帕索分校） ； Department of Nursing, The University of Texas at El Paso, USA（护理系，德克萨斯理工大学埃尔帕索分校） ； Department of Rehabilitation Sciences, The University of Texas at El Paso, USA（康复科学系，德克萨斯理工大学埃尔帕索分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于DPO的对齐框架，通过优化医疗对话中事实准确性、语义连贯性和共情能力，提升AI助手在医疗场景中的可信度和人文关怀。

Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale

针对特定领域的问题回答微调BERT：迈向大学规模的自然语言处理资源

Aurélie Montfrond

机构 * Dept. of Electronic & Computer Engineering, University of Limerick（电子与计算机工程系，利默里克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过微调BERT模型，针对大学课程材料开发了首个领域特定问答系统，展示了基础模型在教育领域的应用潜力。

Comments 4 pages, 2 figures

MindEval: Benchmarking Language Models on Multi-turn Mental Health Support

MindEval: 在多轮心理健康支持中对语言模型进行基准测试

José Pombal, Maya D'Eon, Nuno M. Guerreiro, Pedro Henrique Martins, António Farinhas, Ricardo Rei

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 MindEval通过与临床心理学家合作，提出了一种自动评估语言模型在多轮心理健康对话中表现的框架，评估了12种先进模型，发现其在复杂交互中表现不佳。

ORFuzz: Fuzzing the "Other Side" of LLM Safety -- Testing Over-Refusal

ORFuzz: 测试LLM安全的'另一面' -- 检测过度拒绝

Haonan Zhang, Dongxia Wang, Yi Liu, Kexin Chen, Jiashui Wang, Xinlei Ying, Long Liu, Wenhai Wang

机构 * Zhejiang University（浙江大学） ； Zhejiang University Huzhou Institute of Industrial Control Technology（浙江大学湖州工业控制技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 ORFuzz通过进化测试框架系统检测LLM的过度拒绝现象，生成高覆盖率的测试用例并建立新基准，提升LLM安全性。

Comments Accepted by ASE 2025

When Robots Should Say "I Don't Know": Benchmarking Abstention in Embodied Question Answering

机器人何时应说'我不知道'：身体化问答中退避的基准测试

Tao Wu, Chuhao Zhou, Guangyu Zhao, Haozhi Cao, Yewen Pu, Jianfei Yang

机构 * Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了身体化问答中退避机制的重要性，通过构建AbstainEQA数据集，发现人类在退避任务中表现优异，而模型退避能力有限。

Fine-grained Narrative Classification in Biased News Articles

细粒度偏见新闻文章中的叙事分类

Zeba Afroz, Harsh Vardhan, Pawan Bhakuni, Aanchal Punia, Rajdeep Kumar, Md. Shad Akhtar

机构 * Indraprastha Institute of Information Technology Delhi（印度普拉斯塔理工大学德里） ； Bharat Electronics Limited（巴哈特电子有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出INDI-PROP数据集和FANTA/TPTC框架，用于细粒度偏见新闻文章中的叙事分类和说服技巧识别。

Blu-WERP (Web Extraction and Refinement Pipeline): A Scalable Pipeline for Preprocessing Large Language Model Datasets

Blu-WERP（网络内容提取与精炼流程）：一种用于预处理大语言模型数据集的可扩展流程

Gowtham, Sai Rupesh, Sanjay Kumar, Saravanan, Venkata Chaithanya

机构 * BluBridge Research（BluBridge研究机构） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 Blu-WERP是一种用于提升大语言模型训练数据质量的高效预处理流程，通过优化Common Crawl WARC文件，显著提高了模型性能和效率。