大模型推理能力

Expert-Annotated Embryo Image Dataset with Natural Language Descriptions for Evidence-Based Patient Communication in IVF

具有自然语言描述的专家标注胚胎图像数据集：用于基于证据的患者沟通的体外受精

Nicklas Neu, Thomas Ebner, Jasmin Primus, Bernhard Schenkenfelder, Raphael Zefferer, Mathias Brunbauer, Florian Kromp

机构 * Software Competence Center Hagenberg（海因斯贝格软件能力中心） ； Kepler Universitätsklinikum, Kinderwunsch Zentrum（凯普勒大学医院，生育中心） ； Wunschkind Klinik Dr. Brunbauer（布鲁纳auer生育诊所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出一个包含胚胎图像和自然语言描述的专家标注数据集，用于提升体外受精中胚胎选择的可解释性和透明度，支持基于证据的决策和患者沟通。

Comments 7 pages, 3 figures, in submission to Nature Scienfitic Data

Medical thinking with multiple images

多图像医学推理

Zonghai Yao, Benlu Wang, Yifan Zhang, Junda Wang, Iris Xia, Zhipeng Tang, Shuo Han, Feiyun Ouyang, Zhichao Yang, Arman Cohan, Hong Yu

机构 * Manning College of Information and Computer Sciences, UMass Amherst（UMass阿默斯特信息与计算机科学学院） ； Center for Healthcare Organization and Implementation Research, VA Bedford Health Care（VA贝福德医疗保健中心） ； Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； Miner School of Computer and Information Sciences, UMass Lowell（UMass洛威计算机与信息科学学院） ； Department of Electrical and Computer Engineering, UMass Lowell（UMass洛威电气与计算机工程系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出MedThinkVQA多图像医学推理基准，通过专家标注数据验证多图像整合对临床推理的重要性，发现多图像推理瓶颈在于证据提取与对齐，且增加推理时间计算效果有限。

Comments Equal contribution for the first two authors. To appear in the proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026). Code is in https://github.com/benluwang/MedThinkVQA. Dataset is in https://huggingface.co/datasets/bio-nlp-umass/MedThinkVQA

Large language models for post-publication research evaluation: Evidence from expert recommendations and citation indicators

基于大语言模型的发表后研究评估：专家推荐与引用指标的证据

Mengjia Wu, Yi Zhang, Robin Haunschild, Lutz Bornmann

机构 * Australian Artificial Intelligence Institute, Faculty of Engineering and Information Technology, University of Technology Sydney（澳大利亚人工智能研究所，工程与信息科技学院，新南威尔士大学） ； Max Planck Institute for Solid State Research（马克斯·普朗克固体物理研究所） ； Science Policy and Strategy Department, Administrative Headquarters of the Max Planck Society（马克斯·普朗克学会科学政策与战略部门，行政总部） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文探讨大语言模型在发表后同行评审中的应用，通过专家判断和引用指标对比，发现其在粗粒度评估中表现良好，但在细粒度评分上效果下降，监督微调效果最佳。

LiteSemRAG: Lightweight LLM-Free Semantic-Aware Graph Retrieval for Robust RAG

LiteSemRAG: 轻量级无大语言模型的语义感知图检索用于鲁棒性RAG

Xiao Yue, Guangzhi Qu, Lige Gan

机构 * Oakland University（奥克兰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出LiteSemRAG，一种轻量级无大语言模型的语义感知图检索框架，通过构建异构语义图并分离表层词义与上下文依赖语义，提升检索鲁棒性与效率。

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

从图表到代码：一个多模态模型的分层基准

Jiahao Tang, Henry Hengyuan Zhao, Lijian Wu, Zijian Zhang, Yifei Tao, Dongxing Mao, Yang Wan, Jingru Tan, Min Zeng, Min Li, Alex Jinpeng Wang

机构 * CSU-JPG, Central South University（中南大学CSU-JPG） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出Chart2Code基准，用于评估大多模态模型的图表理解和代码生成能力，包含三个层级任务，涵盖图表复现、编辑和长表转图表生成，测试了25种最先进的LMMs，结果显示GPT-5在编辑任务中表现不佳，凸显了该基准的挑战性。

Comments This work has been accepted by ACL 2026 Main

VeriEquivBench: An Equivalence Score for Ground-Truth-Free Evaluation of Formally Verifiable Code

VeriEquivBench：一种无需真实地面真相的正式可验证代码评估等价分数

Lingfei Zeng, Fengdi Che, Xuhan Huang, Fei Ye, Xu Xu, Binhang Yuan, Jie Fu

机构 * Huazhong University of Science and Technology（华中科技大学） ； University of Alberta（阿尔伯塔大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Hong Kong University of Science and Technology（香港科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出VeriEquivBench，通过2389个复杂算法问题评估正式可验证代码的生成与推理能力，揭示当前LLM在生成正式规范和代码方面的挑战，推动可扩展可靠编码代理的发展。

Mind's Eye: A Benchmark of Visual Abstraction, Transformation and Composition for Multimodal LLMs

Mind's Eye：多模态大语言模型的视觉抽象、转换与组合基准

Rohit Sinha, Aditya Kanade, Sai Srinivas Kancheti, Vineeth N Balasubramanian, Tanuja Ganu

机构 * CSE Dept., IIT Hyderabad（IIT海得拉巴计算机科学与工程系） ； Microsoft Research（微软研究院） ； IIT Hyderabad（IIT海得拉巴） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出Mind's Eye基准，通过A-R-T分类评估多模态大语言模型的视觉认知能力，发现人类准确率达80%，而顶级模型低于50%，揭示模型在视觉空间推理上的不足。

Capture the Flags: Family-Based Evaluation of Agentic LLMs via Semantics-Preserving Transformations

捕获旗帜：通过语义保持变换进行基于家庭的代理LLM评估

Shahin Honarvar, Amber Gorzynski, James Lee-Jones, Harry Coppock, Marek Rei, Joseph Ryan, Alastair F. Donaldson

机构 * Department of Computing, Imperial College London（帝国理工学院伦敦计算机系） ； AI Security Institute（人工智能安全研究所） ； Royal Grammar School Guildford（格里菲斯皇家文法学校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出CTF挑战家族，通过语义保持的程序变换生成等效挑战，评估代理鲁棒性和泛化能力，展示了Evolve-CTF工具及13种代理LLM配置的评估结果。

HumanLLM: Benchmarking and Improving LLM Anthropomorphism via Human Cognitive Patterns

HumanLLM：通过人类认知模式基准测试和改进LLM拟人化

Xintao Wang, Jian Yang, Weiyuan Li, Rui Xie, Jen-tse Huang, Jun Gao, Shuai Huang, Yueping Kang, Yuanli Gou, Hongwei Feng, Yanghua Xiao

机构 * Fudan University（复旦大学） ； Hello Group（Hello集团） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 HumanLLM通过构建244种心理模式和11359种场景，评估LLM拟人化的有效性，发现认知建模比单纯模拟行为更重要，其8B模型在参数更少的情况下优于Qwen3-32B。

Comments Accepted to ACL 2026 Main Conference

ConlangCrafter: Constructing Languages with a Multi-Hop LLM Pipeline

ConlangCrafter：基于多跳LLM流水线的语言构建

Morris Alper, Moran Yanuka, Raja Giryes, Gašper Beguš

机构 * Tel Aviv University（特拉维夫大学） ； Carnegie Mellon University（卡内基梅隆大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出ConlangCrafter，通过多阶段流水线实现语言构建，利用LLM的元语言能力生成一致且多样化的构想语言。

Comments Accepted to ACL 2026. Project page: https://conlangcrafter.github.io

ProtoTTA: Prototype-Guided Test-Time Adaptation

ProtoTTA：基于原型的测试时间适应

Mohammad Mahdi Abootorabi, Parvin Mousavi, Purang Abolmaesumi, Evan Shelhamer

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Queen’s University（女王大学） ； Vector Institute（向量研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 ProtoTTA通过利用中间原型信号提升模型在分布偏移下的鲁棒性，同时恢复原型激活的语义聚焦，改进了标准输出熵最小化方法。

Comments ICLR 2026 Test-Time Updates (TTU) Workshop

Reward Modeling for Scientific Writing Evaluation

科学写作评估的奖励建模

Furkan Şahinuç, Subhabrata Dutta, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science and Hessian Center for AI (hessian.AI) Technical University of Darmstadt（普遍知识处理实验室（UKP实验室）计算机科学系海德堡人工智能中心（hessian.AI）达姆施塔特技术大学） ； Konrad Zuse School of Excellence in Learning and Intelligent Systems (ELIZA)（康拉德·祖斯卓越学习与智能系统学校（ELIZA）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出高效的开源奖励模型，通过两阶段训练框架提升科学写作评估的准确性和鲁棒性，实现跨任务泛化和动态评分标准适应。

Comments Accepted to ACL 2026 (Main). Project page: https://ukplab.github.io/acl2026-expert-rm/

MM-Telco: Benchmarks and Multimodal Large Language Models for Telecom Applications

MM-Telco: 电信应用的多模态大语言模型基准与工具

Anshul Kumar, Gagan Raj Gupta, Manish Rai, Apu Chakraborty, Ashutosh Modi, Abdelaali Chaoub, Soumajit Pramanik, Moyank Giri, Yashwanth Holla, Sunny Kumar, M. V. Kiran Sooraj

机构 * IIT Bhilai（比哈尔理工学院） ； IIT Kanpur（坎pur理工学院） ； INPT（伊斯兰北方技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出MM-Telco，为电信领域设计的多模态基准和模型，旨在解决领域特定挑战，通过基准任务和实验验证提升大语言模型在电信中的性能。

Self-Aligned Reward: Towards Effective and Efficient Reasoners

自对齐奖励：迈向高效且有效的推理器

Peixuan Han, Adit Krishnan, Gerald Friedland, Jiaxuan You, Chris Kong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出自对齐奖励(SAR)，通过补充可验证奖励以提升推理准确性和效率，实验表明SAR在4个模型7个基准上提升了4%的准确率并降低了30%的计算成本。

A PennyLane-Centric Dataset to Enhance LLM-based Quantum Code Generation using RAG

面向增强基于LLM的量子代码生成的PennyLane数据集

Abdul Basit, Nouhaila Innan, Muhammad Haider Asif, Minghao Shao, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique

机构 * Center for Quantum and Topological Systems (CQTS)（量子与拓扑系统中心（CQTS）） ； NYUAD Research Institute（纽约大学阿布扎克研究院） ； New York University Abu Dhabi（纽约大学阿布扎克分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出PennyLang数据集，通过系统化方法提升LLM生成量子代码的性能，验证了RAG框架在增强量子代码生成中的有效性。

Comments 8 pages, 6 figures, 8 tables. Accepted at IJCNN 2026

AI-Assisted Requirements Engineering: An Empirical Evaluation Relative to Expert Judgment

人工智能辅助的需求工程：与专家判断的实证评估

Oz Levy, Ilya Dikman, Natan Levy, Michael Winokur

机构 * Faculty of Industrial Engineering and Technology Management, Holon Institute of Technology (HIT)（工业工程与技术管理学院，霍隆理工学院（HIT）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文通过对比AI辅助与专家评估，探讨AI在需求质量评估中的作用，证明其在一致性与快速性上的优势，但强调专家判断在上下文解释中的必要性。

Comments 13 pages, 7 Figures

MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events

MADE：一个多标签文本分类的活体基准，用于具有不确定性量化的医疗设备不良事件

Raunak Agarwal, Markus Wenzel, Simon Baur, Jonas Zimmer, George Harvey, Jackie Ma

机构 * Department of Artificial Intelligence（人工智能系） ； Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫茨研究所） ； Berlin（柏林） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出MADE基准，用于多标签文本分类，通过持续更新医疗设备不良事件报告，避免训练数据污染，评估不同模型在不确定性量化中的表现。

Comments Accepted at ACL 2026 Mains

OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation

OccuBench：通过语言环境模拟评估AI代理在真实世界专业任务中的表现

Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

机构 * Qwen Team, Alibaba Group（通义实验室，阿里巴巴集团） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 OccuBench通过语言环境模拟评估AI代理在100个真实世界专业任务场景中的表现，涵盖10个行业类别和65个专业领域，发现大模型、新版本和高推理能力提升性能，但强代理不等于强环境模拟器。

Comments 23 pages, 8 figures, 2 tables. Project page: https://gregxmhu.github.io/OccuBench-website/

DySCO: Dynamic Attention-Scaling Decoding for Long-Context Language Models

DySCO：动态注意力缩放解码用于长上下文语言模型

Xi Ye, Wuwei Zhang, Fangcong Yin, Howard Yen, Danqi Chen

机构 * Princeton Language and Intelligence, Princeton University（普林斯顿语言与智能，普林斯顿大学） ； Department of Computer Science, New York University（纽约大学计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 DySCO通过动态调整注意力机制提升长上下文推理能力，利用检索头识别关键token并增强其权重，在多个基准测试中取得25%的性能提升。

BarrierBench: Evaluating Large Language Models for Safety Verification in Dynamical Systems

BarrierBench: 评估大型语言模型在动态系统安全验证中的性能

Ali Taheri, Alireza Taban, Sadegh Soudjani, Ashutosh Trivedi

机构 * Isfahan University of Technology（伊斯法罕技术大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出BarrierBench基准，评估大型语言模型在动态系统安全验证中的能力，通过100个动态系统案例测试语言模型在生成安全证书和协调策略中的有效性。

Comments 8th Annual Learning for Dynamics & Control Conference

Zero-Shot Retail Theft Detection via Orchestrated Vision Models: A Model-Agnostic, Cost-Effective Alternative to Trained Single-Model Systems

通过协调视觉模型实现零样本零售盗窃检测：一种无需训练单个模型的低成本替代方案

Haileab Yagersew

机构 * Paza AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出Paza框架，通过协调多个现有模型实现零样本零售盗窃检测，降低训练成本，利用多信号预过滤减少昂贵视觉语言模型调用次数，提升效率和准确性。

Comments 16 pages, 3 figures, Code to be released at https://github.com/xHaileab/Paza-AI

HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks

HWE-Bench：在真实世界硬件Bug修复任务上评估LLM代理的基准测试

Fan Cui, Hongyuan Hou, Zizhang Luo, Chenyun Yin, Yun Liang

机构 * Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 HWE-Bench是首个大规模仓库级基准，用于评估LLM代理在真实世界硬件Bug修复任务中的表现，通过417个任务实例验证代理在不同项目中的性能差异。

DR$^{3}$-Eval: Towards Realistic and Reproducible Deep Research Evaluation

DR$^{3}$-Eval: 向真实和可重复的深度研究评估迈进

Qianqian Xie, Qingheng Xiong, He Zhu, Tiantian Xia, Xueming Han, Fanyu Meng, Jiakai Wang, Zhiqi Bai, Chengkang Jiang, Zhaohui Wang, Yubin Guo, Yuqing Wen, Jiayang Mao, Zijie Zhang, Shihao Li, Yanghai Wang, Yuxiang Ren, Junlan Feng, Jiaheng Liu

机构 * Nanjing University（南京大学） ； M-A-P ； Jiutian Research（九天研究） ； National University of Singapore（新加坡国立大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出DR$^{3}$-Eval基准，用于评估多模态多文件报告生成的深度研究代理，通过真实用户材料和静态研究沙盒语料结合，引入多维评估框架，验证其与人类判断的一致性。

PeerPrism: Peer Evaluation Expertise vs Review-writing AI

PeerPrism：同行评价专业性与审稿写作AI

Soroush Sadeghian, Alireza Daqiq, Radin Cheraghi, Sajad Ebrahimi, Negar Arabzadeh, Ebrahim Bagheri

机构 * University of Toronto, Reviewerly（多伦多大学，Reviewerly） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出PeerPrism基准测试，通过20690篇同行评审数据，区分思想来源与文本来源，揭示现有检测方法在混合场景下的不足，强调需多维度建模作者身份。

AIBuildAI: An AI Agent for Automatically Building AI Models

AIBuildAI: 一个用于自动构建AI模型的AI代理

Ruiyi Zhang, Peijia Qin, Qi Cao, Li Zhang, Pengtao Xie

机构 * Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； Department of Medicine, University of California San Diego（加州大学圣地亚哥分校医学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 AIBuildAI通过分层代理架构自动构建AI模型，超越传统AutoML，实现端到端自动化，展示出在Kaggle风格任务中63.1%的获奖率。

Adaptive Query Routing: A Tier-Based Framework for Hybrid Retrieval Across Financial, Legal, and Medical Documents

自适应查询路由：一种分层框架，用于金融、法律和医疗文档的混合检索

Afshan Hashmi

机构 * TRDC, Tuwaiq Academy（TRDC，图瓦伊克学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出了一种分层框架，通过比较三种检索架构在金融、法律和医疗领域的表现，揭示了不同检索方法在不同复杂度层级上的性能差异，强调了树状推理和混合检索在跨参考和多段查询中的优势。

MM-tau-p$^2$: Persona-Adaptive Prompting for Robust Multi-Modal Agent Evaluation in Dual-Control Settings

MM-tau-p$^2$: 人格自适应提示用于双控制设置中多模态代理的鲁棒性评估

Anupam Purwar, Aditya Choudhary

机构 * Sprinklr AI 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出MM-tau-p$^2$基准，通过12个新指标评估多模态代理在双控制环境中的鲁棒性，结合用户输入解决查询，并展示即使使用前沿LLM，多模态鲁棒性等指标仍需考虑。

Comments A benchmark for evaluating multimodal both voice and text LLM agents in dualcontrol settings. We introduce persona adaptive prompting and 12 new metrics to assess robustness safety efficiency and recovery in customer support scenarios

LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence

LexGenius：一种大型语言模型在法律通用智能方面的专家级基准

Wenjin Liu, Haoran Luo, Xin Feng, Xiang Ji, Lijuan Zhou, Rui Mao, Jiapu Wang, Shirui Pan, Erik Cambria

机构 * Hainan University（海南大学） ； Nanyang Technological University（南洋理工大学） ； Nanjing University of Science and Technology（南京理工大学） ； Griffith University（格里菲斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出LexGenius，一个涵盖七个维度、十一项任务和二十项能力的中文法律基准，用于评估大型语言模型的法律通用智能，发现LLM在法律智能能力上存在显著差异，甚至优于人类法律专业人士。

IMACT-CXR: An Interactive Multi-Agent Conversational Tutoring System for Chest X-Ray Interpretation

IMACT-CXR：一种用于胸部X光解读的交互式多智能体对话教学系统

Tuan-Anh Le, Anh Mai Vu, David Yang, Akash Awasthi, Hien Van Nguyen

机构 * University of Houston（德克萨斯大学休斯敦分校） ； Emory University（埃默里大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 IMACT-CXR通过整合空间标注、注视分析、知识检索和图像基础推理，构建了一个基于AutoGen的工作流，帮助学员提升胸部X光解读能力，实现了精准的教学反馈与知识强化。

Comments Accepted at IEEE ISBI 2026. This version corresponds to the accepted manuscript

Query pipeline optimization for cancer patient question answering systems

癌症患者问答系统中的查询管道优化

Maolin He, Rena Gao, Mike Conway, Brian E. Chapman

机构 * School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院） ； Health Data Science and Biostatistics, University of Texas Southwestern Medical Center（德克萨斯西南医学中心健康数据科学与生物统计学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出了一种针对癌症患者问答系统的RAG查询管道三方面优化方法，通过改进文档检索、段落检索和语义表示，提升了回答准确性。

Comments This paper has been accepted as a Findings Paper in ACL 2026