大模型推理能力

Obshazard-bench: Benchmarking Multimodal Foundation Models for Real-Time Disaster Intelligence from Raw Earth Observation Streams

Obshazard-bench：面向原始地球观测流的实时灾害情报多模态基础模型基准测试

Fengxiang Wang, Qiuyang Yu, Yueying Li, Mingshuo Chen, Chengchi Fei, Kaiyi Xu, Lixin Gu, Wangxu Wei, Junchao Gong, Lipeng Ma, Jiong Wang, Fenghua Ling, Wenlong Zhang, Xue Yang, Wenjing Yang, Ben Fei, Long Lan

机构 * National University of Defense Technology（国防科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出Obshazard-bench基准测试，评估多模态基础模型的实时灾害情报能力，发现现有模型在将原始多通道物理观测转化为符合决策需求的灾害推理方面存在显著局限。

Benchmarks Are Not Monolithic: Sample-Level Auditing and Orchestration for LLM Evaluation

基准并非单一整体：面向大语言模型评估的样本级审计与编排

Philipp D. Siedler, Jordan Sassoon

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出样本级审计的元评估框架，标注五大基准的内部异质性，可编排复合基准子集实现模型能力针对性评估，为基准重组提供原则性方法。

Position: Evaluation Scores Are Perishable Knowledge Claims

Position: 评估分数是易逝的知识主张

Sankalp Gilda, Shlok Gilda

机构 * DeepThought Solutions（深度思考解决方案公司） ； Meta ； University of Florida（佛罗里达大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究指出语言模型评估存在信任膨胀问题，提出将评估分数视为具有形式性、范围性和有效性窗口的认知主张，建议添加元数据并采用最弱链聚合，发现HELM排行榜上两种聚合方式的前五名模型完全不重合。

Comments 7 pages, 1 figure, 1 table. Published at the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, San Diego

Journal ref Proceedings of the Fifth Workshop on Generation, Evaluation and Metrics (GEM), ACL 2026, pages 1029-1035

CRAFT: Learn the Schema, Execute the Plan

CRAFT：学习模式，执行计划

Aakash Kolekar, Sahika Genc, Shahriar Shariat, Bunyamin Sisman, Tibor Mezi, Barbara Poblete, Shree Vandana Kachroo, Calvin Chi, Parth Parmar, Ari Singer, Prayaas Jain, Cindy Barker, Benoit Dumoulin

机构 * Amazon Advertising Foundations（亚马逊广告基金会） ； Amazon Web Services Agentic AI（亚马逊网络服务代理人工智能） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究企业编码代理将自然语言分析请求转换为可执行代码时的问题，提出两阶段训练后方法 CRAFT，先进行模式剥离的 PLAN 监督微调，再用执行形状的强化学习，评估显示其在多方面有提升并减少负担。

AI Assistants Overassist

人工智能助手过度协助

Verona Teo, Raghav Jain, Tobias Gerstenberg, Max Kleiman-Weiner

机构 * Stanford University（斯坦福大学） ； University of California, San Diego（加利福尼亚大学圣地亚哥分校） ； University of Washington（华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨大语言模型作导师时，其干预方式对学习的影响。介绍Int-Bench基准，模拟学生解题、教师决定干预。在多领域评估大语言模型教师干预情况，并与人类对比，发现其干预频繁且倾向提供完整方案，表明为短期成功而非深层学习优化。

DocOCR-Eval: A Correction-Based Framework for OCR Tool Selection Without Ground Truth

DocOCR-Eval：一种无需真实标签的基于校正的OCR工具选择框架

Zihan Xu, Puzhen Wu, Lawrence Chun Man Lau, Wei Liu, Sirui Li, Yifan Peng, Yihao Ding

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对文档解析中OCR工具选择难题，尤其是标签稀缺情况，提出无标注评估框架DocOCR-Eval。它采用三阶段校正和排序策略，通过跨多个MLLM聚合改善与基于标注排名的对齐，能在现实有限标签设置中实现可靠OCR工具选择并提供实用指导。

Comments Work in progress

An Exam for Active Observers

主动观察者的测试

Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, Willie Neiswanger

机构 * University of Southern California（南加州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多模态大语言模型是否具备主动观察能力，引入ActiveVision基准测试，发现前沿模型表现不佳，即便能编写视觉代码差距仍存，表明当前模型缺乏主动视觉观察，呼吁构建闭合感知 - 推理循环的架构和训练目标。

Comments 17 pages, 8 figures, 4 tables. Project page: https://activevision.dev

AVA-VLM: Adaptive Visual Attention-Vision Language Model for In-the-Wild Construction Site Monitoring

AVA-VLM：用于野外建筑工地监测的自适应视觉注意力视觉语言模型

Younggun Kim, Taeheon Kim, Youngseo Kim, Seunghee Park

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； AI+KCIR Global Resilience Research Center（人工智能与韩国气候变化影响韧性研究中心） ； SmartInside AI Co., Ltd.（思玛特因赛德人工智能有限公司） ； Sungkyunkwan University（成均馆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 针对野外建筑工地监测，提出AVA-VLM自适应视觉注意力视觉语言模型，遵循粗到细推理策略，先对低分辨率全局图像推理，按需请求高分辨率局部裁剪，并引入区域感知思维链数据集，提升了低分辨率下的可靠性并减少视觉令牌使用。

URSA: Chemistry-Aware Benchmark for Utilitarian Retrosynthesis Assessment

URSA：用于功利性逆合成评估的化学感知基准测试

Bogdan Zagribelnyy, Ivan Ilin, Nikita Bondarev, Anton Morgunov, Arkadii Lin, Maksim Kuznetsov, Rim Shayakhmetov, Vladimir Aladinskiy, Alex Aliper, Alex Zhavoronkov

机构 * Insilico Medicine AI Limited（Insilico Medicine AI有限公司） ； Independent researcher（独立研究者） ； Insilico Medicine Canada Inc.（Insilico Medicine加拿大公司） ； Insilico Medicine Hong Kong Ltd.（Insilico Medicine香港有限公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对药物发现中合成规划任务，介绍URSA评估框架，能从形式和化学合理性角度评估合成路线，全面评估传统及基于大语言模型的逆合成解决方案，发现大语言模型在解决合成规划任务上不如专业模型。

CausalGame: Benchmarking Causal Thinking of LLM Agents in Games

因果游戏：在游戏中对大语言模型智能体的因果思维进行基准测试

Zhenhao Chen, Yongqiang Chen, Chenxi Liu, Junchi Yu, Xiangchen Song, Zijian Li, Jialin Li, Philip Torr, Bo Han, Kun Zhang

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Hong Kong Baptist University（香港浸会大学） ； University of Oxford（牛津大学） ； New York University, Abu Dhabi（纽约大学阿布扎比分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究旨在通过因果游戏基准测试大语言模型智能体的因果思维能力，让智能体设计实验、收集数据并给出解决方案。设计含多种挑战的场景，发现当前智能体因果思维能力欠佳，为评估提供了测试平台。

Comments Zhenhao, Yongqiang, and Chenxi contributed equally to the project. A short version is accepted at the Forty-Third International Conference on Machine Learning (ICML) 2026 as an Oral presentation. Project website https://causalgame.github.io/

Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images

医学视觉语言模型 HuluMed 和 MedGemma 以及通用聊天机器人 Gemma 3、ChatGPT Plus 和 Claude Pro 在真实未见伤口图像上的评估

Yunzhe Xue, Mohammed Saim Ahmed Quadri, Neal Panse, Justin W. Ady, Usman Roshan

机构 * Department of Computer Science, New Jersey Institute of Technology（新泽西理工学院计算机科学系） ； Vascular and Endovascular Surgery, Robert Wood Johnson Hospital（罗伯特·伍德·约翰逊医院血管外科） ； Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 本研究评估了六种视觉语言模型在慢性伤口分析任务上的表现，发现通用模型 ChatGPT 和 Claude 显著优于医学专用模型，表明广泛的多模态推理能力比领域知识更重要。

Office Comprehension Benchmark

办公室理解基准

Firoz Shaik, Mateus Picanço Lima Gomes, Tanvir Aumi, Jingci Wang, Milos Milunovic, Filip Basara, Ivana Jovanovic, Vishwas Suryanarayanan, Neha Nandan Kenkare, Weiyao Xie, Zhipeng Han, Zheng Zhang, Waleed Shahid, Jay Rathi, Russell Scherer, Thong Q. Nguyen, Michael Bentley, Tamara Stankovic, Rasika Chakravarthy, Vishal Chowdhary

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Office Comprehension Bench，首个联合评估LLM对Word Excel和PowerPoint文件理解的基准，包含文件保真度问答和领域问答两个赛道，测试结构与视觉感知及多领域推理能力。

Testing Frontier Large Language Models' Physics Literacy in Parallel Physical Worlds

测试前沿大语言模型在平行物理世界中的物理素养

Dong Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出四阶段诊断方法评估LLM在陌生物理框架中的推理能力，在三个平行世界测试发现定性-定量不对称及自我审查薄弱。

Comments 37 pages, 2 figures, 9 tables

DysLexLens: A Low-Resource LLM Framework for Analysing Dyslexic Learners Insights from Online Forums

DysLexLens：面向低资源场景的LLM框架，用于分析在线论坛中阅读障碍学习者的见解

Dana Rezazadegan, Atie Kia, Phongpadid Nandavong, Dominique Carlon, Jeremy Nguyen, Abhik Banerjee, James Marshall, Anthony McCosker, Yong-Bin Kang

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DysLexLens框架，通过字典过滤、知识图谱推理和评估机制，从低资源论坛数据中分析阅读障碍学习者对AI工具的使用体验。

FlameVQA: A Physically-Grounded UAV Wildfire VQA Benchmark with Radiometric Thermal Supervision

FlameVQA: 一个基于辐射热监督的物理基础无人机野火VQA基准

Mobin Habibpour, John Spodnik, Niloufar Alipour Talemi, Fatemeh Afghah

机构 * National Science Foundation（国家科学基金会） ； NASA（美国国家航空航天局） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出FlameVQA，一个基于FLAME 3数据集的无人机野火多选视觉问答基准，利用配对的RGB和辐射热TIFF图像实现温度基础的推理，评估了多种MLLM在检测、定位、覆盖估计等任务上的表现。

Context Recycling for Long-Horizon LLM Inference

长程LLM推理的上下文回收

Derek Thomas

机构 * Independent Researcher（独立研究员） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ContextForge系统，通过结构化查询生成、外部记忆检索和受控合成实现上下文回收，在15轮对话基准中减少令牌消耗并保持回答质量。

FeVOS: Foresight Expression Video Object Segmentation

FeVOS：前瞻性表达视频目标分割

Kehan Lan, Kaining Ying, Henghui Ding

机构 * Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院大数据研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 提出前瞻性表达视频目标分割任务，通过推理时空线索预测未来目标，并构建FeVOS数据集和FeVOS-R1模型，实现最先进性能。

Comments Accepted by ECCV 2026. Homepage: https://henghuiding.com/FeVOS/

ASAP: Agent-System Co-Design for Wall-Clock-Centered Auto HPO Research for ML Experiments

ASAP: 面向ML实验的以挂钟时间为中心的自动HPO研究的智能体-系统协同设计

Taicheng Guo, Haomin Zhuang, Kehan Guo, Yujun Zhou, Nitesh V. Chawla, Olaf Wiest, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ASAP框架，通过智能体集成多种优化器并利用系统级优化（前缀稳定提示、推测并行、自适应调优）减少端到端挂钟时间，在多样HPO任务中优于基线。

CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression

CAVEWOMAN: 大型语言模型在语言输入和输出压缩下的行为

Morayo Danielle Adeyemi, Ryan A. Rossi, Franck Dernoncourt

机构 * Independent（独立研究者） ； Adobe Research（Adobe研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出双通道评估协议CAVEWOMAN，发现输出压缩降低API模型成本（1.4-2.4倍），输入压缩反而增加成本（~1.15倍）并导致准确率下降和文本偏离。

Deep Research in Physical Sciences: A Multi-Agent Framework and Comprehensive Benchmark

物理科学中的深度研究：多智能体框架与综合基准

Yigeng Jiang, Tengchao Yang, Taoyong Cui, Jiaxing Wan, Yuan Wang, Weida Wang, Zhiyu Liu, Chuyi Peng, Binzhao Luo, Maoli Gao, Huaihai Huang, Yuqianer Zeng, Ziyang Zheng, Dongchen Huang, Chao Chen, Zichao Liu, Weiping Shen, Shuchen Pu, Siyu Zhou, Runmin Ma, Yusong Hu, Fei Chao, Bo Zhang, Xiawu Zheng, Zifu Wang, Lei Bai, Yunqi Cai, Shufei Zhang

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出PhySciBench基准评估LLM在物理科学中的深度研究能力，并开发DelveAgent多智能体框架，通过自适应规划、双粒度记忆和分层反思机制提升准确率并降低推理成本。

Comments v3: fix error and add data, codes publicly link on Abstract

FiLM-Coordinated Dual-Branch Transformer for Global-Local Dependency Modeling in Language Modeling

FiLM协调的双分支Transformer用于语言建模中的全局-局部依赖建模

Zhiqiang Zhou, Xu Ling, Junliang Dai

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出FiLM协调的双分支Transformer，通过特征级线性调制动态协调全局与局部分支，在轻量级设置下优于单分支基线。

Comments 14 pages, 7 figures, 7 tables. Small-scale language modeling study on FiLM-coordinated dual-branch Transformer architectures, including multi-seed evaluation, cross-dataset validation, ablation studies, efficiency analysis, and parameter-matched fairness baselines

From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents

从知道到行动：基准测试LLM代理的自我意识能力

Yifan Li, Shengbin Yue, Boyu Feng, Jinhu Qi, Bo Ke, Zixing Song, Hongru Wang, Zhongyu Wei, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； University of Edinburgh（爱丁堡大学） ； Tencent（腾讯） ； University of Bristol（布里斯托大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出KAPRO框架和KAware数据集，通过解耦元认知判断与自主执行，评估LLM代理的自我意识能力，发现其与任务成功强相关但在内部能力场景中下降，开源模型易过度使用工具。

Lost in Aggregation: A Multi-Scale Diagnostic Benchmark for LLM Spatial Navigation

迷失在聚合中：LLM空间导航的多尺度诊断基准

Yuhan jiang, Peng Luo, Liqiu Meng

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出多尺度诊断基准，将迷宫导航分解为局部、节点和全局三个认知层次，评估LLM在空间推理中的失败位置，发现跨尺度聚合是主要瓶颈。

PowerAgentBench-Dyn: A Benchmark for Agentic AI in Power System Dynamic Studies

PowerAgentBench-Dyn：电力系统动态研究中智能体AI的基准测试

Qian Zhang, Andrea Pomarico, Costas Mylonas, Magda Foti, Alberto Berizzi, Le Xie

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出PowerAgentBench-Dyn基准，用于评估基于LLM的智能体在电力系统动态分析任务中的能力，涵盖模型质量审查和安全风险筛选两个任务。

Repository-Level Solidity Code Generation with Large Language Models: From Prompting to Fine-Tuning

基于大语言模型的仓库级Solidity代码生成：从提示到微调

Shi Chen, Rongcun Wang, Yuan Tian, Xiaoyuan Xie, Wei Song, Rubing Huang

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 提出SolidityBench基准和SolidityScore指标，评估多种LLM方法在仓库级Solidity代码生成中的表现，发现监督微调最有效。

Comments 33 pages

ForecastBench-Sim: A Simulated-World Forecasting Benchmark

ForecastBench-Sim：一个模拟世界预测基准

Jaeho Lee, Nick Merrill, Ezra Karger

机构 * Forecasting Research Institute（预测研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出基于Freeciv游戏模拟的预测基准ForecastBench-Sim，通过游戏回滚生成可控、即时可解的预测问题，用于评估AI系统的概率推理能力。

Comments 15 pages, 5 main figures, 6 appendix figures. Spotlight presentation at Forecasting as a New Frontier of Intelligence / Workshop on AI Forecasting, ICML 2026

LADBench: A Benchmark for Logical Fault Detection in Images

LADBench: 图像中逻辑故障检测的基准

Sahasra Kondapalli, Lara Radovanovic, Aadi Palnitkar, Mingyang Mao, Xiaomin Lin

机构 * University of South Florida（南佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)

AI总结 提出LAD-Bench基准，包含1000多张合成图像的四域逻辑异常，通过分层提示协议评估模型，揭示现有VLM在隐式逻辑故障检测上的不足。

Comments Accepted to the IEEE International Conference on Development and Learning (ICDL 2026)

NarrativeWorldBench: A Frontier-Saturated Benchmark and a Latent World Model for Long-Horizon Co-Creative Audio Drama

NarrativeWorldBench：面向长程共创音频剧的前沿饱和基准与潜在世界模型

Logan Mann, Abdur Rahman, Mohammad Saifullah, Taaha Kazi, Vasu Sharma

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Pocket FM 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出NarrativeWorldBench基准，在九种叙事结构指标上评估21个模型，并引入N-VSSM变分状态空间模型，通过Mamba-2骨干和事件条件后验在200集以上维持结构化潜在状态，在长弧一致性和可控性上超越Claude Opus 4.5。

Comments 10 pages. Accepted to the ICML 2026 Workshops on High-dimensional Learning Dynamics (HiLD) and Culture x AI

World Model Self-Distillation: Training World Models to Solve General Tasks

世界模型自蒸馏：训练世界模型以解决通用任务

Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)

AI总结 提出结合自蒸馏与强化学习的框架，从预训练视频生成器中提取任务解决能力，无需配对任务视频，在基准测试中超越原始模型。

Enhancing LLM-Based Code Translation with Verified Multi-Semantic Representations

增强基于LLM的代码翻译：利用验证过的多语义表示

Yufu Wang, He Jiang, Hao Lin, Peiyu Zou, Ang Jia, Xiaochen Li, Zhilei Ren

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 提出Multisage框架，通过提取和验证多语义表示（数据流图、类型约束等）来提升LLM代码翻译的准确性和可靠性，在HumanEval-X上翻译成功率提升至2.22倍。