AI 大模型
大模型数学、逻辑、规划、多步推理和测试时计算能力。
FlameVQA: 一个基于辐射热监督的物理基础无人机野火VQA基准
机构 * National Science Foundation（国家科学基金会） ； NASA（美国国家航空航天局）
专题命中 推理评测 ：reasoning(abstract)；planning(abstract)
AI总结 提出FlameVQA，一个基于FLAME 3数据集的无人机野火多选视觉问答基准，利用配对的RGB和辐射热TIFF图像实现温度基础的推理，评估了多种MLLM在检测、定位、覆盖估计等任务上的表现。
长程LLM推理的上下文回收
机构 * Independent Researcher（独立研究员）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出ContextForge系统，通过结构化查询生成、外部记忆检索和受控合成实现上下文回收，在15轮对话基准中减少令牌消耗并保持回答质量。
FeVOS：前瞻性表达视频目标分割
机构 * Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院大数据研究所）
专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)
AI总结 提出前瞻性表达视频目标分割任务，通过推理时空线索预测未来目标，并构建FeVOS数据集和FeVOS-R1模型，实现最先进性能。
Comments Accepted by ECCV 2026. Homepage: https://henghuiding.com/FeVOS/
ASAP: 面向ML实验的以挂钟时间为中心的自动HPO研究的智能体-系统协同设计
机构 * University of Notre Dame（圣母大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出ASAP框架，通过智能体集成多种优化器并利用系统级优化（前缀稳定提示、推测并行、自适应调优）减少端到端挂钟时间，在多样HPO任务中优于基线。
GroundSet: 基于地籍数据的空间理解向量数据集
专题命中 推理评测 ：reasoning(abstract)；planning(abstract)
AI总结 针对多模态大模型在遥感精细空间理解上的不足，提出基于地籍矢量数据的大规模数据集，含510k高分辨率图像和380万标注对象，通过指令微调基准验证，标准架构可掌握细粒度空间定位。
CAVEWOMAN: 大型语言模型在语言输入和输出压缩下的行为
机构 * Independent（独立研究者） ； Adobe Research（Adobe研究院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出双通道评估协议CAVEWOMAN，发现输出压缩降低API模型成本（1.4-2.4倍），输入压缩反而增加成本（~1.15倍）并导致准确率下降和文本偏离。
物理科学中的深度研究：多智能体框架与综合基准
专题命中 推理评测 ：reasoning(abstract)；planning(abstract)
AI总结 提出PhySciBench基准评估LLM在物理科学中的深度研究能力，并开发DelveAgent多智能体框架，通过自适应规划、双粒度记忆和分层反思机制提升准确率并降低推理成本。
Comments v3: fix error and add data, codes publicly link on Abstract
脚手架下的安全性：评估条件如何影响测量的安全性
机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本研究通过62,808次盲法预注册评估，测试了六种前沿模型在四种部署配置下的安全性，发现脚手架架构对安全性影响较小，而格式转换（如选择题与开放式问题）可导致5-20个百分点的测量差异，且模型-脚手架间存在显著异质性，质疑了单一综合安全性分数的实用性。
Comments 74 pages including appendices. 6 frontier models, 62,808 primary observations (~89k total). Pre-registered: OSF DOI 10.17605/OSF.IO/CJW92. Code and data: https://github.com/davidgringras/safety-under-scaffolding
无窥调优：可证明的泛化边界与鲁棒的大语言模型后训练
机构 * Meta FAIR ； LISN, Inria, CNRS（LISN，Inria，CNRS） ； NYU Courant Institute（NYU Courant学院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出BBoxER黑盒进化方法用于LLM后训练，通过隐式压缩数据诱导信息瓶颈，提供非平凡泛化边界和对数据投毒、提取攻击的鲁棒性理论保证，实验证明其有效性和隐私保护。
FiLM协调的双分支Transformer用于语言建模中的全局-局部依赖建模
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出FiLM协调的双分支Transformer，通过特征级线性调制动态协调全局与局部分支，在轻量级设置下优于单分支基线。
Comments 14 pages, 7 figures, 7 tables. Small-scale language modeling study on FiLM-coordinated dual-branch Transformer architectures, including multi-seed evaluation, cross-dataset validation, ablation studies, efficiency analysis, and parameter-matched fairness baselines
从知道到行动：基准测试LLM代理的自我意识能力
机构 * The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； University of Edinburgh（爱丁堡大学） ； Tencent（腾讯） ； University of Bristol（布里斯托大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出KAPRO框架和KAware数据集，通过解耦元认知判断与自主执行，评估LLM代理的自我意识能力，发现其与任务成功强相关但在内部能力场景中下降，开源模型易过度使用工具。
迷失在聚合中：LLM空间导航的多尺度诊断基准
专题命中 推理评测 ：reasoning(abstract)；planning(abstract)
AI总结 提出多尺度诊断基准，将迷宫导航分解为局部、节点和全局三个认知层次，评估LLM在空间推理中的失败位置，发现跨尺度聚合是主要瓶颈。
PhyGDPO: 物理感知的分组直接偏好优化以实现物理一致的文本到视频生成
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Meta BizAI（Meta商业人工智能）
专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)
AI总结 提出PhyAugPipe构建大规模物理增强数据集PhyVidGen-135K，并设计PhyGDPO框架，利用分组Plackett-Luce模型和物理引导奖励机制，实现物理一致的文本到视频生成。
Comments ECCV 2026
AD-Bench: 面向LLM智能体的真实世界、轨迹感知广告分析基准
机构 * Tencent（腾讯）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出AD-Bench基准，通过动态真实答案管道和轨迹感知评估，衡量LLM智能体在真实广告分析任务中的多轮工具协作能力，发现最优模型在复杂任务上仍有显著差距。
Comments 16 pages, 11 figures
SteuerLLM：用于德国税法分析的本地化专业大语言模型
机构 * Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg（模式识别实验室，弗赖堡-亚历山大大学埃尔兰根-纽伦堡） ； Erlangen National High Performance Computing Center, Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根国家高性能计算中心，弗赖堡-亚历山大大学埃尔兰根-纽伦堡） ； DATEV eG, Nuremberg, Germany（DATEV eG，纽伦堡，德国） ； Bavarian AI Taxation Laboratory, Department of Computer Science, University of Technology Nuremberg（巴伐利亚人工智能税收实验室，技术大学纽伦堡计算机科学系） ； Chair for Tax Law and Public Law, Friedrich-Alexander-Universität Erlangen-Nürnberg（税法与公共法教授职位，弗赖堡-亚历山大大学埃尔兰根-纽伦堡） ； Chair of Computer Science 10, Friedrich-Alexander-Universität Erlangen-Nürnberg（计算机科学10号教授职位，弗赖堡-亚历山大大学埃尔兰根-纽伦堡） ； Lab for AI in Medicine, RWTH Aachen University（医学人工智能实验室，亚琛工业大学） ； Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen（诊断与介入放射学系，亚琛大学医院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出SteuerLLM，一个针对德国税法的专用大语言模型，通过合成数据集训练，在法律推理任务中优于通用模型，展示了领域适应的重要性。
Journal ref Scientific Reports, Volume 16, 2026
PowerAgentBench-Dyn：电力系统动态研究中智能体AI的基准测试
专题命中 推理评测 ：reasoning(abstract)；planning(abstract)
AI总结 提出PowerAgentBench-Dyn基准，用于评估基于LLM的智能体在电力系统动态分析任务中的能力，涵盖模型质量审查和安全风险筛选两个任务。
基于大语言模型的仓库级Solidity代码生成：从提示到微调
专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)
AI总结 提出SolidityBench基准和SolidityScore指标，评估多种LLM方法在仓库级Solidity代码生成中的表现，发现监督微调最有效。
Comments 33 pages
ForecastBench-Sim：一个模拟世界预测基准
机构 * Forecasting Research Institute（预测研究所）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出基于Freeciv游戏模拟的预测基准ForecastBench-Sim，通过游戏回滚生成可控、即时可解的预测问题，用于评估AI系统的概率推理能力。
Comments 15 pages, 5 main figures, 6 appendix figures. Spotlight presentation at Forecasting as a New Frontier of Intelligence / Workshop on AI Forecasting, ICML 2026
LADBench: 图像中逻辑故障检测的基准
机构 * University of South Florida（南佛罗里达大学）
专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)
AI总结 提出LAD-Bench基准，包含1000多张合成图像的四域逻辑异常，通过分层提示协议评估模型，揭示现有VLM在隐式逻辑故障检测上的不足。
Comments Accepted to the IEEE International Conference on Development and Learning (ICDL 2026)
NarrativeWorldBench：面向长程共创音频剧的前沿饱和基准与潜在世界模型
机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Pocket FM
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出NarrativeWorldBench基准，在九种叙事结构指标上评估21个模型，并引入N-VSSM变分状态空间模型，通过Mamba-2骨干和事件条件后验在200集以上维持结构化潜在状态，在长弧一致性和可控性上超越Claude Opus 4.5。
Comments 10 pages. Accepted to the ICML 2026 Workshops on High-dimensional Learning Dynamics (HiLD) and Culture x AI
幻觉的统一定义：是世界模型的问题，笨蛋！
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出幻觉的统一定义，即用户可观察到的错误内部世界建模，并连接至HalluWorld基准测试，以区分真实幻觉与规划或奖励错误。
Comments ICML 2026. HalluWorld benchmark at https://github.com/DegenAI-Labs/HalluWorld
数字孪生驱动的自动化分拣系统中的纺织品分类与异物识别
机构 * Institute of Smart Systems Technologies（智能系统技术研究所） ； University of Klagenfurt（克雷格弗特大学） ； AAU SAL USE Laboratory（AAU SAL USE实验室） ； Silicon Austria Labs（硅 Austria 实验室）
专题命中 推理评测 ：reasoning(abstract)；planning(abstract)
AI总结 提出一种数字孪生驱动的机器人分拣系统，结合抓取预测、多模态感知和视觉语言模型，实现纺织品分类与异物检测，Qwen模型准确率达87.9%。
Comments 10 pages,single column, 5 figures, preprint for Photomet Edumet 2026 (Klagenfurt, Austria)
世界模型自蒸馏：训练世界模型以解决通用任务
机构 * Department of Computer Science（计算机科学系）
专题命中 推理评测 ：reasoning(abstract)；planning(abstract)
AI总结 提出结合自蒸馏与强化学习的框架，从预训练视频生成器中提取任务解决能力，无需配对任务视频，在基准测试中超越原始模型。
增强基于LLM的代码翻译：利用验证过的多语义表示
专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)
AI总结 提出Multisage框架，通过提取和验证多语义表示（数据流图、类型约束等）来提升LLM代码翻译的准确性和可靠性，在HumanEval-X上翻译成功率提升至2.22倍。
PreAct-Bench：大语言模型中的预测性监控基准
机构 * King’s College London（伦敦国王学院） ； National University of Singapore（新加坡国立大学） ； Southern University of Science and Technology（南方科技大学） ； Thomson Reuters Foundational Research（汤姆森路透基础研究） ； Imperial College London（伦敦帝国学院） ； The Alan Turing Institute（艾伦·图灵研究所）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出预测性监控任务，在动作执行前判断是否会导致不道德行为，并构建PreActBench基准，评估多种模型发现该任务具有挑战性。
QBugLM：基于LLM的量子软件调试的智能基准测试框架
专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)
AI总结 提出QBugLM多智能体框架，自动化量子软件调试流程，通过案例研究评估LLM调试能力，发现迭代反馈显著提升修复成功率。
Comments This paper was accepted at IEEE QSW 2026
当大型语言模型在医疗保健中失败：评估对提示变化的敏感性
机构 * Department of Computer Science and Engineering, Doha, Qatar（计算机科学与工程系，多哈，卡塔尔）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本研究系统分析了通用和医学专用LLM对提示扰动的敏感性，发现即使是微小的措辞变化也可能改变临床建议，对抗性提示可能引发有害输出，表明这些模型在临床应用中不可靠。
Comments 12 pages
CollabBench: 通过主动参与与多样化玩家基准测试和释放LLMs的协作能力
机构 * Shanghai Institute of AI for Education（上海人工智能教育研究院） ； School of Computer Science（计算机科学学院） ； East China Normal University（东华大学） ； Tencent Inc.（腾讯公司） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出CollabBench基准，通过多样化玩家模拟和协作智能体训练范式，提升LLM在合作游戏中的任务效率和情感适应能力。
Comments Accepted by ICML 2026
Almieyar-Oryx-BloomBench：一个用于视觉语言模型认知知情评估的双语多模态基准
机构 * University of British Columbia（不列颠哥伦比亚大学） ； Zuse School（Zuse学校） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 针对现有基准无法诊断视觉语言模型真实推理能力的问题，提出基于Bloom认知分类学的双语多模态基准BloomBench，系统评估六个认知层次，揭示模型在事实回忆和创造性合成方面的深层局限。
Comments Accepted to ACL 2026 Findings
OVO-S-Bench：多模态大语言模型中流式空间智能的分层基准
机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Beihang University（北京航空航天大学）
专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)
AI总结 提出OVO-S-Bench，一个完全人工标注的流式空间智能基准，包含1680个问题，涵盖四个抽象层次，评估38个MLLM，发现Gemini-3.1-Pro落后人类专家27分，流式空间微调MLLM表现不如其骨干模型。
Comments 48 pages, 12 figures, 15 tables. Project page: https://internlm.github.io/OVO-S-Bench/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈