AI 大模型
大模型数学、逻辑、规划、多步推理和测试时计算能力。
LLM作为调查员：基于证据优先的鲁棒交互式问题诊断
机构 * University of Calabria（卡拉布里亚大学） ； University of Cambridge（剑桥大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出证据优先的AI方法LLM-as-an-Investigator，通过估计问题歧义、生成假设、提问澄清并更新概率，避免过早接受用户假设，提升诊断准确性。
WorldReasoner: 评估语言模型代理是否通过有效推理预测事件
机构 * Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出WorldReasoner框架，通过时间有效检索、证据质量和因果图推理三个维度评估语言模型代理的事件预测能力，发现时间有效检索是结果准确性的最强驱动因素。
FinTradeBench: 面向LLM的金融推理基准
机构 * University of Central Florida（佛罗里达中央大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出FinTradeBench基准，通过结合公司基本面与交易信号，评估大语言模型在金融推理中的表现，发现检索增强对数值和时间序列推理帮助有限。
Comments 9 pages main text, 31 pages total (including references and appendix). 5 figures, 16 tables. Preprint under review. Code and data will be made available upon publication
XCR-Bench：通过文化特定项目和霍尔三元组对大型语言模型进行跨文化推理基准测试
机构 * Department of Computer Science, National Centre for Text Mining, The University of Manchester（计算机科学系，国家文本挖掘中心，曼彻斯特大学） ； ELLIS Manchester（曼彻斯特ELLIS） ； School of Computing, Queen’s University, Ontario, Canada（计算学院，加拿大皇后大学） ； Computer Science, University of Illinois Chicago（计算机科学，伊利诺伊大学芝加哥分校） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Turku（图尔库大学） ； Department of Computer Science and Artificial Intelligence, Umm Al-Qura University, Makkah, Saudi Arabia（计算机科学与人工智能系，乌姆·阿勒·卡拉大学，麦加，沙特阿拉伯）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出XCR-Bench基准，包含4.1k平行句和1098个文化特定项目，结合Newmark框架与霍尔三元组评估LLM跨文化推理，发现模型在深层文化层面表现显著下降，且存在区域和民族宗教偏见。
Comments Under Review
语言模型如何失败：承诺性和持续性推理错误的令牌级特征
机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） ； Department of Aeronautics and Astronautics, Stanford University（航空航天工程系，斯坦福大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 通过令牌级不确定性信号，将语言模型推理失败分为承诺性失败（早期锁定错误路径）和持续性不确定性（不确定性持续累积），并在23个模型-数据集配置中验证了可预测性，为自我一致性策略提供了指导。
暗中选择：通过追踪元认知支点实现高效的推理可验证奖励强化学习
机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 针对可验证奖励强化学习（RLVR）中数据效率低的问题，提出PivotTrace框架，利用注意力动态追踪推理过程中的元认知支点，通过支点密度量化不确定性实现数据自动分流，在仅使用29.3%标注样本和2.75倍收敛加速下超越全监督模型。
MemoryDocDataSet: 联合对话记忆与长文档推理的基准测试
机构 * Northeastern University（东北大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Columbia University（哥伦比亚大学） ； Independent Researcher（独立研究者）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出MemoryDocDataSet合成基准，包含50个微世界和1000个QA对，评估系统同时处理多轮对话历史和长文档阅读理解的能力，其中75.1%的问题需要混合推理（先导航对话历史再提取文档答案），实验显示联合检索存在明显差距。
Comments 17 pages, 2 figures, 8 tables. Submitted for peer review
OckBench：衡量LLM推理效率
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Massachusetts Institute of Technology（麻省理工学院） ； NVIDIA（英伟达）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出OckBench基准，联合评估推理和编码任务中的准确性与token效率，揭示当前模型token利用率低下问题。
TimeSage-MT：用于评估智能时间序列推理的多轮基准测试
机构 * University of Oxford（牛津大学） ； VulpiVox Intelligence ； Eindhoven University of Technology（埃因霍温理工大学） ； Griffith University（格里菲斯大学） ； Squirrel Ai Learning ； East China Normal University（华东师范大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出TimeSage-MT多轮基准测试，包含240个任务和2680轮对话，覆盖8个真实领域，用于评估LLM智能体在时间序列推理中的表现，揭示其在决策导向任务中的性能下降及记忆、不确定性处理等缺陷。
FEM-Bench：评估代码生成大语言模型的结构化科学推理基准
机构 * Boston University（波士顿大学） ； Move37 Labs（Move37实验室） ； Department of Mechanical Engineering（机械工程系）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出FEM-Bench基准，通过有限元方法相关编程任务评估大语言模型在科学计算中的结构化推理能力，实验表明现有模型尚不能稳定解决所有任务。
Comments 45 pages, 5 figures, 9 tables, 7 listings
教师引导的策略优化：大策略差异下的在线推理蒸馏
机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Tsinghua University（清华大学） ； Meituan（美团） ； Meta AI ； NiuTrans Research, Shenyang, China（新译研究院，沈阳，中国）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 针对在线蒸馏中教师与学生策略差异大时反向KL监督失效的问题，提出教师引导策略优化（TGPO），通过教师直接指导学生上下文的token级生成并结合RLVR奖励，在推理基准上优于现有方法。
UA-Legal-Bench：评估大语言模型在乌克兰法律推理上的基准
机构 * SecondLayer
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 针对法律NLP基准以英语为中心的问题，构建了基于乌克兰法院判决的五个任务基准，评估11个LLM，发现少样本提示效果因任务而异，且在不平衡任务中准确率具有误导性。
Comments 13 pages, 5 figures, 4 tables. Data: https://huggingface.co/datasets/overthelex/ua-legal-bench
用大语言模型求解可满足性问题：推理能力的配对评估
机构 * University of Louisiana at Lafayette（路易斯安那州立大学拉斐特分校）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出配对公式协议和准确区分率（ADR）来评估大语言模型在SAT问题上的推理能力，发现传统指标具有误导性，而ADR能更忠实、跨表示鲁棒地评估模型。
Comments Accepted at the ACM International Conference on the Foundations of Software Engineering (FSE 2026)
ProvMind：基于来源的材料合成推理
机构 * Center for Basic Research on Materials, National Institute for Materials Science（材料基础研究センター，国家材料科学研究所） ； RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出MatProcBench基准和ProvMind框架，通过来源图推理实现材料合成中的路线、条件和因果依赖优化，在双OOD分割上达到52.84%准确率。
Persona2Web: 基于用户历史进行上下文推理的个性化Web智能体基准
机构 * Department of Artificial Intelligence, Yonsei University, Seoul, Republic of Korea（人工智能系，延世大学，首尔，大韩民国）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出Persona2Web基准，通过澄清-个性化原则评估Web智能体在真实开放网络中利用用户历史解决模糊查询的个性化能力，并引入推理感知评估框架。
Comments Accepted to ICML 2026
GlobalDentBench：一个用于评估牙科领域大语言模型临床推理能力并包含专家校准的多国基准
机构 * Division of Applied Oral Sciences and Community Dental Care, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院应用口腔科学与社区牙科护理系） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） ； Department of Periodontology, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）牙周科） ； Beijing Institute of Collaborative Innovation（北京协同创新研究院） ； Department of Orthodontics, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）正畸科） ； Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）） ； College of Future Technology, Peking University（北京大学未来技术学院） ； Freedom AI ； New Cornerstone Science Laboratory, National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University, Beijing 100871, China（新基石科学实验室、国家生物医学成像中心、膜生物学国家重点实验室、分子医学研究院、北京大学未来技术学院、生命科学中心，北京大学，北京100871，中国） ； IDG/McGovern Institute for Brain Research, Peking University, Beijing 100871, China（IDG/ McGovern脑科学研究院，北京大学，北京100871，中国） ； Division of Oral and Maxillofacial Surgery, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院口腔颌面外科系） ； Shenzhen Loop Area Institute（深圳河套学院） ； Department of Cancer Biology, Mayo Clinic Arizona, 5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA（梅奥诊所亚利桑那分部癌症生物学部门，5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA） ； Department of Conservative Dentistry, Periodontology and Digital Dentistry, LMU University Hospital, LMU Munich, Munich, Germany（慕尼黑大学医院保守牙科、牙周病学和数字牙科部门，慕尼黑，德国，慕尼黑大学） ； Division of Periodontology & Implant Dentistry, Faculty of Dentistry, The University of Hong Kong, Hong Kong, SAR, China（香港大学牙科学院牙周病学与种植牙科系，香港，中国）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出首个跨国牙科基准GlobalDentBench，包含14个专科、88个国家的8978道专家验证题目，评估三种推理层次，揭示当前大语言模型在牙科临床推理中性能随复杂度下降且存在高风险。
Hide to See: 面向VLM蒸馏中视觉锚定思维的推理前缀掩码
机构 * KAIST（韩国科学技术院） ； NVIDIA（英伟达） ； POSTECH（POSTECH大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出一种推理前缀掩码蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更依赖视觉证据，从而缓解长推理轨迹中的视觉遗忘问题，提升多模态推理性能。
Comments Pre-print
LLMs在重排序任务上的推理有多可靠？
机构 * Multiscale Networked Systems (MNS) Group, University of Amsterdam（多尺度网络系统（MNS）组，阿姆斯特丹大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 本研究分析不同训练方法对LLMs在重排序任务中语义理解的影响，并探究模型能否生成更知情的文本推理以克服透明度和数据有限的挑战。
Comments This chapter has been published in Advancements in AI From Foundations to Cross-Disciplinary Applications, Springer, 2026
超越最终答案：评估工具增强型智能体的推理轨迹
机构 * Graduate School of Data Science, KAIST, Daejeon, South Korea（数据科学研究生院，韩国科学技术院，大田，韩国） ； Department of Industrial and Systems Engineering, KAIST, Daejeon, South Korea（工业与系统工程系，韩国科学技术院，大田，韩国） ； Department of Artificial Intelligence, Yonsei University, Seoul, South Korea（人工智能系，延世大学，首尔，韩国）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 针对工具增强型LLM，提出无参考框架TRACE，通过证据库多维度评估推理轨迹的效率、幻觉和适应性，并用元评估数据集验证其有效性。
Comments International Conference on Machine Learning (ICML) 2026
语用推理提升LLM代码生成
机构 * Max Planck Institute for Informatics Saarland Campus（马克斯·普朗克信息研究所萨尔兰州分校） ； Computer Science Saarland University（萨尔兰州大学计算机科学系） ； Max Planck Institute for Software Systems Saarland Campus（马克斯·普朗克软件系统研究所萨尔兰州分校）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出CodeRSA方法，通过局部语用竞赛对候选代码进行重排序，以解决自然语言到代码生成中的歧义问题，在多个基准测试中取得最佳平均准确率。
GENSTRAT：迈向大型语言模型中的战略推理科学
机构 * Princeton University（普林斯顿大学） ； Google（谷歌）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出GENSTRAT框架，通过程序化生成不完全信息博弈环境，结合能力剖面和锯齿度度量，系统评估大型语言模型的战略推理能力。
Comments 33 pages, 8 figures, 9 tables (4 figures, 2 tables in main paper)
何时教师标记可靠？用于推理的基于位置加权的在线自我蒸馏
机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Nanyang Technological University（南洋理工大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出了一种基于位置加权的在线自我蒸馏方法，用于改进推理任务中教师标记的可靠性，通过引入分支可行性诊断来识别教师标记的可靠性，并在不同模型上验证了其有效性。
Comments Pre-print. Code is available at https://github.com/SaFo-Lab/PW-OPSD
在取消学习后使用头部条件化的候鸟审计推理轨迹记忆化声明
机构 * Northeastern University, USA（东北大学） ； University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University, USA（南方 Methodist 大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 该研究通过在DeepSeek-R1-Distill-Qwen-7B上使用LoRA记忆化的虚构作者和NPO取消学习，结合六token候鸟头部条件，审计推理轨迹记忆化声明，发现正向解析器拆分绕过间隙本身并不能识别隐藏的权重级记忆化，也不能排除其存在。
打破赢家通吃：合作策略优化提升大语言模型的多样化推理
机构 * ISEE Lab, Sun Yat-sen University（中山大学ISEE实验室）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出Group Cooperative Policy Optimization (GCPO)方法，通过改变训练范式从 rollout 竞争转向团队合作，提升大语言模型在推理任务中的准确性和解题多样性。
MediQAl: 一个用于知识和推理评估的法语医学问答数据集
机构 * Data Clinic, University Hospital of Nantes, France（南特大学医院数据诊所，法国） ； Nantes Université, École Centrale Nantes, CNRS, LS2N, France（南特大学，中央理工学院南特分校，国家科学研究中心，LS2N，法国）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 本文提出MediQAl数据集，用于评估语言模型在事实性医学记忆和现实临床场景推理方面的能力，包含32,603个法语医学问题，涵盖41个医学科目，包含三种任务，通过14个大型语言模型的评估发现事实记忆与推理任务之间存在显著性能差距。
A2RBench: 一个用于形式可验证抽象推理基准生成的自动范式
机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education（教育部多媒体可信感知与高效计算重点实验室） ； Institute of Artificial Intelligence（人工智能研究院）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出A2RBench自动范式，通过生成、扩展、评估和分析流程提升抽象推理基准生成效率，发现当前LLM在抽象推理能力上存在根本缺陷，且高信息复杂度输入可简化推理过程。
小规模可泛化提示预测模型可引导大推理模型的高效强化学习后训练
机构 * Department of Automation, Tsinghua University, Beijing, China（自动化系，清华大学，北京，中国） ； LLM Department, Tencent, Beijing, China（大模型部门，腾讯，北京，中国）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出GPS方法，通过轻量级生成模型进行提示难度的贝叶斯推断，结合中间难度优先和历史锚定多样性，提升大模型强化学习后的训练效率和测试效率。
关于视觉语言模型中文化错位与时间推理的问题
机构 * MBZUAI ； Inception
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI
AI总结 本文探讨了视觉语言模型在解读历史文物时存在的文化错位问题，通过设计TAB-VLM基准测试集评估模型的时间推理能力，发现现有模型在处理非西方文化文物时存在显著缺陷。
Comments Project Page: https://khushboo0012.github.io/tab-vlm-webpage/
conformal thinking: 用于计算预算上的推理风险控制
机构 * Johns Hopkins University, Baltimore, Maryland, USA（约翰霍普金斯大学，巴尔的摩，马里兰州，美国） ； Apple, USA（苹果公司，美国）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种风险控制框架，通过设置上界和下界阈值来优化计算预算，提升推理效率并降低错误率。
Comments ICMl 2026
ReasonCache：通过KV缓存共享加速大型推理模型服务
机构 * The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The Hang Seng University of Hong Kong（恒生大学）
专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出ReasonCache，通过共享KV缓存提升AI推理系统服务质量，实验显示吞吐量提升89.2%，平均提升40-60%，同时保持更高精度。
Comments 10 pages, 7 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈