AI 大模型
大模型数学、逻辑、规划、多步推理和测试时计算能力。
StreetDesignAI: 通过多角色评估拓宽设计师视角
机构 * University of Maryland, College Park（马里兰大学 College Park 分校） ； University of Alabama（阿拉巴马大学） ； University of Florida（佛罗里达大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出StreetDesignAI，通过多角色评估方法帮助设计师更全面地理解骑行者需求，提升设计决策能力。
探索代码分析：利用大语言模型进行语法和语义的零样本洞察
机构 * Singapore Management University（新加坡国立大学） ； Blekinge Institute of Technology（布莱金厄学院） ； Beihang University（北航） ； State Key Laboratory of Novel Software Technology, Nanjing University（南京大学软件新技术国家重点实验室） ； The University of Tokyo（东京大学） ； University of Alberta（阿尔伯塔大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen Technology University（深圳技术大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文研究了大语言模型在代码分析中的应用，通过评估21种最先进的LLM在四种语言中的九项任务，揭示了LLM在语法解析、静态语义推断和动态推理方面的性能，发现其在跨语言泛化方面有优势，但动态推理仍有限，提出了一个经过验证的评估框架。
Comments Accepted at ACM Transactions on Software Engineering and Methodology (TOSEM)
DeepWeb-Bench: 一个要求大规模跨源证据和长周期推导的深度研究基准
机构 * Peking University（北京大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出DeepWeb-Bench基准，通过要求大规模证据收集、跨源验证和长周期推导，评估前沿语言模型在深度研究任务中的能力，揭示检索并非瓶颈，强弱模型失败方式不同，且模型在不同领域表现出专业性。
Comments Work in Progress. 27 pages, 10 figures, 4 tables. Project page: https://sixiongxie1001-dot.github.io/deep-research-benchmark2.0
WikiVQABench: 一个基于维基百科和维基数据的知识引导视觉问答基准
机构 * IBM Research San Jose（IBM桑 Jose研究实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出WikiVQABench，一个结合维基百科图片、文章描述和维基数据结构化知识的知识引导视觉问答基准，通过大规模语言模型生成候选多选题，并由人工审核确保事实正确性和视觉-文本一致性，评估多种视觉-语言模型在知识密集型推理中的性能。
TempGlitch: 评估视觉-语言模型在游戏视频中检测时间故障的能力
机构 * University of Alberta（阿尔伯塔大学） ； Sony Interactive Entertainment（索尼互动娱乐）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出TempGlitch基准测试，用于评估视觉-语言模型在游戏视频中检测时间故障的能力，发现现有模型在处理时间故障时表现不佳，且更密集的帧采样和更大的模型尺寸并不能有效解决这些问题。
文本分析评估框架：基于LLM和社交媒体的案例研究
机构 * School of Computer Science and Informatics, Cardiff University（计算机科学与信息学学院，卡迪夫大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文提出了一种基于问题的评估框架，通过470个手工整理的问题来评估LLM在处理聚合文本数据时的语义理解和推理能力，揭示了LLM在处理大规模文本数据时的性能瓶颈。
CTFExplorer: 通过多目标网络CTF基准测试评估LLM进攻性代理
机构 * CISPA - Helmholtz Center for Information Security（CISPA-海德堡信息安全研究中心） ； NYU Tandon School of Engineering（纽约大学坦顿工程学院） ； NYU Abu Dhabi（纽约大学阿布扎克分校） ； IIIT Hyderabad（海得拉巴印度理工学院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出CTFExplorer基准测试，通过多目标网络CTF基准测试评估LLM进攻性代理，研究问题是如何在不确定环境下评估代理的战术推理能力，核心方法是引入多目标环境测试代理的探索、优先级和攻击链能力，主要贡献是开发了可评估代理行为的框架。
检索增强的代码生成：聚焦于仓库级方法的综述
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Chinese University of Hong Kong（香港中文大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文综述了检索增强的代码生成方法，重点探讨仓库级方法，分析了其在大规模代码生成中的挑战与解决方案，总结了现有方法的分类框架及关键挑战。
GradeLegal: 自动化评分德国法律案例
机构 * University of Passau（帕绍大学） ； Deggendorf Institute of Technology（德格多夫技术学院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本研究探讨了大型语言模型能否用于自动化评分德国刑事和公法案例解决方案，通过系统评估27个专有和开源LLM，发现基于样本解决方案和评分标准的提示策略能有效模拟专家评分，尤其在公法领域达到0.91的QWK值，而在刑事法律领域仅为0.60，表明刑事法律评分任务更难。此外，集成方法能进一步提高评分一致性，并为更强的闭源单模型提供替代方案。
MemGym: 一种长时间跨度的记忆环境用于LLM智能体
机构 * Rutgers University（罗杰斯大学） ； Capital One ； Princeton University（普林斯顿大学） ； Microsoft Research（微软研究院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文提出MemGym，一种用于评估LLM智能体记忆能力的基准测试环境，通过统一现有智能体 gym 和内部记忆基础管道，提供一个记忆推理接口。MemGym 包含五个评估赛道，涵盖四个智能体领域，能够独立评估记忆性能，排除推理、检索和工具使用能力的干扰。
VBFDD-Agent 用于电动汽车电池故障检测与诊断：电池数字信号的描述性文本建模
机构 * Department of Industrial Engineering and Management, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China（工业工程与管理系，机械工程学院，上海交通大学，上海200240，中国）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本研究提出了一种基于描述性文本建模的电池信号报告方法，用于解决开放源代码电池故障报告数据集稀缺和缺乏统一维护知识表示的问题，通过构建语言语料库来改进电池健康诊断和维护，提出了VBFDD-Agent，整合了描述性电池状态文本、历史案例检索、本地维护手册和大语言模型推理，生成结构化的诊断结果和维护建议。
评估代理计划-执行管道中的时间语义缓存和工作流优化
机构 * Columbia University（哥伦比亚大学） ； IBM ； IBM Research（IBM研究院）
专题命中 推理评测 ：planning(abstract)；分类 cs.AI
AI总结 本文研究了在代理计划-执行管道中时间语义缓存和工作流优化的问题，提出两种互补的优化层以提高效率，并展示了其在工业资产操作工作流中的应用效果。
Comments 13 pages, 8 figures, 3 appendices
使用视觉-语言模型进行意大利议会演讲的转录与识别
机构 * Università degli Studi di Milano（米兰大学） ； Department of Social and Political Sciences（社会科学系） ； Department of Literary Studies, Philology and Linguistics（文学研究、语言学与语言学系） ； Department of Computer Science（计算机科学系）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出基于视觉-语言模型的 pipeline，用于自动转录、语义分割和实体链接意大利议会演讲，提升转录质量和发言者标注。
Comments to be published in: ParlaCLARIN V: Interoperability, Multilinguality, and Multimodality in Parliamentary Corpora, organized within the 15th Language Resource and Evaluation Conference (2026)
视觉-语言模型是否准备好进行饮食评估？探索AI驱动的食品图像识别的下一个前沿
机构 * Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid（生物度量与数据模式分析实验室，马德里自治大学） ； IMDEA Food, CEI UAM+CSIC（IMDEA食品，CEI UAM+CSIC）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力，提出了一个新的评估指标，并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
Comments Accepted at IEEE/CVF Computer Vision and Pattern Recognition Conference workshops 2025 (CVPRw) 10 pages, 4 figures, 2 tables
Journal ref 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025, pp. 1-10
ShadeBench: 一个用于可持续社会建筑阴影模拟的基准数据集
机构 * School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） ； Global Futures Laboratory, Arizona State University（全球未来实验室，亚利桑那州立大学）
专题命中 推理评测 ：planning(abstract)；分类 cs.AI
AI总结 本文提出ShadeBench，一个用于城市阴影理解的综合数据集和基准，通过多模态数据支持阴影生成、分割和3D建筑重建，并提供标准化评估协议和基线方法，为数据驱动的城市气候研究和热适应城市规划提供基础。
Comments 12 pages, 13 figures, 2 tables. Accepted by KDD 2026 AI for Sciences Track
ZEBRA: 零样本预算化资源分配用于LLM编排
机构 * Tel Aviv University（特拉维夫大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG
AI总结 该研究提出ZEBRA框架，通过将多阶段预算分配转化为连续非线性背包问题，有效解决多智能体流水线中预算分配问题，实验显示其在多个任务上均优于传统方法。
MedicalBench: 评估大型语言模型以改进医疗概念提取
机构 * Optum AI
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文提出MedicalBench，一个用于评估大型语言模型在医疗概念提取中的表现的基准，重点在于隐含概念的提取和证据 grounding，通过多阶段流程构建数据集并定义两种互补的评估任务，揭示了隐含概念提取的挑战。
面向证据不确定性和幻觉的面级追踪（RAG）
机构 * Johannes Kepler University Linz（约翰内斯·开普勒大学林茨） ； Linz Institute of Technology（林茨技术学院） ； Institute of Computational Perception（计算感知研究所） ； Artificial Intelligence Lab（人工智能实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文提出了一种面向问答任务的面级诊断框架，通过分解每个输入问题为原子推理面，评估证据充分性和基础性，揭示RAG系统中幻觉产生的根源在于生成过程中证据整合的方式，而非检索准确性。
VL-DPO：基于视觉语言的偏好对齐自动驾驶微调
机构 * Waymo
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出VL-DPO，一种基于视觉语言模型的框架，通过零样本推理生成偏好对来微调自动驾驶模型，以提升与人类驾驶偏好的对齐程度，实验表明该方法在RFS和ADE指标上均优于基线模型。
Comments Published in International Conference on Robotics and Automation (ICRA), 2026 8 pages, 6 figures, 4 tables
基于LLM的论证挖掘系统
机构 * Universidade de São Paulo Center for Artificial Intelligence (C4AI)（圣保罗大学人工智能中心（C4AI）） ； Instituto Mauá de Tecnologia Núcleo de Sistemas Eletrônicos Embarcados (NSEE)（马乌阿技术研究所电子系统嵌入核（NSEE））
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文提出一个基于大语言模型的端到端系统，用于从自然语言文本中提取论证并构建抽象论证图，通过多阶段流程识别论证组件、选择相关元素并揭示其逻辑关系，实验表明该系统能有效恢复论证结构并在不同标注方案下表现良好。
Soohak：一个由数学家精心编订的基准，用于评估大语言模型的研究级数学能力
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文提出Soohak基准，通过64位数学家自主编写439道问题，评估大语言模型在研究级数学问题上的能力，同时引入拒绝子集以测试模型对不恰当问题的识别能力。
Comments Under review, For questions or model-evaluation requests, contact $guijin.son@snu.ac.kr$
CogScale: 用于序列处理的可扩展基准
机构 * Mnemosyne ； Inria（法国国家信息与自动化技术研究所） ； ENS PSL（巴黎社会科学高等学院） ； École normale supérieure (Ulm)（巴黎高等师范学院） ； Bordeaux, France（法国波尔多） ； Paris, France（法国巴黎）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出CogScale，一个包含14个可扩展合成任务的基准，用于评估不同架构在不同参数规模下的认知和记忆能力，通过标准化轻量框架加速架构创新验证。
时间到REFLECT：我们能否信任LLM裁判来评估基于证据的研究代理？
机构 * Yale University（耶鲁大学） ； IBM Research（IBM研究院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL
AI总结 本文提出REFLECT基准，用于评估LLM裁判在代理环境中的细粒度失败检测，揭示当前LLM裁判在推理、工具使用和报告质量上的可靠性不足，为构建更可靠的评估流程提供指导。
多智能体大语言模型辩论中的顺序共识：一种基于Wald-SPRT的计算控制器与基于校准的故障检测
机构 * Cisco（思科）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG
AI总结 本文提出了一种基于Wald-SPRT的计算控制器，用于多智能体大语言模型辩论，通过校准来检测故障，从而在保证准确性的同时减少计算资源的使用。
财富低语：通过提示注入对谷歌的Agent支付协议进行红队测试
机构 * School of Computing University of Georgia Athens, USA（佐治亚大学计算机学院 美国亚特兰大） ； Department of Information Technology Kennesaw State University Kennesaw, USA（凯斯韦尔州立大学信息科技学院 美国凯斯韦尔）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文通过红队测试评估了谷歌的Agent支付协议，揭示了由于间接和直接提示注入导致的漏洞，并提出了两种攻击技术，即品牌低语攻击和宝库低语攻击，以操纵产品排名并提取敏感用户数据。
TEMPO: 通过模式分离策略优化实现可信大语言模型回测的时序执行
机构 * Department of Statistic and Data Science（统计与数据科学系）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG
AI总结 本文提出TEMPO方法，通过模式分离策略优化，解决大语言模型回测中因泄露后截止日期知识导致的评估不准确问题，核心贡献是引入双模式奖励和基于GRPO的训练流程，有效减少知识泄露并提升任务性能。
Comments 9 pages in main context
SpecX：多模态光谱的大规模基准及跨范式评估
机构 * College of Computer Science and Technology, Hunan University（湖南大学计算机科学与技术学院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG
AI总结 本文提出SpecX，一个用于多模态光谱的大规模基准，通过不同层级的数据集支持分子解析、光谱模拟和理解任务，揭示了专用光谱模型和多模态语言模型在光谱智能中的不同优势。
Comments 9 pages,1 figures
SCICONVBENCH: 评估LLM在计算科学任务公式化中的多轮澄清能力
机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； Pacific Northwest National Laboratory（太平洋西北国家实验室） ； National Renewable Energy Laboratory（国家可再生能源实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 该研究提出SCICONVBENCH基准，用于评估LLM在计算科学任务公式化中的多轮澄清能力，重点在于获取缺失信息和解决请求中的矛盾，通过结构化任务本体和基于标准的评估框架，系统测量LLM在澄清行为、对话基础性和最终规格忠实度三个维度上的表现。
CrossView Suite: 利用数据集、模型和基准 harnessing MLLMs 的跨视图空间智能
机构 * Zhejiang University（浙江大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 该研究提出CrossView Suite，通过开发CrossViewSet、CrossViewBench和CrossViewer三个组件，解决跨视图推理中的数据稀缺、评估不足和对齐机制缺失问题，提升多视图空间理解能力。
QSTRBench: 一个评估语言模型进行定性空间和时间推理能力的新基准
机构 * School of Computer Science, The University of Leeds（利兹大学计算机科学学院） ； The Alan Turing Institute（阿兰·图灵研究院） ； Tongji University（同济大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI
AI总结 本文提出QSTRBench基准，用于评估大语言模型在定性空间和时间推理方面的能力，通过不同推理算法规则的组合性推理、反向关系和概念邻域等任务，展示了不同模型在处理不同算法规则时的表现差异，发现PA最简单而RCC-22最难。
Comments 74 pages, 20 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈