arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型推理能力

大模型数学、逻辑、规划、多步推理和测试时计算能力。

共收录 10530 信号源:cs.CL, cs.AI, cs.LG

1. 推理评测 10530 篇

2604.06327 2026-04-09 cs.SD cs.AI 57%

A Novel Automatic Framework for Speaker Drift Detection in Synthesized Speech

一种用于合成语音中说话人漂移检测的新型自动框架

Jia-Hong Huang, Seulgi Kim, Yi Chieh Liu, Yixian Shen, Hongyi Zhu, Prayag Tiwari, Stevan Rudinac, Evangelos Kanoulas

机构 * University of Amsterdam(阿姆斯特丹大学) Georgia Institute of Technology(佐治亚理工学院) Halmstad University(哈尔姆斯塔德大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出一种自动框架,通过将说话人漂移检测转化为语音层面的二元分类任务,利用余弦相似度和大语言模型进行检测,建立了说话人漂移作为独立研究问题的理论基础。

Comments The paper has been accepted by the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06250 2026-04-09 cs.CV cs.AI 57%

DISSECT: Diagnosing Where Vision Ends and Language Priors Begin in Scientific VLMs

DISSECT:诊断视觉结束和语言先验开始的位置在科学视觉-语言模型中

Dikshant Kukreja, Kshitij Sah, Karan Goyal, Mukesh Mohania, Vikram Goyal

机构 * IIIT Delhi(德里印度理工学院)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 DISSECT通过12000个问题诊断科学VLMs中视觉与语言先验的界限,揭示了视觉信息提取与下游推理之间的差距,发现开源模型在自身描述推理中表现更优,而闭源模型无此差距,表明跨模态能力的前沿。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06233 2026-04-09 cs.AI 57%

Blind Refusal: Language Models Refuse to Help Users Evade Unjust, Absurd, and Illegitimate Rules

盲性拒绝:语言模型拒绝帮助用户规避不公正、荒谬和不合法的规则

Cameron Pattison, Lorenzo Manuali, Seth Lazar

机构 * Vanderbilt University(范德堡大学) University of Michigan(密歇根大学) Johns Hopkins University(约翰霍普金斯大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 研究探讨语言模型在面对不公正规则时的拒绝行为,发现模型在无安全风险情况下仍拒绝帮助,且其拒绝行为与规范推理能力脱节。

Comments 9 pages body text, 38 pages total, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06227 2026-04-09 cs.LG econ.EM 57%

A Benchmark of Classical and Deep Learning Models for Agricultural Commodity Price Forecasting on A Novel Bangladeshi Market Price Dataset

一种农业商品价格预测的经典与深度学习模型基准测试:基于一个新颖的孟加拉国市场价格数据集

Tashreef Muhammad, Tahsin Ahmed, Meherun Farzana, Md. Mahmudul Hasan, Abrar Eyasir, Md. Emon Khan, Mahafuzul Islam Shawon, Ferdous Mondol, Mahmudul Hasan, Muhammad Ibrahim

机构 * Southeast University, Dhaka, Bangladesh(东南大学(达卡)) University of Dhaka, Bangladesh(达卡大学)

专题命中 推理评测 :planning(abstract);分类 cs.LG

AI总结 本文基于新颖的孟加拉国市场价格数据集,评估了七种预测方法,包括经典模型和深度学习架构,揭示了农业商品价格预测的异质性及不同模型的性能差异。

Comments 26 pages, 22 figures, 7 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01840 2026-04-09 cs.AI 57%

Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models

并非所有token都同等重要:基于感知的策略优化方法用于大型视觉-语言模型

Zekai Ye, Qiming Li, Xiaocheng Feng, Ruihan Chen, Ziming Li, Haoyu Ren, Kun Chen, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology(哈尔滨工业大学) Peng Cheng Laboratory(鹏城实验室) Huawei Technologies Co., Ltd(华为技术有限公司)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出基于感知的策略优化方法PGPO,通过动态调整token级别的优势,提升多模态推理的鲁棒性与稳定性,实验显示在多个基准上提升18.7%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.04691 2026-04-09 cs.RO cs.AI cs.MA 57%

Before Humans Join the Team: Diagnosing Coordination Failures in Healthcare Robot Team Simulation

在人类加入团队之前:医疗机器人团队模拟中的协调失败诊断

Yuanchen Bai, Zijian Ding, Shaoyue Wen, Xiang Chang, Angelique Taylor

机构 * Cornell Tech(康奈尔科技校区) Department of Information Science, Cornell University(康奈尔大学信息科学系) University of Maryland, College Park(马里兰大学帕克分校) Imperial College London(伦敦帝国学院)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文通过模拟方法研究医疗机器人团队的协调失败问题,发现团队结构是协调的主要瓶颈,并提出安全的人机协作设计方法。

Comments Revised version incorporating new analysis and restructuring

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07338 2026-04-09 cs.CV cs.CL cs.MM 57%

Appear2Meaning: A Cross-Cultural Benchmark for Structured Cultural Metadata Inference from Images

Appear2Meaning: 一个跨文化的结构化文化元数据图像推理基准

Yuechen Jiang, Enze Zhang, Md Mohsinul Kabir, Qianqian Xie, Stavroula Golfomitsou, Konstantinos Arvanitis, Sophia Ananiadou

机构 * University of Manchester(曼彻斯特大学) School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院) Getty Conservation Institute(盖蒂保护研究所)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 本文提出一个跨文化的结构化文化元数据图像推理基准,评估VLMs在文化元数据推断中的表现,发现模型在不同文化和元数据类型上存在显著性能差异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07264 2026-04-09 cs.CR cs.AI 57%

Validated Intent Compilation for Constrained Routing in LEO Mega-Constellations

面向低轨巨型星座受限路由的意图验证编译

Yuanhang Li

专题命中 推理评测 :verifier(abstract);分类 cs.AI

AI总结 本文提出端到端系统,通过图神经网络路由器、语言模型意图编译器和确定性验证器,实现高阶意图到低阶路由约束的转换,确保路由安全性和网络配置的准确性。

Comments 9 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06138 2026-04-08 cs.SD cs.AI 57%

Generating Synthetic Doctor-Patient Conversations for Long-form Audio Summarization

生成用于长文本音频摘要的合成医生-患者对话

Yanis Labrak, David Grünert, Séverin Baroudi, Jiyun Chun, Pawel Cyrta, Sergio Burdisso, Ahmed Hassoon, David Liu, Adam Rothschild, Reed Van Deusen, Petr Motlicek, Andrew Perrault, Ricard Marxer, Thomas Schaaf

机构 * Idiap Research Institute(Idiap 研究所) University of Zurich(苏黎世大学) The Ohio State University(俄亥俄州立大学) Université de Toulon, Aix Marseille Univ, LIS, CNRS(土伦大学,艾克斯-马赛大学,计算机与系统实验室,法国国家科学研究中心) Stenograf Johns Hopkins University Bloomberg School of Public Health(约翰·霍普金斯大学布隆伯格公共卫生学院) Colorado School of Mines(科罗拉多矿业学院) Allegheny Health Network(阿勒格尼健康网络) University of Pittsburgh Medical Center(匹兹堡大学医学中心) ILLS, CNRS(ILLS,法国国家科学研究中心) Solventum Carnegie Mellon University(卡内基梅隆大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出生成合成医生-患者对话数据的方法,用于长文本音频摘要任务,通过多阶段流程生成包含音频和参考笔记的数据集,评估显示级联方法优于端到端模型。

Comments Submitted for review at Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06019 2026-04-08 cs.CR cs.AI 57%

CritBench: A Framework for Evaluating Cybersecurity Capabilities of Large Language Models in IEC 61850 Digital Substation Environments

CritBench:用于评估大型语言模型在IEC 61850数字变电站环境中的网络安全能力的框架

Gustav Keppler, Moritz Gstür, Veit Hagenmeyer

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出CritBench框架,用于评估大型语言模型在IEC 61850数字变电站环境中的网络安全能力,测试了五种先进模型在81个领域特定任务中的表现,发现模型在静态分析和单工具网络枚举中表现良好,但在动态任务中性能下降。

Comments 16 pages, 4 figures, 3 tables. Submitted to the 3rd ACM SIGEnergy Workshop on Cybersecurity and Privacy of Energy Systems (ACM EnergySP '26)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05875 2026-04-08 cs.AI 57%

Joint Knowledge Base Completion and Question Answering by Combining Large Language Models and Small Language Models

通过结合大语言模型和小语言模型实现知识库补全与问答的联合处理

Yinan Liu, Dongying Lin, Sigang Luo, Xiaochun Yang, Bin Wang

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院,沈阳,中国) National Frontiers Science Center for Industrial Intelligence and Systems optimization, Northeastern University, Shenyang, China(东北大学工业智能与系统优化国家级前沿科学中心,沈阳,中国)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出JCQL框架,结合大语言模型与小语言模型,通过迭代增强知识库补全与问答任务,提升两者性能。

Comments 20 pages, 11 figures

Journal ref ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.09726 2026-04-08 cs.CL 57%

Forgetting as a Feature: Cognitive Alignment of Large Language Models

作为特征的遗忘:大型语言模型的认知对齐

Alexandros Christoforos

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 研究将遗忘视为大型语言模型的认知机制,通过建立基准测试评估时间推理、概念漂移适应和联想回忆,发现模型遗忘率与人类记忆效率的权衡相似,并提出概率记忆提示策略提升长期推理性能。

Comments arXiv admin note: This submission has been withdrawn by arXiv administrators due to incorrect authorship. Author list truncated

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.22765 2026-04-08 cs.CL cs.SD eess.AS 57%

StressTest: Can YOUR Speech LM Handle the Stress?

StressTest: 你的语音语言模型能承受压力测试吗?

Iddo Yosha, Gallil Maimon, Yossi Adi

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 本文提出StressTest基准,评估语音模型在应力模式下区分语音含义的能力,发现现有模型表现不佳,并提出StresSLM模型在压力推理和检测上优于现有模型。

Comments Accepted to ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05755 2026-04-08 cs.SE cs.AI 57%

CAKE: Cloud Architecture Knowledge Evaluation of Large Language Models

CAKE:大型语言模型云架构知识评估

Tim Lukas Adam, Phongsakon Mark Konrad, Riccardo Terrenzi, Florian Girardo Lukas, Rahime Yilmaz, Krzysztof Sierszecki, Serkan Ayvaz

机构 * Centre for Industrial Software(工业软件中心) University of Southern Denmark(南丹麦大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出CAKE基准测试,评估大型语言模型对云原生软件架构的理解,涵盖四个认知层次和五个主题,通过多选和自由回答形式评估22种模型配置,发现多选准确率随参数增加而稳定,自由回答持续区分模型,推理增强提升表现,工具增强则降低小型模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05674 2026-04-08 cs.CR cs.AI 57%

From Incomplete Architecture to Quantified Risk: Multimodal LLM-Driven Security Assessment for Cyber-Physical Systems

从不完整架构到量化风险:面向网络物理系统的多模态LLM驱动安全评估

Shaofei Huang, Christopher M. Poskitt, Lwin Khin Shar

机构 * Singapore Management University(新加坡管理大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出ASTRAL方法,利用多模态LLM重构和分析网络物理系统架构,通过提示链、少样本学习和架构推理实现安全威胁识别和风险量化评估。

Comments Under submission

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05116 2026-04-08 cs.AI 57%

Uncertainty-Guided Latent Diagnostic Trajectory Learning for Sequential Clinical Diagnosis

不确定性的引导潜在诊断轨迹学习用于顺序临床诊断

Xuyang Shen, Haoran Liu, Dongjin Song, Martin Renqiang Min

机构 * University of Connecticut(康涅狄格大学) Texas A&M University(德克萨斯农工大学) NEC Laboratories America(NEC美国实验室)

专题命中 推理评测 :planning(abstract);分类 cs.AI

AI总结 本文提出基于规划LLM和诊断LLM的潜在诊断轨迹学习框架,通过后验分布优先选择高诊断信息轨迹,提升顺序临床诊断的准确率并减少检测次数。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.18911 2026-04-08 cs.LG 57%

From Human-Level AI Tales to AI Leveling Human Scales

从人类水平AI故事到AI人类尺度

Peter Romero, Fernando Martínez-Plumed, Zachary R. Tidler, Matthieu Téhénan, Sipeng Chen, Álvaro David Gómez Antón, Luning Sun, Manuel Cebrian, Lexin Zhou, Yael Moros Daval, Daniel Romero-Alvarado, Félix Martí Pérez, Kevin Wei, José Hernández-Orallo

机构 * Valencian Research Institute of Artificial Intelligence, Universitat Politècnica de València(瓦伦西亚人工智能研究所,瓦伦西亚理工大学) Leverhulme Centre for the Future of Intelligence, University of Cambridge(勒弗休姆未来智能中心,剑桥大学) The Psychometrics Centre, University of Cambridge(心理测量中心,剑桥大学) Georgia Institute of Technology(佐治亚理工学院) Harvard University(哈佛大学) Center for Automation and Robotics, Spanish National Research Council(自动化与机器人中心,西班牙国家研究委员会) Department of Computer Science, Princeton University(普林斯顿大学计算机科学系) Carnegie Mellon University(卡内基梅隆大学) University of Cambridge, Department of Computer Sciences and Technology(剑桥大学计算机科学与技术系)

专题命中 推理评测 :reasoning(abstract);分类 cs.LG

AI总结 本文提出一种框架,通过校准项目以'世界人口'为基准,建立人类锚定的共同尺度,以更准确评估AI能力。

Comments 23 pages, 10 figures. submitted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.02949 2026-04-08 cs.CL cs.CV 57%

ProMQA-Assembly: Multimodal Procedural QA Dataset on Assembly

ProMQA-Assembly:多模态装配任务问答数据集

Kimihiro Hasegawa, Wiradee Imrattanatrai, Masaki Asada, Susan Holm, Yuran Wang, Vincent Zhou, Ken Fukuda, Teruko Mitamura

机构 * Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所) National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST))

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 本文提出ProMQA-Assembly数据集,包含646个多模态问答对,用于评估装配任务中的人机交互系统,通过半自动化标注方法生成问题并结合细粒度动作标签提升多样性,验证了推理模型在复杂多模态任务中的表现。

Comments LREC 2026. Code and data: https://github.com/kimihiroh/promqa-assembly

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.02591 2026-04-08 cs.CL 57%

CharBench: Evaluating the Role of Tokenization in Character-Level Tasks

CharBench:评估字符级任务中分词作用

Omri Uzan, Yuval Pinter

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 CharBench通过大规模字符级任务评估,揭示了分词对字符级任务性能的影响,发现tokenization与正确性弱相关,而词长和字符数更关键,且长token会掩盖字符位置信息。

Comments AAAI-26

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.04791 2026-04-07 cs.CL 57%

How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling

我们离目标还有多远?对LLMs与人类专家在数学建模竞赛中的系统评估

Yuhang Liu, Heyan Huang, Yizhe Yang, Hongyan Zhao, Zhizhuo Zeng, Yang Gao

机构 * Beijing Institute of Technology(北京理工大学) Southeast Academy of Information Technology(东南信息技术研究院)

专题命中 推理评测 :reasoning(abstract);分类 cs.CL

AI总结 本文系统评估了LLMs与人类专家在数学建模竞赛中的能力差异,揭示了当前先进LLMs在执行阶段存在显著缺陷,需超越模型扩展的解决方案。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.04660 2026-04-07 cs.AI 57%

Springdrift: An Auditable Persistent Runtime for LLM Agents with Case-Based Memory, Normative Safety, and Ambient Self-Perception

Springdrift:一种可审计的持久运行时用于LLM代理,具备基于案例的记忆、规范安全性和环境自我感知

Seamus Brady

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 Springdrift通过可审计的执行子系统、基于案例的记忆层和规范安全机制,实现了LLM代理在跨会话任务连续性和环境自我感知方面的突破,展示了无显式指令下的自主诊断能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.04347 2026-04-07 cs.AI 57%

RoboPhD: Evolving Diverse Complex Agents Under Tight Evaluation Budgets

RoboPhD:在有限评估预算下演化多样化复杂智能体

Andrew Borthwick, Stephen Ash, Anthony Galczak

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文通过对比三种优化方法,在四个基准测试中展示了RoboPhD在演化多样化复杂智能体方面的优越性,特别是在抽象推理、云调度、SQL生成和金融问答任务中表现突出。

Comments 20 pages, 1 figure

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.04172 2026-04-07 cs.CV cs.AI 57%

GENFIG1: Visual Summaries of Scholarly Work as a Challenge for Vision-Language Models

GENFIG1:学术工作的视觉摘要对视觉-语言模型的挑战

Yaohan Guan, Pristina Wang, Najim Dehak, Alan Yuille, Jieneng Chen, Daniel Khashabi

机构 * Johns Hopkins University(约翰霍普金斯大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 GENFIG1基准测试要求视觉-语言模型生成能清晰表达论文核心思想的图表,强调科学理解与视觉合成的结合,揭示生成高质量学术图表的难度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07943 2026-04-07 cs.AI 57%

IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery

IV共科学家:多智能体LLM框架用于因果工具变量发现

Ivaxi Sheth, Zhijing Jin, Bryan Wilder, Dominik Janzing, Mario Fritz

机构 * CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心) Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) Jinesis AI Lab(Jinesis AI实验室) University of Toronto(多伦多大学) Vector Institute(向量研究所) EuroSafeAI Carnegie Mellon University(卡内基梅隆大学) Amazon(亚马逊)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文探讨LLM在发现因果工具变量中的作用,提出IV共科学家多智能体系统,通过测试和评估LLM恢复已知工具及避免无效工具的能力,展示LLM在大规模观测数据中发现有效工具的潜力。

Comments Paper accepted at CleaR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03758 2026-04-07 cs.SE cs.AI 57%

AutoReSpec: A Framework for Generating Specification using Large Language Models

AutoReSpec:一种利用大语言模型生成规范的框架

Ragib Shahariar Ayon, Shibbir Ahmed

机构 * Texas State University(德克萨斯州立大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出AutoReSpec框架,通过动态选择LLM和提示配置,结合协作模型反馈,提升规范生成的准确性和效率,实验显示其在成功概率和完整性上优于现有方法。

Comments 10 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03742 2026-04-07 cs.AI 57%

Structured Multi-Criteria Evaluation of Large Language Models with Fuzzy Analytic Hierarchy Process and DualJudge

结构化多标准评估大型语言模型:基于模糊层次分析法与DualJudge

Yulong He, Ivan Smirnov, Dmitry Fedrushkov, Sergey Kovalchuk, Ilya Revin

机构 * St. Petersburg State University(圣彼得堡国立大学) ITMO University(ITMO大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出基于模糊层次分析法的结构化评估方法,通过引入置信度感知的模糊AHP扩展,提升对大型语言模型评估的准确性与稳定性,提出DualJudge框架实现直观与 deliberative评估的互补。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03361 2026-04-07 cs.LG q-bio.QM 57%

The limits of bio-molecular modeling with large language models : a cross-scale evaluation

大语言模型在生物分子建模中的局限性:跨尺度评估

Yaxin Xu, Yue Zhou, Tianyu Zhao, Fengwei An, Zhixiang Ren

机构 * Southern University of Science and Technology(南方科技大学) Pengcheng Laboratory(鹏城实验室) Institute of Mechanics, Chinese Academy of Sciences(中国科学院力学研究所)

专题命中 推理评测 :chain-of-thought(abstract);分类 cs.LG

AI总结 本文通过跨尺度生物分子基准测试,揭示了大语言模型在生物分子建模中的性能与机制理解之间的差距,指出链式思维数据对生物任务的有限帮助,混合mamba-注意力架构在长序列中的有效性,以及监督微调对专业化与泛化能力的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26718 2026-04-07 cs.CY cs.AI cs.MA quant-ph 57%

Toward Evaluation Frameworks for Multi-Agent Scientific AI Systems

迈向多智能体科学AI系统的评估框架

Marcin Abram

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文探讨了多智能体科学系统评估的挑战,提出构建抗污染问题、生成可扩展任务家族及多轮交互评估方法,通过访谈量子科学家探讨AI系统交互期望对评估方法的影响。

Comments 14 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26567 2026-04-07 cs.SE cs.AI 57%

Beyond Code Snippets: Benchmarking LLMs on Repository-Level Question Answering

超越代码片段:在仓库层面评估大语言模型的问答任务

Yoseph Berhanu Alebachew, Hunter Leary, Swanand Vaishampayan, Chris Brown

机构 * Department of Computer Science, Virginia Tech(弗吉尼亚理工大学计算机科学系)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出StackRepoQA数据集,用于评估大语言模型在多项目仓库层面的问答能力,通过对比不同配置下的性能,揭示了模型在处理仓库级程序理解时的局限性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.03666 2026-04-07 cs.CV cs.AI 57%

ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos

ToG-Bench:面向任务的时空接地在第一人称视频中

Qi'ao Xu, Tianwen Qian, Yuqian Fu, Kailing Li, Yang Jiao, Jiacheng Zhang, Xiaoling Wang, Liang He

机构 * East China Normal University(华东师范大学) Fudan University(复旦大学)

专题命中 推理评测 :reasoning(abstract);分类 cs.AI

AI总结 本文提出ToG-Bench,首个面向任务的时空视频接地基准,通过任务导向的接地、显式-隐式双接地和一对一多接地特性,评估多对象和显式-隐式对象接地性能,揭示任务导向时空视频接地的挑战与性能差距。

Comments 26 pages

详情

展开后加载摘要…

URL PDF HTML 收藏