Wiki-Talkie: Multilingual Benchmarking of Persona-Based Agents on Real-World Discussions
Amazon(亚马逊)
该研究提出Wiki-Talkie多语言真实对话基准,评估人格化智能体行为保真度,发现评论历史优于显式人格,且模型存在亲和性偏见。
2026-10-07 cs.AI cs.CL
Beyond the Grounding Bottleneck: Datalog Techniques for Inference in Probabilistic Logic Programs (Technical Report)
Cardiff University(卡迪夫大学);Samsung AI Research(三星人工智能研究院)
概率逻辑编程中的最先进的推理方法通常通过相对于感兴趣的查询计算相关的基础程序开始,然后使用该程序进行使用知识编译和加权模型计数的概率推理。我们提出了一种替代方法,使用高效的数据库技术集成知识编译与正向推理与非地面程序。这有效地消除了接地瓶颈,到目前为止,已经禁止概率逻辑编程的查询应答场景中的应用程序在知识图谱,同时还提供了快速近似的经典基准在该领域。
2019-11-18 cs.AI
BENCHIP: Benchmarking Intelligence Processors
Cambricon(寒武纪);Alibaba Infrastructure Service, Alibaba Group(阿里巴巴集团阿里巴巴基础设施事业群);IFLYTEK(科大讯飞);RDA Microelectronics(锐迪科微电子);AMD(超威半导体(AMD))
对深度学习的日益关注极大地刺激了智能处理硬件的设计。各种新兴的智能处理器需要标准的基准来进行公平的比较和系统优化(软件和硬件)。然而,现有的基准是不适合基准的智能处理器,由于其非多样性和非代表性。此外,缺乏标准的基准方法进一步加剧了这一问题。在本文中,我们提出了BENCHIP,一个基准套件和基准测试方法的智能处理器。BENCHIP中的基准测试套件由两组基准测试组成:微基准测试和宏基准测试。微基准测试由单层网络组成。它们主要用于瓶颈分析和系统优化。宏观基准包含最先进的工业网络,以提供不同平台的现实比较。我们还提出了一个标准的基准测试方法,建立在一个工业软件栈和评估指标,全面反映了评估的智能处理器的各种特性。BENCHIP用于评估各种硬件平台,包括CPU,GPU和加速器。BENCHIP很快就会开源。
2017-11-25 cs.AI cs.PF
Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis
The University of Hong Kong(香港大学);Salesforce AI Research(Salesforce AI研究院)
本文提出OSWorld-G基准和Jedi数据集,通过界面分解与合成训练多尺度模型,显著提升GUI接地能力,并将OSWorld任务成功率从5%提升至27%。
2025-10-24 cs.AI cs.CL cs.CV
CUE-Mem: Benchmarking Long-Term User Memory via Implicit Cues in Multimodal Conversations
CUE-Mem是一个多模态基准,通过隐式线索评估长期用户记忆,包含2674个问题和四个任务,发现保留细微线索是主要瓶颈,并测试了文本化与原生多模态访问的效果。
2026-09-29 cs.AI cs.CL
DuplexSpeechBench-Document Grounding: Benchmarking Document Grounding and Hallucinations in Voice Agents
Adobe Research(Adobe研究院);University of Maryland College Park(马里兰大学学院公园分校)
本文提出DSB-DG基准,评估语音代理在文档基础中的准确性、幻觉与延迟,发现级联系统表现最佳,开放权重系统存在上下文容量崩溃,基础保真度随负载下降。
2026-10-02 cs.AI cs.CL
Benchmarking and Enhancing Text-to-Image Models for Generating Visual Representations in Early Arithmetic Education
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);ETH AI Center(ETH人工智能中心)
针对早期算术教育中的方程到视觉生成任务,构建了E2V-Bench基准并评估了现有T2I模型,发现其在计数和关系结构上存在严重错误,进而探索了基准引导的增强策略。
2026-05-29 cs.AI cs.CL cs.CV
EgoBabyVLM: Benchmarking Cross-Modal Learning from Naturalistic Egocentric Video Data
Meta Superintelligence Labs(Meta超智能实验室);Stanford University(斯坦福大学);Meta Reality Labs(Meta现实实验室);The University of Tokyo(东京大学)
研究探讨了儿童如何从有限的视觉-语言输入中获得语言 grounding 的鲁棒性,提出了 EgoBabyVLM 挑战,推动模型在自然主义数据中实现 grounded language learning。
2026-05-18 cs.AI cs.CL cs.CV
SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models
New York University(纽约大学);NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学);NYU Shanghai(上海纽约大学)
提出SpeechEQ框架,基于EQ-i 2.0理论构建2265个对话数据集,通过口语情商(SEQ)评分评估语音语言模型在主动多轮对话中的副语言社交线索推理能力,揭示端到端模型存在模态捷径、安全陷阱和上下文遗忘等瓶颈。
2026-11-03 cs.AI cs.CL cs.SD
Grounding Synthetic Data Evaluations of Language Models in Unsupervised Document Corpora
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本研究提出了一种自动化方法,利用文档语料生成事实性合成数据评估,以提高语言模型在无监督文档中的评估效率和准确性。
2026-01-25 cs.AI cs.CL
Benchmarking Diverse-Modal Entity Linking with Generative Models
Virginia Tech(弗吉尼亚理工大学);AWS AI Labs(亚马逊云科技人工智能实验室)
本文构建覆盖文本、图像和表格三种模态的多样模态实体链接基准DMEL,并提出生成式多样模态模型GDMM,通过预训练与微调平均超越最先进特定任务模型8.51 F1分数。
2023-05-27 cs.AI cs.CL
MMLongEmbed: Benchmarking Multimodal Embedding Models in Long-Context Scenarios
Soochow University(苏州大学);Ant Group(蚂蚁集团)
针对多模态嵌入模型在长上下文场景中缺乏系统评估的问题,提出首个综合基准MMLongEmbed,涵盖文本、文档和视频模态的检索任务,揭示模型依赖浅层特征匹配、难以捕捉深层语义依赖等瓶颈。
2026-09-01 cs.AI cs.CV
Investigating the Grounding Bottleneck for a Large-Scale Configuration Problem: Existing Tools and Constraint-Aware Guessing
Department of Artificial Intelligence(人工智能系);Cybersecurity University of Klagenfurt, Austria(克雷根弗特大学网络安全学院)
本文探讨了ASP在大规模配置问题中的grounding瓶颈,提出约束感知猜测方法以减少内存需求。
2026-01-07 cs.AI
MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs
Seoul National University(首尔国立大学);Sony Group Corporation(索尼集团);Sony AI(索尼人工智能)
提出MusTBENCH基准和MusT四阶段优化方法,评估并提升音乐大语言模型在音频中的时间定位能力。
2026-11-05 cs.AI cs.CL cs.SD
When Agents Overtrust Environmental Evidence: An Extensible Agentic Framework for Benchmarking Evidence-Grounding Defects in LLM Agents
The University of Sydney(悉尼大学);Nanjing University(南京大学)
本文提出EnvTrustBench框架,用于评估智能体在环境证据过时、错误或恶意时的可靠性问题,通过生成多个任务场景并验证结果,揭示证据 grounding 是智能体可靠性的重要挑战。
2026-05-12 cs.AI
DyKgChat: Benchmarking Dialogue Generation Grounding on Dynamic Knowledge Graphs
National Taiwan University(台湾大学)
数据驱动的、以知识为基础的神经会话模型能够生成更多信息的响应。然而,这些模型尚未证明它们可以zero-shot适应更新的、看不见的知识图谱。本文提出了一个新的课题,即如何将动态知识图谱应用于神经会话模型,并为此提出了一个新的电视剧会话语料库(DyKgChat)。我们的新任务和语料库有助于理解动态知识图谱对响应生成的影响。此外,我们提出了一个初步的模型,选择两个网络的输出在每个时间步:序列到序列模型(Seq2Seq)和多跳推理模型,以支持动态知识图谱。为了对这个新任务进行基准测试并评估适应能力,我们引入了几个评估指标,实验表明,我们提出的方法优于以前的知识为基础的会话模型。本文提出的语料库和模型可以为今后的研究提供参考。
2019-10-01 cs.AI cs.CL
Point-It-Out: Benchmarking Embodied Reasoning for Vision Language Models in Multi-Stage Visual Grounding
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达)
提出Point-It-Out三阶段视觉定位基准,系统评估十余个VLM的具身推理能力,发现强通用模型在精确定位和轨迹规划上存在短板。
2025-09-30 cs.AI cs.CV
Why Does Grounding Hurt Medical VQA? Benchmarking, Diagnosis, and Fine-Tuning of Vision-Language Models
New York University, New York, USA(纽约大学);Tsinghua University, Beijing, China(清华大学);Columbia University, New York, USA(哥伦比亚大学);University of Michigan, Ann Arbor, USA(密歇根大学)
本文审计了五种前沿视觉-语言模型在医学视觉问答中的表现,发现定位失败和格式崩溃是信任瓶颈,通过领域适应可提升性能。
2026-07-29 cs.AI
Symbolic Grounding Reveals Representational Bottlenecks in Abstract Visual Reasoning
Applied Artificial Intelligence Group, Tallinn University of Technology, Estonia(塔林技术大学应用人工智能小组,爱沙尼亚);Kimova AI, Tallinn, Estonia(Kimova AI,塔林,爱沙尼亚)
本文通过Bongard-LOGO基准测试,发现符号输入能显著提升抽象视觉推理性能,揭示了表征能力是核心瓶颈。
2026-04-23 cs.AI cs.CL cs.CV
The Visual Bottleneck: Sparse-Frame Adaptation of MLLMs for Joint Spatial-Temporal Video Grounding
University of Zurich(苏黎世大学)
研究针对多模态大语言模型在视频定位中训练与部署条件不匹配问题,通过实验表明视觉特征提取是稀疏帧输入瓶颈,提出适配特定层及边界感知采样策略,证明训练策略对稀疏帧视频定位比模型规模更关键。
2026-07-28 cs.AI cs.CV
Automated Hybrid Grounding Using Structural and Data-Driven Heuristics
Univ. Artois, CNRS, UMR8188, Computer Science Research Center of Lens (CRIL), Lens, France(阿托瓦大学、法国国家科学研究中心、UMR8188、Lens计算科学研究中心(CRIL)、Lens)
本文提出基于结构和数据驱动启发式的自动化混合接地方法,通过分割算法优化接地策略,提升难接地场景的性能并接近当前最佳水平。
2025-07-23 cs.AI cs.LO
Ref-NMS: Breaking Proposal Bottlenecks in Two-Stage Referring Expression Grounding
Zhejiang University(浙江大学);Tencent AI Lab(腾讯AI实验室);Nanyang Technological University(南洋理工大学);Columbia University(哥伦比亚大学)
解决指称表达接地的主流框架基于两个阶段的过程:1)用对象检测器检测提议,2)将指称对象接地到其中一个提议。现有的两阶段解决方案主要集中在接地步骤,其目的是使表达式与提案保持一致。在本文中,我们认为这些方法忽略了两个阶段中提案角色之间的明显不匹配:它们仅基于检测置信度生成提案(即,表达式不可知的),希望建议在表达式中包含所有正确的实例(即,表情感知)。由于这种不匹配,当前的两阶段方法在检测到的建议和地面实况建议之间遭受严重的性能下降。为此,我们提出了Ref-NMS,这是在第一阶段产生表达感知建议的第一种方法。Ref-NMS将表达式中的所有名词视为关键对象,并引入了一个轻量级模块来预测每个框与关键对象对齐的分数。这些分数可以指导NMS操作过滤掉与表达式无关的框,增加关键对象的召回,从而显著提高接地性能。由于Ref- NMS与接地步骤无关,因此可以轻松集成到任何最先进的两阶段方法中。对几种骨干、基准和任务的广泛消融研究一致证明了Ref-NMS的优越性。代码可在https://github.com/ChopinSharp/ref-nms上获得。
2021-03-10 cs.AI cs.CL cs.CV
OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
Baidu Inc.(百度公司)
OmegaUse-OfficeVal是带经济基准的长周期办公套件任务LLM智能体评测基准,含100项任务,评测发现前沿LLM成本低速度快但质量未达人类水平,代码与数据集已开源。
2026-08-19 cs.AI cs.CL cs.HC
EyeVQA: Benchmarking Ophthalmic Vision-Language Models from Recognition to Spatial Grounding
EyeVQA是一个统一眼科VQA基准,含20,000个问答对,覆盖六类疾病和七种问题类型,44.5%需跨图像推理;基准测试14个VLM,最佳得分仅62.8,揭示空间定位和跨任务泛化的显著不足。
2026-10-22 cs.AI cs.CV
Data Distribution Bottlenecks in Grounding Language Models to Knowledge Bases
Nanjing University(南京大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
本研究通过实验揭示语言模型在知识库问答中因训练与推理数据分布不一致而表现脆弱,即使使用数据增强技术仍性能不佳,呼吁关注数据收集与学习范式。
2024-02-09 cs.AI cs.CL
Diminution: On Reducing the Size of Grounding ASP Programs
本文提出diminution概念,通过选取Herbrand域子集生成缩减的ground程序,有效缓解了ASP的grounding瓶颈,在五个基准上平均减少70%的grounding时间。
2025-08-12 cs.AI cs.LO
Talk is Cheap, Communication is Hard: Dynamic Grounding Failures and Repair in Multi-Agent Negotiation
Stanford University(斯坦福大学)
本文研究多智能体谈判中动态 grounding 的故障与修复,通过多轮谈判游戏揭示四类失败模式,发现协调瓶颈在于动态 grounding 而非个体推理或信息不足。
2026-05-12 cs.AI cs.MA
Classical Planning as QBF without Grounding (extended version)
Aarhus University, Department of Computer Science(奥胡斯大学计算机科学系)
大多数经典规划器使用基础作为预处理步骤,本质上将规划简化为命题逻辑。然而,接地涉及到实例化所有的动作规则与具体的对象组合,并导致大的编码SAT/QBF为基础的规划。当行动具有许多参数时,这种严重的内存成本成为主要瓶颈,例如IPC 2018竞赛中的有机合成问题。我们提供了一个紧凑的QBF编码,是对数的对象的数量,并完全避免接地,通过使用对象组合的通用量化。我们表明,我们可以解决一些有机合成的问题,这是不能处理之前的任何SAT/QBF为基础的计划,由于接地。
2021-12-18 cs.AI
BioProAgent: Neuro-Symbolic Grounding for Constrained Scientific Planning
School of AI for Science, Peking University(科学人工智能学院,北京大学);School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);School of Computer Science, Peking University(计算机科学学院,北京大学)
BioProAgent通过神经符号框架将概率规划锚定在确定性有限状态机中,解决复杂设备模式中的上下文瓶颈,提升物理执行的可靠性。
2026-05-16 cs.AI cs.MA
EG-VQA: Benchmarking Verifiable Video Question Answering with Grounded Temporal Evidence
Sun Yat-sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen University(深圳大学)
提出EG-VQA基准,通过细粒度时间证据标注和EG-F1指标,揭示视频大模型在答案正确性与证据定位之间的差距,并引入EG-Reasoner模型弥合这一差距。
2026-10-06 cs.AI cs.CV
When Users Don't Ask: Benchmarking Context-Driven Memory Retrieval in Conversational Agents
National Taiwan University(台湾大学)
该研究针对对话智能体的记忆检索,构建了LOCOMO-CONV基准,发现对话式查询会暴露问答基准未察觉的检索差距,且检索能力与响应质量不完全相关,为记忆系统优化提供了方向。
2026-09-23 cs.AI cs.CL
DeAR: Decentralized Agentic Reasoning via Capability Grounding and Collaborative Thought Navigation
针对现有智能体推理系统的路由瓶颈与静态角色分配问题,提出DeAR框架,通过三种机制实现去中心化协作,在9类基准测试中性能优于基线方法,提升了知识密集型推理任务的准确性。
2026-08-19 cs.AI
Mutex Graphs and Multicliques: Reducing Grounding Size for Planning
University of Alberta(阿尔伯塔大学)
我们提出了一种方法来表示大型互斥集,也称为互斥或互斥约束。这些类型的约束指定了某些属性、事件、进程等的排除,它们在许多应用领域中普遍存在。对于给定的问题,这些约束的大小可能是压倒性的,足以对底层求解器的求解效率造成瓶颈。在本文中,我们提出了一种新的图论技术的基础上multicliques的互斥约束的紧凑表示,并将其应用到域独立的规划在ASP。由于计算一个最小的multiclique覆盖从互斥图是NP-难的,我们提出了一个有效的近似算法multiclique覆盖,并通过实验表明,它产生的互斥约束在ASP比以前已知的工作在SAT基本上更小的接地尺寸。
2019-09-18 cs.AI
Towards Stable Symbol Grounding with Zero-Suppressed State AutoEncoder
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
虽然经典规划一直是人工智能的一个活跃分支,但其适用性仅限于人类精确建模的任务。完全自动化的高级代理应该能够在没有监督的情况下找到未知环境的符号表示,否则它会表现出知识获取瓶颈。与此同时,Latplan(Asai and Fukunaga 2018)通过称为状态自动编码器(SAE)的神经网络部分解决了瓶颈。SAE通过无监督学习获得基于图像的谜题域的命题表示,生成状态空间并执行经典规划。在本文中,我们确定的问题,随机行为的SAE产生的命题作为一个新的子问题的符号接地问题,符号稳定性问题。非正式地说,符号是稳定的,当它们的引用(例如命题值)不改变对小扰动的观察,和不稳定的符号是有害的符号推理。我们分析了在Latplan的问题,正式和经验,并提出了“零抑制SAE”,一个增强,稳定的命题使用封闭世界假设的想法作为前NN优化。我们发现,它发现更稳定的命题和更紧凑的表示,从而提高了Latplan的成功率。它对各种超参数具有鲁棒性,并且简化了调优工作,并且还提供了权重修剪功能作为副作用。
2019-03-27 cs.AI cs.LG
Can LLM Agents Respond to Disasters? Benchmarking Heterogeneous Geospatial Reasoning in Emergency Operations
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Waseda University(早稻田大学);Stanford University(斯坦福大学)
本文提出DORA基准测试,评估大语言模型在灾难响应中的端到端流程,揭示了灾难领域接地、工具选择瓶颈和组合脆弱性等挑战。
2026-10-20 cs.AI
P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization
Guangdong Provincial Key Laboratory of Computational AI Models and Cognitive Intelligence, School of Computer Science & Engineering, South China University of Technology(广东省计算人工智能模型与认知智能重点实验室,计算机科学与工程学院,华南理工大学);Pazhou Lab, Guangzhou, China(琶洲实验室,广州,中国);Engineering Research Center of the Ministry of Education on Health Intelligent Perception and Paralleled Digital-Human, Guangzhou, China(教育部健康智能感知与并行数字人工程研究中心,广州,中国)
针对大型视觉语言模型中的幻觉问题,提出P²-DPO训练范式,通过模型自生成偏好对和校准损失,直接优化感知瓶颈和视觉鲁棒性,无需昂贵人工反馈。
2026-06-03 cs.AI cs.CL cs.CV
HoosierHelp: Benchmarking LLM Agents for Social Service Navigation
University of Notre Dame(圣母大学)
该研究推出基于印第安纳州3971项公共社会服务资源的交互式基准HoosierHelp,测试发现现有LLM智能体在社会服务导航中对复杂非理想用户交互鲁棒性不足,需更可靠的智能体。
2026-08-12 cs.AI cs.HC
Semantic-Drive: Democratizing Long-Tail Data Curation via Open-Vocabulary Grounding and Neuro-Symbolic VLM Consensus
Independent Researcher(独立研究者)
Semantic-Drive通过开放词汇锚定和神经符号视觉语言共识,提升自动驾驶中长尾数据整理的效率与隐私保护。
2025-12-16 cs.AI cs.CL cs.CV
MedMASLab: A Unified Orchestration Framework for Benchmarking Multimodal Medical Multi-Agent Systems
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学);Zhejiang University(浙江大学);vivo;Stanford University(斯坦福大学)
本文提出MedMASLab框架,解决医疗多智能体系统中多模态整合碎片化问题,通过标准化通信协议、自动化评估器和大规模基准测试,揭示领域特定性能差距,为未来自主临床系统建立新基准。
2026-03-18 cs.AI
A Survey on Temporal Sentence Grounding in Videos
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学);Meituan(美团)
视频中的时态句子定位(TSGV)是一种针对特定句子查询从未裁剪视频中定位目标片段的方法,近年来受到了研究界的广泛关注。与时间动作定位不同,TSGV可以通过自然语言定位复杂的动作,不受预先定义的动作类别的限制,具有更大的灵活性。同时,TSGV更具挑战性,因为它需要文本和视觉理解来实现两种模态之间的语义对齐(即,文本和视频)。在这项调查中,我们对TSGV进行了全面的概述,其中i)总结了现有方法的分类,ii)提供了评估协议的详细描述(即,数据集和指标)中使用的TSGV,和iii)深入讨论了潜在的问题,目前的基准设计和进一步调查的研究方向。据我们所知,这是第一个系统的调查时间句的基础。更具体地说,我们首先讨论现有的TSGV方法,将它们分为四类,即,两阶段方法、端到端方法、基于强化学习的方法和弱监督方法。然后,我们提出了基准数据集和评估指标,以评估当前的研究进展。最后,我们讨论了TSGV的一些局限性,通过指出潜在的问题,目前的评估协议没有得到妥善解决,这可能会推动更多的前沿研究TSGV。此外,我们还分享了我们对几个有前途的方向的见解,包括三个典型的任务与新的和实用的设置基于TSGV。
2021-09-17 cs.AI cs.CV cs.MM
InfiGUI-G1: Advancing GUI Grounding with Adaptive Exploration Policy Optimization
Amazon(亚马逊)
InfiGUI-G1通过自适应探索策略优化改进GUI接地,实现显著的语义对齐和性能提升。
2025-12-08 cs.AI cs.CL
DevNous: An LLM-Based Multi-Agent System for Grounding IT Project Management in Unstructured Conversation
International Hellenic University(国际希腊大学);European Commission(欧盟委员会)
研究团队提出DevNous,一种基于LLM的多智能体系统,通过集成团队聊天环境自动将非结构化对话转化为结构化IT项目管理工件,并构建了160轮对话的公共基准,实现81.3%的准确率,贡献了架构模式与首个经验基线。
2025-08-12 cs.AI cs.CL
Towards Objectively Benchmarking Social Intelligence for Language Agents at Action Level
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出 STSS 沙盒模拟基准,在动作层面对语言智能体的社会智能进行客观评估,并通过 TDP 模块验证其区分模型与智能体架构的有效性。
2024-04-08 cs.AI cs.CL
ADAPT: Benchmarking Commonsense Planning under Unspecified Affordance Constraints
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学);National Tsing Hua University(国立清华大学)
本文提出 ADAPT 模块,通过显式 affordance 推理提升智能具身代理的鲁棒性和任务成功率,展示了领域适应的视觉语言模型在 affordance 推理中的优越性。
2026-04-20 cs.AI cs.CL cs.CV