Error-Driven Scene Editing for 3D Grounding in Large Language Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Michigan(密歇根大学);Google Research(谷歌研究)
针对3D大语言模型的空间grounding偏差问题,提出错误驱动框架DEER-3D,通过结构化循环生成针对性反事实训练示例,在多基准上实现4%-6%的性能增益。
2026-09-01 cs.AI cs.CL cs.CV
Recognizing Dialogue Ambiguity via Candidate Set Visual Grounding
The University of Osaka(大阪大学);RIKEN(理化学研究所);Nara Institute of Science and Technology(奈良科学技术研究所)
该研究针对对话歧义识别问题,提出候选集视觉定位(CSVG)任务及CandVG基准,发现视觉-语言模型的视觉定位能力与CSVG性能无必然关联,且可通过专用指令部分缓解模型预测完整候选集的困难。
2026-10-15 cs.AI cs.CL cs.CV
Vision-Language Grounding as Bidirectional Concept Correspondence
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);FAIR at Meta(Meta FAIR实验室)
本研究将视觉-语言 Grounding 建模为双向概念对应,提出 ConCor-1 模型统一相关任务,在长文本数据集和零样本 LVIS 上对应 F1 分别提升 48%、29%,性能优于基线。
2026-08-11 cs.AI cs.CL cs.CV
Challenges in Grounding Language in the Real World
Center for Integrated Cognition(综合认知中心);Conitive
本文探讨了让人类用自然语言与物理机器人协作的挑战,提出结合认知代理与大型语言模型的解决方案,并指出初步实现方向。
2025-06-20 cs.AI q-bio.NC
PruneGround: Plug-and-play Spatial Pruning for 3D Visual Grounding
Knovel Engineering Lab(Knovel工程实验室);University of Toronto(多伦多大学);Vector Institute(向量研究所);ELLIS Institute(ELLIS研究所);Max Planck Institute(马克斯·普朗克研究所)
提出PruneGround框架,通过语言引导的空间剪枝、多视角描述重构和LLM定位器,在剪枝区域高效定位目标,在多个基准上取得最优结果。
2026-10-19 cs.AI cs.CL cs.CV
Global Context or Local Detail? Adaptive Visual Grounding for Hallucination Mitigation
School of Astronautics, Beihang University(北航航天学院);Longcat Interaction Team, Meituan(美团Longcat交互团队);Tianmushan Laboratory, Beihang University(北航天门山实验室)
本文提出PND框架,通过双路径对比在解码过程中增强视觉真实性,减少幻觉并提升描述细节,无需模型微调。
2026-04-27 cs.AI cs.CV
First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models
DGIST EECS(大邱庆北科学技术院电子工程与计算机科学系)
本文提出FLB方法,通过存储首个生成token的logit并加到后续预测中,缓解大视觉-语言模型中的长期衰减问题,有效减少物体幻觉并保持视觉信息。
2026-04-01 cs.AI cs.CL cs.CV
Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts
Institute of Computer Science, Zurich University of Applied Sciences(苏黎世应用科技大学计算机科学研究所);University of Oxford(牛津大学)
研究探讨视觉-语言模型在视觉与语言冲突中的仲裁机制,发现编码与基础的脱节,通过多模态仲裁交叉分析揭示视觉属性在早期层可线性解码,最终层logit与基础结果相关性达0.847,表明需针对性干预提升视觉基础能力。
2026-04-13 cs.CL cs.CV
ViGiL3D: A Linguistically Diverse Dataset for 3D Visual Grounding
Simon Fraser University(西蒙弗雷泽大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔人工智能研究所)
本文提出ViGiL3D,一个语言多样性的三维视觉定位诊断数据集,并引入语言学分析框架,评估现有开放词汇方法在分布外提示上的不足,以推动实际应用。
2025-07-07 cs.AI cs.CL cs.CV
From Phonemes to Meaning: Evaluating Large Language Models on Tamil
针对现有多语言基准难以准确评估低资源形态丰富语言性能的问题,本文构建泰米尔语专属评估基准ILAKKANAM,评估多款大语言模型并揭示其性能差距与潜在机制。
2025-11-15 cs.AI cs.CL
Efficient Temporal Extrapolation of Multimodal Large Language Models with Temporal Grounding Bridge
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
本文提出时间定位桥(TGB)框架,通过多跨度时间定位算法、多模态长度外推训练和免标注引导桥接,显著提升多模态大语言模型的长视频时间理解能力,并在七个视频基准上验证了其可扩展性和有效性。
2024-10-03 cs.CL cs.CV
Reducing Hallucination in Multimodal Large Language Models through Hard Grounding Preference Supervision
Meta AI
本文提出分阶段偏好优化框架,通过构建针对幻觉问题的数据集,提升视觉-语言模型的 grounded reasoning,减少幻觉并提高响应信息量。
2026-09-29 cs.AI cs.CL cs.CV
Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning
Zhejiang University(浙江大学);University of Technology Sydney(悉尼科技大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
视频中的时间基础旨在定位一个语义上对应于给定查询语句的目标视频片段。由于自然语言描述的语义多样性,时间接地允许活动接地超出预定义的类,近年来受到越来越多的关注。语义的多样性源于语言学中的组合性原则,其中新的语义可以通过以新的方式组合已知的词(组合概括)来系统地描述。然而,目前的时间接地数据集没有专门测试的组成概括性。为了系统地测量时间基础模型的组成概括性,我们引入了一个新的组成时间基础任务,并构建了两个新的数据集分割,即,Charades-CG和ActivityNet-CG。评估我们新数据集分割的最先进方法,我们根据经验发现它们无法推广到具有所见单词的新颖组合的查询。为了应对这一挑战,我们提出了一个变分交叉图推理框架,明确地将视频和语言分解成多个结构化层次结构,并学习它们之间的细粒度语义对应。实验表明,我们的方法优越的组成的概括性。本作品的知识库位于https://github.com/YYJMJC/ Compositional-Temporal-Grounding。
2022-03-28 cs.CV
Q-GroundCAM: Quantifying Grounding in Vision Language Models via GradCAM
George Mason University(乔治梅森大学)
本文提出 Q-GroundCAM 指标套件,利用 GradCAM 激活量化评估 CLIP、BLIP 和 ALBEF 等预训练视觉语言模型的零样本定位能力,揭示模型规模、数据集大小与性能之间的权衡关系。
2024-04-29 cs.CL cs.CV cs.LG
Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);University of California, Merced(加州大学默塞德分校);Google Research(谷歌研究院);Linköping University(林雪平大学)
本文提出Video-GroundingDINO,通过利用基础空间定位模型的预训练表示,实现开放词汇时空视频定位,在多个闭集和开放词汇基准上超越现有最先进方法。
2024-03-30 cs.CV
Weakly-Supervised 3D Visual Grounding based on Visual Language Alignment
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);Meituan Inc.(美团公司);College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);Guangdong Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
针对现有3D视觉定位需大量边界框标注的问题,提出弱监督方法3D-VLA,利用VLMs的语义对齐能力及2D-3D对应关系构建文本-3D对应,在两个数据集上取得与全监督方法相当甚至更优的结果。
2025-08-26 cs.CL cs.CV
UniversalVTG: A Universal and Lightweight Foundation Model for Video Temporal Grounding
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出UniversalVTG,一种通用轻量视频时间定位模型,通过大规模跨数据集预训练实现高效长视频定位,优于专用模型且比大语言模型更轻量。
2026-04-09 cs.CV
OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios
SouthEast University(东南大学);ZTE Corporation(中兴通讯)
OmniGround提出一个全面的时空接地基准,通过改进的标注流程和评估框架,提升了复杂现实场景中视频目标定位的性能。
2025-11-21 cs.AI cs.CV
Local-Global Video-Text Interactions for Temporal Grounding
POSTECH(浦项科技大学);Seoul National University(首尔国立大学)
本文讨论了文本到视频的时间接地问题,其目的是确定在视频语义相关的文本查询的时间间隔。我们使用一种新的基于回归的模型来解决这个问题,该模型学习为文本查询中的语义短语提取一组中级特征,这些特征对应于查询中描述的重要语义实体(例如,演员、对象和动作),并反映查询的语言特征与视频的多个级别的视觉特征之间的双模态交互。该方法通过利用双模交互过程中从局部到全局的上下文信息,有效地预测目标时间间隔。通过深入的消融研究,我们发现,在视频和文本交互中结合本地和全球背景对准确接地至关重要。我们的实验表明,所提出的方法优于Charades-STA和ActivityNet字幕数据集的最新技术水平,在Recall@tIoU=0.5度量时分别为7.44\%和4.61\%。代码可在https://github.com/JonghwanMun/LGI4temporalgrounding上找到。
2020-04-16 cs.CV
Learning Active Perception via Self-Evolving Preference Optimization for GUI Grounding
Wanfu Wang, Qipeng Huang, Guangquan Xue, Xiaobo Liang, Juntao Li(作者)
针对VLM在GUI定位中难以有效推理图像区域的问题,提出自进化框架LASER,结合蒙特卡洛估计与IoU评估构建偏好数据,实现精准坐标预测,在7B规模模型中创下ScreenSpot-Pro基准新纪录。
2025-09-04 cs.AI cs.CV
VTG-GPT: Tuning-Free Zero-Shot Video Temporal Grounding with GPT
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Physics and Electronics, Hubei Normal University(湖北师范大学物理与电子科学学院)
本文提出免训练、免微调的 VTG-GPT,通过 Baichuan2 去偏查询、MiniGPT-v2 生成精确字幕,并结合提议生成与后处理实现零样本视频时序定位,性能优于现有零样本与无监督方法并接近监督方法。
2024-03-04 cs.AI cs.CV
SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses
提出SPLIT基准测试,评估LLM在英语和乌克兰语危机情境下的共情准确性、语言自然性和文化根基,发现模型在乌克兰语中表现下降,且人类与AI评估者一致性弱。
2026-07-03 cs.AI cs.CL cs.CY
Invariant Grounding for Video Question Answering
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
视频问答(VideoQA)是回答关于视频的问题的任务。其核心是理解视频中的视觉场景与所讨论的语言语义之间的一致性,从而得出答案。在领先的视频问答模型中,典型的学习目标,经验风险最小化(ERM),锁定在视频问题对和答案之间的表面相关性作为对齐。然而,ERM可能存在问题,因为它倾向于过度利用与问题无关的场景和答案之间的虚假相关性,而不是检查问题关键场景的因果关系。因此,VideoQA模型遭受不可靠的推理。在这项工作中,我们首先采取的因果关系看视频QA,并认为不变的基础是排除虚假相关性的关键。为此,我们提出了一个新的学习框架,不变接地视频QA(IGV),接地的关键问题的场景,其因果关系与答案是不变的,在不同的干预措施的补充。通过IGV,VideoQA模型被迫屏蔽回答过程免受虚假相关的负面影响,这显着提高了推理能力。在三个基准数据集上的实验验证了IGV在准确性、视觉可解释性和泛化能力方面优于领先基线。
2022-06-06 cs.CV
From Passive Reuse to Active Reasoning: Grounding Large Language Models for Neuro-Symbolic Experience Replay
Affiliation(机构1)
本文提出神经符号经验回放框架,通过将经验回放从被动样本重用机制转变为知识构建的主动引擎,解决语言推理与数值优化的不兼容问题,提升样本效率和收敛速度。
2026-05-10 cs.AI
Conceptual Networks for Cross-Linguistic Idiomatic Expressions: A Feature-Based Graph Approach
University of Eastern Finland(东芬兰大学);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
该研究提出基于网络的框架表示八种语言的习语和比喻意义,用概念特征注释构建加权图,通过社区检测发现习语按概念模式聚类,网络能捕获独特语义信息,跨语言转移实验有提升,消融研究表明多特征维度有贡献,提供了可解释的习语意义表示。
2026-07-14 cs.AI cs.CL cs.ET
MUPA: Towards Multi-Path Agentic Reasoning for Grounded Video Question Answering
Lanzhou University(兰州大学);National University of Singapore(新加坡国立大学);Sun Yat-sen University(中山大学);Jinan University(暨南大学);Nanyang Technological University(南洋理工大学);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
本文提出协作式多路径智能体方法MUPA,通过统一视频定位、问答、答案反思与聚合,在仅2B参数下即超越7B模型,显著提升了视频问答的视觉基础保真度与答案准确性。
2025-06-27 cs.AI cs.CV
Redemption Score: A Multi-Modal Evaluation Framework for Image Captioning via Distributional, Perceptual, and Linguistic Signal Triangulation
University of Southern Mississippi(密苏里州南方大学)
提出救赎分数(RS)框架,通过三角验证分布、感知与语言三种信号,无需任务训练即可在Flickr8k等基准上实现与人类判断高度相关的图像描述评估。
2026-09-18 cs.CL cs.CV
GPT-4 Enhanced Multimodal Grounding for Autonomous Driving: Leveraging Cross-Modal Attention with Large Language Models
Univ City(大学城市)
本文提出了一种结合GPT-4的大语言模型的多模态接地框架,用于提升自动驾驶中的视觉理解和指令执行能力。
2023-12-06 cs.AI cs.CV
Burn After Reading: Do Multimodal Large Language Models Truly Capture Order of Events in Image Sequences?
Utrecht University(乌特雷赫大学)
该研究提出聚焦图像序列时序推理的TempVS基准,含三类核心测试及配套定位测试,评估38个前沿多模态大语言模型后发现其表现远逊于人类,并给出细粒度研究方向。
2025-06-12 cs.CL cs.CV
Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
针对现有时间定位模型组合泛化能力不足的问题,本文提出新任务与数据集划分,并采用变分跨图推理及自适应结构化语义学习,实现视频与语言层次化语义图的细粒度对应,显著提升组合泛化性能。
2023-01-22 cs.CV
Tracing Audio Grounding and Answer Selection in Audio LLMs
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文探究Audio LLMs中音频决定答案时的内部变化,通过实验发现训练后模型对音频替换更敏感,声学信息在不同层的作用及训练权重的影响,为其使用声学证据提供机制解释。
2026-09-07 cs.AI cs.CL cs.LG
PlaM: Training-Free Plateau-Guided Model Merging for Better Visual Grounding in MLLMs
Northeastern University, China(东北大学);CIS, LMU Munich, Germany(慕尼黑大学计算机学院);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心)
PlaM通过无需训练的高原引导模型融合方法,提升多模态大语言模型的视觉语义表现。
2026-01-12 cs.CL
LinguDistill: Recovering Linguistic Ability in Vision-Language Models via Selective Cross-Modal Distillation
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·扎耶德人工智能大学)
本文提出LinguDistill方法,通过利用冻结的原始语言模型作为教师,选择性蒸馏语言信号以恢复语言能力,同时保持视觉基础,提升了语言和知识基准性能。
2026-10-06 cs.CL cs.CV
Hyperbolic and Evidence-Prioritized Experts for Large Vision-Language Models
China University of Petroleum (Beijing)(中国石油大学(北京));Hainan Institute of China University of Petroleum (Beijing)(中国石油大学(北京)海南学院);South China Normal University(华南师范大学)
针对大型视觉-语言模型中视觉与语言模态的不对称性,提出AsyMoE架构,通过超几何跨模态专家和证据优先语言专家分别建模层级关系与保持上下文基础,在减少参数的同时提升性能。
2026-05-29 cs.AI cs.CV
Toward an Artificial General Teacher: Procedural Geometry Data Generation and Visual Grounding with Vision-Language Models
Freya
本文研究几何教育中的视觉解释问题,提出通过程序生成几何图示数据,结合视觉-语言模型进行领域特定微调,提升几何元素分割性能,并引入几何感知的评估指标。
2026-04-03 cs.AI cs.CV cs.LG
FiVL: A Framework for Improved Vision-Language Alignment through the Lens of Training, Evaluation and Explainability
Intel Labs(英特尔实验室);Hugging Face
针对大视觉语言模型视觉 grounding 不足、现有基准难衡量答案对视觉依赖度的问题,提出FiVL数据集构建方法,通过新训练任务、专用基准及注意力头识别,提升模型视觉对齐能力并提供可解释性。
2025-03-19 cs.AI cs.CV
Easy Problems That LLMs Get Wrong
本文提出了一个全面的Linguistic Benchmark,通过简单问题评估LLMs在逻辑推理、空间智能等方面的局限性,并强调prompt工程、改进训练方法及人机协作的重要性。
2024-06-01 cs.AI cs.CL cs.LG
VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Grounding
Tencent PCG(腾讯平台与内容事业群)
本文提出VTG-LLM,通过将时间戳知识融入视觉token、引入绝对时间token和轻量级槽位token压缩技术,增强视频大语言模型的时间定位能力,并构建重标注数据集VTG-IT-120K,在多种VTG任务上取得优于现有方法的性能。
2025-02-01 cs.CV
UIC-AIHealth4All at ArchEHR-QA 2026: Answer-First Evidence Grounding for Clinical Question Answering
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
UIC-AIHealth4All系统参加ArchEHR-QA 2026共享任务,针对相关子任务提出优先答案式流程等方法,在三项任务中取得对应排名,还发现模型输出可读性需优化的问题。
2026-08-31 cs.AI cs.CL cs.HC
V-FAT: Benchmarking Visual Fidelity Against Text-bias
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Meituan(美团);University of Oxford(牛津大学)
V-FAT通过三级评估框架量化文本偏见对视觉真实性的干扰,揭示多模态大语言模型在高语言主导性下的视觉崩溃问题。
2026-01-08 cs.CL cs.CV cs.LG
Reducing Text Bias in Synthetically Generated MCQAs for VLMs in Autonomous Driving
Zoox, Inc.(Zoox公司)
本文提出方法减少自动驾驶VLMs中合成生成MCQA的文本偏差,通过解耦正确答案与语言痕迹并采用课程学习策略,使模型依赖视觉基础以提升感知理解能力。
2026-01-28 cs.CL cs.LG cs.RO
Equivariant and Invariant Grounding for Video Question Answering
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
视频问答(VideoQA)是回答关于视频的自然语言问题的任务。产生答案需要理解视频中视觉场景和语言语义之间的相互作用。然而,大多数领先的VideoQA模型都是黑箱,这使得回答过程背后的视觉语言对齐变得模糊不清。这种黑盒子的性质要求视觉上的可解释性,它揭示了“模型应该看视频的哪一部分来回答这个问题?”''.只有少数作品提出的视觉解释,在事后的方式,模拟目标模型的回答过程中,通过一个额外的方法。尽管如此,仿真努力忠实地展示回答过程中的视觉语言对齐。而不是事后的可解释性,我们专注于内在的可解释性,使回答过程透明。它的核心是将关键问题线索作为因果场景来产生答案,同时将与问题无关的信息作为环境场景。以因果关系看视频问答,我们设计了一个自我解释的框架,等变和不变的接地可解释的视频问答(EIGV)。具体而言,等变的接地鼓励的答案是敏感的语义变化的因果场景和问题;相反,不变的接地强制的答案是不敏感的环境场景的变化。EIGV通过将它们施加到回答过程中,能够区分因果场景和环境信息,并显式地呈现视觉-语言对齐。在三个基准数据集上进行的大量实验证明了EIGV在准确性和视觉可解释性方面优于领先基线。
2022-07-26 cs.CL
Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions
Amazon AI(亚马逊人工智能);Mila(米拉);McGill University(麦吉尔大学)
视觉指称表达识别是一项具有挑战性的任务,它需要在图像的上下文中理解自然语言。我们使用人类研究严格检查了RefCOCOg,这是该任务的标准基准,并表明83.7%的测试实例不需要对语言结构进行推理,即,单词足以识别目标对象,词序无关紧要。为了衡量现有模型的真实进展,我们将测试集分为两组,一组需要对语言结构进行推理,另一组不需要。此外,我们通过要求crowdworker扰动域内示例来创建一个分布外数据集Ref-Adv,以便目标对象发生变化。使用这些数据集,我们的经验表明,现有的方法未能利用语言结构,并且性能比该任务的既定进展低12%至23%。我们还提出了两种方法,一种是基于对比学习,另一种是基于多任务学习,以增加ViLBERT的鲁棒性,ViLBERT是目前最先进的模型。我们的数据集可在https://github.com/aws/aws-refcocog-adv上公开获取
2020-05-04 cs.CL cs.CV
Generalized Grounding Graphs: A Probabilistic Framework for Understanding Grounded Commands
许多任务领域要求机器人解释和执行由人给出的涉及机器人物理环境的自然语言命令。这种解释被称为不同的符号接地问题,接地语义学和接地语言习得。这个问题是具有挑战性的,因为人们使用不同的词汇和语法,并且因为机器人对周围环境的性质和内容具有很大的不确定性,使得难以将命令文本的构成语言元素(主要是名词短语和空间关系)与这些环境的元素相关联。符号模型捕捉语言结构,但没有成功地扩展到处理未经训练的用户产生的不同语言。现有的统计方法可以更好地处理多样性,但到目前为止还没有建模复杂的语言结构,限制了可实现的准确性。最近的混合方法解决了缩放和复杂性的限制,但没有有效地关联的语言和感知功能。我们的框架,称为广义接地图(G^3),解决了这些问题,定义一个概率图形模型动态根据语言分析结构的自然语言命令。这种方法有效地扩展,处理语言多样性,并使系统能够将命令的部分与它们所指的外部世界中的特定对象,地点和事件相关联。我们表明,机器人可以学习单词的含义,并使用这些学习的含义,鲁棒地遵循未经训练的用户产生的自然语言命令。我们展示了我们的方法,涉及各种半自主机器人平台,包括轮椅,微型飞行器,叉车和柳树车库PR2的移动命令和移动操作命令。
2017-11-29 cs.CL cs.RO
Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL
Inria(法国国家信息与自动化研究所);Université Paris-Sorbonne(巴黎索邦大学)
在现实世界中,语言主体也是具身主体:它们在物理世界中感知和行动。语言根植的概念质疑语言和具体化之间的相互作用:学习主体如何将语言表征连接或根植于物理世界?这个问题最近已经被强化学习社区在预防跟踪代理的框架下进行了研究。在这些代理中,行为策略或奖励功能的条件是嵌入的指令表示的自然语言。本文提出了另一种方法:使用语言条件目标生成器。给定任何目标条件策略,可以训练语言条件目标生成器来为代理生成语言无关的目标。这种方法允许从语言习得中解耦感觉运动学习,并使代理能够为任何给定的指令展示多种行为。我们提出了这种方法的一个特定的实例,并证明了它的好处。
2020-06-12 cs.AI cs.CL cs.LG
Grounding Hindsight Instructions in Multi-Goal Reinforcement Learning for Robotics
Hamburg University of Technology(汉堡工业大学);University of Hamburg(汉堡大学)
本文重点研究了机器人强化学习与稀疏奖励的自然语言目标表示。一个开放的问题是样本效率低下,这源于自然语言的组合性,以及语言在感官数据和动作中的基础。我们通过三个贡献来解决这些问题。我们首先提出了一种机制,利用专家反馈后见之明指令重放。其次,我们提出了一个seq2seq模型来生成语言后见之明指令。最后,我们提出了一类新的语言为重点的学习任务。我们表明,后见之明的指示,提高学习性能,正如预期的那样。此外,我们还提供了一个意想不到的结果:我们表明,我们的代理的学习性能可以提高三分之一,如果在某种意义上说,代理学习与自己交谈,在自我监督的方式。我们通过学习生成语言指令来实现这一点,这些语言指令本来适合作为最初无意行为的自然语言目标。我们的研究结果表明,性能增益与任务的复杂性增加。
2022-09-08 cs.AI cs.CL cs.LG
Pragmatics in Language Grounding: Phenomena, Tasks, and Modeling Approaches
Carnegie Mellon(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Brown University(布朗大学);DeepMind(深度思维公司)
本文综述了语言基础中的语用学研究,分析了任务目标、环境语境和交际可供性如何丰富语言意义,并提出未来基础任务设计建议,以自然引发语用现象并拓展交际语境。
2023-11-21 cs.CL
What Language Does and What the Evidence Supports: A Functional Role Taxonomy and Evidence Audit of Language Grounding in Embodied Agents
本研究提出具身智能体中语言的五种功能角色,构建框架审查现有文献,发现语言功能使用与证据支持存在差距,以角色主张为单位可合理比较不同具身智能体。
2026-08-05 cs.CL
Talking about the Moving Image: A Declarative Model for Image Schema Based Embodied Perception Grounding and Language Generation
University of Bremen(不来梅大学);The DesignSpace Group(设计空间小组);MANIT(迈普尔国家理工学院)
我们提出了动态视觉空间意象的具身基础和基于自然语言的分析总结的一般理论和相应的陈述模型。声明模型--ecompassing空间语言抽象,图像模式,和时空特征为基础的语言生成器-是模块化的约束逻辑编程(CLP)内实现。所实现的模型是这样的,即理论的原语,例如,与空间和运动有关的图像模式可用作具有适于推理和查询的“深层语义”的第一类对象。我们展示了广泛的动机,如电影,设计,地理,智能环境的分析自然语言为基础的外部化的运动图像的选择的例子模型是中央从人类互动的观点,基于证据的定性分析,和意义。保留字:运动图像,视觉语义和体现,视觉空间认知和计算,认知视觉,叙事的计算模型,陈述性空间推理
2015-08-13 cs.AI cs.CL cs.CV
Robots Learning to Say `No': Prohibition and Rejective Mechanisms in Acquisition of Linguistic Negation
University of Hertfordshire(赫特福德大学);Università di Macerata(马切拉塔大学)
本文通过 iCub 机器人与普通教师的自由语音互动实验,研究否定词“不”的社会习得与符号接地机制,强调情感、意志和韵律线索的作用,并质疑 Hebbian 型算法的适用性。
2018-10-28 cs.AI cs.CL cs.RO
Guided Feature Transformation (GFT): A Neural Language Grounding Module for Embodied Agents
Baidu Research(百度研究院);Horizon Robotics(地平线机器人)
最近,人们越来越关注通过深度强化学习来训练体现在虚拟环境中的智能体以执行语言指导的任务。在本文中,我们提出了一个简单但有效的神经语言基础模块,用于具身智能体,可以从头开始进行端到端的训练,以原始像素,非结构化语言命令和稀疏奖励作为输入。我们将语言的基础过程建模为语言引导的视觉特征的转换,其中潜在的句子嵌入被用作转换矩阵。在几个语言导向的导航任务,具有挑战性的部分可观察性,需要简单的推理,我们的模块显着优于最先进的状态。我们还发布XWorld3D,一个易于定制的3D环境,可以潜在地进行修改,以评估各种具身智能体。
2018-09-04 cs.AI cs.CL cs.LG
Individuation in Neural Models with and without Visual Grounding
Utrecht University(乌得勒支大学);Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学)
本文对比了视觉基础模型 CLIP 与纯文本模型 FastText、SBERT 在编码个体化信息上的差异,发现 CLIP 嵌入能更好捕捉个体化定量差异,且其推导出的层级与语言学及认知科学一致。
2024-09-27 cs.AI cs.CL cs.LG
VALSE: A Task-Independent Benchmark for Vision and Language Models Centered on Linguistic Phenomena
Heidelberg University(海德堡大学);University of Malta(马耳他大学);New York University(纽约大学);University of Amsterdam(阿姆斯特丹大学);Utrecht University(乌得勒支大学)
提出VALSE基准,通过六项测试评估预训练视觉与语言模型在特定语言现象上的视觉-语言基础能力,发现现有模型表现不佳,为从语言学角度衡量模型进展提供新工具。
2022-03-14 cs.CL cs.CV
Gated-Attention Architectures for Task-Oriented Language Grounding
Carnegie Mellon University(卡内基梅隆大学)
为了执行由自然语言指令指定的任务,自主智能体需要提取语义上有意义的语言表示,并将其映射到环境中的视觉元素和动作。这个问题被称为任务导向的语言基础。我们提出了一种端到端的可训练神经架构,用于在3D环境中进行面向任务的语言基础,该架构不假设先前的语言或感知知识,只需要来自环境的原始像素和自然语言指令作为输入。该模型使用门控注意力机制结合图像和文本表示,并使用标准强化和模仿学习方法学习执行自然语言指令的策略。我们展示了所提出的模型的有效性看不见的指令以及看不见的地图,定量和定性。我们还介绍了一个新的环境的基础上的3D游戏引擎,以模拟面向任务的语言接地在一组丰富的指令和环境状态的挑战。
2018-01-09 cs.AI cs.CL cs.LG