VIMI: Grounding Video Generation through Multi-modal Instruction
Snap Inc(Snap公司);UC Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学)
针对现有文本到视频扩散模型因缺乏大规模多模态提示视频数据导致视觉基础不足的问题,研究构建多模态提示数据集,提出两阶段训练的VIMI框架,实现多模态理解下的高质量视频生成,在UCF101基准上达SOTA。
2024-07-08 cs.AI cs.CL cs.CV
Cross-modal Causal Relation Alignment for Video Question Grounding
Sun Yat-sen University(中山大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Nanyang Technological University(南洋理工大学)
本文提出跨模态因果关联对齐框架CRA,通过高斯平滑定位、跨模态对齐和显式因果干预消除虚假相关性,提升视频问题定位的因果一致性与鲁棒性。
2025-03-05 cs.CL cs.CV cs.LG
MM-StanceDet: Retrieval-Augmented Multi-modal Multi-agent Stance Detection
Peking University(北京大学);Baidu Inc(百度公司);Brown University(布朗大学);Amazon(亚马逊)
本文提出MM-StanceDet框架,通过整合检索增强、多模态分析代理、辩论阶段和自我反思,解决多模态立场检测中的上下文 grounding、跨模态解释模糊和单次推理脆弱问题,实验表明其在五个数据集上优于现有方法。
2026-04-30 cs.AI cs.CL
Adversarial reconstruction for Multi-modal Machine Translation
University of Mons(蒙斯大学)
即使对计算机视觉和自然语言交叉问题的兴趣越来越大,在图像中建立(即识别)结构化描述的组件仍然是一项具有挑战性的任务。本文提出了一种通过重构视觉特征来学习背景知识的多模态翻译模型。以前的作品已经部分研究了标准的方法,如回归方法近似重建的视觉输入。在本文中,我们提出了一种不同的和新颖的方法,通过对抗性反馈来学习接地。为此,我们根据最近有前途的对抗性架构调整我们的网络,并评估视觉重建作为辅助任务的对抗性反应如何帮助模型学习。我们报告了不同数据集上BLEU和METEOR指标的最高分数。
2019-10-07 cs.CL
VLG-Net: Video-Language Graph Matching Network for Video Grounding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
视频中的接地语言查询旨在识别与语言查询语义相关的时间间隔(或时刻)。解决这一具有挑战性的任务需要理解视频和查询的语义内容,并对其多模态交互进行细粒度推理。我们的关键思想是将这个挑战转化为算法图匹配问题。在图神经网络最新进展的推动下,我们建议利用图卷积网络来建模视频和文本信息以及它们的语义对齐。为了实现跨模态的信息的相互交换,我们设计了一种新的视频语言图匹配网络(VLG-Net)来匹配视频和查询图。核心成分包括分别建立在视频片段和查询令牌之上的表示图,并用于建模模态内关系。采用图匹配层进行跨模态上下文建模和多模态融合。最后,通过融合时刻的丰富片段特征,使用掩蔽时刻注意力池来创建候选时刻。我们在三个广泛使用的数据集上展示了优于最先进的接地方法的性能,这些数据集用于语言查询视频中时刻的时间定位:ActivityNet-Captions,TACoS和DiDeMo。
2021-08-16 cs.CL cs.CV
Attention-guided Evidence Grounding for Spoken Question Answering
本文提出基于注意力的证据 grounding 方法,通过 SpeechLLM 的内部跨模态注意力机制定位关键证据,减少幻觉并提升效率,优于传统 cascaded 系统。
2026-03-18 cs.AI cs.CL
Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning
University of Michigan(密歇根大学);University of California San Francisco(加利福尼亚大学旧金山分校)
在自然语言处理中,大多数模型试图仅仅从文本中学习语义表示。学习的表示编码的分布语义,但未能连接到任何有关物理世界的知识。相比之下,人类通过感知和行动中的基础概念来学习语言,大脑为认知编码基础语义。受这一概念和最近在视觉语言学习方面的工作的启发,我们设计了一个双流模型,用于在视觉中进行语言学习。该模型包括基于VGG的视觉流和基于Bert的语言流。这两个流合并成一个联合代表空间。通过跨模态对比学习,模型首先学习将视觉和语言表示与MS COCO数据集对齐。该模型进一步学习通过跨模态注意模块检索具有语言查询的视觉对象,并通过具有Visual Genome数据集的双线性运算符推断检索到的对象之间的视觉关系。在训练之后,该模型的语言流是能够将概念嵌入在视觉上接地的语义空间中的独立语言模型。这个语义空间表现出人类直觉和神经生物学知识可以解释的主要维度。在这个语义空间中的词嵌入是人类定义的语义特征规范的预测,并被分离成感知上独特的集群。此外,基于视觉的语言模型还使得能够实现基于视觉知识的组合语言理解和具有基于图像、文本或其组合的查询的多模态图像搜索。
2021-11-13 cs.CL cs.LG
OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院);Colorado School of Mines(科罗拉多矿业学院);Nanyang Technological University(南洋理工大学);Shanghai Jiao Tong University(上海交通大学)
该研究推出OmniCompass这一全模态视频定位与理解综合基准,含两个赛道、三类任务,经50个MLLMs评估发现开源模型在视听理解等方面仍落后于闭源模型。
2026-10-14 cs.CL cs.CV cs.MM
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学)
针对视频句子定位中模态间的领域差距问题,提出伪查询中介网络(PIN),利用时间全局文本知识的伪查询特征,通过对比学习和可学习提示增强多模态特征对齐,在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
SciLens: Multi-modal Scientific Claim Verification with Agentic Entailment and Grounding
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Baptist University(香港浸会大学);NVIDIA AI Technology Center(英伟达人工智能技术中心)
提出SciLens框架,通过将声明分解为原子命题并归因到表格/图表证据,实现多模态科学声明验证,在SciClaimEval上达到79.2%宏F1和63.1%配对准确率。
2026-06-23 cs.CL
Attention Based Natural Language Grounding by Navigating Virtual Environment
Adobe Systems(奥多比系统公司);Mila, Université de Montréal(米拉-蒙特利尔大学)
在这项工作中,我们专注于接地语言的问题,通过训练代理遵循一组自然语言指令,并在环境中导航到目标对象。智能体通过原始像素和自然语言指令接收视觉信息,告诉需要完成什么任务,并以端到端的方式进行训练。我们开发了一种注意力机制,用于视觉和文本模态的多模态融合,使智能体能够学习完成任务并实现语言基础。我们的实验结果表明,我们的注意力机制优于现有的多模态融合机制提出的二维和三维环境,以解决上述任务的速度和成功率。我们表明,学习的文本表示是语义上有意义的,因为它们遵循向量算术的嵌入空间。我们的注意力的方法在当代的融合机制的有效性也突出了从不同的方法学习的文本嵌入。我们还表明,我们的模型有效地推广到看不见的情况下,并表现出zero-shot泛化能力,在2D和3D环境。我们的2D环境代码以及我们为2D和3D开发的模型可在https://github.com/rl-lang-grounding/rl-lang-ground上获得。
2018-12-21 cs.AI cs.CL cs.CV
Contextual Grounding of Natural Language Entities in Images
NEC Laboratories America, Inc.(美国NEC实验室);Wright State University(莱特州立大学)
在本文中,我们介绍了一种上下文接地的方法,捕获相应的文本实体和图像区域的上下文,以提高接地的准确性。具体来说,所提出的架构接受来自现成对象检测器的预训练文本令牌嵌入和图像对象特征作为输入。可以添加用于捕获位置和空间信息的附加编码以增强特征质量。有单独的文本和图像分支,便于不同模态的相应架构细化。文本分支在大规模掩蔽语言建模任务上进行预训练,而图像分支则从头开始训练。接着,模型分别通过高阶交互层学习文本标记和图像对象的上下文表示。最后的接地头排名之间的对应关系的文本和视觉表示通过跨模态的相互作用。在评估中,我们表明,我们的模型在Flickr30K实体数据集上达到了71.36%的最先进的接地精度。与相关工作相比,不需要额外的预训练就可以提供有竞争力的结果,而相关工作通常需要对跨模态dadaset进行任务无关和特定于任务的预训练。该实现可在https://gitlab.com/necla-ml/grounding上公开获得。
2019-11-05 cs.CL cs.CV cs.LG
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft Research, Redmond(微软研究院雷德蒙德分院);Duke University(杜克大学)
视觉语言导航(VLN)是在真实的3D环境中导航一个具体的智能体执行自然语言指令的任务。在本文中,我们研究如何解决这一任务的三个关键挑战:跨模态接地,不适定反馈,泛化问题。首先,我们提出了一种新的增强跨模态匹配(RCM)方法,通过强化学习(RL)在局部和全局上强制跨模态接地。特别地,匹配评论家用于提供内在奖励以鼓励指令和轨迹之间的全局匹配,并且推理导航器用于在局部视觉场景中执行跨模态接地。在VLN基准数据集上的评估表明,我们的RCM模型在SPL上的性能明显优于以前的方法10%,并达到了新的最先进的性能。为了提高学习策略的泛化能力,我们进一步引入了一种自监督模仿学习(SIL)方法,通过模仿自己过去的好决策来探索未知的环境。我们证明,SIL可以近似一个更好,更有效的政策,这极大地减少了成功率的性能差距之间的可见和不可见的环境(从30.7%到11.7%)。
2019-04-06 cs.AI cs.CL cs.CV
ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with GPT and Prototype Guidance
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);The Chinese University of Hong Kong(香港中文大学)
ViewRefer提出多视图3D视觉定位框架,利用GPT扩展文本描述并结合跨视图注意力与可学习多视图原型,在三个基准上显著超越现有方法。
2023-12-05 cs.AI cs.CL cs.CV
Learning Commonsense-aware Moment-Text Alignment for Fast Video Temporal Grounding
Tianjin University of Technology(天津理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);PengCheng Laboratory(鹏城实验室);Jiangsu University of Science and Technology(江苏科技大学)
在视觉和语言领域中,有效和高效地将自然语言查询中描述的时间视频片段接地是所需的关键能力。在本文中,我们处理的快速视频时间接地(FVTG)的任务,旨在定位目标段的速度和良好的准确性。现有的方法大多采用精心设计的跨模态交互模块来提高接地性能,但存在测试时间瓶颈。几种常用的基于空间的方法虽然具有推理速度快的优点,但它们很难捕捉视觉和文本模态之间全面而明确的关系。在本文中,为了解决速度-准确性权衡的困境,我们提出了一个常识感知的跨模态对齐(CCA)框架,该框架将常识引导的视觉和文本表示纳入一个互补的公共空间,用于快速视频时间接地。具体而言,通过从语言语料库中提取结构语义信息来探索和利用常识概念。然后,设计了一个常识感知交互模块,利用学习到的常识概念获得桥接的视觉和文本特征。最后,为了保持文本查询的原始语义信息,优化了一个跨模态互补公共空间,以获得执行FVTG的匹配分数。两个具有挑战性的基准测试的广泛结果表明,我们的CCA方法在高速运行时对最先进的性能表现良好。我们的代码可在www.example.com上获得。
2022-04-12 cs.CL cs.CV cs.LG
Efficient Adaptation For Remote Sensing Visual Grounding
American University of Beirut(贝鲁特美国大学);Lebanese University(黎巴嫩大学);RASID SARL;WASDI;Institute for Applied Mathematics, CNR Bari(应用数学研究所,CNR巴里);National Center for Remote Sensing, CNRS(遥感国家中心,CNRS)
针对遥感视觉指称任务,应用参数高效微调(PEFT)技术适配Grounding DINO和OFA等视觉-语言模型,在显著降低计算成本的同时,取得了媲美或超越SOTA模型的性能。
2025-05-30 cs.AI cs.CL cs.CV
Parallel Attention Network with Sequence Matching for Video Grounding
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
提出SeqPAN网络,通过自引导并行注意力融合视频与文本多模态信息,并以序列匹配策略预测片段起止边界,在三个数据集上优于现有方法。
2021-05-18 cs.CL cs.CV
Relationship-Embedded Representation Learning for Grounding Referring Expressions
The University of Hong Kong(香港大学);Deepwise AI Lab(深智云人工智能实验室);Sun Yat-sen University(中山大学)
基于图像中的指称表达式旨在定位由指称表达式描述的图像中的对象实例。它涉及对自然语言和图像内容的联合理解,并且对于与人机交互相关的一系列视觉任务至关重要。作为一个语言到视觉的匹配任务,这个问题的核心是不仅要提取所有必要的信息(即,对象和它们之间的关系),而且还充分利用上下文信息来对齐提取信息中的跨模态语义概念。不幸的是,现有的工作接地指涉表达式未能准确地提取多阶关系的指涉表达式,并将它们与图像中的对象及其相关的上下文。在本文中,我们提出了一个跨模态的关系提取器(CMRE)自适应突出对象和关系(空间和语义关系)与跨模态的注意力机制与给定的表达式,并表示提取的信息作为一个语言引导的视觉关系图。此外,我们提出了一个门控图卷积网络(GGCN)计算多模态语义上下文融合信息从不同的模式和传播的结构化关系图的多模态信息。在三个常见的基准数据集上的实验结果表明,我们的跨模态关系推理网络,其中包括CMRE和GGCN,显着优于所有现有的最先进的方法。代码可在www.example.com上获得
2020-04-19 cs.CL cs.CV
ChronusOmni: Improving Time Awareness of Omni Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学光荣人工智能学院);Baichuan Inc.(百川科技公司)
ChronusOmni 通过增强时间感知能力,提升音频视觉时间定位任务的性能,实现跨模态统一建模和细粒度推理。
2025-12-10 cs.CL cs.CV cs.MM
PlaM: Training-Free Plateau-Guided Model Merging for Better Visual Grounding in MLLMs
Northeastern University, China(东北大学);CIS, LMU Munich, Germany(慕尼黑大学计算机学院);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心)
PlaM通过无需训练的高原引导模型融合方法,提升多模态大语言模型的视觉语义表现。
2026-01-12 cs.CL
MEG-RAG: Quantifying Multi-modal Evidence Grounding for Evidence Selection in RAG
Institute for Clarity in Documentation(清晰文档研究所);Inria Paris-Rocquencourt(巴黎- Rocquencourt 国家信息与自动化研究所);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室);Zhejiang University(浙江大学);Peking University(北京大学);University of New South Wales(新南威尔士大学);Macquarie University(麦考瑞大学);CSIRO’s Data61(CSIRO 数据61)
本文提出 MEG-RAG 框架,通过语义感知的多模态证据 grounding 方法提升 RAG 中的证据选择准确性与多模态一致性。
2026-04-30 cs.CL cs.IR cs.IT
Robust and Interpretable Grounding of Spatial References with Relation Networks
Princeton University(普林斯顿大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
学习自然语言中的空间参考表示是自主导航和机器人操作等任务的关键挑战。最近的工作已经调查了各种神经架构学习多模态表示的空间概念。然而,缺乏显式推理的实体,使这些方法容易受到噪音的输入文本或状态观察。在本文中,我们开发了有效的模型来理解文本中的空间参考,这些模型是鲁棒的和可解释的,而不会牺牲性能。我们设计了一个文本条件的\textit{relation network},其参数动态计算的跨模态注意力模块捕捉实体之间的细粒度的空间关系。这种设计选择提供了学习的中间输出的可解释性。三个任务的实验表明,我们的模型实现了卓越的性能,与最先进的系统相比,预测目标位置提高了17%,鲁棒性提高了15%。
2020-10-07 cs.CL
M4CXR: Exploring Multi-task Potentials of Multi-modal Large Language Models for Chest X-ray Interpretation
DEEPNOID Inc.(DEEPNOID公司)
本文提出M4CXR,一种多模态大语言模型,通过链式推理策略提升胸部X光报告生成的临床准确性,并在视觉问答和视觉 grounding 任务中表现出色。
2024-08-29 cs.AI cs.CL cs.CV
Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding
East China University of Science and Technology(华东理工大学);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学)
提出LazyMCoT动态框架,通过自适应路由评估不确定性,对简单查询跳过处理,对困难样本利用协作定位模块进行两阶段精炼,在提升推理精度的同时降低平均推理延迟。
2026-06-16 cs.CL cs.CV
Disentangled Motif-aware Graph Learning for Phrase Grounding
Zhejiang University(浙江大学);City Cloud Technology (China) Co., Ltd(城市云技术(中国)有限公司)
在本文中,我们提出了一个新的图学习框架,短语接地的图像。从顺序图模型发展到稠密图模型,现有的工作捕获粗粒度的上下文,但不能区分短语和图像区域之间的上下文的多样性。相比之下,我们特别注意不同的图案隐含在场景图的上下文中,并设计了解纠缠图网络,将图案感知的上下文信息集成到表示中。此外,我们还在特征和结构层面上采取干预策略,以巩固和概括表征。最后,跨模态注意网络被用来融合模态内特征,其中每个短语可以被计算与区域的相似度以选择最佳接地。我们通过一系列消融研究验证了解纠缠和介入图网络(DIGN)的效率,我们的模型在Flickr30K实体和ReferIt游戏基准测试中达到了最先进的性能。
2021-04-13 cs.CL cs.CV
Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Fudan University(复旦大学)
针对音视频大语言模型的源混淆接地幻觉,通过路径干预揭示问题中继机制,提出无需训练的SECRET方法引导问题状态,在CMM和AVHBench上显著缓解幻觉。
2026-09-30 cs.CL
Video Object Grounding using Semantic Roles in Language Description
University of Southern California(南加州大学);Facebook Inc.(Facebook公司)
我们探讨的任务视频对象接地(VOG),地面对象在视频中提到的自然语言的描述。以往的方法采用基于图像背景的算法来处理VOG,未能探索对象关系信息,并且泛化能力有限。在这里,我们研究对象关系在VOG中的作用,并提出了一个新的框架VOGNet编码多模态对象关系,通过自我注意与相对位置编码。为了评估VOGNet,我们提出了新的对比采样方法来生成更具挑战性的接地输入样本,并基于现有的标题和接地数据集构建了一个名为ActivityNet-SRL(ASRL)的新数据集。ASRL上的实验验证了在VOG中编码对象关系的必要性,我们的VOGNet明显优于竞争基线。
2020-03-24 cs.CL cs.CV
Don't Learn, Ground: A Case for Natural Language Inference with Visual Grounding
Utrecht University(乌特勒支大学)
本文提出了一种基于视觉依托的零样本自然语言推理方法,通过生成视觉表示并比较与假设的相似度,实现高精度推理,展示了对文本偏见的鲁棒性。
2025-11-21 cs.CL
TubeDETR: Spatio-Temporal Video Grounding with Transformers
Inria(法国国家信息与自动化研究所);Département d’informatique de l’ENS, CNRS, PSL Research University(巴黎高等师范学院计算机系、法国国家科学研究中心、巴黎文理研究大学);DeepMind(深度思维);CIIRC CTU Prague(捷克布拉格技术大学捷克信息学、机器人与控制论研究所)
我们考虑在对应于给定文本查询的视频中定位时空管的问题。这是一项具有挑战性的任务,需要对时间、空间和多模式的相互作用进行联合和有效的建模。为了解决这个问题,我们提出TubeDETR,一个基于变换器的架构,灵感来自最近成功的文本条件目标检测等模型。我们的模型特别包括:(i)对稀疏采样帧上的空间多模态交互进行建模的高效视频和文本编码器,以及(ii)联合执行时空定位的时空解码器。我们通过广泛的消融研究证明了我们提出的组件的优势。我们还评估了我们在时空视频接地任务上的完整方法,并在具有挑战性的VidSTG和HC-STVG基准上展示了对最先进技术的改进。代码和训练模型可在https://antoyang.github.io/tubedetr.html上公开获取。
2022-06-09 cs.CL cs.CV cs.LG
A Multi-level Alignment Training Scheme for Video-and-Language Grounding
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
要解决视频和语言的基础任务,关键是让网络理解这两种模式之间的联系。对于一对视频和语言描述,它们之间的语义关系通过编码相似度来反映。一个好的多模态编码器应该能够很好地捕捉两个输入的语义,并将它们编码在共享特征空间中,其中嵌入距离被适当地转换为它们的语义相似度。在这项工作中,我们专注于视频和语言之间的这种语义联系,并开发了一种多级对齐训练方案来直接塑造编码过程。基于从高层上下文到细粒度语义的信息相似度,设计了全局和片段级的视频-语言对齐对。对比性损失用于对比正负比对对之间的编码相似性,并确保网络以这样一种方式进行训练,即相似信息在共享特征空间中紧密编码,而不同语义的信息保持分离。我们的多层次对齐训练可以应用于各种视频和语言基础任务。再加上特定于任务的训练损失,我们的框架在多个视频QA和检索数据集上实现了与以前最先进的性能相当的性能。
2023-02-27 cs.CL cs.CV cs.LG
Multi-Modal Hallucination Control by Visual Information Grounding
AWS AI Labs(AWS AI实验室);EPFL(洛桑联邦理工学院)
针对视觉语言模型因过度依赖语言先验而产生幻觉的问题,提出无需额外训练的推理时采样方法 M3ID,并可与 DPO 结合提升视觉依赖,显著降低幻觉并提高 VQA 准确率。
2024-03-20 cs.CL cs.CV cs.LG
Multi-View Transformer for 3D Visual Grounding
The Chinese University of Hong Kong(香港中文大学)
3D视觉基础任务旨在将自然语言描述基础到3D场景中的目标对象,其通常以3D点云表示。以前的作品研究了特定视角下的视觉基础。通过这种方式学习的视觉-语言对应一旦视图改变就很容易失败。在本文中,我们提出了一个多视图Transformer(MVT)的三维可视化接地。我们将三维场景投影到多视图空间,在多视图空间中,三维场景在不同视图下的位置信息被同时建模并聚合在一起。多视图空间使网络能够学习用于3D视觉基础的更鲁棒的多模态表示,并消除对特定视图的依赖。大量的实验表明,我们的方法显着优于所有国家的最先进的方法。具体来说,在Nr 3D和Sr 3D数据集上,我们的方法比最好的竞争对手的性能高出11.2%和7.1%,甚至比最近的工作高出5.9%和6.6%。我们的代码可在https://github.com/sega-hsj/MVT-3DVG上获得。
2022-04-05 cs.CL cs.CV
Dynamic Attention Networks for Task Oriented Grounding
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
为了成功地执行由自然语言指令指定的任务,在视觉世界中操作的人工代理需要将来自指令的单词、概念和动作映射到其环境中的视觉元素。这种关联被称为面向任务的基础。在这项工作中,我们提出了一种新的动态注意力网络架构的有效的多模态融合的文本和视觉表示,可以生成一个强大的状态定义的政策学习。我们的模型假设没有来自视觉和文本领域的先验知识,并且是端到端可训练的。对于观察连续变化的3D视觉世界,对视觉元素的注意力往往从一个时间步骤到下一个时间步骤高度相关。我们称之为“动态注意力”。在这项工作中,我们表明,动态注意力有助于实现接地,也有助于策略学习的目标。由于大多数实际的机器人应用发生在现实世界中的观察空间是连续的,我们的框架可以被用来作为一个广义的多模态融合单元,通过自然语言的机器人控制。我们证明了在门控注意力Hadamard乘积上使用1D卷积对网络收敛速度的有效性。我们证明了长短期记忆(LSTM)的细胞状态是建模动态注意力的自然选择,并通过可视化显示生成的注意力非常接近人类倾向于关注环境的方式。
2019-10-14 cs.CL cs.CV cs.LG
Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis
BITS Pilani, K. K. Birla Goa Campus(贝拉理工学院(BITS Pilani)K.K.比拉拉果阿校区)
表征相似性分析是认知神经科学的一种方法,它有助于比较来自两个不同数据源的表征。在本文中,我们提出使用表征相似性分析来探测代码的语言模型的语义基础。我们通过使用IBM CodeNet数据集的数据来探测CodeBERT模型的语义基础表示。通过我们的实验,我们表明,目前的预训练方法不会在代码的语言模型中引入语义基础,而是专注于优化基于形式的模式。我们还表明,即使是少量的微调语义相关的任务增加了语义基础CodeBERT显着。我们对CodeBERT模型的输入模态的消融表明,使用双峰输入(代码和自然语言)而不是单峰输入(仅代码)在语义微调期间提供了更好的语义基础和样本效率。最后,我们对代码中语义扰动的实验表明,CodeBERT能够鲁棒地区分语义正确和不正确的代码。
2022-07-15 cs.CL cs.IR cs.PL
CPT: Colorful Prompt Tuning for Pre-trained Vision-Language Models
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);National University of Singapore(新加坡国立大学)
预训练的视觉语言模型(VL-PTM)在将图像数据中的自然语言接地方面显示出有前途的能力,从而促进了各种各样的跨模态任务。然而,我们注意到,模型预训练和微调的客观形式之间存在着巨大的差距,导致需要大量的标记数据来刺激VL-PTM的视觉基础能力。为了应对这一挑战,我们提出了跨模态提示微调(CPT,或者,彩色提示微调),一种新的范式调整VL-PTM,它重新制定了视觉接地到一个填空题与颜色为基础的图像和文本中的共指标记,最大限度地减轻差距。以此方式,CPT实现VL-PTM的强Few-Shot和甚至zero-shot视觉接地能力。综合实验结果表明,未经调谐的VL-PTM在很大程度上优于其微调的对应物(例如,在RefCOCO评估中,平均一次发射的绝对精度提高17.3%,相对标准偏差降低73.8%)。我们在https://github.com/thunlp/CPT上公开了本文的数据和代码。
2022-05-20 cs.CL cs.CV
Grounding Visual Representations with Texts for Domain Generalization
LG AI Research(LG人工智能研究院);Korea University(高丽大学);Seoul National University(首尔国立大学);NAVER Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
减少源域和目标域之间的代表性差异是最大化模型泛化的关键组成部分。在这项工作中,我们提倡利用自然语言监督的领域泛化任务。我们引入了两个模块来将视觉表示与包含人类典型推理的文本结合起来:(1)视觉和文本联合嵌入器和(2)文本解释生成器。前者学习图像-文本联合嵌入空间,在那里我们可以将高级类别区分信息嵌入模型中。后者利用一个可解释的模型,并产生解释,证明其决定背后的理由。据我们所知,这是第一个利用视觉和语言跨模态方法进行领域泛化任务的工作。我们使用新创建的CUB-DG基准数据集进行的实验表明,跨模态监督可以成功地用于基础域不变的视觉表示并提高模型的泛化能力。此外,在大规模DomainBed基准测试中,我们提出的方法取得了最先进的结果,并在五个多域数据集的平均性能中排名第一。数据集和代码可在https://github.com/mswzeus/GVRT上获得。
2022-08-09 cs.CL cs.CV cs.LG