Looking Enhances Listening: Recovering Missing Speech Using Images
Carnegie Mellon University(卡内基梅隆大学);University of Edinburgh(爱丁堡大学)
通过使用视觉上下文可以更好地理解语音;因此,已经有许多尝试使用图像来适应自动语音识别(ASR)系统。然而,目前的工作表明,视觉适应的ASR模型只使用图像作为正则化信号,而完全忽略了它们的语义内容。在本文中,我们提出了一组实验,我们在嘈杂的条件下显示的视觉模态的效用。我们的研究结果表明,多模态ASR模型可以恢复被掩盖在输入的声学信号的话,接地其transanterity使用的视觉表示。我们观察到,整合视觉上下文可以导致高达35%的相对改善掩蔽词恢复。这些结果表明,端到端的多模态ASR系统可以通过利用视觉上下文变得对噪声更加鲁棒。
2020-02-13 cs.CL cs.MM eess.AS
Improving Referring Expression Grounding with Cross-modal Attention-guided Erasing
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
指称表达定位的目的是定位图像中具有指称表达的特定对象或人,其中的关键挑战是理解和对齐来自视觉和文本域的各种类型的信息,例如视觉属性,位置以及与周围区域的交互。虽然注意力机制已成功地应用于跨通道对齐,以前的注意力模型只关注两种通道的最主要的特征,而忽略了图像和指称表达之间可能存在多个全面的文本-视觉对应的事实。为了解决这个问题,我们设计了一种新的跨模态注意力引导擦除方法,在该方法中,我们丢弃来自文本或视觉域的最主要信息,以在线生成困难的训练样本,并驱动模型发现互补的文本-视觉对应关系。大量的实验证明了我们提出的方法的有效性,在三个引用表达式接地数据集上实现了最先进的性能。
2019-04-02 cs.CL cs.CV
ChronusOmni: Improving Time Awareness of Omni Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学光荣人工智能学院);Baichuan Inc.(百川科技公司)
ChronusOmni 通过增强时间感知能力,提升音频视觉时间定位任务的性能,实现跨模态统一建模和细粒度推理。
2025-12-10 cs.CL cs.CV cs.MM
LILE: Look In-Depth before Looking Elsewhere -- A Dual Attention Network using Transformers for Cross-Modal Information Retrieval in Histopathology Archives
University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
近年来,在许多应用程序中,可用数据量急剧增长。此外,分别使用多种模式的网络时代实际上已经结束。因此,使双向跨模态数据检索能够处理已成为许多领域和学科的研究的要求。在医学领域尤其如此,因为数据有多种类型,包括各种类型的图像和报告以及分子数据。大多数当代作品运用交叉注意力来突出图像或文本与其他形式的关系的基本要素,并试图将它们匹配在一起。然而,不管它们在各自模态中的重要性如何,这些方法通常平等地考虑每种模态的特征。在本研究中,自我注意作为一个额外的损失术语将被提出来丰富的内部表征提供到交叉注意模块。这项工作提出了一种新的架构与一个新的损失项,以帮助代表图像和文本的联合潜在空间。在MS-COCO数据集和MS-COCO数据集上的实验结果表明了该方法的有效性。
2022-03-04 cs.CL cs.CV cs.LG
Does Visual Grounding Enhance the Understanding of Embodied Knowledge in Large Language Models?
Beijing Normal University(北京师范大学);Tencent AI Lab(腾讯AI实验室)
本文构建涵盖多感官与内感受的具身知识理解基准,测试30个模型后发现VLMs并未优于纯文本模型,凸显更有效整合具身知识的必要性。
2025-10-19 cs.CL
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学)
针对视频句子定位中模态间的领域差距问题,提出伪查询中介网络(PIN),利用时间全局文本知识的伪查询特征,通过对比学习和可学习提示增强多模态特征对齐,在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
A recipe for annotating grounded clarifications
Universidad Nacional de Córdoba(科尔多瓦国立大学);CONICET(阿根廷国家科学与技术研究委员会);Roskilde University(罗斯基勒大学)
为了解释话语的交际意图,它需要以语言之外的东西为基础,也就是说,以世界模态为基础。在本文中,我们认为,对话澄清机制明确的过程中,解释的交际意图的发言者的话语接地他们在各种形式的对话是位于。本文认为对话澄清机制是自然语言理解这幅巨大拼图中一个尚未得到充分研究的问题,也是一个关键的缺失部分。我们讨论了这个问题所带来的理论背景和实际挑战,并提出了一个获得接地注释的配方。最后,我们强调需要在今后的工作中解决的道德问题。
2021-04-18 cs.AI cs.CL
Multimodal Grounding for Sequence-to-Sequence Speech Recognition
Le Mans University(勒芒大学);Carnegie Mellon University(卡内基梅隆大学)
人类能够通过使用多种感觉模态来处理语音。例如,对话发生的环境通常提供语义和/或声学上下文,帮助我们解决歧义或回忆命名实体。受此启发,已经有许多研究将视觉信息集成到语音识别流水线中的工作。具体来说,在我们以前的工作中,我们提出了一个多步骤的视觉自适应训练方法,提高了基于音频的自动语音识别(ASR)系统的准确性。然而,这种方法不是端到端的,因为它需要用适应层微调整个模型。在本文中,我们提出了新的端到端的多模态ASR系统,并将其与自适应方法进行比较,通过使用一系列从最先进的卷积神经网络获得的视觉表示。我们表明,自适应训练是有效的S2 S模型,导致1.4%的字出错率的绝对改善。至于端到端系统,尽管它们的性能优于基线,但改进略低于自适应训练,在单一最佳模型中绝对WER降低了0.8。使用集成解码,端到端模型达到15%的WER,这是所有系统中的最低分数。
2019-02-19 cs.CL
Contextual Grounding of Natural Language Entities in Images
NEC Laboratories America, Inc.(美国NEC实验室);Wright State University(莱特州立大学)
在本文中,我们介绍了一种上下文接地的方法,捕获相应的文本实体和图像区域的上下文,以提高接地的准确性。具体来说,所提出的架构接受来自现成对象检测器的预训练文本令牌嵌入和图像对象特征作为输入。可以添加用于捕获位置和空间信息的附加编码以增强特征质量。有单独的文本和图像分支,便于不同模态的相应架构细化。文本分支在大规模掩蔽语言建模任务上进行预训练,而图像分支则从头开始训练。接着,模型分别通过高阶交互层学习文本标记和图像对象的上下文表示。最后的接地头排名之间的对应关系的文本和视觉表示通过跨模态的相互作用。在评估中,我们表明,我们的模型在Flickr30K实体数据集上达到了71.36%的最先进的接地精度。与相关工作相比,不需要额外的预训练就可以提供有竞争力的结果,而相关工作通常需要对跨模态dadaset进行任务无关和特定于任务的预训练。该实现可在https://gitlab.com/necla-ml/grounding上公开获得。
2019-11-05 cs.CL cs.CV cs.LG
Detecting Clinical Hallucinations in LVLMs via Counterfactual Visual Grounding Uncertainty
School of Intelligent Science and Technology, Nanjing University(南京大学智能科学与技术学院);National Institute of Healthcare Data Science at Nanjing University(南京大学医疗数据科学国家研究院);School of Biomedical Engineering, Nanjing University(南京大学生物医学工程学院)
提出一种基于反事实视觉基础不确定性的框架,通过提取实体并对比正反事实定位结果计算不确定性分数,无需修改模型即可检测LVLM在临床图像中的幻觉。
2026-06-26 cs.CL cs.CV
Lexicon-Level Contrastive Visual-Grounding Improves Language Modeling
McGovern Institute for Brain Research, MIT(麻省理工学院麦戈文脑科学研究所);Department of Brain and Cognitive Sciences, MIT(麻省理工学院脑与认知科学系);The Program in Speech and Hearing Bioscience and Technology, Harvard University(哈佛大学言语与听觉生物科学与技术项目);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出 LexiContrastive Grounding (LCG),通过结合下一 token 预测与对比视觉基础目标,聚焦编码词汇信息的早期层表示,在多个基准上提升学习效率并降低困惑度约 5%。
2024-03-21 cs.AI cs.CL cs.LG
VividMed: Vision Language Model with Versatile Visual Grounding for Medicine
Tsinghua University(清华大学)
本文提出医学视觉语言模型 VividMed,通过三阶段训练与自动数据合成支持 2D/3D 多模态语义分割、实例框定位,并提升 VQA 和报告生成性能。
2025-02-18 cs.CL cs.CV
Symbol Grounding Association in Multimodal Sequences with Missing Elements
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
在本文中,我们扩展了一个符号关联框架,能够处理多模态序列中丢失的元素。这项工作的一般范围是对象词映射的象征性协会,因为它发生在婴儿的语言发展。换句话说,相同抽象概念的两个不同表示可以在两个方向上关联。这个场景一直是人工智能、心理学和神经科学的兴趣所在。在这项工作中,我们扩展了最近的多模态序列(视觉和音频)的方法,也应付在一个或两个模式的缺失元素。我们的方法使用两个并行的长短期记忆(LSTM)的学习规则的基础上EM算法。它通过动态时间规整(DTW)对齐两个LSTM输出。我们建议包括一个额外的步骤,用于与最大运算的组合,以利用两个序列之间的公共元素。背后的动机是,组合充当条件选择器,用于从两个LSTM中选择最佳表示。我们在以下情况下评估了拟议的扩展:一种模式(视觉或听觉)中的缺失元素和两种模式(视觉和声音)中的缺失元素。我们的扩展的性能比原始模型达到了更好的结果,并且与在每个模态中训练的单个LSTM的结果相似。
2017-12-07 cs.CL cs.CV cs.LG
VLG-Net: Video-Language Graph Matching Network for Video Grounding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
视频中的接地语言查询旨在识别与语言查询语义相关的时间间隔(或时刻)。解决这一具有挑战性的任务需要理解视频和查询的语义内容,并对其多模态交互进行细粒度推理。我们的关键思想是将这个挑战转化为算法图匹配问题。在图神经网络最新进展的推动下,我们建议利用图卷积网络来建模视频和文本信息以及它们的语义对齐。为了实现跨模态的信息的相互交换,我们设计了一种新的视频语言图匹配网络(VLG-Net)来匹配视频和查询图。核心成分包括分别建立在视频片段和查询令牌之上的表示图,并用于建模模态内关系。采用图匹配层进行跨模态上下文建模和多模态融合。最后,通过融合时刻的丰富片段特征,使用掩蔽时刻注意力池来创建候选时刻。我们在三个广泛使用的数据集上展示了优于最先进的接地方法的性能,这些数据集用于语言查询视频中时刻的时间定位:ActivityNet-Captions,TACoS和DiDeMo。
2021-08-16 cs.CL cs.CV
Kosmos-2: Grounding Multimodal Large Language Models to the World
Microsoft Research(微软研究院)
本文提出 Kosmos-2 多模态大语言模型,通过 Markdown 链接形式和 GrIT 数据实现文本与视觉对象的锚定,并在多类 grounding、指代及语言任务上验证其能力。
2023-07-13 cs.CL cs.CV
Learning Commonsense-aware Moment-Text Alignment for Fast Video Temporal Grounding
Tianjin University of Technology(天津理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);PengCheng Laboratory(鹏城实验室);Jiangsu University of Science and Technology(江苏科技大学)
在视觉和语言领域中,有效和高效地将自然语言查询中描述的时间视频片段接地是所需的关键能力。在本文中,我们处理的快速视频时间接地(FVTG)的任务,旨在定位目标段的速度和良好的准确性。现有的方法大多采用精心设计的跨模态交互模块来提高接地性能,但存在测试时间瓶颈。几种常用的基于空间的方法虽然具有推理速度快的优点,但它们很难捕捉视觉和文本模态之间全面而明确的关系。在本文中,为了解决速度-准确性权衡的困境,我们提出了一个常识感知的跨模态对齐(CCA)框架,该框架将常识引导的视觉和文本表示纳入一个互补的公共空间,用于快速视频时间接地。具体而言,通过从语言语料库中提取结构语义信息来探索和利用常识概念。然后,设计了一个常识感知交互模块,利用学习到的常识概念获得桥接的视觉和文本特征。最后,为了保持文本查询的原始语义信息,优化了一个跨模态互补公共空间,以获得执行FVTG的匹配分数。两个具有挑战性的基准测试的广泛结果表明,我们的CCA方法在高速运行时对最先进的性能表现良好。我们的代码可在www.example.com上获得。
2022-04-12 cs.CL cs.CV cs.LG
Multi-level Multimodal Common Semantic Space for Image-Phrase Grounding
Columbia University(哥伦比亚大学)
我们通过学习文本和视觉模态共享的多层次公共语义空间来解决短语接地问题。我们利用深度卷积神经网络的多个层次的特征映射,以及从基于字符的语言模型中提取的上下文化单词和句子嵌入。以下专用的非线性映射的视觉特征在每个级别,单词和句子嵌入,我们获得多个实例,我们共同的语义空间中,任何目标文本和视觉内容之间的比较进行余弦相似性。我们通过一个多层次的多模态注意力机制来引导模型,该机制在每个层次上输出被关注的视觉特征。选择最佳水平与文本内容进行比较,以最大化地面真相的图像-句子对的相关性得分。在三个公开可用的数据集上进行的实验显示,在短语本地化方面,与最先进的方法相比,性能有了显著的提高(相对提高20%-60%),并在这些数据集上创造了新的性能记录。我们提供了详细的消融研究,以显示我们方法中每个元素的贡献,并在GitHub上发布我们的代码。
2019-05-29 cs.CL cs.CV cs.LG
Attention Based Natural Language Grounding by Navigating Virtual Environment
Adobe Systems(奥多比系统公司);Mila, Université de Montréal(米拉-蒙特利尔大学)
在这项工作中,我们专注于接地语言的问题,通过训练代理遵循一组自然语言指令,并在环境中导航到目标对象。智能体通过原始像素和自然语言指令接收视觉信息,告诉需要完成什么任务,并以端到端的方式进行训练。我们开发了一种注意力机制,用于视觉和文本模态的多模态融合,使智能体能够学习完成任务并实现语言基础。我们的实验结果表明,我们的注意力机制优于现有的多模态融合机制提出的二维和三维环境,以解决上述任务的速度和成功率。我们表明,学习的文本表示是语义上有意义的,因为它们遵循向量算术的嵌入空间。我们的注意力的方法在当代的融合机制的有效性也突出了从不同的方法学习的文本嵌入。我们还表明,我们的模型有效地推广到看不见的情况下,并表现出zero-shot泛化能力,在2D和3D环境。我们的2D环境代码以及我们为2D和3D开发的模型可在https://github.com/rl-lang-grounding/rl-lang-ground上获得。
2018-12-21 cs.AI cs.CL cs.CV
Looking to Learn: Token-wise Dynamic Gating for Low-Resource Vision-Language Modelling
ALTA Institute(ALTA研究院);Department of Computer Science & Technology, University of Cambridge(计算机科学与技术系,剑桥大学)
针对低资源视觉-语言建模,提出带逐词动态门控的轻量解码器架构,在BabyLM挑战赛五个基准上取得竞争性表现,并发现可解释的门控模式,兼顾性能与可解释性。
2025-10-09 cs.AI cs.CL cs.LG
A Multi-level Alignment Training Scheme for Video-and-Language Grounding
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
要解决视频和语言的基础任务,关键是让网络理解这两种模式之间的联系。对于一对视频和语言描述,它们之间的语义关系通过编码相似度来反映。一个好的多模态编码器应该能够很好地捕捉两个输入的语义,并将它们编码在共享特征空间中,其中嵌入距离被适当地转换为它们的语义相似度。在这项工作中,我们专注于视频和语言之间的这种语义联系,并开发了一种多级对齐训练方案来直接塑造编码过程。基于从高层上下文到细粒度语义的信息相似度,设计了全局和片段级的视频-语言对齐对。对比性损失用于对比正负比对对之间的编码相似性,并确保网络以这样一种方式进行训练,即相似信息在共享特征空间中紧密编码,而不同语义的信息保持分离。我们的多层次对齐训练可以应用于各种视频和语言基础任务。再加上特定于任务的训练损失,我们的框架在多个视频QA和检索数据集上实现了与以前最先进的性能相当的性能。
2023-02-27 cs.CL cs.CV cs.LG
Crossmodal Language Grounding in an Embodied Neurocognitive Model
Universität Hamburg(汉堡大学);The University of Tokyo(东京大学);Tsinghua University(清华大学)
人类婴儿在很小的时候就能很容易地习得自然语言。他们的语言学习似乎与学习其他认知功能以及与环境和照顾者的玩耍互动同时发生。从神经科学的角度来看,自然语言是具身的,基于大多数(如果不是全部的话)感觉和感觉运动模态,并通过跨模态整合获得。然而,描述大脑中的潜在机制是困难的,解释语言在跨模态感知和行动中的基础仍然具有挑战性。在本文中,我们提出了一个神经认知模型的语言接地,反映了生物启发的机制,如时间尺度的内隐适应,以及端到端的多模态抽象。它解决了发展机器人的互动,并使用更大规模的知识为基础的数据扩展其学习能力。在我们的场景中,我们利用人形机器人NICO获得EMIL数据汇集,其中认知机器人与儿童游乐场环境中的对象进行交互,同时接收来自护理人员的语言标签。模型分析表明,跨模态综合表征是足够的,仅从感官输入,通过与环境中的对象的相互作用来获取语言。这些表示自组织分层,并通过组合和分解嵌入时间和空间信息。该模型还可以为进一步的基于感知的认知表征的跨模态整合提供基础。
2020-10-16 cs.CL cs.LG cs.NE
3D Concept Grounding on Neural Fields
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Massachusetts Institute of Technology(麻省理工学院);Shanghai Jiao Tong University(上海交通大学);MIT(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
在本文中,我们解决了具有挑战性的问题,三维概念接地(即分割和学习视觉概念)通过查看RGBD图像和推理配对的问题和答案。现有的视觉推理方法通常利用监督方法来提取概念所基于的2D分割掩模。相比之下,人类能够将概念建立在图像的底层3D表示上。然而,传统上推断的3D表示(例如,点云、体素网格和网格)不能灵活地捕获连续的3D特征,因此使得基于所引用对象的语言描述将概念接地到3D区域具有挑战性。为了解决这两个问题,我们建议利用神经场的连续性和可微性来分割和学习概念。具体地,场景中的每个3D坐标被表示为高维描述符。然后可以通过计算3D坐标的描述符向量和语言概念的向量嵌入之间的相似性来执行概念基础,这使得分割和概念学习能够以可区分的方式在神经场上联合学习。因此,3D语义和实例分割都可以使用神经域之上的一组定义的神经运算符(例如,过滤和计数)。实验结果表明,我们提出的框架优于无监督/语言介导的分割模型的语义和实例分割任务,以及优于现有的模型上具有挑战性的3D感知视觉推理任务。此外,我们的框架可以很好地推广到看不见的形状类别和真实扫描。
2022-07-13 cs.AI cs.CL cs.CV
LLM-Optic: Unveiling the Capabilities of Large Language Models for Universal Visual Grounding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
LLM-Optic利用大型语言模型作为文本和视觉定位器,增强现有视觉定位模型对复杂查询的理解,无需训练即可实现零样本通用视觉定位。
2024-05-28 cs.AI cs.CL cs.CV
Temporal Sentence Grounding in Videos: A Survey and Future Directions
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心)
本文综述视频时序句子定位(TSGV)的通用流程、多模态理解与交互方法及技术分类,分析现有问题并指出未来研究方向。
2023-03-13 cs.AI cs.CL cs.CV
ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with GPT and Prototype Guidance
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);The Chinese University of Hong Kong(香港中文大学)
ViewRefer提出多视图3D视觉定位框架,利用GPT扩展文本描述并结合跨视图注意力与可学习多视图原型,在三个基准上显著超越现有方法。
2023-12-05 cs.AI cs.CL cs.CV
Burn After Reading: Do Multimodal Large Language Models Truly Capture Order of Events in Image Sequences?
Utrecht University(乌特雷赫大学)
该研究提出聚焦图像序列时序推理的TempVS基准,含三类核心测试及配套定位测试,评估38个前沿多模态大语言模型后发现其表现远逊于人类,并给出细粒度研究方向。
2025-06-12 cs.CL cs.CV
Exploring Multimodal Perception in Large Language Models Through Perceptual Strength Ratings
Korea University(高丽大学);Seoul National University(首尔大学)
本研究通过感知强度评分评估 21 个大语言模型,发现更大、多模态和更新的模型更接近人类感觉-语言关联,但处理机制仍与人类具身认知存在本质差异。
2025-11-07 cs.CL
Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision?
University of Chicago(芝加哥大学);Stony Brook University(石溪大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
通过系统性实验发现,视觉-语言模型对细粒度视觉证据的依赖程度低于预期,表明当前基准测试不足以可靠评估其视觉基础能力。
2026-05-21 cs.AI cs.CL cs.CV
By My Eyes: Grounding Multimodal Large Language Models with Sensor Data via Visual Prompting
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
本文提出By My Eyes视觉提示方法,通过自动生成传感器数据可视化并结合多模态大语言模型,在九个感知任务上实现平均准确率提升10%、token成本降低15.8倍。
2024-09-29 cs.AI cs.CL cs.CV
Learning Language Structures through Grounding
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田技术研究所)
本论文研究通过视觉、程序执行和其他语言等接地信号学习语言结构,提出视觉接地语法归纳、执行感知语义解析和跨语言结构投影等方法,显著提升解析、组合泛化及零样本跨语言性能。
2024-10-21 cs.AI cs.CL cs.CV
Grounding Spatio-Temporal Language with Transformers
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);Microsoft Research(微软研究院);ENSTA ParisTech(巴黎高等先进技术学院)
语言是与外部世界的接口。为了让具身的代理人使用它,语言必须建立在其他感觉运动模式的基础上。虽然有大量文献研究机器如何学习基础语言,但如何学习时空语言概念的主题在很大程度上仍然是未知的。为了在这个方向上取得进展,我们在这里介绍了一种新的时空语言接地任务,其目标是学习的意义时空描述的行为痕迹的体现代理。这是通过训练一个真值函数来实现的,该函数预测描述是否与给定的观察历史相匹配。这些描述涉及过去式和现在式中的时间扩展谓词以及对场景中对象的时空引用。为了研究架构偏见在这项任务中的作用,我们训练了几个模型,包括多模态Transformer架构;后者在空间和时间上实现了单词和对象之间的不同注意力计算。我们在两类泛化上测试模型:1)泛化到随机保持的句子; 2)泛化到语法原语。我们观察到,在我们的Transformers的注意力计算中保持对象身份有助于在总体上实现良好的泛化性能,并且在单个令牌中总结对象轨迹对性能的影响很小。然后,我们将讨论如何打开新的视角,语言引导的自主体现代理。我们还在开源许可证下发布我们的代码以及预训练的模型和数据集,以鼓励更广泛的社区在未来建立和扩展我们的工作。
2021-10-11 cs.AI cs.CL cs.LG
Vision-and-Language or Vision-for-Language? On Cross-Modal Influence in Multimodal Transformers
University of Trento(特伦托大学);University of Copenhagen(哥本哈根大学)
预先训练的视觉和语言BERT旨在学习结合来自两种模式的信息的表示。我们提出了一种诊断方法的基础上跨模态输入消融,以评估在何种程度上,这些模型实际上整合跨模态信息。该方法涉及从一种模态中完全或选择性地基于跨模态接地对齐来消融输入,并评估另一种模态上的模型预测性能。模型性能通过反映模型预训练目标的特定模态任务来衡量(例如,文本的掩蔽语言建模)。已经学会使用两种模态来构建跨模态表示的模型在模态中缺少输入时的表现会更差。我们发现,最近提出的模型有更大的相对困难预测文本时,视觉信息被消融,预测视觉对象类别时,文本被消融,这表明这些模型是不对称的跨模态。
2021-09-09 cs.CL cs.CV
Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges
本研究综述多轮对话式AI的发展现状,梳理其在数据、模型等方面的进展,指出多模态交互能力提升但存在记忆等短板,并提出相关研究议程。
2026-09-21 cs.AI cs.CL cs.SD
Aligning Visual Regions and Textual Concepts for Semantic-Grounded Image Representations
Peking University(北京大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);JD AI Research(京东人工智能研究院)
在视觉和语言基础问题中,图像的细粒度表示被认为是至关重要的。目前的大多数系统都将视觉特征和文本概念作为图像的草图。然而,显然推断的表示通常是不可取的,因为它们是由单独的组成部分,其中的关系是难以捉摸的。在这项工作中,我们的目标是表示一组综合的视觉区域和相应的文本概念的图像,反映一定的语义。为此,我们建立了相互迭代注意(MIA)模块,它集成了相关的视觉特征和文本概念,分别对齐这两种方式。我们评估了两个代表性的视觉和语言基础任务,即,图像描述和可视问答。在这两个任务中,基于语义的图像表示在所有指标下都能持续提高基线模型的性能。结果表明,我们的方法是有效的,以及推广到广泛的模型,图像相关的应用。(The代码可在https://github.com/fenglinliu98/MIA获得)
2019-11-04 cs.CL cs.CV
Multi-Turn Multi-Agent Dialogue for Collaborative Reconstruction Improves VLM Performance on Spatial Reasoning, But Only Barely
Computational Linguistics, Department of Linguistics University of Potsdam(语言学计算系,语言学系 柏林洪堡大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
研究通过多轮多智能体对话框架评估视觉语言模型在协作空间推理任务中的表现,发现视觉空间理解仍是主要瓶颈,文本表示和分解图像表示可部分提升性能。
2026-05-29 cs.CL cs.RO
Vision-Language Integration in Multimodal Video Transformers (Partially) Aligns with the Brain
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本研究利用大脑记录探测预训练多模态视频Transformer,发现视觉增强语言处理中的掩码预测,但联合表征未捕获额外脑相关信息,微调可改善大脑对齐,表明多模态集成部分与大脑相关。
2023-11-13 cs.AI cs.CL cs.CV
The Revolution of Multimodal Large Language Models: A Survey
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);University of Pisa(比萨大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文综述了多模态大语言模型的最新进展,系统分析了其架构、对齐策略、训练技术、任务表现及数据集与基准,为未来研究奠定基础。
2024-06-06 cs.AI cs.CL cs.CV