TMT: A Transformer-based Modal Translator for Improving Multimodal Sequence Representations in Audio Visual Scene-aware Dialog
Didi Chuxing(滴滴出行)
视听场景感知对话(AVSD)是一个在讨论给定视频时生成响应的任务。先前的最先进模型使用基于Transformer的架构显示了此任务的卓越性能。然而,在学习更好地表示模态方面仍然存在一些限制。受神经机器翻译(NMT)的启发,本文提出了基于转换器的模态翻译器(TMT),通过有监督的方式将源模态序列翻译成相关的目标模态序列,从而学习源模态序列的表示。在多模态Transformer网络(MTN)的基础上,将TMT应用于视频和对话,提出了基于视频的对话系统MTN-TMT。在对话系统技术挑战赛7的AVSD赛道上,MTN-TMT在视频和文本任务以及纯文本任务中的表现优于MTN和其他提交模型。与MTN相比,MTN-TMT在所有指标上都有改善,尤其是在CIDER上的相对改善高达14.1%。索引术语:多模态学习、视听场景感知对话、神经机器翻译、多任务学习
2020-10-21 cs.CL
Static and Animated 3D Scene Generation from Free-form Text Descriptions
Stony Brook University(石溪大学)
从自由形式的文本描述中生成连贯和有用的图像/视频场景在技术上是一个非常难以处理的问题。对同一场景的文字描述可能因人而异,有时甚至是同一个人。由于在准备文本描述时单词和句法的选择不同,因此系统从不同形式的语言输入可靠地产生一致的期望输出是具有挑战性的。以往的场景生成工作大多局限于文本输入的严格句子结构,限制了用户编写描述的自由。在我们的工作中,我们研究了一个新的管道,旨在从不同类型的自由形式的文本场景描述生成静态和动画3D场景,没有任何重大限制。特别是,为了保持我们的研究实用和易于处理,我们专注于所有可能的3D场景的一个小子空间,包含立方体,圆柱体和球体的各种组合。我们设计了一个两级管道。在第一阶段,我们使用编码器-解码器神经架构对自由形式的文本进行编码。在第二阶段,我们根据生成的编码生成3D场景。我们的神经架构利用最先进的语言模型作为编码器,以利用丰富的上下文编码和一个新的多头解码器,同时预测场景中的对象的多个特征。对于我们的实验,我们生成了一个大的合成数据集,其中包含13,00,000和14,00,000个样本的独特的静态和动画场景描述,分别。在测试数据集上,我们成功地实现了98.427%的准确率检测三维物体的特征。我们的工作显示了解决问题的一种方法的概念证明,我们相信有足够的训练数据,相同的管道可以扩展到处理更广泛的3D场景生成问题。
2020-11-28 cs.CL cs.CV
Underspecification in Scene Description-to-Depiction Tasks
Google Research(谷歌研究院)
关于隐含性,模糊性和欠规范的问题是至关重要的理解任务的有效性和多模态图像+文本系统的伦理问题,但迄今为止很少受到关注。这份立场文件绘制了一个概念框架,以解决这一差距,重点是系统生成的图像描绘场景的场景描述。在这样做的时候,我们解释了文本和图像如何以不同的方式传达意义。我们概述了一系列关于文本和视觉模糊性的核心挑战,以及可能被模糊和未充分指定的元素放大的风险。我们提出并讨论了解决这些挑战的策略,包括生成视觉上模糊的图像,并生成一组不同的图像。
2022-10-11 cs.CL cs.CV
Generating Multi-Sentence Lingual Descriptions of Indoor Scenes
Chinese Univ. of Hong Kong(香港中文大学);Carnegie Mellon Univ.(卡内基梅隆大学);University of Toronto(多伦多大学)
本文提出了一种新的框架生成语言描述的室内场景。虽然已经做出了大量的努力来解决这个问题,但以前的方法主要集中在为每个图像生成单个句子,这不足以描述复杂的场景。我们试图超越这一点,通过多个句子生成连贯的描述。我们的方法在几个方面与传统的方法不同:(1)一个3D视觉解析系统,联合推断对象,属性和关系;(2)一个自动从训练文本中学习的生成语法;(3)一个考虑句子之间连贯性的文本生成算法。在增强的NYU-v2数据集上的实验表明,与基线产生的结果相比,我们的框架可以生成具有更高ROGUE分数的自然描述。
2015-02-28 cs.CL cs.CV
Text2Scene: Generating Compositional Scenes from Textual Descriptions
University of Virginia(弗吉尼亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们提出了Text2 Scene,这是一个从自然语言描述生成各种形式的组合场景表示的模型。与最近的工作不同,我们的方法不使用生成对抗网络(GANs)。相反,Text2Scene通过关注输入文本的不同部分和生成场景的当前状态,学习在每个时间步长顺序生成对象及其属性(位置,大小,外观等)。我们表明,根据微小的修改,所提出的框架可以处理不同形式的场景表示,包括卡通场景,对应于真实图像的对象布局,和合成图像的生成。与使用自动度量的最先进的基于GAN的方法相比,我们的方法不仅具有竞争力,而且具有产生可解释结果的优势。
2019-06-09 cs.CL cs.CV
Knowledge-Based Video Question Answering with Unsupervised Scene Descriptions
Osaka University(大阪大学)
为了理解电影,人们不断地对特定场景中的对话和动作进行推理,并将它们与已经看到的整体故事情节联系起来。受这种行为的启发,我们设计了ROLL,一个基于知识的视频故事问答模型,它利用了电影理解的三个关键方面:对话理解,场景推理和故事情节回忆。在ROLL中,这些任务中的每一个都负责通过1)处理场景对话,2)生成无监督视频场景描述,以及3)以弱监督方式获取外部知识来提取丰富多样的信息。为了正确回答给定的问题,每个启发认知任务产生的信息通过Transformers编码,并通过模态加权机制融合,该机制平衡了来自不同来源的信息。详尽的评估证明了我们的方法的有效性,这产生了一个新的国家的最先进的两个具有挑战性的视频问答数据集:KnowIT VQA和TVQA+。
2020-07-17 cs.CL cs.CV
Answering Visual What-If Questions: From Actions to Predicted Scene Descriptions
University of Birmingham(伯明翰大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center i.G.(CISPA亥姆霍兹中心)
深入的场景描述和问答任务大大增加了当今场景理解的定义范围。虽然这些任务原则上是开放式的,但目前的提法主要侧重于描述所考虑的场景的当前状态。相比之下,在本文中,我们专注于未来的状态的场景,也有条件的行动。我们将此作为一个问答任务,其中必须给出关于未来场景状态的答案,给出对当前场景的观察,以及包括假设动作的问题。我们的解决方案是一个混合模型,它集成了一个物理引擎到一个问答架构,以预期未来的场景状态所造成的对象-对象交互的行动。我们展示了这个具有挑战性的新问题的初步结果,并与基线进行了比较,在基线上,我们的表现优于完全数据驱动的端到端学习方法。
2018-11-21 cs.CL cs.CV cs.LG
From Images to Sentences through Scene Description Graphs using Commonsense Reasoning and Knowledge
Arizona State University(亚利桑那州立大学);University of Maryland, College Park(马里兰大学帕克分校)
在本文中,我们提出了图像的语言描述的建设。这是通过使用自动构建的知识库从视觉场景中提取场景描述图(SDG)来实现的。SDG是通过愿景和推理构建的。具体而言,常识推理应用于(a)从给定图像上的现有感知方法获得的检测,(b)使用图像注释的自然语言处理构建的“常识”知识库,以及(c)来自诸如WordNet的资源的词汇本体知识。基于Amazon Mechanical Turk(AMT)的Flickr 8 k、Flickr 30 k和MS-COCO数据集的评估表明,在大多数情况下,通过我们的方法获得的SDG自动构建的句子比最近最先进的基于图像标题的方法更相关、更全面地描述了图像。我们的图像-句子对齐评估结果也可以与最近的最先进的方法相媲美。
2015-11-10 cs.AI cs.CL cs.CV
M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database
Renmin University of China(中国人民大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
在对话中,说话人的情绪状态会受到许多不同因素的影响,如对话场景、对话话题、对话者刺激等。然而,目前可用的数据资源,以支持这种多模态情感分析的对话是有限的规模和多样性。在这项工作中,我们提出了一个多模态多场景多标签情感对话数据集M3ED,它包含来自56个不同电视剧的990个二元情感对话,总共9,082个回合和24,449个话语。M3 ED在话语水平上用7种情感类别(高兴、惊讶、悲伤、厌恶、愤怒、恐惧和中性)进行注释,并且包括声学、视觉和文本模态。据我们所知,M3ED是第一个中文多模态情感对话数据集。这对于跨文化情感分析和识别具有重要的意义。我们在M3ED数据集上应用了几种最先进的方法来验证数据集的有效性和质量。我们还提出了一个通用的多模态对话感知交互框架,MDI,模拟情感识别的对话上下文,它实现了与M3ED上最先进的方法相当的性能。完整的数据集和代码可用。
2022-05-09 cs.AI cs.CL
Apples on the Table? Evaluating Text-Guided 3D Scene Synthesis via Fine-Grained Constraint Verification
Yonsei University(延世大学);Georgia Institute of Technology(佐治亚理工学院)
LEGO-Eval通过工具增强合成3D具身环境,提供细粒度评估框架和基准测试集,提升场景与指令对齐的准确性。
2026-09-02 cs.CL
Vision-Based Natural Language Scene Understanding for Autonomous Driving: An Extended Dataset and a New Model for Traffic Scene Description Generation
Department of Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系);School of Electrical and Computer Engineering, College of Engineering, University of Tehran(德黑兰大学电气与计算机工程学院)
本文提出了一种基于视觉的自然语言场景理解模型,通过扩展数据集和混合注意力机制,提升自动驾驶中交通场景描述生成的准确性和丰富性。
2026-01-20 cs.AI cs.CL cs.CV
Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations
Zhejiang University(浙江大学);Netease Inc.(网易公司)
针对现有多模态预训练模型结构化表示能力不足的问题,提出整合场景图知识的Structure-CLIP框架,通过场景图引导负样本构建和知识增强编码器,在相关数据集上取得SOTA性能并兼顾通用表示能力。
2023-12-13 cs.AI cs.CL cs.MM