Few-shot Diagnosis of Chest x-rays Using an Ensemble of Random Discriminative Subspaces
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
针对医学影像标注稀缺问题，提出一种基于随机判别子空间集成的少样本胸部X光诊断方法，通过新颖损失函数提升子空间判别性，计算效率高，在公开数据集上取得良好效果。
2023-08-31 cs.CV
Unified Multimodal Model with Unlikelihood Training for Visual Dialog
Tongji University（同济大学）
视觉对话的任务要求多模态聊天机器人回答人类关于图像内容的顺序问题。先前的工作执行标准似然训练，用于在正面实例（涉及正确答案）上生成答案。然而，似然目标往往导致频繁和沉闷的输出，并未能利用有用的知识，从负面的情况下（涉及不正确的答案）。在本文中，我们提出了一个统一的多模态模型与Unlikeness训练，命名为UniMM-UL，来解决这个问题。首先，为了通过多任务学习来提高视觉对话理解和生成，我们的模型将ViLBERT从只支持答案判别扩展到通过不同的注意力掩码无缝地保持答案判别和答案生成。具体来说，为了使原始的判别模型与答案生成兼容，我们设计了新的生成注意力掩模来实现自回归掩蔽语言建模（自回归MLM）任务。为了减弱似然目标的不利影响，我们利用负面实例的非似然训练，使模型不太可能生成错误的答案。然后，为了利用密集注释，我们采用不同的微调方法来生成和区分答案，而不是像以前的工作那样只区分答案。最后，在VisDial数据集上，我们的模型获得了最好的生成结果（69.23 NDCG得分）。我们的模型在单模型和集成环境中也产生了与最先进水平相当的判别结果（75.92和76.17 NDCG得分）。
2022-11-23 cs.AI cs.CL cs.CV
Ensemble of MRR and NDCG models for Visual Dialog
Technion（以色列理工学院）；NetApp（网存公司）
评估一个可以用人类语言交谈并理解视觉内容的人工智能智能体是一项挑战。生成度量，例如BLEU分数，更倾向于正确的语法而不是语义。因此，经常使用判别方法，其中代理对一组候选选项进行排名。平均倒数秩（MRR）度量通过考虑单个人类来源答案的秩来评估模型性能。然而，这种方法提出了一个新的挑战：答案的模糊性和同义性，例如，语义等同（例如，“是”和“是”）。为了解决这个问题，归一化的折扣累积增益（NDCG）度量已被用于通过密集注释捕获所有正确答案的相关性。然而，NDCG指标倾向于通常适用的不确定答案，如“我不知道”。制作一个在MRR和NDCG指标上都表现出色的模型是具有挑战性的。理想情况下，人工智能智能体应该回答类似人类的回复，并验证任何答案的正确性。为了解决这个问题，我们描述了一个两步的非参数排名方法，可以合并强大的MRR和NDCG模型。使用我们的方法，我们设法保持大多数MRR最先进的性能（70.41%对71.24%）和NDCG最先进的性能（72.16%对75.35%）。此外，我们的方法赢得了最近的Visual Dialog 2020挑战赛。源代码可在https://github.com/idansc/mrr-ndcg上获得。
2021-08-04 cs.AI cs.CL cs.CV
GoG: Relation-aware Graph-over-Graph Network for Visual Dialog
Tencent Inc（腾讯公司）
可视化对话旨在与人类就给定图像进行有意义的对话，这是一项具有挑战性的任务，需要模型来推理视觉内容，对话历史和当前问题之间的复杂依赖关系。图神经网络最近被应用于对图像或对话中的对象之间的隐式关系进行建模。然而，他们忽略了1）对话历史之间的共指关系和单词之间的依赖关系的问题表示的重要性;和2）基于完全表示的问题的图像的表示。因此，我们提出了一种新的关系感知的图上图网络（GoG）的可视对话。具体地说，GoG由三个顺序图组成：1）H-Graph，旨在捕获对话历史中的共指关系; 2）历史感知Q-Graph，旨在基于对话历史的共指消解，通过捕获词与词之间的依赖关系来全面理解问题; 3）基于问题感知的I-Graph，基于完全问题表示的图像对象间关系的获取。作为一个额外的功能表示模块，我们添加到现有的可视化对话模型GoG。实验结果表明，我们的模型优于强基线生成和歧视设置的显着保证金。
2022-06-01 cs.CL cs.CV
Visual Dialog
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
我们介绍了视觉对话的任务，这需要一个人工智能智能体举行一个有意义的对话与人类在自然，会话语言的视觉内容。具体来说，给定一个图像，一个对话历史，和一个关于图像的问题，代理必须在图像中的基础问题，从历史中推断上下文，并准确地回答问题。Visual Dialog从特定的下游任务中解脱出来，可以作为机器智能的一般测试，同时以视觉为基础，可以客观评估个人的反应和基准进度。我们开发了一种新的两人聊天数据收集协议，以管理一个大规模的可视化对话数据集（VisDial）。VisDial v0.9已经发布，包含1个对话框，10个问答对，来自COCO的约12万张图像，总共约120万个对话框问答对。我们为Visual Dialog引入了一系列神经编码器-解码器模型，其中包括3个编码器-后期融合，分层递归编码器和记忆网络-以及2个解码器（生成和判别），它们的性能优于许多复杂的基线。我们提出了一个检索为基础的评价协议的可视化对话，其中的人工智能智能体被要求排序的一组候选人的答案和评价指标，如人类反应的平均倒数排名。我们通过人类研究量化机器和人类在视觉对话任务上的表现之间的差距。把这一切放在一起，我们展示了第一个“视觉聊天机器人”!我们的数据集，代码，训练模型和可视化聊天机器人可在www.example.com上获得
2017-08-01 cs.AI cs.CL cs.CV
Discriminative Feature Learning through Feature Distance Loss
wbk Institute of Production Science（wbk 生产科学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Otto von Guericke University（奥托·冯·格里克大学）
集成的卷积神经网络已显示出显着的成果，学习判别语义特征的图像分类任务。然而，集合中的模型通常集中在图像中的相似区域。这项工作提出了一种新的方法，迫使一组基本模型学习不同的功能分类任务。这些模型被组合在一个集合中，以进行集体分类。关键的发现是，通过迫使模型集中在不同的特征上，分类精度得到了提高。为了学习不同的特征概念，在特征图上实现所谓的特征距离损失。在基准卷积神经网络（VGG16，ResNet，AlexNet），流行数据集（Cifar10，Cifar100，miniImageNet，NEU，BSD，TEX）和不同训练样本（每类3，5，10，20，50，100）上的实验表明了所提出的特征丢失的有效性。所提出的方法优于经典的合奏版本的基础模型。类激活图明确证明了学习不同特征概念的能力。该代码可从以下网址获得：https://github.com/2Obe/Feature-Distance-Loss.git
2023-01-19 cs.CV
Diving Deep onto Discriminative Ensemble of Histological Hashing & Class-Specific Manifold Learning for Multi-class Breast Carcinoma Taxonomy
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Techno India University（印度科技大学）
组织学图像（HI）加密分辨率依赖的异质纹理和不同的颜色分布变化，表现在微观结构的表面组织卷积。此外，癌细胞固有的高相干性对乳腺癌（BC）多分类提出了重大挑战。因此，多类分层很少探索，先前的工作主要集中在良性和恶性组织表征上，这阻碍了对诸如腺病、粘液癌和纤维腺瘤等下级类别的进一步定量分析，以获得诊断能力。在这项工作中，提出了一个来自HI的全自动，近实时和计算成本低廉的鲁棒多分类深度框架。该方案采用深度神经网络（DNN）辅助的整体类特定流形学习（CSML）的判别集成，用于底层HI子空间嵌入和基于HI哈希的局部浅签名。该模型实现了95.8%的准确率相关的多分类和2.8%的整体性能提高和38.2%的增强小叶癌（LC）子类识别率相比，现有的国家的最先进的众所周知的BreakHis数据集实现。此外，在200倍的识别率为99.3%，在所有放大倍数下对二进制分级的灵敏度为100%，验证了其适用于手持智能设备的临床部署。
2019-03-24 cs.CV
Learning to Ground Visual Objects for Visual Dialog
Microsoft Corporation（微软公司）
视觉对话具有挑战性，因为它需要在理解视觉环境的基础上回答一系列连贯的问题。如何将相关的视觉对象接地是其中的关键问题之一。以往的研究利用问题和历史来处理图像，并取得了令人满意的性能，但这些方法不足以定位相关的视觉对象没有任何指导。视觉对象的不恰当的基础限制了视觉对话模型的性能。在本文中，我们提出了一种新的方法来学习接地视觉对象的视觉对话，它采用了一种新的视觉对象接地机制，在视觉对象的先验和后验分布被用来促进视觉对象接地。具体来说，视觉对象的后验分布是从上下文（历史和问题）和答案中推断出来的，它确保了训练过程中视觉对象的适当基础。同时，先验分布，这是从上下文推断，是用来近似的后验分布，以便适当的视觉对象可以接地，即使在推理过程中没有答案。在VisDial v0.9和v1.0数据集上的实验结果表明，我们的方法在生成和判别设置中都显著提高了以前的强模型。
2022-05-31 cs.CL cs.CV
VD-BERT: A Unified Vision and Dialog Transformer with BERT
Salesforce Research（Salesforce研究院）；The Chinese University of Hong Kong（香港中文大学）
视觉对话是一个具有挑战性的视觉语言任务，其中对话代理需要通过对图像内容和对话历史的推理来回答一系列问题。先前的工作主要集中在各种注意力机制，以模拟这种复杂的相互作用。相比之下，在这项工作中，我们提出了VD-BERT，一个简单而有效的统一视觉对话Transformer框架，它利用预先训练的BERT语言模型进行视觉对话任务。该模型是统一的，因为（1）它使用单流Transformer编码器捕获图像和多轮对话之间的所有交互，并且（2）它通过相同的架构无缝地支持答案排名和答案生成。更重要的是，我们通过基于视觉的训练来适应BERT，以有效地融合视觉和对话内容。在不需要外部视觉语言数据预训练的情况下，我们的模型产生了最新的技术水平，在视觉对话排行榜上的单模型和集成设置（74.54和75.35 NDCG得分）中均获得了最高位置。我们的代码和预训练模型在https://github.com/salesforce/VD-BERT上发布。
2020-11-02 cs.CL cs.CV
Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning
Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）；Northwestern Polytechnical University（西北工业大学）
视觉对话任务要求智能体与人类进行关于图像的对话。它代表了可视问答任务的扩展，因为智能体需要回答关于图像的问题，但是它需要根据已经发生的先前对话来这样做。因此，视觉对话的关键挑战是保持一致和自然的对话，同时继续正确回答问题。我们提出了一种结合强化学习和生成对抗网络（GANs）的新方法，以生成更像人类的问题回答。GAN有助于克服训练数据的相对缺乏，以及典型的基于MLE的方法生成过于简洁的答案的趋势。重要的是，GAN紧密集成到注意力机制中，该机制为每个答案生成人类可解释的原因。这意味着GAN的判别模型具有评估候选答案是否由人类生成的任务，给出所提供的原因。这很重要，因为它驱动生成模型产生高质量的答案，这些答案得到相关推理的很好支持。该方法还在主要基准上生成最先进的结果。
2017-11-21 cs.AI cs.CL cs.CV
Large-scale Pretraining for Visual Dialog: A Simple State-of-the-Art Baseline
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
之前在可视化对话框方面的工作主要集中在孤立地在VisDial上训练深度神经模型。相反，我们提出了一种方法，在转移到视觉对话之前，利用相关视觉语言数据集的预训练。我们采用最近提出的ViLBERT（Lu et al.，2019年）模型的多轮视觉接地的对话。我们的模型在概念标题和视觉问答数据集上进行了预训练，并在VisDial上进行了微调。我们最好的单一模型在NDCG和MRR上的绝对性能优于先前发表的工作（包括模型集成）超过1%。接下来，我们发现在VisDial中使用“密集”注释进行额外的微调会导致更高的NDCG -比我们的基本模型高出10%-但会损害MRR -比我们的基本模型低17%以上！这突出了两个主要指标- NDCG和MRR -之间的权衡，我们发现这是由于密集的注释与问题的原始地面真相答案不相关。
2020-03-31 cs.CL cs.CV cs.LG
Ensemble of Part Detectors for Simultaneous Classification and Localization
Shanghai Jiao Tong University（上海交通大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于零件的表示已被证明是有效的各种可视化应用程序。然而，没有对象/部件级注释的有区别的部件的自动发现具有挑战性。本文提出了一种基于部分检测器集合响应的判别式中层表示范式，该范式只需要图像级标签。为了实现这个目标，我们首先开发了一个基于检测器的谱聚类方法来挖掘具有代表性和歧视性的中级模式检测器初始化。所提出的模式挖掘技术的优点是，基于检测器的距离度量只关注有区别的细节，并且一组这样的分组检测器提供了一种有效的方式来进行一致性模式挖掘。依赖于发现的模式，我们进一步制定了检测器学习过程作为一个置信损失稀疏多实例学习（cls-MIL）任务，它考虑了阳性样本的多样性，同时通过为每个阳性样本分配置信值来避免偏离良好的本地化样本。学习的检测器的响应可以形成用于图像分类和对象定位两者的有效的中级图像表示。在基准数据集上进行的实验表明，我们的方法优于现有的方法。
2017-05-29 cs.CV
SeqDialN: Sequential Visual Dialog Networks in Joint Visual-Linguistic Representation Space
在这项工作中，我们制定了一个视觉对话作为一个信息流，其中每一条信息都是编码的联合视觉语言表示的一个单一的对话轮。基于这个公式，我们认为视觉对话任务是一个序列问题，由有序的视觉语言向量。对于特征化，我们使用密集对称共同注意力网络作为轻量级视觉-语言联合表示生成器来融合多模态特征（即，图像和文本），从而产生更好的计算和数据效率。对于推理，我们提出了两个顺序对话网络（SeqDialN）：第一个使用LSTM进行信息传播（IP），第二个使用修改后的Transformer进行多步推理（MR）。我们的架构分离的复杂性多模态特征融合的推理，这使得推理引擎的设计更简单。基于IP的SeqDialN是我们的基线，具有简单的2层LSTM设计，可实现不错的性能。另一方面，基于MR的SeqDialN通过Transformer的自我注意堆栈反复细化语义问题/历史表示，并在视觉对话任务上产生有希望的结果。在VisDial v1.0测试标准数据集上，我们最好的单生成SeqDialN实现了62.54%的NDCG和48.63%的MRR;我们的集成生成SeqDialN实现了63.78%的NDCG和49.98%的MRR，这是一个新的最先进的生成视觉对话模型。我们微调了具有密集注释的区分性SeqDialN，并将性能提高到72.41% NDCG和55.11% MRR。在这项工作中，我们讨论了广泛的实验，我们已经进行了证明我们的…
2022-04-27 cs.AI cs.CV cs.LG
Factor Graph Attention
Technion（以色列理工学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
对话是交换信息的有效方式，但微妙的细节和细微差别也非常重要。虽然重大进展为解决视觉对话与算法铺平了道路，但细节和细微差别仍然是一个挑战。注意力机制在提取视觉问答中的细节方面取得了令人信服的结果，并且由于其可解释性和有效性，也为视觉对话提供了令人信服的框架。然而，伴随视觉对话的许多数据实用程序挑战了现有的注意力技术。我们解决这个问题，并开发了一个通用的注意力机制的可视化对话操作的任何数量的数据实用程序。为此，我们设计了一个基于因子图的注意力机制，它结合了任何数量的效用表示。我们说明了所提出的方法在具有挑战性的和最近推出的VisDial数据集上的适用性，在MRR上，VisDial0.9和VisDial1.0分别比最近最先进的方法高出1.1%和2%。我们的集成模型将VisDial 1.0上的MRR评分提高了6%以上。
2020-03-07 cs.AI cs.CL cs.CV
Modality-Balanced Models for Visual Dialogue
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
可视对话任务需要一个模型来利用图像和会话上下文信息来生成对对话的下一个响应。然而，通过人工分析，我们发现，大量的会话问题可以回答只看图像没有任何访问的上下文历史，而其他人仍然需要会话上下文来预测正确的答案。我们证明，由于这个原因，以前的联合模态（历史和图像）模型过度依赖于并且更倾向于记忆对话历史（例如，通过提取上下文信息中的某些关键字或模式），而仅图像模型更具有一般性（因为它们不能从历史中记忆或提取关键字），并且在允许多个正确答案的主要归一化折扣累积增益（NDCG）任务度量上表现得更好。因此，这一观察鼓励我们明确维护两个模型，即，仅图像模型和图像历史联合模型，并将它们的互补能力结合起来，以获得更平衡的多模态模型。我们提出了多种方法，这种集成的两个模型，通过合奏和共识脱落融合共享参数。从经验上看，我们的模型在2019年Visual Dialog挑战赛中取得了很好的成绩（NDCG排名第3，各指标之间的平衡性很高），并且在大多数指标上都远远超过了2018年Visual Dialog挑战赛的获胜者。
2020-01-17 cs.AI cs.CL cs.CV
Rethinking Generative Zero-Shot Learning: An Ensemble Learning Perspective for Recognising Visual Patches
The University of Queensland（昆士兰大学）；University of Electronic Science and Technology of China（电子科技大学）
零样本学习（Zero-shot learning，ZRL）通常用于解决细粒度图像分类和其他任务中预测不可见类的普遍问题。一种解决方案是从辅助语义信息（如自然语言描述）中学习生成模型产生的合成的不可见视觉样本。然而，对于大多数这些模型，性能受到不相关图像背景形式的噪声的影响。此外，大多数方法不向每个语义补丁分配计算的权重。然而，在现实世界中，特征的区分能力可以被量化并直接利用来提高准确性并降低计算复杂性。为了解决这些问题，我们提出了一个新的框架，称为多补丁生成对抗网络（MPGAN），合成本地补丁功能和标签看不见的类与一个新的加权投票策略。该过程开始于使用多个专家生成模型从一组预定义的局部补丁的噪声文本描述中生成有区别的视觉特征。然后使用从每个补丁合成的看不见的类的特征来构建不同的监督分类器的集合，每个监督分类器对应于一个局部补丁。投票策略对分类器输出的概率分布进行平均，并且考虑到一些补丁比其他补丁更具区分性，基于区分的注意力机制有助于相应地对每个补丁进行加权。大量的实验表明，MPGAN具有显着更高的准确性比国家的最先进的方法。
2020-08-07 cs.CV cs.MM
Saying the Unseen: Video Descriptions via Dialog Agents
Illinois Institute of Technology（伊利诺伊理工学院）；University of Technology Sydney（悉尼科技大学）
当前的视觉和语言任务通常需要完整的视觉数据（例如，原始图像或视频）作为输入，然而，实际场景通常可能包括部分视觉信息由于各种原因而变得不可访问的情况，例如，出于安全考虑，使用固定摄像头或故意遮挡视线限制查看。作为更实际的应用场景的一步，我们介绍了一个新的任务，旨在描述一个视频使用两个代理之间的自然语言对话作为补充信息源给定不完整的视觉数据。与大多数现有的视觉语言任务不同，人工智能系统可以完全访问图像或视频片段，这些图像或视频片段可能会泄露可识别的人脸或声音等敏感信息，我们有意限制人工智能系统的视觉输入，并寻求更安全和透明的信息媒介，即，自然语言对话，以补充缺失的视觉信息。具体来说，智能代理之一- Q-BOT -从视频的开始和结束给出两个语义分割帧，以及有限数量的机会，在描述看不见的视频之前询问相关的自然语言问题。A-BOT，另一个可以访问整个视频的代理，通过回答问题来帮助Q-BOT完成目标。我们介绍了两种不同的实验设置与生成（即，代理自由地生成问题和答案）或区别（即，代理从候选者中选择问题和答案）内部对话生成过程。与建议的统一QA合作网络，我们实验证明了两个对话代理之间的知识转移过程和使用自然语言对话作为不完整的隐式视觉的补充的有效性。
2021-06-26 cs.CV
Efficient Attention Mechanism for Visual Dialog that can Handle All the Interactions between Multiple Inputs
Tohoku University（东北大学）；RIKEN Center for AIP（日本理化学研究所人工智能革新中心）
设计一种有效的注意力机制来处理视觉和语言任务之间的交互作用是近年来视觉和语言任务研究的主要关注点。Transformer最近被扩展并应用于几个双模态任务，产生了很好的结果。对于可视对话，有必要考虑三个或更多输入之间的交互，即，一个图像、一个问题和一个对话历史，甚至是它的各个对话组件。在本文中，我们提出了一个名为轻量级的多输入Transformer（LTMI）的神经架构，可以有效地处理多个这样的输入之间的所有交互视觉对话。它具有类似于Transformer的块结构，并采用相同的注意力计算设计，而它只有少量的参数，但具有足够的代表性。假设一个标准设置的视觉对话框，一个层上建立的建议注意块有不到十分之一的参数相比，其对应物，一个自然的Transformer扩展。VisDial数据集上的实验结果验证了所提出方法的有效性，显示出VisDial v1.0数据集上的最佳NDCG分数从57.59提高到60.92，使用单个模型，从64.47提高到66.53，甚至增加微调到74.88。我们的实现代码可以在https://github.com/davidnvq/visdial上找到。
2020-07-17 cs.CV
