Visual Attribute-augmented Three-dimensional Convolutional Neural Network for Enhanced Human Action Recognition
University of Science and Technology of China（中国科学技术大学）；HERE Technologies（HERE科技公司）
视频帧中的视觉属性，如特征对象和场景的存在，为视频中的动作识别提供了大量信息。以单个2D视频帧作为输入，由于2D CNN中的参数较少，因此可以使用比当前具有时空滤波器的3D CNN更复杂的卷积神经网络来有效地和高效地实现视觉属性提取。提出了一种基于视觉属性增强的三维CNN（A3D）框架，将视觉属性（包括检测、编码和分类）集成到多流三维CNN中，用于裁剪视频中的动作识别。视觉属性流水线包括目标检测网络、属性编码网络和分类网络。我们提出的A3D框架在HMDB51和UCF101数据集上都达到了最先进的性能。
2018-05-08 cs.CV
Can the early human visual system compete with Deep Neural Networks?
Arizona State University（亚利桑那州立大学）
我们研究和比较人类视觉系统和最先进的深度神经网络对失真图像的分类。与以往的工作不同，我们将显示时间限制在100毫秒，只测试人类视觉系统的早期机制，而不允许任何眼睛运动或其他更高级别的过程的时间。我们的研究结果表明，在模糊和嘈杂的图像下，人类视觉系统仍然优于现代深度神经网络。这些发现激励未来的研究开发更强大的深度网络。
2017-10-12 cs.CV
Visual Feature Encoding for GNNs on Road Networks
Linköping University（林雪平大学）；Scania CV AB（斯堪尼亚CV公司）
在这项工作中，我们提出了一种新的方法来学习编码的视觉特征到图神经网络与道路网络数据的应用。我们提出了一个架构，结合了国家的最先进的视觉骨干网络与图神经网络。更具体地说，我们通过使用各种ResNet架构对卫星图像进行编码，在Open Street Map道路网络上执行道路类型分类任务。我们的架构还可以进行微调，并通过对NWPU-RESISC 45图像分类数据集进行预训练来评估迁移学习方法，并将其与纯ImageNet预训练的ResNet模型进行比较作为视觉特征编码器。结果表明，不仅视觉特征编码器优于低级别的视觉特征，而且视觉特征编码器的微调，以一般的遥感数据集，如NWPU-RESISC 45可以进一步提高性能的GNN的机器学习任务，如道路类型分类。
2022-03-02 cs.CV
Embedding Visual Hierarchy with Deep Networks for Large-Scale Visual Recognition
University of North Carolina（北卡罗来纳大学）
在本文中，通过将视觉层次结构嵌入深度网络来开发层次混合模型（LMM），以支持大规模视觉识别（即，识别数千甚至数万个对象类），并且当随着时间的推移学习更具代表性的深度网络时，贝叶斯方法用于自动调整预训练的视觉层次结构以适应深度特征（用于图像和对象类表示）的改进。我们的LMM模型可以提供一种端到端的联合学习方法：（a）深度网络，用于提取图像和对象类表示的更具区分性的深度特征;（b）树分类器，用于分层识别大量对象类;以及（c）视觉层次结构自适应，用于分层实现更准确的大量对象类索引。通过支持树分类器、深度网络和视觉层次自适应的联合学习，我们的LMM算法可以提供一种有效控制层间错误传播的有效方法，从而在大规模视觉识别中获得更好的准确率。在ImageNet 1 K和ImageNet 10 K图像集上进行了实验，与基线方法相比，我们的LMM算法在准确率和计算效率上都取得了非常有竞争力的结果。
2017-07-08 cs.CV
PatternNet: Visual Pattern Mining with Deep Neural Network
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
视觉模式代表视觉世界中可辨别的规律性。它们捕捉视觉对象或场景的本质。视觉模式的理解和建模是视觉识别中的一个基本问题，具有广泛的应用。在本文中，我们研究了视觉模式挖掘的问题，并提出了一种新的深度神经网络架构称为PatternNet发现这些模式，既有区别性和代表性。所提出的PatternNet利用卷积神经网络的最后一个卷积层中的过滤器来找到局部一致的视觉补丁，通过组合这些过滤器，我们可以有效地发现独特的视觉模式。此外，PatternNet可以有效地发现视觉模式，而无需执行昂贵的图像补丁采样，与大多数其他方法相比，这一优势提供了一个数量级的加速。我们主观地评估提出的PatternNet通过显示随机选择的视觉模式，发现我们的方法和定量地执行图像分类与识别的视觉模式，并将我们的性能与当前最先进的。我们还直接评估质量的发现的视觉模式，利用识别的模式作为图像中的建议对象，并与其他相关方法进行比较。我们提出的网络和程序，PatterNet，能够优于竞争的方法所描述的任务。
2018-06-13 cs.CV
Visual Translation Embedding Network for Visual Relation Detection
Columbia University（哥伦比亚大学）；National University of Singapore（新加坡国立大学）
视觉关系，如“人骑自行车”和“自行车挨着汽车”，提供了对图像的全面场景理解，并且已经在连接计算机视觉和自然语言方面显示出了巨大的效用。然而，由于具有挑战性的组合复杂性建模的主谓宾关系三元组，很少有工作已经做本地化和预测的视觉关系。受知识库的关系表示学习和卷积目标检测网络的最新进展的启发，我们提出了一个视觉翻译嵌入网络（VtransE）的视觉关系检测。VTransE将对象放置在低维关系空间中，其中关系可以被建模为简单的向量平移，即，主语+谓语$\approx$宾语。我们提出了一种新的特征提取层，它可以以完全卷积的方式实现对象关系知识传输，支持在单个前向/后向传递中进行训练和推理。据我们所知，VTransE是第一个端到端关系检测网络。我们在两个大规模数据集上证明了VTransE优于其他最先进方法的有效性：Visual Relationship和Visual Genome。请注意，尽管VTransE是一个纯粹的视觉模型，但它仍然可以与Lu的多模态语言模型竞争。
2017-02-27 cs.CV
Attentional Graph Convolutional Network for Structure-aware Audio-Visual Scene Classification
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；McGill University（麦吉尔大学）
视听场景理解是一个具有挑战性的问题，由于非结构化的时空关系，存在于音频信号和空间布局的不同对象和各种纹理模式的视觉图像。近年来，许多研究都集中在从卷积神经网络中提取特征，而对声音信号和视觉图像的显式语义相关帧的学习却被忽视了。为此，我们提出了一个端到端的框架，即注意力图卷积网络（AGCN），结构感知的视听场景表示。首先，声音和输入图像的频谱图通过骨干网络进行特征提取。然后，为了建立输入特征的多尺度层次信息，我们利用注意力融合机制来聚合来自骨干网络的多个层的特征。值得注意的是，为了更好地表示视听输入的显著区域和上下文信息，为视听场景表示构建了显著声学图（SAG）和上下文声学图（CAG）、显著视觉图（SVG）和上下文视觉图（CVG）。最后，构造的图通过图卷积网络进行结构感知的视听场景识别。在音频、视频和视听场景识别数据集上的大量实验结果表明，AGCN方法取得了令人满意的结果。在频谱图和图像上的可视化图形已经被呈现以显示所提出的CAG/SAG和CVG/SVG的有效性，其可以集中于显著和语义相关的区域。
2022-12-31 cs.CV
Dual Attention Networks for Visual Reference Resolution in Visual Dialog
Seoul National University（首尔国立大学）；Surromind Robotics（Surromind机器人公司）
可视化对话（VisDial）是一个需要人工智能智能体回答一系列基于图像的问题的任务。与视觉问答（VQA）不同，这一系列问题应该能够从对话历史中捕获时间上下文，并利用视觉基础信息。一个被称为视觉参考解析的问题涉及这些挑战，要求智能体解决给定问题中的模糊参考，并在给定图像中找到参考。在本文中，我们提出了双注意力网络（DAN）的视觉参考分辨率。DAN由REFER和FIND两种注意网络组成。具体地说，REFER模块通过采用自我注意力机制来学习给定问题和对话历史之间的潜在关系。FIND模块获取图像特征和参考感知表示（即，REFER模块的输出）作为输入，并通过自下而上的注意力机制执行视觉基础。我们在VisDial v1.0和v0.9数据集上对我们的模型进行了定性和定量评估，结果表明DAN的性能明显优于以前的最先进模型。
2019-08-29 cs.CV
Visual Illusions Also Deceive Convolutional Neural Networks: Analysis and Implications
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de València（瓦伦西亚大学）
视觉错觉使研究人员能够设计和测试新的视觉感知模型。在这里，我们表明，人工神经网络训练的基本视觉任务的自然图像被欺骗的亮度和颜色的错觉，有一个反应，是定性非常相似的人类的消色差和彩色对比敏感度功能，并符合自然图像统计。我们还表明，虽然这些人工网络被错觉所欺骗，但它们的反应可能与人类的反应截然不同。我们的研究结果表明，低级错觉出现在任何必须在自然环境中执行基本视觉任务的系统中，与视觉功能的错误最小化解释一致，并且它们还暗示了使用人工网络研究人类视觉的警告，正如之前在视觉科学文献的其他背景下所建议的那样。
2019-12-03 cs.CV
Synthesizing Visual Illusions Using Generative Adversarial Networks
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de València（瓦伦西亚大学）
视错觉是视觉科学家非常有用的工具，因为它们可以让他们更好地探索视觉系统的极限，阈值和错误。在这项工作中，我们介绍了有史以来第一个框架，产生新的视觉错觉与人工神经网络（ANN）。它采用生成对抗网络的形式，具有视觉错觉候选者的生成器和两个识别模块，一个用于诱导物背景，另一个用于决定候选者是否确实是错觉。该模型的通用性是通过合成不同类型的错觉来说明的，并与心理物理实验进行了验证，证实了我们的人工神经网络的输出确实是人类观察者的视觉错觉。除了合成新的视觉错觉，这可能有助于视觉研究人员，所提出的模型有可能开辟新的途径来研究人工神经网络和人类视觉感知之间的相似性和差异。
2019-11-21 cs.CV
Emergence of Double-slit Interference by Representing Visual Space in Artificial Neural Networks
Xi’an Jiaotong University（西安交通大学）
人工神经网络在图像识别方面取得了令人难以置信的成功，但视觉空间表示的潜在机制仍然是一个巨大的谜团。内嗅皮层中的网格细胞（2014年诺贝尔奖）支持周期性表示作为编码空间的度量。在这里，我们开发了一个自监督的卷积神经网络来执行视觉空间定位，导致出现的单缝衍射和双缝干涉波图案。我们的发现在一定程度上揭示了CNN编码视觉空间的本质。CNN在视觉空间编码方面不再是一个黑盒子，它是可解释的。我们的研究结果表明，波的周期性属性提供了一个空间度量，建议在人工神经网络的空间坐标框架的一般作用。
2022-05-20 cs.CV
Neural Message Passing for Visual Relationship Detection
Cooperative Medianet Innovation Center（协同媒体网络创新中心）；Shanghai Jiao Tong University（上海交通大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
视觉关系检测的目的是检测图像中的对象之间的相互作用，然而，由于对象和相互作用的多样性，该任务遭受组合爆炸。由于与同一对象相关的交互是依赖的，我们探索的依赖关系的相互作用，以减少搜索空间。我们显式地建模对象和交互的交互图，然后提出了一个消息传递风格的算法来传播上下文信息。因此，我们将所提出的方法称为神经消息传递（NMP）。我们进一步整合语言先验和空间线索，以排除不切实际的相互作用和捕捉空间的相互作用。在两个基准数据集上的实验结果证明了该方法的优越性。我们的代码可在https://github.com/PhyllisH/NMP上获得。
2022-08-08 cs.CV
A Deep Network for Arousal-Valence Emotion Prediction with Acoustic-Visual Cues
ADSC-UIUC（ADSC-伊利诺伊大学厄巴纳-香槟分校）；INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔分院）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们全面描述了我们提交给2018年一分钟毕业情绪行为挑战赛的方法。
2019-06-25 cs.CV
Geometric Visual Fusion Graph Neural Networks for Multi-Person Human-Object Interaction Recognition in Videos
Durham University（杜伦大学）；Waseda University（早稻田大学）
本文提出GeoVis-GNN，通过自底向上的双注意力特征融合与实体图学习，解决视频多人HOI识别中的多模态融合难题，并构建MPHOI-120数据集，在多种交互场景中取得最优性能。
2025-06-05 cs.CV
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
视觉注意是人脑中的一种基本机制，它启发了深层神经网络中注意力机制的设计。然而，大多数的视觉注意研究采用眼动追踪数据，而不是直接测量大脑活动来表征人类的视觉注意。此外，在人类视觉系统中，注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距，我们提出了一种新的大脑启发的对抗性视觉注意力网络（BI-AVAN），直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程，以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证，实验结果表明，我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时，取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能（AI）中的模型设计的新兴领域，例如，深度神经网络。
2022-10-27 cs.CV
Selective Noise Suppression and Discriminative Mutual Interaction for Robust Audio-Visual Segmentation
Dalian University of Technology（大连理工大学）；Yale University（耶鲁大学）；University of Alberta（阿尔伯塔大学）
本文提出SDAVS方法，通过选择性噪声抑制处理器和判别音频视觉互融合策略，提升动态场景中音频视觉分割的鲁棒性与准确性。
2026-03-24 cs.CV
Dual-modality seq2seq network for audio-visual event localization
National Taiwan University（台湾大学）；MOST Joint Research Center for AI Technology and All Vista Healthcare（科技部人工智能技术与全视角医疗联合研究中心）
视听事件定位要求识别视频中既可见又可听的事件（无论是在帧级还是视频级）。为了解决这个问题，我们提出了一个深度神经网络命名为视听序列到序列对偶网络（AVSDN）。该模型以每个时间段的音频和视觉特征作为输入，以序列到序列的方式学习全局和局部事件信息，可以在全监督或弱监督环境下实现。实验结果证实，我们提出的方法在这两种情况下都能与最近的深度学习方法相媲美。
2020-08-06 cs.CV
Towards Visually Explaining Video Understanding Networks with Perturbation
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；ETH Zürich（苏黎世联邦理工学院）
“让黑盒模型变得可解释”是伴随着深度学习网络发展的一个重要问题。对于以视觉信息作为输入的网络，一个基本但具有挑战性的解释方法是识别和可视化主导网络预测的输入像素/区域。然而，大多数现有的作品集中在解释网络采取单一的图像作为输入，并没有考虑存在于视频的时间关系。提供一种易于使用的视觉解释方法，适用于视频理解网络的多样化结构仍然是一个开放的挑战。在本文中，我们研究了一个通用的扰动为基础的方法，直观地解释视频理解网络。此外，我们提出了一种新的损失函数，以提高其结果在空间和时间维度上的平滑性的限制的方法。该方法使得不同网络结构之间的解释结果的比较成为可能，并且还可以避免对视频输入产生病态的对抗性解释。实验对比结果验证了该方法的有效性。
2020-11-09 cs.CV
Unsupervised Visual Attribute Transfer with Reconfigurable Generative Adversarial Networks
SK T-Brain
学习传递视觉属性需要监督数据集。学习传递函数需要具有相同身份的不同属性值的对应图像。这在很大程度上限制了它们的应用，因为捕获它们通常是一项艰巨的任务。为了解决这个问题，我们提出了一个无监督的方法来学习转移视觉属性。所提出的方法可以学习的传递函数没有任何对应的图像。通过对多个无监督属性迁移任务的可视化结果进行检验，验证了该方法的有效性。
2017-07-31 cs.CV
Question Guided Modular Routing Networks for Visual Question Answering
Fudan University（复旦大学）；Qiniu Inc（七牛云）
本文研究了多媒体领域的一个热门课题--视觉问答（VQA）。特别是，我们探讨了VQA中存在的两个关键研究问题：（1）有效地融合视觉和文本模态;（2）使VQA模型在回答复杂问题时具有视觉推理能力。为了解决这些具有挑战性的问题，本文提出了一种新的问题引导模块化路由网络（QGMRN）。具体地说，QGMRN是由视觉，文本和路由网络。视觉和文本网络作为视觉和文本模态的通用特征提取器的骨干。QGMRN可以在多个语义层次上融合视觉和文本模态。通常，可视化推理是通过使用Gumbel-Softmax技巧进行模块选择，以离散和随机的方式由路由网络促进的。当输入到达某个模块层时，本文提出的路由网络根据文本网络生成的问题特征，动态地从该模块层中选择一部分模块来处理输入。它还可以通过在通用模块之间路由来学习推理，而无需额外的监督信息或专家知识。由于QGMRN采用了动态路由机制，其性能大大优于以往的经典VQA方法，达到了与现有方法相竞争的效果。此外，注意力机制被集成到我们的QGMRN模型，从而可以进一步提高模型的性能。经验上，CLEVR和CLEVR-Humans数据集上的大量实验验证了我们提出的模型的有效性，并且已经实现了最先进的性能。
2020-09-04 cs.CV
Text-driven Multiplanar Visual Interaction for Semi-supervised Medical Image Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology, China（南京理工大学计算机科学与工程学院）；School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院）；Institute of High Performance Computing, Agency for Science, Technology and Research, Singapore（新加坡科技研究局高性能计算研究所）
本文提出Text-SemiSeg框架，通过文本增强多平面表示、类别感知语义对齐和动态认知增强三个模块，利用文本信息提升半监督3D医学图像分割性能。
2025-07-16 cs.CV
Bridge to Answer: Structure-aware Graph Interaction Network for Video Question Answering
Yonsei University（延世大学）
本文提出了一种新的方法，称为桥回答，推断正确答案的问题，一个给定的视频，利用足够的图形交互的异构跨模态图。为了实现这一点，我们学习问题条件的视觉图形，利用视频和问题之间的关系，使每个视觉节点使用问题到视觉的相互作用，以涵盖视觉和语言的线索。此外，我们提出了桥接的视觉到视觉的互动，将两个互补的视觉信息的外观和运动，通过放置的问题图作为一个中间桥梁。这种桥接架构允许通过问题的组合语义传递可靠的消息，以生成适当的答案。因此，我们的方法可以学习的问题条件下的视觉表示归因于外观和运动，显示强大的视频问答的能力。大量的实验证明，该方法提供了有效的和优越的性能比国家的最先进的方法在几个基准。
2021-04-29 cs.CV cs.MM
The Development of Dominance Stripes and Orientation Maps in a Self-Organising Visual Cortex Network (VICON)
一个自组织神经网络是基于一个严格的贝叶斯分析的信息包含在个人的神经放电事件。这导致了视觉皮层网络（VICON），当哺乳动物视觉皮层暴露于来自两个成像传感器（即两个视网膜）的数据时，它具有许多特性，例如优势条纹和方向图。
2010-12-16 cs.CV cs.NE
Capacity limitations of visual search in deep convolutional neural networks
University of Tartu（塔尔图大学）
深度卷积神经网络大致遵循生物视觉系统的架构，并在对象识别任务中表现出与人类观察者相当的性能。在这项研究中，我测试了三个预训练的深度神经网络在视觉搜索中对简单视觉特征和特征配置的搜索。结果揭示了从人类的表现质的差异。在人类实验中出现的简单特征的搜索和在人类视觉中表现出严格的容量限制的特征配置的搜索之间似乎没有明显的区别。这两种类型的刺激揭示了在这里测试的神经网络中相当的容量限制。
2021-03-29 cs.CV q-bio.NC
Learning Visual Knowledge Memory Networks for Visual Question Answering
Tencent Wechat（腾讯微信）；ShanghaiTech University（上海科技大学）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
视觉问答（VQA）需要对图像和自然语言问题的联合理解，其中许多问题不能直接或清楚地从视觉内容中得到回答，而是需要从结构化的人类知识中进行推理，并从视觉内容中进行确认。本文提出了视觉知识记忆网络（VKMN）来解决这个问题，它将结构化的人类知识和深度视觉特征无缝地整合到端到端学习框架中的记忆网络中。与现有的利用外部知识支持VQA的方法相比，本文更强调两个缺失的机制。第一个是整合视觉内容与知识事实的机制。VKMN通过将知识三元组（主题，关系，目标）和深度视觉特征联合嵌入到视觉知识特征中来处理这个问题。第二是处理从问题和答案对扩展的多个知识事实的机制。VKMN在记忆网络中使用键值对结构存储联合嵌入，从而易于处理多个事实。实验结果表明，该方法在VQA v1.0和v2.0测试中均取得了较好的效果，在知识推理相关问题上的性能优于现有方法。
2018-06-13 cs.CL cs.CV
Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University（莫纳什大学）
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题，研究用前沿人体感知跟踪模型优化Pepper机器人视觉，通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
VIBIKNet: Visual Bidirectional Kernelized Network for Visual Question Answering
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
在本文中，我们提出了一种新的模型，称为VIBIKNet解决问题的视觉问答。我们的模型是基于集成核卷积神经网络和长短期记忆单元，以生成一个关于图像的问题的答案。我们证明了VIBIKNet是准确性和计算负载之间的最佳权衡，在内存和时间消耗方面。我们在VQA挑战数据集上验证了我们的方法，并将其与性能最好的方法进行了比较，以说明其性能和速度。
2016-12-12 cs.CL cs.CV
Deep Neural Networks predict Hierarchical Spatio-temporal Cortical Dynamics of Human Visual Object Recognition
Massachusetts Institute of Technology（麻省理工学院）；Free University Berlin（柏林自由大学）
皮层视觉通路复杂的多阶段结构为人类有效的视觉物体识别提供了神经基础。然而，其中的阶段式计算仍然知之甚少。在这里，我们比较了时间（脑磁图）和空间（功能性MRI）视觉大脑表征与人工深层神经网络（DNN）中的表征，该网络调整到现实世界视觉识别的统计数据。我们发现DNN在时间和空间上捕捉了人类视觉处理的阶段，从早期视觉区域到背侧和腹侧流。对关键DNN参数的进一步研究表明，虽然模型架构很重要，但对真实世界分类的训练对于加强与大脑的时空层次关系是必要的。我们的研究结果一起提供了一个算法知情的视图在人类视觉大脑中的视觉对象识别的时空动态。
2016-01-12 cs.CV q-bio.NC
Multi-Layer Content Interaction Through Quaternion Product For Visual Question Answering
Rutgers University（罗格斯大学）；CUHK（香港中文大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
近年来，多模态融合技术极大地提高了基于神经网络的视频描述/字幕、视觉问答（VQA）和视听场景感知对话（AVSD）的性能。大多数以前的方法只探索多层特征融合的最后一层，而忽略了中间层的重要性。为了解决中间层的问题，我们提出了一个高效的四元数块网络（QBN），不仅可以学习最后一层的交互，还可以同时学习所有中间层的交互。在我们提出的QBN中，我们使用整体文本特征来指导视觉特征的更新。同时，Hamilton四元数积可以有效地执行从高层到低层的视觉和文本模态的信息流。评估结果表明，我们的QBN提高了VQA 2.0的性能，即使使用超过大规模的BERT或视觉BERT预训练模型。广泛的烧蚀研究已经进行，以证明在这项研究中提出的每个模块的影响。
2020-02-16 cs.CV eess.IV
Multi-level Attention Fusion Network for Audio-visual Event Recognition
University of Sherbrooke（舍布鲁克大学）；University of Mons（蒙斯大学）
事件分类本质上是顺序的和多模态的。因此，深度神经模型需要动态地关注视频的最相关时间窗口和/或模态。在这项研究中，我们提出了多级注意力融合网络（MAFnet），一个架构，可以动态地融合视觉和音频信息的事件识别。受神经科学先前研究的启发，我们在不同层次的视觉和听觉路径上将两种模式结合起来。此外，网络在与分类事件相关的给定时间窗口处动态地突出显示模态。在AVE（Audio-Visual Event）、UCF 51和Kinetics-Sounds数据集上的实验结果表明，该方法能有效提高视听事件分类的准确率。代码可在：https://github.com/numediart/MAFnet
2021-06-12 cs.CV cs.MM
Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Fudan University（复旦大学）
视觉基础的重点是建立视觉和自然语言之间的细粒度对齐，这在多模态推理系统中有重要的应用。现有的方法使用预先训练的查询无关的视觉骨干，独立地提取视觉特征图，而不考虑查询信息。我们认为，从视觉骨干提取的视觉特征和多模态推理真正需要的特征是不一致的。其中一个原因是，训练前的任务和视觉基础之间存在差异。此外，由于主干是查询不可知的，因此很难通过在视觉基础框架中端到端地训练视觉主干来完全避免不一致问题。在本文中，我们提出了一个查询调制的细化网络（QRNet），以解决不一致的问题，通过调整中间功能的视觉骨干与一种新的查询感知的动态注意力（QD-ATT）机制和查询感知的多尺度融合。QD-ATT可以在视觉中枢产生的特征图的空间和通道级别上动态地计算查询依赖的视觉注意。我们将QRNet应用于端到端的视觉基础框架。大量的实验表明，该方法优于国家的最先进的方法在五个广泛使用的数据集。
2022-03-29 cs.CV cs.MM
A shallow residual neural network to predict the visual cortex response
Universiteit van Amsterdam（阿姆斯特丹大学）
了解人类大脑的视觉皮层是如何工作的，对于今天的科学来说仍然是一个悬而未决的问题。更好地理解自然智能也有助于基于卷积神经网络的物体识别算法。在本文中，我们证明了资产使用浅剩余神经网络这项任务。这种方法的好处是可以准确地训练网络的早期阶段，这允许我们在早期阶段添加更多层。利用该附加层，视觉脑活动的预测从$10.4\%$（块1）改进到$15.53\%$（最后的完全连接层）。通过训练网络超过10个epoch，这种改进可以变得更大。
2019-06-27 cs.AI cs.CV
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）
随着计算机视觉研究超越传统的识别任务，语言和视觉交叉点的问题，如视觉问答，最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功，深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中，问题被简化，这导致模型中的信息丢失。在本文中，我们丰富的图像信息与文本数据，使用图像标题和外部知识库，以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答（VQA 1.0）的真实图像数据集。
2018-09-23 cs.CL cs.CV
UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）
研究针对现有网页生成基准测试对交互能力评估不足的问题，引入UI2App基准测试，通过设计端到端管道沿四个维度评估工件，实验发现视觉与交互能力不匹配，复杂交互是瓶颈，为相关研究提供了参考。
2026-10-06 cs.AI cs.CV cs.SE
Toward Multimodal Interaction in Scalable Visual Digital Evidence Visualization Using Computer Vision Techniques and ISS
Forensic Lucid中的可视化要求与不同级别的案例知识抽象，表示，聚合以及操作方面有关，这是该提案的最终长期目标。它涵盖了从层次上下文的更精细的详细表示到Forensic Lucid程序，到记录的证据及其管理，它与程序的联系，评估以及GIPSY软件网络的管理。这包括在这些视图之间任意切换的能力，以及可用的多模式交互。目的是确定如何将调查结果应用于法医清醒和调查案件管理。因此，我们提出了一个可扩展的管理，可视化，并使用改进的交互式三维文件系统-无限空间系统-（ISS）的数字证据的评估表示，语义链接，并向数字调查者提供可使用的界面，该界面可通过使用包括手势以及眼睛注视和音频的计算机视觉技术的不同多模态交互技术来导航。
2018-08-01 cs.CR cs.CV cs.HC
Visual Explanations from Hadamard Product in Multimodal Deep Networks
Seoul National University（首尔大学）
对模型学习表征的直观解释有助于理解学习的基本原理。以前的作品中的注意力模型用于在图像或文本上使用它们的学习权重来可视化关注区域，以确认它们的预期机制。Kim et al.（2016）表明，多模态深度网络中的Hadamard产品，以视觉问答任务的联合功能而闻名，隐含地执行视觉输入的注意机制。在这项工作中，我们扩展了他们的工作，以表明多模态深度网络中的Hadamard乘积不仅适用于视觉输入，而且还适用于文本输入，同时使用所提出的基于梯度的可视化技术。阿达玛产品的注意力效果可视化视觉和文本输入通过分析两个输入和输出的阿达玛产品与所提出的方法，并与学习的视觉问答模型的注意力权重进行比较。
2017-12-18 cs.AI cs.CV cs.LG
Multi-Modal World Model for Physical Robot Interactions: Simultaneous Visual and Tactile Predictions for Enhanced Accuracy
University of Lincoln（林肯大学）；University of Sheffield（谢菲尔德大学）
本文提出多模态世界模型，通过整合视觉和触觉信息提升机器人物理交互的预测精度，特别是在物理模糊场景中表现更优。
2026-05-12 cs.AI cs.CV cs.RO
Image complexity based fMRI-BOLD visual network categorization across visual datasets using topological descriptors and deep-hybrid learning
International Institute of Information Technology (IIIT), Bangalore（班加罗尔国际信息技术学院）
本研究基于BOLD5000数据集，通过拓扑持续图特征与深度混合模型实现跨COCO、ImageNet、SUN的视觉网络分类，准确率达90%-95%，为视觉机制研究及视觉加工障碍的生物标志物开发提供支撑。
2023-11-03 cs.CV cs.LG eess.IV
Deep Learning for Tactile Understanding From Visual and Haptic Data
University of California at Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
与物理世界交互的机器人将受益于对物体和表面的细粒度触觉理解。此外，对于某些任务，机器人可能需要在触摸物体之前知道物体的触觉特性。为了使机器人能够更好地理解触觉，我们提出了一种用触觉形容词对表面进行分类的方法（例如，可压缩或平滑）。人类通常将视觉预测和来自物理交互的反馈相结合，以准确地预测触觉特性并与世界交互。受这种认知模式的启发，我们提出并探索了一个纯粹的视觉触觉预测模型。视觉模型使机器人能够在没有物理交互的情况下“感觉”。此外，我们证明，使用视觉和物理交互信号一起产生更准确的触觉分类。我们的模型利用了深度神经网络的最新进展，采用统一的方法来学习物理交互和视觉观察的特征。即使我们采用很少的领域特定的知识，我们的模型仍然取得了更好的结果比基于手工设计的功能的方法。
2016-04-12 cs.CV cs.LG cs.RO
Audio Visual Speech Recognition using Deep Recurrent Neural Networks
Samsung R&D Institute India（三星研发研究院（印度））
在这项工作中，我们提出了一种使用深度递归神经网络（RNN）的视听自动语音识别（AV-ASR）系统的训练算法。首先，我们训练一个具有连接主义时间分类（CTC）目标函数的深度RNN声学模型。然后，从声学模型获得的帧标签用于使用深瓶颈网络执行视觉特征的非线性降维。音频和视觉特征被融合并用于训练融合RNN。使用视觉模态的瓶颈特征有助于模型在训练过程中正确收敛。我们的系统进行了评估GRID语料库。我们的研究结果表明，视觉模态的存在下，在不同程度的噪声的字符出错率（CER）显着改善，即使在没有噪声数据的模型进行训练。我们还提供了两种融合方法：特征融合和决策融合的比较。
2016-11-09 cs.CL cs.CV cs.LG
Visual-Semantic Graph Attention Networks for Human-Object Interaction Detection
Guangdong University of Technology（广东工业大学）；Chinese University of Hong Kong（香港中文大学）
在场景理解中，机器人不仅可以检测单个场景实例，还可以学习它们可能的交互。人-物交互（HOI）检测在<human，predicate，object>三元组上推断动作谓词。背景信息被发现在推断交互中至关重要。然而，大多数作品仅使用单个人-物对的局部特征进行推理。很少有作品研究了通过图网络提供的附属关系的消歧贡献。同样，很少有人学会有效地利用视觉线索以及HOI中包含的内在语义信息。我们贡献了一个双图注意力网络，有效地聚合上下文的视觉，空间和语义信息动态从主要的人-物关系，以及通过注意力机制强大的消歧能力的附属关系。我们在两个基准测试中取得了相当的结果：V-COCO和HICO-DET。代码可在\url{https://github.com/birlrobotics/vs-gats}上获得。
2021-03-06 cs.CV cs.LG eess.IV
Image Transformation Network for Privacy-Preserving Deep Neural Networks and Its Security Evaluation
Tokyo Metropolitan University（东京都立大学）
我们提出了一个转换网络，用于为保护隐私的DNN生成受视觉保护的图像。建议的转换网络是通过使用一个普通的图像数据集进行训练，使普通图像转换成视觉保护的。传统的感知加密方法存在视觉保护能力弱、图像分类精度下降等问题。相比之下，所提出的网络使我们不仅能够有力地保护视觉信息，而且还能够保持使用普通图像实现的图像分类精度。在一个图像分类实验中，该网络被证明可以在使用CIFAR数据集的情况下，强烈保护普通图像上的视觉信息，而不会降低性能。此外，它表明，视觉保护的图像是强大的对基于DNN的攻击，称为逆变换网络攻击（ITN攻击）在实验中。
2020-08-07 cs.CV cs.LG eess.IV
Graph-based Visual-Semantic Entanglement Network for Zero-shot Image Recognition
South China University of Technology（华南理工大学）；University of Southampton（南安普顿大学）；University of Lincoln（林肯大学）
零样本学习使用语义属性来连接看不见的对象的搜索空间。近年来，虽然深度卷积网络为机器学习任务带来了强大的视觉建模能力，但其视觉特征具有严重的模式惯性，缺乏对语义关系的表示，从而导致严重的偏见和歧义。针对这一问题，本文提出了基于图的视觉-语义纠缠网络（Graph based Visual-Semantic Entanglement Network，简称VSN）对视觉特征进行图建模，并通过知识图谱将其映射到语义属性上。该方法利用卷积神经网络（CNN）和图卷积网络（GCN）建立一个多路径纠缠网络，将CNN的视觉特征输入到GCN中对隐含的语义关系进行建模，GCN再将图建模后的信息反馈给CNN特征; 2.以属性词向量作为GCN图语义建模的目标，形成图建模的自洽回归，指导GCN学习更多个性化的属性关系; 3.它融合并补充了由图建模细化的分层视觉语义特征到视觉嵌入中。我们的方法通过促进视觉特征的语义链接建模，在多个具有代表性的CNOL数据集：AwA 2，CUB和SUN上优于最先进的方法。
2021-06-12 cs.CV cs.LG eess.IV
Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出利用掩码重建框架训练视听早期融合Transformer，并通过分解局部表示降低注意力融合的计算复杂度，在多个视听任务上取得优越性能。
2023-12-02 cs.AI cs.CV cs.LG
Multi-modality Latent Interaction Network for Visual Question Answering
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
视觉问答（Visual Question Questioning，VQA）多通道特征的学习，利用视觉区域和问句之间的关系取得了很大的成功。然而，我们认为，现有的方法主要是模型之间的关系，个别视觉区域和单词，这是不够的，以正确地回答这个问题。从人类的角度来看，回答视觉问题需要理解视觉和语言信息的摘要。在本文中，我们提出了多模态潜在交互模块（MLI）来解决这个问题。该模块学习潜在视觉和语言摘要之间的跨模态关系，将视觉区域和问题总结为少量的潜在表示，以避免建模无信息的单个区域-单词关系。潜在摘要之间的跨模态信息被传播以融合来自两种模态的有价值的信息，并用于更新视觉和单词特征。这种MLI模块可以堆叠几个阶段，以模拟两种模式之间的复杂和潜在关系，并在公共VQA基准测试，VQA v2.0和TDIUC上实现极具竞争力的性能。此外，我们表明，我们的方法的性能可以显着提高与预训练的语言模型BERT相结合。
2019-08-10 cs.CV cs.SD eess.AS
Visual Coreference Resolution in Visual Dialog using Neural Module Networks
Facebook AI Research（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
可视化对话需要回答一系列基于图像的问题，使用对话历史作为上下文。除了在可视问答（VQA）中发现的挑战（可以被视为一轮对话）之外，可视对话还包括更多的挑战。我们专注于一个这样的问题，称为视觉共指消解，涉及到确定哪些词，通常是名词短语和代词，共指同一个实体/对象实例中的图像。这是至关重要的，尤其是对于代词（例如，“it”），因为对话代理必须首先将其链接到先前的共指（例如，“boat”），只有这样才能依靠共指“boat”的视觉基础来推理代词“it”。先前的工作（在视觉对话）模型视觉共指消解要么（a）隐式地通过历史上的记忆网络，或（b）在一个粗略的水平为整个问题;而不是显式地在一个短语的粒度级别。在这项工作中，我们提出了一个神经模块网络架构的视觉对话，通过引入两个新的模块-参考和参考-执行明确的，接地，共指消解在一个更精细的字的水平。我们证明了我们的模型在MNIST Dialog上的有效性，MNIST Dialog是一个视觉上简单但相互引用的复杂数据集，通过实现近乎完美的准确性，VisDial是一个大型且具有挑战性的真实图像视觉对话数据集，我们的模型优于其他方法，并且更具可解释性，接地，定性一致。
2018-09-06 cs.AI cs.CL cs.CV
Visual Concept Reasoning Networks
Mila, Université de Montréal（蒙特利尔大学Mila研究院）；Kakao Brain
分裂-变换-合并策略已被广泛用作用于视觉识别任务的卷积神经网络中的架构约束。它通过显式定义多个分支来近似稀疏连接的网络，以同时学习具有不同视觉概念或属性的表示。这些表示之间的重复或交互通常由密集和局部操作定义，然而，没有任何自适应性或高级推理。在这项工作中，我们建议利用这种策略，并将其与我们的视觉概念推理网络（VCRNet）相结合，使高层次的视觉概念之间的推理。我们将每个分支与视觉概念相关联，并通过注意力模块选择一些局部描述符来获得紧凑的概念状态。这些概念状态，然后更新基于图的交互和用于自适应调制的本地描述符。我们描述了我们提出的模型分裂-变换-出席-交互-模块化-合并阶段，这是通过选择一个高度模块化的架构来实现的。大量的视觉识别任务，如图像分类，语义分割，目标检测，场景识别和动作识别的实验表明，我们提出的模型，VCRNet，不断提高性能的参数增加不到1%。
2020-08-26 cs.AI cs.CV cs.LG
Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks
KU Leuven（鲁汶大学）
深度模型的解释和解释对于依赖它们的系统的广泛采用至关重要。在本文中，我们提出了一种新的解释和解释方案，其中，给定一个预训练模型，我们自动识别与模型所考虑的类集相关的内部特征，而不依赖于额外的注释。我们通过对这组减少的特征的平均可视化来解释模型。然后，在测试时，我们通过将预测的类标签与从识别的特征中获得的支持可视化一起解释网络预测。此外，我们提出了一种方法来解决跨操作在deconvNet为基础的可视化引入的文物。在MNIST、ILSVRC 12、Fashion144k和an8Flower数据集上的实验表明，本文提出的方法能够得到详细的解释，并能很好地覆盖感兴趣类的相关特征
2019-03-08 cs.CV cs.LG stat.ML
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于深度学习的视觉到声音生成系统本质上需要开发，特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中，我们引入了一个新的任务，指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列，从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集，以使用FoleyGAN进行训练，并通过人类调查评估我们的合成声音，该调查显示出值得注意的（平均81%）视听同步性能。与其他基线模型和视听数据集相比，我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
Visual Sensor Network Reconfiguration with Deep Reinforcement Learning
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
提出了一种基于深度强化学习（RL）的动态视觉传感器网络重构方法。我们的RL代理使用修改后的异步优势演员批评框架和最近提出的关系网络模块在其网络架构的基础上。为了解决当前无模型强化学习方法中样本效率低下的问题，我们在一个抽象的模拟环境中训练我们的系统，该环境代表来自动态场景的输入。我们的系统验证使用输入从现实世界的情况和预先存在的目标检测和跟踪算法。
2018-08-13 cs.AI cs.CV cs.LG
The EntOptLayout Cytoscape plug-in for the efficient visualization of major protein complexes in protein-protein interaction and signalling networks
Semmelweis University（塞麦尔维斯大学）；Pharmahungary Group（Pharmahungary集团）；Earlham Institute（厄勒姆研究所）；Turbine Ltd（Turbine有限公司）；Dana Farber Cancer Institute（达纳法伯癌症研究所）；Northeastern University（东北大学）；Wigner Research Centre for Physics（维格纳物理研究中心）
动机：复杂生物数据集的网络可视化通常会产生“毛球”图像，这不会区分网络模块。结果：我们提出了EntOptLayout Cytoscape插件的基础上，最近开发的网络表示理论。该插件提供了一个有效的可视化网络模块，它代表了蛋白质相互作用和信号网络中的主要蛋白质复合物。重要的是，该工具通过计算输入数据和视觉表示之间的信息损失，给出了网络可视化的质量分数，显示出比传统方法提高了3到25倍。可用性和实施：该插件（在Windows、Linux或Mac OS上运行）及其教程（书面和视频形式）可以根据MIT许可条款从www.example.com免费下载http://apps.cytoscape.org/apps/entoptlayout。补充数据可在Bioinformatics在线获得。联系人：csermely. med.semmelweis-univ.hu
2019-11-01 cond-mat.dis-nn cs.CV physics.bio-ph
