Integrating Image Features with Convolutional Sequence-to-sequence Network for Multilingual Visual Question Answering
University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）
本文针对多语言视觉问答任务，将预训练VQA模型提示和图像特征融入卷积序列到序列网络，在UIT-EVJVQA数据集上取得竞赛第三名。
2023-09-03 cs.CL cs.CV
C3DVQA: Full-Reference Video Quality Assessment with 3D Convolutional Neural Network
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
传统的视频质量评估（VQA）方法评估局部图像质量，视频分数通过时间聚集帧分数来预测。然而，由于时间掩蔽效应的存在，视频质量表现出与静态图像质量不同的特性。在本文中，我们提出了一种新的架构，即C3DVQA，它使用卷积神经网络与3D内核（C3D）的全参考VQA任务。C3DVQA将特征学习和分数池结合到一个时空特征学习过程中。我们使用2D卷积层来提取空间特征，使用3D卷积层来学习时空特征。我们根据经验发现，3D卷积层能够捕获视频的时间掩蔽效应。我们在LIVE和CSIQ数据集上对所提出的方法进行了评估。实验结果表明，该方法达到了最先进的性能。
2020-03-04 cs.CV eess.IV
Performance Analysis of Traditional VQA Models Under Limited Computational Resources
University College London（伦敦大学学院）
针对有限计算资源下VQA整合视觉文本信息的挑战，本文评估BidGRU、GRU等传统模型在不同参数下的性能，发现特定配置的BidGRU最优，为高效VQA模型开发提供见解。
2025-02-09 cs.CV
MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery（高端工程机械智能制造国家重点实验室）；Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电气与计算机工程系）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
MedFG-VQA是轻量级医学VQA框架，通过FMF和GACA实现高效视觉-文本对齐，构建含200万对问答的SynMed-VQA数据集，性能优于大模型且计算成本低，适用于临床部署。
2026-08-28 cs.AI cs.CV
Structured Triplet Learning with POS-tag Guided Attention for Visual Question Answering
UC Irvine（加州大学欧文分校）；Microsoft（微软）；ETH Zurich（苏黎世联邦理工学院）；SIAT, CAS（中国科学院深圳先进技术研究院）
视觉问答（VQA）是一个重要的兴趣，因为它的潜力是一个强大的测试图像理解系统，并探讨语言和视觉之间的联系。尽管最近取得了许多进展，但一般VQA远未解决问题。在本文中，我们专注于VQA多项选择任务，并提供了一些很好的做法，设计一个有效的VQA模型，可以捕捉语言视觉交互和执行联合推理。我们探索了将词性（POS）标签引导的注意力，卷积n-gram，图像，问题和候选答案之间的三重注意力交互，以及基于图像-问题对的三重注意力结构化学习的机制。我们在两个流行的数据集上评估我们的模型：Visual 7 W和VQA Real Multiple Choice。我们的最终模型在Visual 7 W上达到了68.2%的最先进性能，在VQA Real Multiple Choice的测试标准分割上达到了69.6%的非常有竞争力的性能。
2018-01-24 cs.CV
In Defense of Grid Features for Visual Question Answering
UMass Amherst（马萨诸塞大学阿默斯特分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
作为“自下而上”的注意力，基于限界框（或区域）的视觉特征最近已经超过了基于普通网格的卷积特征，成为视觉和语言任务（如视觉问答（VQA））的事实标准。然而，尚不清楚区域的优势（例如更好的本地化）是否是自下而上的关注取得成功的关键原因。在本文中，我们重新审视了VQA的网格特征，并发现它们可以令人惊讶地工作得很好-在相同的精度下运行速度快了一个数量级以上（例如，如果以类似的方式进行预训练）。通过大量的实验，我们验证了这一观察结果在不同的VQA模型（在VQA 2.0测试标准，72.71上报告了最先进的准确性），数据集上都是正确的，并且很好地推广到其他任务，如图像描述。由于网格特性使模型设计和训练过程变得更加简单，这使我们能够对它们进行端到端的训练，并使用更灵活的网络设计。我们端到端地学习VQA模型，从像素直接到答案，并表明在预训练中不使用任何区域注释即可实现强大的性能。我们希望我们的研究结果有助于进一步提高对VQA的科学理解和实际应用。代码和功能将提供。
2020-04-02 cs.CV
Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一个基于深度学习的视频质量评估（VQA）框架来评估压缩用户生成内容（UGC）视频的质量。VQA框架由三个模块组成：特征提取模块、质量回归模块和质量池模块。对于特征提取模块，我们将卷积神经网络（CNN）网络中间层的特征融合到最终的质量感知特征表示中，使模型能够充分利用从低级到高级的视觉信息。具体地说，从所有中间层提取的特征图的结构和纹理相似度计算作为全参考（FR）VQA模型的特征表示，并计算由中间特征图融合的最终特征图的全局均值和标准差作为无参考（NR）VQA模型的特征表示。对于质量回归模块，我们使用全连接（FC）层将质量感知功能回归到帧级分数。最后，一个主观启发的时间池策略，采用池的帧级分数到视频级分数。该模型在压缩的UGC VQA数据库上实现了最好的性能，并且在野生UGC VQA数据库上也实现了相当好的性能。
2021-06-02 cs.CV cs.MM eess.IV
Latent Image and Video Resolution Prediction using Convolutional Neural Networks
Florida State University（佛罗里达州立大学）
本文提出潜在分辨率预测问题，构建数据集并引入包括两个CNN在内的机器学习方法，实验表明能以约95%准确率预测视频原始分辨率。
2024-10-17 cs.CV stat.AP
Advancing Vietnamese Visual Question Answering with Transformer and Convolutional Integration
University of Science（科学大学）；Vietnam National University（越南国家大学）
针对越南语视觉问答系统缺失问题，提出集成BLIP-2与EfficientNet提取图像特征，并利用BEiT-3融合多模态信息的模型，在ViVQA数据集上达到71.04%准确率。
2024-07-30 cs.CL cs.CV
Syntax Tree Constrained Graph Network for Visual Question Answering
Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）；DeepBlue Academy of Sciences（深兰科学院）
本文提出句法树约束图网络STCGN，通过从问题中提取句法树并结合实体消息传递机制，增强视觉问答中的语言理解与视觉特征细化，在VQA2.0上验证了其有效性。
2023-09-17 cs.AI cs.CV
Visual Question Answering: A Survey of Methods and Datasets
The University of Adelaide（阿德莱德大学）
视觉问答（VQA）是一项具有挑战性的任务，越来越受到计算机视觉和自然语言处理界的关注。给定图像和自然语言中的问题，它需要对图像的视觉元素和一般知识进行推理以推断出正确的答案。在本调查的第一部分中，我们通过比较现代解决问题的方法来研究最先进的技术。我们分类的方法，他们的机制，以连接视觉和文本形式。特别是，我们研究了将卷积神经网络和递归神经网络相结合的常见方法，将图像和问题映射到一个共同的特征空间。我们还讨论了与结构化知识库接口的内存增强和模块化架构。在本调查的第二部分中，我们回顾了可用于训练和评估VQA系统的数据集。各种数据集包含不同复杂程度的问题，需要不同的推理能力和类型。我们深入研究的问题/答案对从视觉基因组项目，并评估的相关性的结构化注释的图像与场景图VQA。最后，我们讨论了有前途的未来方向的领域，特别是连接到结构化的知识库和使用自然语言处理模型。
2016-07-20 cs.CV
Multimodal Commonsense Knowledge Distillation for Visual Question Answering
University of Melbourne（墨尔本大学）；University of Western Australia（西澳大学）
提出基于图的多模态常识知识蒸馏框架，通过GCN统一常识、视觉与问题，无需微调即可提升VQA常识问答性能。
2024-11-05 cs.AI cs.CL
Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering
UMass Lowell（马萨诸塞大学洛厄尔分校）
我们解决的问题，视觉问答（VQA），这需要联合图像和语言理解回答一个问题，一个给定的照片。最近的方法已经将基于卷积递归网络的深度图像描述方法应用于该问题，但是未能对空间推断进行建模。为了解决这个问题，我们提出了一个模型，我们称之为空间记忆网络，并将其应用到VQA任务。记忆网络是具有明确的注意力机制的递归神经网络，该机制选择存储在记忆中的信息的某些部分。我们的空间记忆网络将来自图像不同空间区域的神经元激活存储在其记忆中，并使用问题选择相关区域来计算答案，这一过程构成了网络中的一个单一“跳”。我们提出了一种新的空间注意力架构，对齐的话与图像补丁在第一跳，并获得改进的结果，通过添加第二个注意力跳，认为整个问题选择视觉证据的基础上的第一跳的结果。为了更好地理解网络学习的推理过程，我们设计了专门需要空间推理的合成问题，并将注意力权重可视化。我们在两个已发布的视觉问答数据集DAQUAR [1]和VQA [2]上评估了我们的模型，并与连接图像和问题特征以预测答案的强深度基线模型（iBOWIMG）相比获得了改进的结果[3]。
2016-03-19 cs.AI cs.CL cs.CV
VIBIKNet: Visual Bidirectional Kernelized Network for Visual Question Answering
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
在本文中，我们提出了一种新的模型，称为VIBIKNet解决问题的视觉问答。我们的模型是基于集成核卷积神经网络和长短期记忆单元，以生成一个关于图像的问题的答案。我们证明了VIBIKNet是准确性和计算负载之间的最佳权衡，在内存和时间消耗方面。我们在VQA挑战数据集上验证了我们的方法，并将其与性能最好的方法进行了比较，以说明其性能和速度。
2016-12-12 cs.CL cs.CV
HVS Revisited: A Comprehensive Video Quality Assessment Framework
Guangzhou University（广州大学）；Xidian University（西安电子科技大学）；City University of Hong Kong（香港城市大学）
视频质量是视频服务提供商的主要关注点。近年来，基于深度卷积神经网络（CNN）的视频质量评估（VQA）技术得到了迅速发展。虽然现有的工作试图将人类视觉系统（HVS）的知识引入到VQA中，但仍然表现出限制，阻止HVS的充分利用，包括由少数特征组成的不完整模型和这些特征之间的连接不足。为了克服这些局限性，本文重新访问HVS的五个代表性的特点，并进一步重组他们的连接。在此基础上，提出了一个无参考的VQA框架HVS-5 M（NRVQA框架，5个模块模拟具有5个特性的HVS）。它采用先进的网络结构，采用域融合设计范式。在空间域方面，视觉显著性模块应用SAMNet来获得显著性图。然后，内容依赖模块和边缘掩蔽模块分别利用ConvNeXt提取空间特征，并通过显着性图对空间特征进行精心加权，以突出显示人类可能感兴趣的区域。在时间域的另一侧，为了补充静态空间特征，运动感知模块使用SlowFast来获得动态时间特征。时间滞后模块采用TempHyst模拟人类的记忆机制，根据时空域的融合特征对质量分数进行综合评价。大量的实验表明，我们的HVS-5 M优于国家的最先进的VQA方法。进一步进行消融研究，以验证每个模块对拟议框架的有效性。
2022-10-09 cs.CV eess.IV
CONVIQT: Contrastive Video Quality Estimator
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Inc.（谷歌公司）
感知视频质量评估（VQA）是许多流媒体和视频共享平台的组成部分。在这里，我们考虑的问题，学习感知相关的视频质量表示在自我监督的方式。失真类型识别和退化水平确定被用作辅助任务，以训练包含提取空间特征的深度卷积神经网络（CNN）以及捕获时间信息的递归单元的深度学习模型。该模型使用对比损失进行训练，因此我们将此训练框架和所得模型称为对比视频质量估计器（CONVIQT）。在测试过程中，训练模型的权重被冻结，线性回归器将学习到的特征映射到无参考（NR）设置中的质量分数。我们通过分析模型预测和地面实况质量评级之间的相关性，在多个VQA数据库上对所提出的模型进行全面评估，并与最先进的NR-VQA模型相比，即使它没有在这些数据库上训练，也能获得有竞争力的性能。我们的消融实验表明，学习到的表示非常鲁棒，并且可以很好地概括合成和现实失真。我们的研究结果表明，令人信服的表示与感知轴承可以使用自监督学习。本工作中使用的实现已在https://github.com/pavancm/CONVIQT上提供。
2022-06-29 cs.CV cs.MM eess.IV
Scene Graph Reasoning with Prior Visual Relationship for Visual Question Answering
Beihang University（北京航空航天大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
可视化问答的关键问题之一是在问题的引导下对可视化内容中的语义线索进行推理，如何对关系语义进行建模仍然是一个巨大的挑战。为了充分捕捉视觉语义，我们提出了一个结构化的视觉表示-场景图，嵌入对象和对象间的关系。这显示出比vanilla向量表示和隐式视觉关系学习更大的好处。基于现有的视觉关系模型，我们提出了一个视觉关系编码器，该编码器将视觉关系投射到受视觉上下文和语言先验约束的学习深度语义空间中。在此基础上，提出了一种场景图卷积网络（SceneGCN），用于对对象属性和关系语义进行联合推理，以获得正确答案。我们在具有挑战性的GQA数据集和经典的VQA 2.0数据集上证明了该模型的有效性和可解释性，与现有的最佳模型相比，GQA的准确率达到了54.56%。
2019-08-21 cs.AI cs.CV cs.MM
Computed Tomography Visual Question Answering with Cross-modal Feature Graphing
University of Washington（华盛顿大学）；University of Science and Technology of China（中国科学技术大学）；Central South University（中南大学）
本文针对CT视觉问答中层间关联利用不足的问题，提出基于跨模态图与大语言模型的框架，通过注意力图卷积融合切片和问题特征，在M3D-VQA上取得优于基线方法的结果。
2025-07-06 cs.CL cs.CV
Visual Commonsense R-CNN
University of Electronic Science and Technology of China（电子科技大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
我们提出了一种新的无监督特征表示学习方法，基于视觉常识区域的卷积神经网络（VC R-CNN），作为一个改进的视觉区域编码器的高级任务，如字幕和VQA。给定图像中的一组检测到的对象区域（例如，使用更快的R-CNN），像任何其他无监督特征学习方法（例如，word 2 vec），VC R-CNN的代理训练目标是预测区域的上下文对象。然而，它们是根本不同的：VC R-CNN的预测是通过使用因果干预：P（Y| do（X）），而其他人则使用传统的似然：P（Y| X）。这也是为什么VC R-CNN可以学习“有意义”的知识的核心原因，比如椅子可以被坐着--而不仅仅是“常见”的同现，比如如果观察到桌子，椅子可能会存在。我们在三个流行任务的流行模型中广泛应用VC R-CNN功能：图像描述，VQA和VCR，并观察到它们之间的一致性能提升，实现了许多新的最先进的技术。代码和功能可在https://github.com/Wangt-CN/VC-R-CNN上获得。
2020-04-27 cs.CV
Convolutions Need Registers Too: HVS-Inspired Dynamic Attention for Video Quality Assessment
Texas State University（德克萨斯州立大学）
DAGR-VQA通过整合寄存器令牌到卷积主干中，实现动态注意力机制，提升视频质量评估的时空显著性预测能力。
2026-01-16 cs.CV cs.MM eess.IV
Neural Self Talk: Image Understanding via Continuous Questioning and Answering
University of Maryland（马里兰大学）；Toyota Research Institute of North America（丰田北美研究院）
在本文中，我们考虑的问题，不断发现图像内容，积极提出基于图像的问题，并随后回答被问到的问题。关键组件包括视觉问题生成（VQG）模块和视觉问答模块，其中使用了递归神经网络（RNN）和卷积神经网络（CNN）。给定一个包含图像、问题及其答案的数据集，两个模块同时进行训练，不同之处在于VQG使用图像作为输入，相应的问题作为输出，而VQA使用图像和问题作为输入，相应的答案作为输出。我们使用Amazon Mechanical Turk主观评估了自我对话过程，表明了所提出方法的有效性。
2015-12-10 cs.CL cs.CV cs.RO
Learning Models for Actions and Person-Object Interactions with Transfer to Question Answering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了深度卷积网络模型，该模型利用局部和全局上下文在静态图像中进行人类活动标签预测，在两个最近的数据集上实现了最先进的性能，每个数据集都有数百个标签。我们使用多实例学习来处理个人实例级别上缺乏监督的问题，并使用加权损失来处理不平衡的训练数据。此外，我们展示了如何在这些数据集上训练的专业特征可以用于提高视觉问答（VQA）任务的准确性，以多项选择填空题（Visual Madlibs）的形式。具体来说，我们解决了关于人的活动和人-物关系的两类问题，并展示了在ImageNet分类任务上训练的通用特征的改进。
2016-07-28 cs.CV
Grad-CAM: Why did you say that?
Virginia Tech（弗吉尼亚理工大学）
我们提出了一种技术，通过可视化对预测或视觉解释“重要”的输入区域，使基于卷积神经网络（CNN）的模型更加透明。我们的方法，称为加权类激活映射（梯度CAM），使用类特定的梯度信息本地化的重要区域。这些本地化与现有的像素空间可视化相结合，创建一个新的高分辨率和类歧视可视化称为引导梯度CAM。这些方法有助于更好地理解基于CNN的模型，包括图像字幕和视觉问答（VQA）模型。我们评估我们的视觉解释，通过测量他们的能力，区分类，激发对人类的信任，以及他们与遮挡地图的相关性。Grad-CAM为理解基于CNN的模型提供了一种新的方法。我们已经发布了代码，在CloudCV上托管的在线演示，以及此扩展摘要的完整版本。
2017-01-25 cs.CV cs.LG stat.ML
REMIND Your Neural Network to Prevent Catastrophic Forgetting
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（Adobe研究院）；Paige；Cornell Tech（康奈尔科技校区）
人们一生都在学习。然而，增量更新传统的神经网络会导致灾难性遗忘。一种常见的补救方法是重放，这是受到大脑如何巩固记忆的启发。重播涉及在新旧实例的混合上微调网络。虽然有神经科学证据表明大脑会重放压缩的记忆，但卷积网络的现有方法会重放原始图像。在这里，我们提出了REMIND，这是一种受大脑启发的方法，可以使用压缩表示进行高效重放。REMIND是以在线方式训练的，这意味着它一次学习一个例子，这更接近人类的学习方式。在相同的约束条件下，REMIND在ImageNet ILSVRC-2012数据集上的增量类学习性能优于其他方法。我们探测REMIND的鲁棒性的数据排序方案已知会导致灾难性遗忘。我们展示了REMIND的通用性，开创性的在线学习的视觉问答（VQA）。
2020-07-13 cs.CV cs.LG cs.NE
HAFI-VLM: A Frequency Perspective for Diagnosing and Enhancing Visual Perception in Vision-Language Models
该研究针对VLMs视觉预测不可靠的频谱响应刚性问题，提出HAFI-VLM，通过任务条件频率通路与相关组件优化，在多个VLMs基准上提升了视觉感知性能。
2026-08-04 cs.CL cs.CV
NovisVQ: A Streaming Convolutional Neural Network for No-Reference Opinion-Unaware Frame Quality Assessment
本文提出流式无参考且不依赖主观意见的视频质量评估模型NovisVQ，利用DAVIS合成退化训练时序卷积网络预测LPIPS、PSNR、SSIM，性能优于图像基线并与全参考指标相关性高于BRISQUE。
2025-11-06 cs.CV
Open-Ended Visual Question-Answering
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
本论文报告研究了使用深度学习框架解决视觉问答（VQA）任务的方法。作为第一步，我们探索了用于自然语言处理（NLP）的长短期记忆（LSTM）网络，以解决问答（基于文本）。然后，我们修改以前的模型，除了问题之外，还接受图像作为输入。为此，我们探索VGG-16和K-CNN卷积神经网络从图像中提取视觉特征。这些与词嵌入或问题的句子嵌入合并以预测答案。这项工作已成功提交给2016年视觉问答挑战赛，在测试数据集中达到了53，62%的准确率。开发的软件遵循了最佳编程实践和Python代码风格，为不同的配置提供了Keras一致的基线。
2016-10-09 cs.CL cs.CV cs.MM
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种技术，用于从一大类基于CNN的模型中为决策生成“视觉解释”，使其更加透明。我们的方法-加权类激活映射（Grad-CAM），使用任何目标概念的梯度，流入最终的卷积层，以产生一个粗略的定位图，突出图像中的重要区域，用于预测概念。Grad-CAM适用于各种各样的CNN模型家族：（1）具有全连接层的CNN，（2）用于结构化输出的CNN，（3）用于具有多模态输入或强化学习的任务的CNN，而无需任何架构更改或重新训练。我们将Grad-CAM与细粒度可视化相结合，以创建高分辨率的类区分可视化，并将其应用于现成的图像分类，字幕和视觉问答（VQA）模型，包括基于ResNet的架构。在图像分类模型的背景下，我们的可视化（a）可以深入了解它们的故障模式，（b）对对抗图像具有鲁棒性，（c）在定位方面优于以前的方法，（d）更忠实于底层模型，（e）通过识别数据集偏差来帮助实现泛化。对于字幕和VQA，我们表明，即使是非注意力为基础的模型可以本地化的输入。我们设计了一种通过Grad-CAM识别重要神经元的方法，并将其与神经元名称相结合，为模型决策提供文本解释。最后，我们设计并进行人体研究来衡量Grad-CAM是否可以帮助用户建立对模型预测的适当信任，并表明Grad-CAM可以帮助未经训练的用户成功地从“较弱”的节点中辨别出“较强”的节点，即使两者都做出相同的预测。我们的代码可以在https：//gi…
2019-12-03 cs.AI cs.CV cs.LG
Robusto-2: Benchmarking Humans & VLMs for Autonomous Driving in Lima & New York City
Artificio Lima, Peru
本研究通过视觉问答范式，比较人类驾驶员（来自利马和纽约）与视觉语言模型在利马和纽约的驾驶场景中的表现，发现人类与模型在回答事实、评级、反事实和推理四类问题时存在差异，但地理因素影响不显著。
2026-09-15 cs.AI cs.CV cs.RO
Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual Question Answering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Microsoft Research Asia（微软亚洲研究院）；University of Adelaide（阿德莱德大学）
基于事实的视觉问答（FVQA）需要视觉内容之外的外部知识来回答关于图像的问题，这是具有挑战性的，但对于实现通用VQA是必不可少的。现有的FVQA解决方案的一个局限性是，它们联合嵌入所有类型的信息，而没有细粒度的选择，这为推理最终答案引入了意想不到的噪声。如何获取面向问题的、信息互补的证据仍然是解决问题的关键挑战。在本文中，我们描述了一个图像的多模态异构图，它包含对应的视觉，语义和事实特征的多层信息。在多层图表示的基础上，我们提出了一个模态感知的异构图卷积网络来捕获与给定问题最相关的不同层的证据。具体而言，模态内图卷积从每个模态中选择证据，而跨模态图卷积聚合不同模态的相关信息。通过多次堆叠这个过程，我们的模型执行迭代推理，并通过分析所有面向问题的证据来预测最佳答案。我们实现了一个新的国家的最先进的性能上的FVQA任务，并证明了我们的模型的有效性和可解释性与广泛的实验。
2020-11-04 cs.AI cs.CL cs.CV
Bio-inspired digit recognition using reward-modulated spike-timing-dependent plasticity in deep convolutional networks
University of Tehran（德黑兰大学）；CNRS（法国国家科学研究中心）；Université Toulouse 3（图卢兹第三大学）
灵长类动物的视觉系统激发了深度人工神经网络的发展，它彻底改变了计算机视觉领域。然而，这些网络的能效比生物网络低得多，而且它们通常是用反向传播训练的，这是非常需要数据的。为了解决这些限制，我们使用了深度卷积脉冲神经网络（DCSNN）和延迟编码方案。我们使用较低层的尖峰时间依赖可塑性（STDP）和较高层的奖励调制STDP（R-STDP）进行训练。简而言之，R-STDP是一个正确的（相应地，错误）决定导致STDP（或抗STDP）。这种方法导致MNIST上的$97.2\%$的准确性，而不需要外部分类器。此外，我们证明了R-STDP提取的特征是诊断手头的任务，并丢弃其他的，而STDP提取任何重复的特征。最后，我们的方法在生物学上是合理的，硬件友好，节能。
2019-05-27 cs.CV q-bio.NC
Improving mitosis detection on histopathology images using large vision-language models
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
本研究利用预训练的大规模视觉-语言模型，通过图像描述和视觉问答任务，结合元数据上下文，提高了组织病理学图像中有丝分裂检测的准确性，并在MIDOG22数据集上验证了其有效性。
2023-10-11 cs.CV
Modulated binary cliquenet
Southeast University（东南大学）；INSERM（法国国家健康与医学研究院）；Université de Rennes 1（雷恩第一大学）；Centre de Recherche en Information Médicale Sino-français (CRIBs)（中法医学信息研究中心（CRIBs））
尽管卷积神经网络（CNN）在各种计算机视觉任务中实现了有效性，但是对这种网络的存储的显著需求阻碍了在计算受限的设备上的部署。在本文中，我们提出了一种新的紧凑和便携式深度学习网络，名为调制二进制Cliquenet（MBCSNet），旨在提高基于二进制滤波器的CNN的可移植性，同时实现与Resnet等全精度CNN相当的性能。在MBCBRNet中，我们引入了一种新的调制操作来逼近非二值化滤波器，并给出了一种初始化方法来加速其收敛。通过参数共享，减少了调制操作带来的额外参数。因此，与全精度模型相比，所提出的MBCSNet可以将卷积滤波器所需的存储空间减少至少32倍，并且比其他最先进的二进制模型具有更好的性能。更重要的是，我们的模型与我们使用的数据集上的一些全精度模型（如Resnet）相比甚至更好。
2019-02-27 cs.CV
Learnable Gabor modulated complex-valued networks for orientation robustness
Swansea University（斯旺西大学）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Université de Strasbourg（斯特拉斯堡大学）
在许多计算机视觉任务中，考虑到输入数据经常表现出姿态变化，对变换的鲁棒性是期望的。虽然平移不变性和等变性是CNN的一种记录现象，但通常通过数据增强来鼓励对其他转换的敏感性。我们研究了用学习的Gabor滤波器调制复值卷积权重以实现方向鲁棒性。由此产生的网络可以生成方向相关的功能免费插值与一组可学习的旋转控制参数。通过选择保留或池定向通道，可以直接控制等变性与不变性的选择。此外，我们通过提出的循环Gabor卷积引入旋转权重绑定，进一步实现旋转的推广。我们将这些创新结合到可学习的Gabor卷积网络（LGCN）中，这些网络具有参数效率，并提供了更高的模型复杂性。我们证明了它们的旋转不变性和等变性MNIST，BSD和模拟和真实的天文图像的银河卷云数据集。
2021-10-05 cs.CV
UIT-Saviors at MEDVQA-GI 2023: Improving Multimodal Learning with Image Enhancement for Gastrointestinal Visual Question Answering
Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）
针对胃肠道视觉问答任务，提出结合图像增强与多模态架构（BERT+视觉模型）的方法，实验证明基于Transformer的模型优于CNN，最佳方法在开发测试集上取得87.25%准确率和91.85% F1-Score。
2023-11-20 cs.CV cs.HC
Vehicle classification based on convolutional networks applied to FM-CW radar signals
CNIT RaSS（全国大学间电信联盟拉曼与空间系统实验室）
研究了调频连续波（FM-CW）雷达信号的处理方法。在过去的几年里，深度学习在几个科学领域引起了人们的兴趣，信号处理也不例外。在这项工作中，我们解决了使用卷积神经网络（CNN）应用于距离多普勒签名的车辆类别的识别。所开发的系统首先将1维信号转换为3维信号，该3维信号随后用作CNN的输入。当使用训练好的模型来预测车辆类别时，我们获得了良好的性能。
2017-10-31 cs.CV
Longitudinal detection of radiological abnormalities with time-modulated LSTM
University of Warwick（华威大学）
近年来，卷积神经网络（CNN）已经成功地用于检测医学图像（例如普通X射线）中的放射异常。到目前为止，大多数研究在单独的检查中使用CNN，并丢弃以前可用的临床信息。在这项研究中，我们开始探索长短期记忆网络（LSTM）是否可以用来提高分类性能时，建模的整个序列的射线照片，可能是一个给定的病人，包括他们的报告。然而，传统LSTM的局限性在于，它们隐含地假设等间隔的观察，而放射学检查是基于事件的，因此不规则地采样。使用模拟数据集和大规模胸部X射线数据集，我们证明了对LSTM架构的简单修改（明确考虑了连续观测之间的时间滞后）可以提高分类性能。我们的实验结果表明，提高了对胸部X线检查中常见异常的检测，如心脏肥大、实变、胸腔积液和食管裂孔疝。
2018-07-16 cs.CV cs.LG stat.ML
Gaze Training by Modulated Dropout Improves Imitation Learning
Hong Kong University of Science and Technology（香港科技大学）
通过行为克隆的模仿学习是一种流行的方法，在基于视觉的自动驾驶中取得了一定的成功。行为克隆背后的基本思想是让神经网络通过观察人类专家的行为来学习。通常，卷积神经网络通过模仿人类驾驶员的行为来学习从原始驾驶员视图图像预测转向命令。然而，还有其他线索，如凝视行为，可从人类驾驶员尚未被利用。先前的研究表明，新手人类学习者可以从观察专家的凝视模式中受益。我们在这里提出，深度神经网络也可以从中受益。我们提出了一种方法，凝视调制辍学，将这种凝视信息隐式地整合到深度驾驶网络中，而不是作为额外的输入。我们的实验结果表明，凝视调制的辍学提高了网络的泛化能力，看不见的场景。与均匀丢失相比，转向命令的预测误差减少了23.5%。在模拟器中运行闭环，凝视调制的辍学网络将违规之间的平均距离增加了58.5%。与这些结果一致，凝视调制的辍学网络显示出较低的模型不确定性。
2019-08-16 cs.AI cs.CV cs.RO
Top-Down Visual Attention from Analysis by Synthesis
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
当前的注意力算法（例如，自我注意）是刺激驱动的，并且突出图像中的所有显著对象。然而，像人类这样的智能代理通常会根据手头的高级任务来引导他们的注意力，只关注与任务相关的对象。这种任务引导的自上而下的注意能力提供了任务自适应表示，并有助于模型推广到各种任务。在本文中，我们认为自上而下的注意力从一个经典的分析综合（AbS）的视觉角度。先前的工作表明视觉注意力和稀疏重建之间的功能等价性;我们表明，优化类似的稀疏重建目标调制的目标导向的自上而下的信号自然模拟自上而下的注意力的AbS视觉系统。我们进一步提出了综合分析视觉Transformer（AbSViT），它是一种自上而下的调制ViT模型，变分逼近AbS，实现了可控的自上而下的注意力。对于现实世界的应用程序，AbSViT在视觉语言任务（如VQA和zero-shot检索）的基线上持续改进，其中语言引导自上而下的注意力。AbSViT还可以作为通用主干，提高分类、语义分割和模型鲁棒性的性能。
2023-03-24 cs.CV
BioLCNet: Reward-modulated Locally Connected Spiking Neural Networks
Politecnico di Torino（都灵理工大学）；University of Tehran（德黑兰大学）；The University of Edinburgh（爱丁堡大学）；Shahid Beheshti University（沙希德·贝赫什提大学）
脑启发计算和信息处理以及与神经形态硬件的兼容性使得脉冲神经网络（SNN）成为解决机器学习（ML）中学习任务的一种有前途的方法。尖峰神经元只是构建生物合理学习模型的要求之一。网络架构和学习规则是开发此类人工代理时要考虑的其他重要因素。在这项工作中，受人类视觉通路和多巴胺在学习中的作用的启发，我们提出了一个奖励调制的局部连接脉冲神经网络，BioLCNet，视觉学习任务。为了从泊松分布的尖峰序列中提取视觉特征，我们使用了与权重共享的卷积滤波器相比更类似于生物视觉系统的局部滤波器。在解码层，我们应用了基于峰值人口的投票方案来确定网络的决策。我们采用尖峰时间依赖可塑性（STDP）学习的视觉特征，其奖励调制的变体（R-STDP）的基础上的奖励或惩罚反馈信号训练解码器。为了评估，我们首先评估了我们的奖励机制的鲁棒性，以不同的目标反应在一个经典的条件反射实验。之后，我们评估了我们的网络在MNIST和XOR MNIST数据集的图像分类任务上的性能。
2022-07-07 cs.CV cs.LG cs.NE
Biologically Inspired Semantic Lateral Connectivity for Convolutional Neural Networks
Maastricht University（马斯特里赫特大学）
横向连接在视觉皮层的感觉处理中起着重要作用，即使是对高度相似的特征也能支持可辨别的神经元反应。在目前的工作中，我们表明，建立一个生物启发墨西哥帽横向连接配置文件沿过滤器域可以显着提高分类精度的各种轻量级卷积神经网络，而无需添加可训练的网络参数。此外，我们证明，它是可能的分析确定调制滤波器激活的平稳分布，从而避免使用递归建模时间动态。我们还发现，墨西哥帽连接配置文件的效果排序过滤器在一个序列类似的地形组织功能选择性在早期视觉皮层。在有序滤波器序列中，该配置文件然后锐化滤波器的调谐曲线。
2021-05-20 cs.CV
Evenly Cascaded Convolutional Networks
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）
本文介绍了一种从小波分析的级联算法中得到启发的神经网络--EscherichiCascadedConvolutionNetworkECN。ECN使用两个特征流-低级流和高级流。在每一层，这些流相互作用，使得使用来自高级流的高级视角来调制低级特征。ECN通过以一致的比率调整特征图维度来均匀地构造，这消除了特征图维度的临时规范的负担。ECN产生易于解释的特征图，其结果的直观性可以在尺度空间理论的背景下理解。我们证明了ECN的设计通过提供易于训练的快捷方式来促进训练过程。我们报告了小型网络的新的最先进的结果，而不需要额外的处理，如修剪或压缩-ECN的简单结构和直接训练的结果。具有500 k以下参数的6层ECN设计在CIFAR-10和CIFAR-100数据集上分别实现了95.24%和78.99%的准确率，在小参数网络上优于当前最先进的技术，并且300万参数ECN产生的结果与最先进的技术竞争。
2018-07-27 cs.CV cs.LG cs.NE
FW-GAN: Frequency-Driven Handwriting Synthesis with Wave-Modulated MLP Generator
University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）
FW-GAN提出单样本手写体合成框架，通过相位感知Wave-MLP生成器、频率引导判别器和频率分布损失，利用频率信息生成风格一致的高质量手写体，用于低资源手写识别数据增强。
2025-08-28 cs.CV cs.LG
AVGCN: Trajectory Prediction using Graph Convolutional Networks Guided by Human Attention
Hong Kong University of Science and Technology（香港科技大学）
行人轨迹预测是一项关键而又具有挑战性的任务，特别是在拥挤的场景中。我们建议，引入一个注意力机制来推断不同的邻居的重要性是至关重要的准确的轨迹预测场景中的人群规模变化。在这项工作中，我们提出了一种新的方法，AVGCN，轨迹预测利用图卷积网络（GCN）的基础上人类的注意力（A表示注意力，V表示视野的限制）。首先，我们训练一个注意力网络，估计邻近行人的重要性，使用收集的目光数据作为主体执行鸟瞰人群导航任务。然后，我们将学习到的注意力权重调制行人的视野上的约束到一个轨迹预测网络，使用GCN聚合信息的邻居有效。AVGCN还考虑了行人轨迹的随机性，利用变化的轨迹预测。我们的方法在几个轨迹预测基准上实现了最先进的性能，并且在所有考虑的基准上具有最低的平均预测误差。
2021-01-14 cs.CV cs.RO
StyleInV: A Temporal Style Modulated Inversion Network for Unconditional Video Generation
Nanyang Technological University（南洋理工大学）
本文提出StyleInV，一种基于学习反转网络的运动生成器，通过时序调制编码器生成平滑潜变量，实现无需重型判别器的长时高分辨率无条件视频生成，并支持风格迁移。
2023-08-31 cs.AI cs.CV
Integrating Flexible Normalization into Mid-Level Representations of Deep Convolutional Neural Networks
University of Miami（迈阿密大学）；Computer Science Department（计算机科学系）；Coral Gables, FL 33146（科勒尔盖布尔斯，佛罗里达州 33146（注：这是地址，非机构，不应提取，但根据用户提供的文本，此处可能存在格式问题，原文本中“Affiliation: Coral Gables, FL 33146”可能是笔误，正确机构应为“University of Miami”下的部门，此处严格按用户提取范围，仅保留明确机构名））
深度卷积神经网络（CNN）正成为越来越受欢迎的模型，用于预测视觉皮层中的神经反应。然而，当前的CNN（包括用于神经预测的CNN）并未明确处理在神经处理和感知中普遍存在的上下文效应。在初级视觉皮层中，神经反应以丰富的方式受到经典感受野周围空间刺激的调制。这些影响已经用分裂的归一化方法建模，包括灵活的模型，其中空间归一化仅被招募到中心和周围位置的响应被认为是统计依赖的程度。我们提出了一个灵活的归一化模型，应用于深层CNN的中级表示，作为一种易于处理的方法来研究中级皮层区域的上下文归一化机制。这种方法捕获CNN中的中级特征之间的非平凡空间依赖性，例如存在于纹理和其他视觉刺激中的那些特征，这些特征是从几何上平铺高阶特征而产生的。我们期望所提出的方法可以预测何时在中级皮层区域进行空间归一化。我们还期望这种方法作为CNN工具包的一部分是有用的，因此超越了更具限制性的固定形式的标准化。
2018-12-24 cs.CV q-bio.NC
First-spike based visual categorization using reward-modulated STDP
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；CNRS（法国国家科学研究中心）；Université Toulouse 3（图卢兹第三大学）
强化学习（RL）最近重新流行起来，取得了击败欧洲围棋冠军等重大成就。在这里，我们第一次证明了RL可以有效地用于训练尖峰神经网络（SNN），以在不使用外部分类器的情况下在自然图像中进行对象识别。我们使用了前馈卷积SNN和时间编码方案，其中最强烈激活的神经元首先发射，而较不活跃的神经元稍后发射，或者根本不发射。在最高层中，每个神经元被分配到一个对象类别，并且假设刺激类别是第一个激发的神经元的类别。如果这个假设是正确的，神经元得到奖励，即尖峰时间依赖可塑性（STDP），这加强了神经元的选择性。否则，应用抗STDP，这鼓励神经元学习其他东西。正如在各种图像数据集（加州理工学院，ETH-80和NORB）上所展示的那样，这种奖励调制STDP（R-STDP）方法提取了特别有区别的视觉特征，而经典的无监督STDP提取了任何持续重复的特征。因此，R-STDP在这些数据集上的表现优于STDP。此外，R-STDP适用于在线学习，并且可以适应标签排列等剧烈变化。最后，值得一提的是，特征提取和分类都是用尖峰信号完成的，每个神经元最多使用一个尖峰信号。因此，该网络是硬件友好和节能的。
2018-07-10 cs.CV q-bio.NC
Introducing Feature Attention Module on Convolutional Neural Network for Diabetic Retinopathy Detection
Jadavpur University（jadavpur大学）
本文提出将特征注意力模块与预训练VGG19 CNN融合，通过注意力机制增强眼底图像显著特征表达，并在APTOS DR数据集上取得95.70%的检测准确率。
2023-08-06 cs.CV
Feature Boosting Network For 3D Pose Estimation
Nanyang Technological University（南洋理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
本文提出了一种特征提升网络，用于从单个RGB图像中估计3D手部姿势和3D身体姿势。在这种方法中，卷积层学习到的特征通过一个新的长短期依赖性感知（LSTD）模块得到提升，该模块使中间卷积特征映射能够使用设计的图形ConvLSTM感知不同手部（或身体）部位之间的图形长短期依赖性。由于3D姿态估计的实际应用中的模糊性、纹理和光照变化以及自遮挡，学习一组可靠且有区别地表示手（或身体）部分的姿态的特征是困难的。为了提高表示每个身体部位的特征的可靠性并增强LSTD模块，本文进一步引入上下文一致性门（CCG），根据其与上下文表示的一致性来调制卷积特征映射。我们评估所提出的方法具有挑战性的基准数据集的3D手部姿势估计和3D全身姿势估计。实验结果表明，我们的方法的有效性，实现国家的最先进的性能上的两个任务。
2019-05-15 cs.CV
A Joint Sequence Fusion Model for Video Question Answering and Retrieval
Seoul National University（首尔国立大学）
我们提出了一种名为JSFusion（联合序列融合）的方法，可以测量任何对多模态序列数据（例如，视频剪辑和语言句子）之间的语义相似性。我们的多模态匹配网络由两个关键组件组成。首先，联合语义张量将两个序列数据的密集成对表示组成3D张量。然后，卷积分层解码器通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似性得分。这两个模块都利用了分层的注意力机制，该机制学习促进良好匹配的表示模式，同时以自下而上的方式修剪掉不对齐的表示模式。虽然JSFusion是一个通用的模型，适用于任何多模态序列数据，这项工作的重点是视频语言的任务，包括多模态检索和视频QA。我们在LSMDC中的三个检索和VQA任务中评估了JSFusion模型，我们的模型达到了迄今为止报告的最佳性能。我们还为MSR-VTT数据集执行多项选择和电影检索任务，我们的方法优于许多最先进的方法。
2018-08-07 cs.CV
Improved Static Hand Gesture Classification on Deep Convolutional Neural Networks using Novel Sterile Training Technique
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Citigroup Global Markets Inc.（花旗集团全球市场公司）
针对毫米波雷达结合CNN的静态手势识别准确率低的问题，提出新型数据采集方法和“无菌”图像训练技术，将距离剖面与距离-角度剖面下的分类准确率分别提升至93%和95%。
2023-05-03 cs.AI cs.CV eess.SP
Eat-Radar: Continuous Fine-Grained Intake Gesture Detection Using FMCW Radar and 3D Temporal Convolutional Network with Attention
KU Leuven（鲁汶大学）；Vellore Institute of Technology（韦洛尔理工学院）；IMEC（比利时微电子研究中心）；Wageningen University and Research（瓦赫宁根大学及研究中心）；OnePlanet Research Center（壹行星研究中心）
本文提出基于 FMCW 雷达与 3D-TCN-Att 的非接触方法，通过处理 RD Cube 在连续真实用餐场景中检测分割进食和饮水手势，并构建含 70 个用餐过程的公开数据集验证其有效性。
2023-12-18 cs.CV eess.IV eess.SP
Pay Attention with Focus: A Novel Learning Scheme for Classification of Whole Slide Images
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Ontario Tech University（安大略理工大学）
由于图像尺寸较大，卷积神经网络（CNN）等深度学习方法难以直接用于分析整个幻灯片图像（WSI）。我们克服了这个限制，提出了一种新的两阶段的方法。首先，我们从WSI中提取一组代表性的补丁（称为马赛克）。使用深度网络将马赛克的每个补丁编码为特征向量。使用WSI的分层目标标签来微调特征提取器模型，即，解剖部位和初步诊断。在第二阶段中，一组编码的补丁级功能从WSI被用来计算的主要诊断概率，通过建议的关注与焦点计划，注意力加权平均预测概率的马赛克调制的可训练的焦点因素。实验结果表明，该模型具有较好的鲁棒性，能够有效地对WSIs进行分类。
2021-06-11 cs.CV eess.IV
An Explainable Deep Neural Network with Frequency-Aware Channel and Spatial Refinement for Flood Prediction in Sustainable Cities
Indian Institute of Technology Indore（印度印度理工学院印度尔）
针对城市洪水预测，提出XFloodNet框架，集成层次化跨模态门控注意力、异构卷积自适应多尺度注意力和级联卷积Transformer细化，在三个基准数据集上取得最优F1分数。
2025-09-07 cs.CV
