Dynamic Deep Multi-task Learning for Caricature-Visual Face Recognition
La Rochelle University(拉罗谢尔大学)
漫画的人脸识别与视觉图像的识别相比,其表现效果相差甚远。挑战在于通过夸大面部特征来加强角色的极端非刚性扭曲。在本文中,我们提出了基于深度CNN的动态多任务学习,用于跨模态漫画视觉人脸识别。与传统的固定任务权值的多任务学习不同,动态多任务学习根据任务的重要性动态更新任务权值,使网络的训练集中在硬任务上,而不是停留在简单任务的过度训练上。实验结果证明了动态多任务学习在漫画-视觉人脸识别中的有效性。在数据集CaVI和WebCaricature上进行的性能评估显示了优于最先进方法的优越性。实现代码可以在这里找到。
2019-11-08 cs.CV
Funnel Activation for Visual Recognition
Hong Kong University of Science and Technology(香港科技大学);MEGVII Technology(旷视科技)
我们提出了一种概念上简单但有效的漏斗激活图像识别任务,称为漏斗激活(FReLU),通过添加可忽略的空间条件开销将ReLU和PReLU扩展到2D激活。ReLU和PReLU的形式分别是y = max(x,0)和y = max(x,px),而FReLU的形式是y = max(x,T(x)),其中T(x)是2D空间条件。此外,空间条件以简单的方式实现了像素级建模能力,捕获了具有规则卷积的复杂视觉布局。我们在ImageNet、COCO检测和语义分割任务上进行了实验,显示了FReLU在视觉识别任务中的巨大改进和鲁棒性。代码可在https://github.com/megvii-model/FunnelAct上获得。
2020-07-24 cs.CV
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University(中部大学)
视觉解释使人们能够理解深度卷积神经网络(CNN)的决策,但它不足以促进性能的提高。在本文中,我们专注于视觉解释的注意图,它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制,显着提高了CNN的性能。在这项工作中,我们提出了注意力分支网络(ABN),它扩展了自上而下的视觉解释模型,通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支,可以适用于多种图像识别任务,并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务,如图像分类,细粒度识别,多个面部属性识别。实验结果表明,ABN在这些图像识别任务上的准确性优于基线模型,同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
Low-shot Visual Recognition by Shrinking and Hallucinating Features
Facebook AI Research (FAIR)(Facebook人工智能研究院)
低镜头视觉学习-从很少的例子中识别新物体类别的能力-是人类视觉智能的标志。现有的机器学习方法无法以相同的方式进行推广。为了在这个基础问题上取得进展,我们提出了一个复杂图像的低拍摄学习基准,模拟了野外识别系统所面临的挑战。然后,我们提出了a)表示正则化技术,和b)技术,以幻觉额外的训练样本的数据匮乏的类。总之,我们的方法提高了卷积网络在低拍摄学习中的有效性,在具有挑战性的ImageNet数据集上将新类别的一次性准确性提高了2.3倍。
2017-11-04 cs.CV
Embedding Visual Hierarchy with Deep Networks for Large-Scale Visual Recognition
University of North Carolina(北卡罗来纳大学)
在本文中,通过将视觉层次结构嵌入深度网络来开发层次混合模型(LMM),以支持大规模视觉识别(即,识别数千甚至数万个对象类),并且当随着时间的推移学习更具代表性的深度网络时,贝叶斯方法用于自动调整预训练的视觉层次结构以适应深度特征(用于图像和对象类表示)的改进。我们的LMM模型可以提供一种端到端的联合学习方法:(a)深度网络,用于提取图像和对象类表示的更具区分性的深度特征;(b)树分类器,用于分层识别大量对象类;以及(c)视觉层次结构自适应,用于分层实现更准确的大量对象类索引。通过支持树分类器、深度网络和视觉层次自适应的联合学习,我们的LMM算法可以提供一种有效控制层间错误传播的有效方法,从而在大规模视觉识别中获得更好的准确率。在ImageNet 1 K和ImageNet 10 K图像集上进行了实验,与基线方法相比,我们的LMM算法在准确率和计算效率上都取得了非常有竞争力的结果。
2017-07-08 cs.CV
Cross-modal Multi-task Learning for Graphic Recognition of Caricature Face
La Rochelle University(拉罗谢尔大学)
近十年来,真实感视觉图像的人脸识别得到了广泛的研究,并取得了显著的进展。与真实感的视觉图像不同,漫画的人脸识别性能远不能达到视觉图像的要求。这在很大程度上是由于极端的非刚性扭曲的漫画介绍了夸大的面部特征,以加强字符。漫画和视觉图像的异质模态导致漫画-视觉人脸识别是一个跨模态问题。在本文中,我们提出了一种方法进行漫画视觉人脸识别通过多任务学习。与传统的固定任务权重的多任务学习不同,本文提出了一种根据任务的重要性来学习任务权重的方法。所提出的具有动态任务权重的多任务学习使得能够适当地训练硬任务和容易任务,而不是像传统方法那样陷入过度训练容易任务。实验结果表明,所提出的动态多任务学习的跨模态漫画视觉人脸识别的有效性。在数据集CaVI和WebCaricature上的性能显示出优于最先进方法的优越性。
2020-03-10 cs.CV
Fine-grained visual recognition with salient feature detection
Wuhan University of Technology(武汉理工大学);National University of Singapore(新加坡国立大学)
基于计算机视觉的细粒度识别近年来受到了广泛的关注。现有的工作集中在歧视性的部分定位和特征学习。在本文中,为了提高细粒度识别的性能,我们试图精确地定位尽可能多的显著部分的对象。然后,我们计算出的分类概率,可以通过使用单独的部分对象分类。最后,在CUB 200 -2011鸟类数据集上,通过提取各部分的有效特征并将其组合,然后输入分类器进行识别,获得了比现有算法更高的准确率。
2018-08-14 cs.CV
Enhance Visual Recognition under Adverse Conditions via Deep Networks
ByteDance Inc.(字节跳动公司);Texas A&M University(得克萨斯农工大学);Baidu Research(百度研究院)
恶劣条件下的视觉识别是一个非常重要和具有挑战性的问题,具有很高的实用价值,由于普遍存在的质量失真的图像采集,传输,或存储。虽然深度神经网络已经分别在低质量图像复原和高质量图像识别任务的技术中得到了广泛的应用,但很少有人研究从非常低质量的图像中进行识别的重要问题。本文提出了一种基于深度学习的框架,用于改善不利条件下的图像和视频识别模型的性能,使用鲁棒的不利预训练或其积极的变体。鲁棒的不利预训练算法利用了预训练的能力,并推广了传统的无监督预训练和数据增强方法。我们进一步开发了一种迁移学习方法来处理未知不利条件的真实世界数据集。提出的框架进行了全面评估的一些图像和视频识别基准,并在各种单一或混合的不利条件下获得显着的性能改善。我们的可视化和分析进一步增加了结果的可解释性。
2019-04-02 cs.CV
Incorporating Intra-Class Variance to Fine-Grained Visual Recognition
Peking University(北京大学);Nanyang Technological University(南洋理工大学)
细粒度视觉识别的目标是在视觉上相似的类别中捕获有区别的特征。最先进的研究工作已经通过使用三元组网络的深度度量学习显著提高了细粒度识别性能。然而,类内方差对识别性能和鲁棒特征表示的影响还没有得到很好的研究。在本文中,我们提出了利用类内方差的三元组网络的度量学习,以提高细粒度识别的性能。通过将每个类别中的训练图像划分为几个组,我们形成了跨不同类别以及不同组的三重样本,这被称为组敏感的三重样本采样(GS-TRS)。相应地,通过将类内方差与GS-TRS相结合来增强三元组损失函数,这可能有助于三元组网络的优化目标。在基准数据集CompCar和VehicleID上的大量实验表明,所提出的GS-TRS在分类和检索任务方面都显着优于最先进的方法。
2017-03-01 cs.CV
Deep Attentional Structured Representation Learning for Visual Recognition
EPFL(洛桑联邦理工学院)
结构化表示,如Bags of Words,VLAD和Fisher Vectors,已被证明在处理复杂的视觉识别任务方面非常有效。因此,它们最近已被纳入深度架构中。然而,虽然有效,但由此产生的深度结构化表示学习策略通常会从整个图像中聚合局部特征,忽略了这样一个事实,即在复杂的识别任务中,某些区域提供比其他区域更多的区分信息。在本文中,我们引入了一个注意结构化的表示学习框架,它在聚合过程中引入了图像特定的注意力机制。我们的框架学习以端到端的方式联合预测图像类标签和注意力地图,并且除了目标标签之外没有任何其他监督。正如我们的实验所证明的那样,这始终优于注意力较少的结构化表示学习,并在标准场景识别和细粒度分类基准上产生最先进的结果。
2018-05-14 cs.CV
Multi-Metric Evaluation of Thermal-to-Visual Face Recognition
University of Calgary(卡尔加里大学)
本文针对红外图像中不同光谱人脸的识别问题,采用机器学习方法从红外图像中合成可见光谱人脸。视觉带面部图像的合成允许更优地提取面部特征以用于面部识别和/或验证。我们探索使用生成对抗网络(GANs)进行人脸图像合成的能力,并使用预先训练的卷积神经网络(CNN)检查这些图像的性能。使用CNN提取的特征应用于人脸识别和验证。我们探讨了使用各种相似性度量进行人脸验证时的接受率性能。
2020-07-22 cs.CV
Visual Recognition of Great Ape Behaviours in the Wild
University of Bristol(布里斯托大学)
我们提出了一个利用深度学习的第一个大型猿类特定视觉行为识别系统,该系统能够检测9种核心猿类行为。
2020-11-21 cs.CV cs.LG
Towards A Unified Neural Architecture for Visual Recognition and Reasoning
Brown University(布朗大学);Google(谷歌)
本文提出一种统一的神经架构,通过通用令牌接口融合视觉识别与推理,发现目标检测对推理最有益,且骨干模型选择对推理影响大,主张视觉推理应作为头等公民对待。
2023-11-10 cs.CV cs.LG
Training with the Invisibles: Obfuscating Images to Share Safely for Learning Visual Recognition Models
高性能视觉识别系统通常需要大量的标记图像来进行训练。昂贵的数据整理可能是提高识别性能的障碍。共享更多的数据可以训练出更好的模型。但是数据中的个人和私人信息阻止了这种共享。为了促进共享视觉数据来学习识别模型,我们建议对图像进行模糊处理,使人类无法识别其详细内容,而机器仍然可以利用它们来训练新模型。我们通过对三个具有挑战性的视觉识别任务进行全面的实验来验证我们的方法;图像分类,属性分类和面部地标检测,包括SVHN,CIFAR 10,Pascal VOC 2012,CelebA和MTFL。我们的方法成功地混淆了人类识别的图像,但是用它们训练的机器模型的性能与用原始的未混淆数据训练的模型的性能相差约1%(高达0.48%)。
2019-06-21 cs.CV cs.LG
Plan-Recognition-Driven Attention Modeling for Visual Recognition
Arizona State University(亚利桑那州立大学)
人类对活动或外部代理的视觉识别涉及高级计划识别和低级感知之间的相互作用。鉴于此,一个自然的问题是:低层次的感知是否可以通过高层次的计划识别来改善?我们制定的问题,利用公认的计划,以产生更好的自上而下的注意力地图\cite{gazzaniga2009,baluch2011},以提高感知性能。我们将这些自上而下的注意力地图称为计划识别驱动的注意力地图。为了解决这个问题,我们引入了像素动态网络。像素动态网络作为一个观察模型,它预测对象点在每个像素位置的下一个状态给定的像素和像素级的动作特征的观察。这就像在内部学习像素级动态模型。像素动态网络是一种卷积神经网络(ConvNet),具有特殊的结构。因此,像素动力学网络可以利用ConvNets的并行计算,同时学习像素级动力学模型。进一步证明了像素动态网络作为观测模型与部分可观测马尔可夫决策过程(POMDP)框架中的信念更新之间的等价性。我们在事件识别任务中评估我们的像素动态网络。我们建立了一个事件识别系统,ER-PRN,它采取像素动态网络作为一个子程序,识别事件的基础上增加了计划识别驱动的注意观察。
2021-10-14 cs.AI cs.CV
Online Visual Place Recognition via Saliency Re-identification
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
作为视觉同时定位与地图构建(SLAM)的重要组成部分,位置识别对于机器人导航和自动驾驶至关重要。现有方法通常将视觉地点识别公式化为特征匹配,这对于具有有限计算能力的许多机器人应用(例如,自动驾驶和清洁机器人。受人类总是通过记住比其他人更有吸引力或有趣的显著区域或地标来识别一个地方的事实的启发,我们将视觉位置识别制定为显着性重新识别。同时,我们建议在频域中同时执行显著性检测和重新识别,其中所有操作都是元素式的。实验表明,我们提出的方法实现了竞争力的准确性和更高的速度比国家的最先进的基于特征的方法。所提出的方法是开源的,可在https://github.com/wh200720041/SRLCD.git上获得。
2020-07-29 cs.CV cs.RO
OrthographicNet: A Deep Transfer Learning Approach for 3D Object Recognition in Open-Ended Domains
University of Groningen(格罗宁根大学)
如今,服务机器人越来越多地出现在我们的日常生活中。对于这种类型的机器人,开放式对象类别学习和识别是必要的,因为无论用于批量学习的训练数据有多广泛,机器人在现实世界环境中操作时都可能面临新的对象。在这项工作中,我们提出了OrthographicNet,一个基于卷积神经网络(CNN)的模型,用于开放域中的3D对象识别。特别是,OrthographicNet为给定的3D对象生成全局旋转和比例不变的表示,使机器人能够识别从不同角度看到的相同或相似的对象。实验结果表明,我们的方法产生了显着的改善,在开放式场景中的对象识别性能和可扩展性,比以前的国家的最先进的方法。此外,OrthographicNet展示了从现场很少的例子中学习新类别的能力。关于实时性能,三个真实世界的演示验证了所提出的架构的良好性能。
2020-12-31 cs.CV cs.RO
Embodied Visual Recognition
Indiana University(印第安纳大学);Facebook AI Research(脸书人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
被动视觉系统通常无法识别非模态设置中的对象,在那里它们被严重遮挡。相比之下,人类和其他具体的代理有能力在环境中移动,并主动控制视角,以更好地理解对象的形状和语义。在这项工作中,我们介绍了任务的嵌入式视觉识别(EVR):代理实例化在一个3D环境中接近一个被遮挡的目标对象,并在环境中自由移动,以执行对象分类,非模态对象定位,和非模态对象分割。为了解决这个问题,我们开发了一个新的模型,称为“隐藏掩码R-CNN”,让智能体学习策略性地移动,以提高他们的视觉识别能力。我们使用House 3D环境进行实验。实验结果表明:2)为了提高视觉识别能力,Agent可以学习不同于最短路径的策略性移动路径。
2019-04-09 cs.AI cs.CV cs.LG
Design of a Mobile Face Recognition System for Visually Impaired Persons
The University of the South Pacific(南太平洋大学);Software Foundation(软件基金会)
据估计,全球有2.85亿人视力受损。这些人大多数生活在发展中国家,属于老年人口。视力受损者面临的最困难的任务之一是识别人。虽然自然地,话音识别是一种常见的识别方法,但它是一个直观而困难的过程。移动设备计算能力的提高促使人们开发能够帮助视力受损者的应用程序。随着移动设备的出现,这些人可以通过基于计算机视觉技术的智能软件获得额外的识别方法。在本文中,我们提出了一个设计和实现的人脸检测和识别系统的视障人士通过使用移动计算。该移动系统由基于服务器的支持系统提供协助。该系统在一个定制的视频数据库上进行了测试。实验结果表明,在适当的条件下,人脸检测和人脸识别的准确率较高。该系统的挑战在于更好的识别技术,以应对照明和天气方面的困难情况。
2015-06-03 cs.CV cs.CY cs.HC
LatentGNN: Learning Efficient Non-local Relations for Visual Recognition
ShanghaiTech University(上海科技大学)
捕获特征表示中的长距离依赖关系对于许多视觉识别任务至关重要。尽管深度卷积网络最近取得了成功,但对视觉特征之间的非局部上下文关系进行建模仍然具有挑战性。一种有前途的策略是通过全连接的图神经网络(GNN)来对特征上下文进行建模,该网络用估计的非局部上下文表示来增强传统的卷积特征。然而,大多数基于GNN的方法需要计算密集图亲和矩阵,因此难以扩展以解决复杂的现实世界视觉问题。在这项工作中,我们提出了一个有效的,但灵活的非局部关系表示的基础上一类新的图神经网络。我们的核心思想是引入一个潜在的空间,以减少图的复杂性,这使得我们能够使用一个低秩表示的图的亲和矩阵,并实现线性计算复杂度。对三个主要的视觉识别任务进行了广泛的实验评估,结果表明,我们的方法在保持低计算成本的同时,性能优于以前的作品。
2019-05-28 cs.AI cs.CV cs.LG
MagicLens: Self-Supervised Image Retrieval with Open-Ended Instructions
The Ohio State University(俄亥俄州立大学);Google DeepMind(谷歌DeepMind)
提出自监督图像检索模型MagicLens,利用网页自然图像对的隐式关系并通过基础模型合成开放式指令进行训练,在多项基准上超越先前方法且模型更小。
2024-06-24 cs.AI cs.CL cs.CV
Explain What You See: Open-Ended Segmentation and Recognition of Occluded 3D Objects
Imperial College London(帝国理工学院);University of Groningen(格罗宁根大学)
Local-HDP(Local Hierarchical Dirichlet Process)是一种分层贝叶斯方法,最近被用于开放式3D对象类别识别。这种方法已被证明是有效的实时机器人应用。然而,该方法对高度遮挡不鲁棒。我们分两步解决这个限制。首先,我们提出了一种新的语义3D对象部分分割方法,具有本地HDP的灵活性。这种方法被证明是适合于开放式的情况下,3D对象或对象部分的数量是不固定的,可以随着时间的推移而增长。我们表明,所提出的方法具有较高的百分比,平均交叉工会,使用较少的学习实例。其次,我们将这种技术与最近推出的基于论证的在线增量学习方法相结合,从而使模型能够处理高度的遮挡。我们表明,由此产生的模型产生一组明确的解释的3D对象类别识别任务。
2023-01-17 cs.AI cs.CV
Simultaneous Multi-View Object Recognition and Grasping in Open-Ended Domains
University of Groningen(格罗宁根大学)
为了帮助人类完成日常任务,机器人需要知道场景中存在哪些物体,它们在哪里,以及如何在不同情况下抓住和操纵它们。因此,物体识别和抓取是自主机器人的两个关键功能。大多数最先进的方法将物体识别和抓取视为两个独立的问题,即使两者都使用视觉输入。此外,机器人的知识在训练阶段之后是固定的。在这种情况下,如果机器人遇到新的对象类别,它必须重新训练,以纳入新的信息,而不会出现灾难性遗忘。为了解决这个问题,我们提出了一种具有增强内存容量的深度学习架构,以同时处理开放式对象识别和抓取。特别是,我们的方法将对象的多视图作为输入,并联合估计像素级抓取配置以及深度尺度和旋转不变表示作为输出。然后,通过Meta主动学习技术将所获得的表示用于开放式对象识别。我们展示了我们的方法,掌握从未见过的对象,并迅速学习新的对象类别,使用很少的例子在现场模拟和现实世界的设置。这些实验的视频可以在网上获得:https://youtu.be/n9SMpuEkOgk
2022-12-06 cs.CV cs.RO
Self-Supervised Open-Ended Classification with Small Visual Language Models
University of Amsterdam(阿姆斯特丹大学)
本文提出自监督 SeCAt 方法,通过图像聚类、随机命名和 self-context 序列训练约1B参数视觉语言模型,在多个多模态少样本基准上超越更大的 Frozen 与 FROMAGe。
2023-12-06 cs.CV
Towards Open-Ended Visual Scientific Discovery with Sparse Autoencoders
The Ohio State University(俄亥俄州立大学)
本研究探讨稀疏自编码器在基础模型表示中实现开放性特征发现的潜力,通过生态图像案例展示其在无标签数据下的细粒度结构识别能力,为科学发现提供了新工具。
2026-10-15 cs.CV
OmniMate: Open-Ended Real-Time Streaming Audio-Visual Generation for Interactive Avatars
China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.(中国电信人工智能技术(北京)有限公司)
研究针对实时交互式流中生成范围未知和跨模态身份一致性退化的挑战,提出OmniMate框架,通过生成进度控制器和多参考条件模块,实现高质量、低延迟的开放式实时交互式视听虚拟化身生成及长期跨模态身份一致性。
2026-07-29 cs.CV
Open-Ended Medical Visual Question Answering Through Prefix Tuning of Language Models
University of Amsterdam(阿姆斯特丹大学)
针对现有医学VQA多为封闭集分类的局限,提出将开放式医学VQA作为生成任务,通过视觉特征转可学习token结合前缀调优的参数高效方法,在多个基准上取得更优性能且计算高效。
2023-07-21 cs.CV
Look Further to Recognize Better: Learning Shared Topics and Category-Specific Dictionaries for Open-Ended 3D Object Recognition
University of Groningen(格罗宁根大学)
服务机器人有望在以人为中心的环境中长时间有效地运行。在这样的现实场景中,细粒度的对象分类与基本级别的对象分类同样重要。我们解决这个问题,提出了一个开放式的对象识别方法,同时学习的对象类别和编码对象的本地功能。在这项工作中,每个对象表示使用一组一般潜在的视觉主题和类别特定的字典。通用主题对所有类别的共同模式进行编码,而特定类别的词典则详细描述每个类别的内容。所提出的方法发现这两套一般和具体的表示在一个无监督的方式,并使用新的对象视图增量更新。实验结果表明,我们的方法产生了显着的改善,在以前的国家的最先进的方法有关的可扩展性和对象分类性能。此外,我们的方法展示了在现实世界中从很少的训练样本中学习的能力。关于计算时间,最好的结果是用词袋方法,然后是潜在狄利克雷分配方法的变体。
2019-07-26 cs.CV cs.RO
Investigating the Importance of Shape Features, Color Constancy, Color Spaces and Similarity Measures in Open-Ended 3D Object Recognition
Shahrekord University(沙赫雷克德大学);University of Groningen(格罗宁根大学)
尽管最先进的3D物体识别方法最近取得了成功,但服务机器人在以人为中心的真实环境中经常无法识别许多物体。对于这些机器人来说,物体识别是一项具有挑战性的任务,因为在不断变化和不可预测的环境条件下对准确和实时响应的要求很高。大多数最近的方法要么只使用形状信息,而忽略颜色信息的作用,反之亦然。此外,它们主要利用$L_n$ Minkowski族函数来度量两个对象视图的相似性,而存在各种适用于比较两个对象视图的距离度量。在本文中,我们探讨的重要性,形状信息,颜色恒定性,颜色空间,和各种相似性的措施,在开放式的三维物体识别。为了实现这一目标,我们广泛评估的对象识别方法在三种不同的配置,包括\textit{color-only},\textit{shape-only},和\textit{ combinations of color and shape},在离线和在线设置的性能。实验结果表明,所有的\textit{combinations of color and shape}产生的\textit{shape-only}和\textit{color-only}方法的可扩展性,内存使用和对象识别性能的显着改善。其根本原因是,颜色信息是区分具有非常相似的几何属性的不同颜色的对象的重要特征,反之亦然。此外,通过结合颜色和形状的信息,我们证明了机器人可以学习新的对象类别,从非常少的训练样本在现实世界的设置。
2020-09-26 cs.CV cs.RO
Open-Ended Visual Question Answering by Multi-Modal Domain Adaptation
Northwestern University(西北大学);Futurewei Technologies(华为未来技术研究院);University of Electronic Science and Technology of China(电子科技大学);University of Rochester(罗切斯特大学)
本文研究了图像中的视觉问答(VQA)问题,利用有监督的领域自适应,在源域中有大量的标记数据,而目标域中只有有限的标记数据,目的是训练一个好的目标模型。一个简单的解决方案是通过使用这些有限的标记目标数据来微调预训练的源模型,但由于源和目标域的数据分布之间存在相当大的差异,它通常不能很好地工作。此外,多种模式的可用性(即,VQA中的图像、问题和答案)对这些不同模式之间的可移植性建模提出了进一步的挑战。在本文中,我们解决了上述问题,提出了一种新的监督多模态领域自适应方法VQA学习跨不同领域和模态的联合特征嵌入。具体来说,我们通过考虑所有模态以及单独考虑每个模态来对齐源域和目标域的数据分布。基于广泛的实验基准VQA 2.0和VizWiz数据集的现实开放式VQA任务,我们证明了我们提出的方法优于现有的国家的最先进的方法,在这个具有挑战性的领域自适应设置VQA。
2019-11-11 cs.CV
Towards Open-ended Visual Quality Comparison
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Shanghai Jiao Tong University(上海交通大学);Sensetime Research(商汤科技研究院)
针对视觉质量比较的开放式需求,研究提出Co-Instruct模型及Co-Instruct-562K数据集、MICBench基准,准确率较现有开源LMM平均高30%且超越GPT-4V。
2024-03-04 cs.CV
Intelligent Grimm -- Open-ended Visual Storytelling via Latent Diffusion Models
Coop. Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作媒体网络创新中心);Meituan Inc.(美团公司);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 StoryGen 自回归潜在扩散模型与 StorySalon 数据集,利用视觉-语言上下文实现无需优化的开放式连贯图像序列生成。
2024-03-04 cs.CV
Interactive Open-Ended Learning for 3D Object Recognition
Universidade de Aveiro(阿威罗大学);Universidade do Porto(波尔图大学);Universidade do Minho(米尼奥大学)
本文的工作对三维物体类别学习和识别的研究领域做出了重要贡献。为了克服上述局限性,我们来看看人类的认知,特别是人类随着时间的推移不断学习识别对象类别的事实。这种从积累的经验中提炼知识的能力有助于适应新的环境。受这种能力的启发,我们试图创建一个认知对象感知和感知学习架构,可以以开放式的方式学习3D对象类别。在这种情况下,“开放式”意味着要学习的类别集事先不知道,并且训练实例是从机器人的实际经验中提取的,因此逐渐变得可用,而不是从学习过程开始就可用。特别是,这种架构提供了感知能力,使机器人能够从积累的经验中逐步学习对象类别,并推理如何执行复杂的任务。该框架集成了物体的检测、跟踪、教学、学习和识别。一组广泛的系统实验,在多个实验设置,进行了彻底评估所描述的学习方法。实验结果表明,该系统能够与人类用户进行交互,随着时间的推移学习新的对象类别,以及执行复杂的任务。在这篇论文中提出的贡献已经完全实现,并在不同的标准对象和场景数据集上进行了评估,并在不同的机器人平台上进行了经验评估。
2019-12-19 cs.AI cs.CV cs.RO
MovieRecapsQA: A Multimodal Open-Ended Video Question-Answering Benchmark
Cornell University(康奈尔大学)
本文提出MovieRecapsQA基准,通过电影回顾视频生成8200个开放式问题及事实,构建无参考评估指标,评估多模态能力,发现视觉感知是主要瓶颈。
2026-03-30 cs.CV
Proposing Plausible Answers for Open-ended Visual Question Answering
University of Rochester(罗切斯特大学);Adobe Research(Adobe研究院)
回答开放式问题是任何智能代理的基本能力。最近最有趣的开放式问答挑战之一是视觉问答(VQA),它试图通过回答关于图像的自然语言问题来评估系统的视觉理解。存在许多VQA方法,其中大多数没有表现出对它们产生的候选答案的更深层次的语义理解。我们研究的重要性,生成合理的答案,一个给定的问题,通过引入新的任务“回答建议”:对于一个给定的开放式问题,系统应该生成一个排名列表的候选答案通知的语义问题。我们尝试了各种模型,包括神经生成模型以及语义图匹配模型。我们提供了内在的和外在的评价的任务的答案建议,表明我们最好的模型学习提出合理的答案,具有较高的召回率,并执行竞争力与其他一些解决方案的VQA。
2016-10-24 cs.AI cs.CL cs.CV
3D_DEN: Open-ended 3D Object Recognition using Dynamically Expandable Networks
University of Groningen(格罗宁根大学);NVIDIA corporation(英伟达公司)
一般来说,服务机器人必须独立工作,并实时适应环境中发生的动态变化。在这样的场景中,一个重要的方面是不断学习在新的对象类别可用时识别它们。这结合了两个主要的研究问题,即持续学习和3D对象识别。大多数现有的研究方法包括使用深度卷积神经网络(CNN),专注于图像数据集。可能需要一种改进的方法来不断学习3D对象类别。使用CNN的一个主要问题是当模型试图学习新任务时的灾难性遗忘问题。尽管提出了各种解决方案来缓解该问题,但是仍然存在这些解决方案的一些缺点,例如,计算复杂性,特别是当学习大量任务时。这些缺点可能会在机器人场景中造成重大问题,其中实时响应起着至关重要的作用。为了应对这一挑战,我们提出了一种新的深度迁移学习方法,该方法基于动态架构方法,使机器人能够开放式学习新的3D对象类别。此外,我们确保在很大程度上将上述缺点降至最低。实验结果表明,该模型优于国家的最先进的方法方面的准确性,也大大减少了计算开销。
2021-03-15 cs.CV cs.LG cs.RO
Code Plans, Diffusion Renders: Open-Ended Generative World Modeling
USTC(中国科学技术大学);TongYi Lab(通义实验室)
提出CoDeR范式,用代码显式构建可执行世界,结合视频生成实现视觉化,支持长期记忆、开放式交互与多智能体演化,性能达到最先进水平。
2026-09-23 cs.CV
UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface
Center for Data Science, Peking University(北京大学数据科学中心);Alibaba Group(阿里巴巴集团);CASIA;Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对细粒度视觉感知任务难整合到通用模型的问题,提出UFO框架,通过开放式语言接口统一多类感知任务,性能优于现有通用模型,还可与MLLMs无缝结合实现推理分割等任务。
2025-09-30 cs.CV
VL-SAM-v3: Memory-Guided Visual Priors for Open-World Object Detection
Wangxuan Institute of Computer Technology, Peking University, China(北京大学计算机科学技术研究院)
VL-SAM-v3通过引入检索驱动的外部视觉记忆,提升开放世界目标检测的性能,尤其在稀有类别和复杂场景中表现优异。
2026-05-09 cs.CV
Recognition-Conditioned Reasoning: A Training-Free Multimodal-LLM Pipeline for Fine-Grained Micro-Action Understanding
Wuhan University(武汉大学)
该研究提出一种无训练的多模态大语言模型流水线,动态分配子任务至适配的模型,在2026年MAC微动作挑战赛MA-Bench赛道的开放式任务上获显著性能优势,取得第一名。
2026-08-24 cs.CV cs.MM
Open-Ended Visual Question-Answering
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学)
本论文报告研究了使用深度学习框架解决视觉问答(VQA)任务的方法。作为第一步,我们探索了用于自然语言处理(NLP)的长短期记忆(LSTM)网络,以解决问答(基于文本)。然后,我们修改以前的模型,除了问题之外,还接受图像作为输入。为此,我们探索VGG-16和K-CNN卷积神经网络从图像中提取视觉特征。这些与词嵌入或问题的句子嵌入合并以预测答案。这项工作已成功提交给2016年视觉问答挑战赛,在测试数据集中达到了53,62%的准确率。开发的软件遵循了最佳编程实践和Python代码风格,为不同的配置提供了Keras一致的基线。
2016-10-09 cs.CL cs.CV cs.MM
Manifold-Kernels Comparison in MKPLS for Visual Speech Recognition
语音识别是一个具有挑战性的问题。由于声学的限制,使用视觉信息是必不可少的,以提高在现实生活中的无约束的情况下的识别精度。一种常见的方法是将视觉识别建模为非线性优化问题。测量视觉单位之间的距离对于解决这个问题至关重要。将视觉单位嵌入流形并使用流形核是测量这些距离的一种方法。这项工作的目的是评估性能的几个流形内核解决视觉语音识别的问题。我们展示了每个内核背后的理论。我们应用流形核偏最小二乘框架OuluVs和AvLetters数据库,并显示所有内核之间的经验比较。这个框架提供了一种方便的方式来探索不同的内核。
2016-01-22 cs.CV
ST-ABN: Visual Explanation Taking into Account Spatio-temporal Information for Video Recognition
Chubu University(中部大学)
在深度神经网络的推理过程中,人们很难对决策进行解释。视觉解释是解释深度学习决策的一种方法。它通过可视化突出区分区域的注意力地图来分析2D CNN的决策。在视频识别中,视觉解释用于解释决策过程是更加困难的,因为它不仅需要考虑空间信息,而且还需要考虑时间信息,这与静止图像的情况不同。在本文中,我们提出了一种视觉解释方法称为时空注意分支网络(ST-ABN)的视频识别。它使空间和时间信息的视觉解释。ST-ABN在网络推理过程中获得空间和时间信息的重要性,并将其应用于识别处理,以提高识别性能和视觉可解释性。使用Something-Something数据集V1 \& V2的实验结果表明,ST-ABN能够同时考虑空间和时间信息并提高识别性能的视觉解释。
2021-10-29 cs.CV
PitVQA++: Vector Matrix-Low-Rank Adaptation for Open-Ended Visual Question Answering in Pituitary Surgery
University College London(伦敦大学学院);UCL Hawkes Institute(伦敦大学学院霍克斯研究所);National Hospital for Neurology and Neurosurgery(国立神经学与神经外科医院)
提出PitVQA++开放式垂体手术VQA数据集及Vector-MoLoRA微调方法,通过按层向量分配参数缓解灾难性遗忘并提升问答性能。
2025-02-19 cs.AI cs.CV
AuroraLong: Bringing RNNs Back to Efficient Open-Ended Video Understanding
Zhejiang University(浙江大学);University of Washington(华盛顿大学);HKUST (GZ)(香港科技大学(广州));Zhejiang University / Shanghai AI Lab(浙江大学/上海人工智能实验室)
本文提出 AuroraLong,用具有恒定隐藏状态的线性 RNN 替换 MLLM 中的 LLM,并结合按尺寸排序的视觉 token 合并,以 2B 公开数据训练参数实现可比 Transformer 的长视频理解性能。
2025-07-23 cs.CV
A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using LiDAR Descriptors
University of Minnesota Twin Cities(明尼苏达大学双城分校)
地点识别是同时定位与地图构建(SLAM)算法的核心组成部分。特别是在视觉SLAM系统中,通过测量表示这些位置的图像之间的外观相似性来识别先前访问过的地方。然而,这样的方法对视觉外观变化敏感,并且在计算上也可能是昂贵的。在本文中,我们提出了另一种方法,适应激光雷达描述符的三维点从立体视觉里程计的地方识别。3D点可能比2D视觉线索更可靠(例如,2D特征)对抗环境变化(例如,可变照明),并且这可以有益于长期部署场景中的视觉SLAM系统。立体-视觉里程计生成具有绝对比例的3D点,这使我们能够使用LiDAR描述符进行高计算效率的位置识别。通过对标准基准数据集的广泛评估,我们证明了使用3D点进行2D方法识别的准确性,效率和鲁棒性。
2020-07-26 cs.CV
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University(中山大学)
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中,我们提出了一个端到端的自我监督框架,名为视听对比学习(AVCL),学习有区别的视听表示动作识别。具体来说,我们设计了一个基于注意力的多模态融合模块(AMFM)融合音频和视觉模态。为了对齐异构视听模态,我们构建了一个新的相关引导表示对齐模块(CGRA)。为了从未标记的视频中学习监督信息,我们提出了一种新的自监督对比学习模块(SelfCL)。此外,我们建立了一个新的视听动作识别数据集,名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明,我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
Overcoming Statistical Shortcuts for Open-ended Visual Counting
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Facebook AI Research(Facebook人工智能研究院)
机器学习模型往往过度依赖统计捷径。输入和输出标签部分之间的这些虚假相关性在现实世界的设置中并不成立。我们针对这个问题,最近的开放式视觉计数任务,这是非常适合研究统计捷径。我们的目标是开发一个模型,学习一个适当的计数机制,而不管输出标签。首先,我们提出了修改计数分布(MCD)协议,该协议惩罚过度依赖统计捷径的模型。它基于不遵循相同计数标签分布的训练集和测试集对,例如奇偶集。直觉上,已经学习了正确的奇数计数机制的模型应该在偶数上表现良好。其次,我们介绍了空间计数网络(SCN),它致力于基于自然语言问题的可视化分析和计数。我们的模型选择相关的图像区域,他们的融合和自我注意力机制评分,并提供一个最终的计数得分。我们将我们的协议应用于最近的数据集TallyQA,与最先进的模型相比,表现出优越的性能。我们还展示了我们的模型选择正确的实例在图像中计数的能力。代码和数据集可在https://github.com/cdancette/spatial-counting-network上找到
2020-07-01 cs.CL cs.CV cs.LG
Explainable Search and Discovery of Visual Cultural Heritage Collections with Multimodal Large Language Models
University of Richmond(里士满大学)
本文提出利用多模态大语言模型为视觉文化遗产馆藏构建开放式、可解释的搜索与发现界面,通过聚类和推荐系统提供文本解释,避免视觉嵌入缺陷,并通过纪实照片案例验证其有效性。
2024-11-07 cs.CV
VQA: Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Microsoft Research(微软研究院);Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了自由形式和开放式可视问答(VQA)的任务。给定图像和关于图像的自然语言问题,任务是提供准确的自然语言答案。在真实世界的场景中,比如帮助视障人士,问题和答案都是开放式的。视觉问题选择性地针对图像的不同区域,包括背景细节和潜在上下文。因此,在VQA方面取得成功的系统通常需要比生成通用图像标题的系统更详细地理解图像和复杂的推理。此外,VQA是服从自动评估,因为许多开放式的答案只包含几个字或一个封闭的答案,可以提供一个多项选择的格式。我们提供了一个包含约0.25M图像,约0.76M问题和约10M答案的数据集(www.visualqa.org),并讨论了它提供的信息。提供了许多VQA的基线和方法,并与人的表现进行了比较。我们的VQA演示可在CloudCV(http://cloudcv.org/vqa)上获得。
2016-10-27 cs.CL cs.CV
LRS3-TED: a large-scale dataset for visual speech recognition
University of Oxford(牛津大学)
本文介绍了一种新的多模态数据集的视觉和视听语音识别。它包括超过400小时的TED和TEDx视频的面部轨迹,以及相应的字幕和单词对齐边界。与其他可用于一般研究的公共数据集相比,新数据集的规模要大得多。
2018-10-28 cs.CV
InViG: Benchmarking Interactive Visual Grounding with 500K Human-Robot Interactions
ByteDance Research(字节跳动研究院)
针对人机交互中语言模糊性问题,本文提出了首个大规模数据集InViG,包含超52万图像及消歧对话,并提出端到端基线方案,实现45.6%成功率,为模糊性感知的交互式视觉定位提供了实用基准。
2023-10-18 cs.CV cs.RO
Deep Visual City Recognition Visualization
Delft University of Technology(代尔夫特理工大学)
了解城市在视觉上的差异对规划者、居民和历史学家来说是很有趣的。我们研究了由卷积神经网络(CNN)学习的用于城市识别的深度特征的解释。给定一个经过训练的城市识别网络,我们首先使用已知的Grad-CAM技术生成加权掩模,并选择图像中最具歧视性的区域。由于图像分类标签是城市名称,它不包含对象的信息,是类歧视,我们研究了两种方法的深层表示的可解释性。(i)采用无监督的方法对视觉解释中出现的对象进行聚类。(ii)一个预先训练好的语义分割模型被用来在像素级标记对象,然后我们引入统计措施来定量评估区分对象的可解释性。研究了网络结构和随机初始化对CNN特征在城市识别中的可解释性的影响。结果表明,网络结构会影响学习的视觉表征的可解释性大于不同的初始化。
2019-05-06 cs.CV
Multi-modal Text Recognition Networks: Interactive Enhancements between Visual and Semantic Features
KAIST(韩国科学技术院);NAVER Corp.(NAVER公司);Upstage(Upstage公司)
语言知识通过提供语义来细化字符序列,为场景文本识别带来了巨大的好处。然而,由于语言知识已被单独应用于输出序列,以前的方法没有充分利用语义来理解文本识别的视觉线索。本文介绍了一种新的方法,称为多模态文本识别网络(MATRN),使视觉和语义特征之间的相互作用,以更好的识别性能。具体来说,MATRN识别视觉和语义特征对,并将空间信息编码为语义特征。在空间编码的基础上,通过参照其他模态中的相关特征来增强视觉和语义特征。此外,MATRN通过在训练阶段隐藏与字符相关的视觉线索来刺激将语义特征结合到视觉特征中。我们的实验表明,MATRN实现国家的最先进的性能在七个基准与大利润率,而天真的两种方式的组合显示不太有效的改进。进一步的烧蚀研究证明了我们提出的组件的有效性。我们的实现可以在https://github.com/wp03052/MATRN上获得。
2022-08-13 cs.CV