UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models
Georgia Institute of Technology(佐治亚理工学院)
深度学习模型已经被证明可以从数据中学习虚假的相关性,有时会导致某些亚群的系统性失败。先前的工作通常通过众包各种受保护属性的注释和测量性能来诊断这一点,这既昂贵又难以扩展。在这项工作中,我们提出了UDIS,一个无监督的算法,表面和分析这些故障模式。UDIS通过数据集嵌入的分层聚类来识别亚群,并通过可视化低性能聚类及其梯度加权类激活图来显示系统故障模式。我们证明了UDIS在识别CelebA和MSCOCO数据集上图像分类训练模型的故障模式方面的有效性。
2021-10-29 cs.CV
SCOUT: Semantic Concept Discovery for Open-Vocabulary Editing of face Recognition Templates
University of Ljubljana(卢布尔雅那大学);Faculty of Electrical Engineering(电气工程学院);Faculty of Computer and Information Science(计算机与信息科学学院)
SCOUT是一个端到端框架,可通过机械可解释性发现人脸识别模板中的语义概念,实现可控的身份感知模板编辑,且对身份匹配影响极小。
2026-08-18 cs.CV
Novel Class Discovery for Long-tailed Recognition
ShanghaiTech University(上海科技大学);Lingang Laboratory(临港实验室);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
针对现实场景中新旧类别均呈长尾分布、现有新类别发现方法性能退化的问题,提出基于等角原型表示的自适应自标记策略,通过松弛最优传输生成高质量伪标签缓解类别偏差,在多个数据集上验证了优越性。
2023-08-25 cs.CV
TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition
Hangzhou Dianzi University(杭州电子科技大学);AI Research of JD.com(京东人工智能研究院);Ryerson University(瑞尔森大学)
步态,即,运动过程中人体肢体的运动模式是一种很有前途的身份识别生物特征。尽管深度学习在步态识别方面有了显着的改进,但现有的研究仍然忽略了一个更实用但具有挑战性的场景-无监督跨域步态识别,其目的是在标记数据集上学习模型,然后将其适应于未标记数据集。由于域转移和类差距,直接将在一个源数据集上训练的模型应用于其他目标数据集通常会获得非常差的结果。因此,本文提出了一个可转移的邻域发现(TraND)框架,以弥合领域的差距,无监督跨域步态识别。为了学习有效的步态表示先验知识,我们首先采用一个骨干网络预训练标记的源数据在监督的方式。然后,我们设计了一种端到端的可训练方法,自动发现潜在空间中未标记样本的置信邻域。在训练过程中,采用类一致性指标,根据样本的熵度量选择样本的置信邻域。此外,我们探索了一种高熵优先的邻居选择策略,它可以有效地将先验知识转移到目标领域。我们的方法在两个公共数据集上实现了最先进的结果,即,CASIA-B和OU-LP。
2021-02-09 cs.CV
Unsupervised object discovery for instance recognition
Inria Rennes VRG, FEE, CTU in Prague(法国国家信息与自动化研究所雷恩分所VRG、费尔科学院(FEE)、捷克技术大学布拉格分校(CTU in Prague));Inria(法国国家信息与自动化研究所);CTU in Prague(捷克技术大学布拉格分校)
严重的背景杂波在许多计算机视觉任务中是具有挑战性的,包括大规模图像检索。由于其内存和搜索效率而流行的全局描述符特别容易被这种混乱破坏。消除杂乱对图像描述符的影响增加了检索相关图像的机会,并防止了由于在查询扩展的情况下实际检索杂乱而导致的主题漂移。在这项工作中,我们提出了一种新的显着区域检测方法。它以无监督的方式捕获数据集中既有区别又常见的模式。显着性基于从数据集图像的区域CNN表示构造的最近邻图的中心性度量。从显著区域导出的描述符提高了特定对象的检索,在包含小对象的大型集合中最明显。
2018-01-24 cs.CV
Diverse Instance Discovery: Vision-Transformer for Instance-Aware Multi-Label Image Recognition
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
以前关于多标签图像识别(MLIR)的工作通常使用CNN作为研究的起点。本文以纯视觉Transformer(ViT)为研究基础,充分利用Transformer具有长程依赖建模的优势,克服了CNN局限于局部感受野的缺点。然而,对于包含来自不同类别、尺度和空间关系的多个对象的多标签图像,单独使用全局信息并不是最佳的。我们的目标是利用ViT的补丁令牌和自我注意力机制来挖掘多标签图像中的丰富实例,称为多样性实例发现(DiD)。为此,我们提出了一个语义类别感知模块和空间关系感知模块,分别,然后结合两者的重新约束策略,以获得实例感知的注意力地图。最后,我们提出了一种基于弱监督目标定位的方法来提取多尺度局部特征,以形成多视图管道。我们的方法只需要弱监督信息在标签级别,没有额外的知识注入或其他强监督信息是必需的。在三个基准数据集上的实验表明,我们的方法显着优于以前的作品,并在公平的实验比较下达到最先进的结果。
2022-04-22 cs.CV
FOCUS: Bridging Fine-Grained Recognition and Open-World Discovery across Domains
本文提出FOCUS框架,结合领域一致部件发现与不确定性感知特征增强,提升细粒度领域泛化能力,在基准测试中优于现有方法,同时实现更高计算效率。
2026-03-15 cs.CV
Agentic Discovery with Active Hypothesis Exploration for Visual Recognition
Rice University(里士大学)
本文提出HypoExplore框架,通过进化分支发现视觉识别的神经网络架构,通过大语言模型生成假设并评估改进,最终在CIFAR-10上实现94.11%的准确率,并在其他数据集上展示出优越性能。
2026-04-14 cs.CV
SuperDisco: Super-Class Discovery Improves Visual Recognition for the Long-Tail
AIM Lab, University of Amsterdam(阿姆斯特丹大学AIM实验室);Inception Institute of Artificial Intelligence(Inception人工智能研究所);United Imaging Healthcare, Co., Ltd.(联合影象医疗科技有限公司)
针对长尾图像识别中尾部类别性能差的问题,提出SuperDisco算法,通过元学习构建超类图并进行消息传递优化表征,在多个长尾基准上取得最优性能。
2025-06-16 cs.CV
Human Gait Analysis using Gait Energy Image
Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学);Varendra University(瓦伦德拉大学)
步态识别是近年来新兴的人体生物特征识别技术之一,它具有非侵入性的学习方法,可用于基于安全的目的。与其他生物计量学相比,步态分析具有一些特殊的安全特征。大多数生物识别技术使用基于序列模板的成分分析进行识别。与这些方法相比,我们提出了一种改进的步态识别技术,使用特征步态能量图像(GEI)。GEI步态表示包含了一个步态周期内每幅图像的全部信息,存储量少,处理速度低。由于一幅图像就足以存储GEI特征识别所需的信息,因此GEI特征的识别过程比其他任何特征都要简单。步态识别在识别过程中有一定的局限性,如视角变化,步行速度,衣服,携带负荷等,我们提出的方法在该文件中的识别性能与基于模板的特征提取,需要处理每一帧的周期。我们使用GEI,它提供了相对所有的信息,所有的帧在周期中,并导致更好的性能比其他功能的步态分析。
2022-03-17 cs.CV
Category-Adaptive Label Discovery and Noise Rejection for Multi-label Image Recognition with Partial Positive Labels
Sun Yat-Sen University(中山大学);Guangdong University of Technology(广东工业大学)
部分正标签训练多标签模型(MLR-PPL)作为一种降低标注成本的有效方法,受到越来越多的关注。由于不存在任何负标签,以前的工作认为未知的标签是负的,并采用传统的MLR算法。为了剔除噪声标签,现有的研究将大量丢失的样本视为噪声,而忽略了不同多标签图像之间的语义相关性。在这项工作中,我们建议探索不同的图像之间的语义相关性,以促进MLR-PPL任务。具体来说,我们设计了一个统一的框架,类别自适应标签发现和噪声拒绝,发现未知的标签,并拒绝嘈杂的标签,为每个类别的自适应方式。该框架由两个互补模块组成:(1)类别自适应标签发现模块首先测量正样本之间的语义相似度,然后补充具有高相似度的未知标签;(2)类别自适应噪声抑制模块首先基于不同样本的语义相似度计算样本权重,然后丢弃具有低权重的噪声标签。此外,我们提出了一种新的类别自适应阈值更新,自适应地调整阈值,以避免耗时的手动调整过程。大量的实验表明,我们提出的方法始终优于目前领先的算法。
2022-11-15 cs.CV
FaceGCD: Generalized Face Discovery via Dynamic Prefix Generation
Department of CSE, Inha University, South Korea(信息科学与工程系,釜山大学,韩国);AutoLabs, Inc., South Korea(AutoLabs公司,韩国)
针对开放世界下高基数细粒度人脸识别与新身份发现的难题,提出基于超网络动态生成分层前缀构建实例专属特征提取器的FaceGCD方法,在广义人脸发现任务上取得SOTA结果。
2025-07-30 cs.CV
OpenGCD: Assisting Open World Recognition with Generalized Category Discovery
East China University of Science and Technology(华东理工大学)
本文提出 OpenGCD,将开放集识别、广义类别发现与增量学习结合,实现未知样本检测、辅助分组标注及多样性样本保留,并以调和聚类准确率验证其优势。
2023-08-14 cs.CV
Deep Predictive Coding Network for Object Recognition
Purdue University(普渡大学)
基于神经科学中的预测编码理论,我们设计了一个双向递归神经网络,即深度预测编码网络(PCN)。它有前馈、反馈和循环连接。来自较高层的反馈连接携带其较低层表示的预测;前馈连接将预测误差携带到其较高层。给定图像输入,PCN运行自底向上和自顶向下计算的递归循环,以更新其内部表示,并减少每层自底向上输入和自顶向下预测之间的差异。在多个循环的递归更新之后,该表示用于图像分类。使用基准数据(CIFAR-10/100,SVHN和MNIST),发现PCN总是优于其仅前馈的对应模型:一个没有任何循环动力学机制的模型。随着时间的推移,它的性能往往会随着更多的计算周期而改善。简而言之,PCN重用单个体系结构来递归地运行自底向上和自顶向下的流程。作为一个动态系统,PCN可以展开为一个前馈模型,随着时间的推移变得越来越深,同时改进它的表示,以实现更准确和确定的对象识别。
2018-07-29 cs.CV
RGait-NET: An Effective Network for Recovering Missing Information from Occluded Gait Cycles
Motilal Nehru National Institute of Technology, Allahabad(莫蒂拉尔·尼赫鲁国家理工学院(阿拉哈巴德));Indian Institute of Technology (BHU), Varanasi(印度理工学院(贝拿勒斯印度教大学));Nanyang Technological University(南洋理工大学)
一个人的步态是指他/她的行走模式,根据医学研究,每个人的步态都是独特的。在过去的十年中,已经提出了几种基于计算机视觉的步态识别方法,其中对应于完整步态周期的步行信息被用于构建步态特征以用于人识别。这些方法计算步态特征的固有假设,一个完整的步态周期总是可用的。然而,在大多数公共场所,遮挡是不可避免的,因此,监控摄像头只能捕获步态周期的一小部分。完整步态周期信息的不可用性严重影响了特征提取的准确性,到目前为止,只有少数遮挡处理策略已被提出的步态识别。但是,这些都没有表现出可靠和鲁棒性的存在下,一个单一的周期与不完整的信息,因为这种步态识别的实际应用是相当有限的。在这项工作中,我们开发了基于深度学习的算法,以准确识别受影响的帧,并预测丢失的帧,以重建一个完整的步态周期。遮挡检测采用VGG-16模型,而帧重建模型采用长短期记忆网络,该网络经过训练,可以优化基于骰子系数和交叉熵损失的多目标函数。通过计算流行的步态能量特征对重建序列的准确性来评估所提出的遮挡重建算法的有效性。在公开数据集上的实验评价以及与其他遮挡处理方法的对比分析验证了该方法的有效性。
2020-02-11 cs.CV
PDiscoNet: Semantically consistent part discovery for fine-grained recognition
WUR(瓦赫宁根大学及研究中心);University of Tübingen(图宾根大学);University of Trento(特伦托大学);INRAE(法国国家农业食品与环境研究院);Inria(法国国家信息与自动化研究所);University of Montpellier(蒙彼利埃大学)
提出PDiscoNet,仅用图像级标签通过特定先验和损失发现语义一致的物体部件,引入part-dropout和特征调制防止单一部件主导分类,在CUB等数据集上显著提升部件发现性能且不损害分类精度。
2023-09-06 cs.CV
IDNet: Smartphone-based Gait Recognition with Convolutional Neural Networks
University of Padova(帕多瓦大学)
在这里,我们提出了IDNet,一个来自智能手机获取的运动信号的用户认证框架。它的目标是通过用户裤子前口袋里的商用智能手机提供的加速度计和陀螺仪(惯性)信号,从他们的行走方式中识别目标用户。IDNet具有几项创新,包括:i)一个强大的和智能手机方向无关的步行周期提取模块,ii)一个基于卷积神经网络的新型特征提取器,iii)一个单类支持向量机来分类步行周期,以及这些到iv)多阶段认证技术的一致集成。IDNet是第一个利用深度学习方法作为步态识别通用特征提取器的系统,并将后续步行周期的分类结果结合到多阶段决策框架中。实验结果表明,我们的方法对国家的最先进的技术的优越性,导致错误分类率(假阴性或阳性)小于0.15%,少于五个步行周期。设计选择的讨论和动机,在整个,评估其对用户身份验证性能的影响。
2016-10-19 cs.CV cs.LG
Compositional Few-Shot Recognition with Primitive Discovery and Enhancing
Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校);South China University of Technology(华南理工大学);PengCheng Laboratory(鹏程实验室);Carnegie Mellon University(卡内基梅隆大学)
少样本学习(FSL)的目标是在只有少量训练样本的情况下识别新类,这对深度学习来说仍然是一个巨大的挑战。然而,人类可以很容易地识别新的类,只有很少的样本。这种能力的一个关键组成部分是人类可以执行的成分识别,这在认知科学中得到了很好的研究,但在FSL中没有得到很好的探索。受人类这种能力的启发,为了模仿人类学习视觉基元和组成基元以识别新类的能力,我们提出了一种FSL方法,用于学习由重要基元组成的特征表示,该特征表示由基元发现和基元增强两部分联合训练。在基元发现中,我们专注于通过图像分割顺序的自我监督来学习与对象部分相关的基元,避免额外的费力注释并减轻语义间隙的影响。在原始增强中,受当前关于深度网络可解释性的研究的启发,我们为FSL基线模型提供了我们的组成视图。为了修改这个模型的有效组成,启发数学推导和生物学研究(赫布学习规则和赢家通吃机制),我们提出了一个软组合机制,通过扩大激活的重要原语,而减少其他的,以提高重要原语的影响力,更好地利用这些原语组成新的类。在公共基准上进行了大量的实验,在Few-Shot图像分类和视频识别任务。我们的方法在所有这些数据集上都达到了最先进的性能,并显示出更好的可解释性。
2020-09-22 cs.CV cs.MM
Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks
University of Jena(耶拿大学)
对象类别的部分模型对于具有挑战性的识别任务是必不可少的,其中类别的差异是微妙的,并且仅反映在对象的小部分的外观上。我们提出了一种能够以完全无监督的方式学习零件模型的方法,没有零件注释,甚至在学习过程中没有给定的边界框。其关键思想是找到使用卷积神经网络计算的神经激活模式的星座。在我们的实验中,我们优于现有的细粒度识别方法的CUB 200 -2011,NA鸟,牛津PETS和牛津花数据集的情况下,没有部分或限界框注释是可用的,并达到最先进的性能斯坦福狗数据集。我们还展示了神经星座模型作为一种用于微调的数据增强技术的好处。此外,我们的论文统一了通用和细粒度分类的领域,因为我们的方法适用于这两种情况。我们的方法的源代码可以在http://www.inf-cv.uni-jena.de/part_discovery上在线获得
2015-12-05 cs.CV
Generalized Categories Discovery for Long-tailed Recognition
Hasso Plattner Institut(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
针对无标签数据类别分布不均的长尾广义类别发现问题,提出基于重加权机制和类先验约束的正则化方法,在ImageNet100上提升约6-9%性能。
2024-08-25 cs.CV cs.LG
PARTICLE: Part Discovery and Contrastive Learning for Fine-grained Recognition
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出 PARTICLE 迭代自监督框架,通过聚类发现部件并进行部件级等变、不变与对比学习,显著提升细粒度分类和少样本部件分割性能。
2023-09-25 cs.CV
Part-guided Relational Transformers for Fine-grained Visual Recognition
Beihang University(北京航空航天大学);Peking University(北京大学);Pengcheng Laboratory(鹏城实验室)
细粒度视觉识别是将具有视觉相似外观的对象分类到子类别中,随着深度CNN的发展取得了很大进展。然而,处理不同子类别之间的细微差异仍然是一个挑战。在本文中,我们建议在一个统一的框架内从两个方面解决这个问题,即,构造特征级相互关系,以及捕获部件级区别特征。这个框架,即PART引导的关系Transformers(PART),提出了学习的判别零件特征的自动发现模块,并探索与特征转换模块的内在相关性,通过适应自然语言处理领域的Transformer模型。部分发现模块有效地发现与梯度下降过程高度对应的有区别的区域。然后,第二特征变换模块在全局嵌入和多部分嵌入内建立相关性,增强语义像素之间的空间交互。此外,我们提出的方法不依赖于额外的部分分支的推理时间,并达到了最先进的性能3广泛使用的细粒度对象识别基准。实验结果和可解释的可视化证明了我们所提出的方法的有效性。代码可以在https://github.com/iCVTEAM/PART上找到。
2022-12-28 cs.CV
Knowledge Discovery in Optical Music Recognition: Enhancing Information Retrieval with Instance Segmentation
Queen Mary University of London(伦敦大学玛丽皇后学院)
本研究将Mask R-CNN实例分割应用于光学乐谱识别,结合传统谱线检测推断音高,在密集乐谱场景下mAP最高达59.70%,提升了音乐符号识别精度,相关资源已公开。
2024-09-16 cs.CV cs.IR cs.SD
Discovery and recognition of motion primitives in human activities
我们提出了一个用于自动发现和识别人类活动视频中运动基元的新框架。给定视频中人的3D姿态,通过优化“运动通量”(捕获一组骨骼关节的运动变化的量)来发现人的运动基元。提出了基元的归一化,以使它们相对于受试者解剖变化和数据采样率不变。发现的原语是未知的,未标记的,并通过分层非参数贝叶斯混合模型无监督地收集到类。一旦类被确定和标记,它们将被进一步分析以建立用于识别所发现的基元的模型。每个基元模型由一组学习参数定义。给定新的视频数据和给定出现在视频上的对象的估计姿态,运动被分割成基元,这些基元以根据所学习的模型的参数给出的概率被识别。使用我们的框架,我们建立了一个公开可用的数据集的人体运动原语,使用从著名的运动捕捉数据集的序列。我们希望我们的框架,通过提供一个客观的方法来发现和分类人类运动,将是一个有用的工具,在众多的研究领域,包括视频分析,人类启发的运动生成,学习演示,直观的人机交互,和人类行为分析。
2019-02-04 cs.AI cs.CV cs.RO
Gait Recognition with Temporal Kolmogorov-Arnold Networks
本文提出TKAN网络以解决步态识别中对长序列、噪声和外观相关变量的敏感问题,通过两层记忆机制实现高效建模。
2026-04-11 cs.CV
Gait Cycle Reconstruction and Human Identification from Occluded Sequences
National Institute of Technology, Durgapur(杜尔加布尔国家技术学院);Indian Institute of Technology (BHU), Varanasi(瓦拉纳西印度理工学院(班纳勒斯印度教大学))
使用基于计算机视觉的技术从在监控站点捕获的视频中进行基于步态的人识别是相当具有挑战性的,因为这些行走序列通常被遮挡破坏,并且完整的步态周期并不总是可用的。在这项工作中,我们提出了一个有效的神经网络为基础的模型来重建的输入序列中的遮挡帧进行步态识别之前。具体来说,我们使用LSTM网络从向前和向后两个方向预测每个被遮挡帧的嵌入,然后通过使用残差块和卷积层的网络融合来自两个LSTM的预测。在训练LSTM以最小化均方损失的同时,训练融合网络以优化地面实况和重建样本之间的逐像素交叉熵损失。使用从OU-ISIR LP和CASIA-B数据生成的合成遮挡序列以及TUM-IITKGP数据中存在的真实遮挡序列对我们的方法进行了评估。通过Dice评分和基于步态的步态识别准确率,验证了所提出的重建模型的有效性。与现有的步态识别中的遮挡处理方法的比较研究突出了我们提出的遮挡重建方法的优越性。
2022-06-20 cs.AI cs.CV
Adversarial Transfer Learning for Cross-domain Visual Recognition
Chongqing University(重庆大学)
在许多实际的视觉识别场景中,源域和目标域的特征分布一般是不同的,这就导致了一般跨域视觉识别问题的出现。为了解决视觉域不匹配的问题,提出了一种新的半监督对抗性迁移学习方法,称为耦合对抗性迁移领域自适应(CatDA),用于两个域之间的分布对齐。所提出的CatDA方法受到cycleGAN的启发,但利用了多个浅层多层感知器(MLP)而不是深层网络。具体来说,我们的CatDA由两个对称和苗条的子网络组成,这样就形成了耦合对抗学习框架。利用两个发生器的这种对称性,来自源/目标域的输入数据可以被馈送到MLP网络中用于目标/源域生成,由两个面向对抗的耦合鉴别器监督。值得注意的是,为了避免在领域对抗训练期间特征提取函数的高容量的关键缺陷,在每个生成器中提出了领域特定损失和领域知识保真度损失,使得所提出的传递网络的有效性得到保证。此外,与cycleGAN的本质区别在于,我们的方法旨在为领域自适应和迁移学习生成域不可知和对齐的特征,而不是合成逼真的图像。我们在一些基准数据集上进行了实验,所提出的方法在最先进的领域自适应和迁移学习方法上取得了有竞争力的性能。
2019-12-24 cs.CV
Cycle Consistency Driven Object Discovery
Mila, University of Montreal(蒙特利尔大学Mila研究所);Google DeepMind(谷歌DeepMind)
本文提出循环一致性目标,约束每个对象对应独立 slot,并可嵌入现有基于 slot 的对象中心方法,在合成与真实场景及下游强化学习任务中均显著提升性能。
2023-12-07 cs.AI cs.CV cs.LG
Learning to Reason: Targeted Knowledge Discovery and Fuzzy Logic Update for Robust Image Recognition
German Aerospace Center (DLR)(德国航空航天中心(DLR))
本文提出一种针对知识发现和模糊逻辑更新的方法,通过可微知识单元调节分类器logits,提升图像识别鲁棒性,实验表明在多个数据集上表现优于基线。
2026-04-30 cs.AI cs.CV
Automatic Discovery, Association Estimation and Learning of Semantic Attributes for a Thousand Categories
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
基于属性的识别模型,由于其令人印象深刻的性能和他们的能力,以及概括的新类别,已被广泛采用的许多计算机视觉应用。然而,通常属性词汇表和类-属性关联都必须由领域专家或大量注释者手动提供。这是非常昂贵的,并且不一定是最佳的识别性能,最重要的是,它限制了基于属性的模型对大规模数据集的适用性。为了解决这个问题,我们提出了一种端到端的无监督属性学习方法。我们利用在线文本语料库自动发现一个突出的和歧视性的词汇,以及与人类的概念的语义属性。此外,我们提出了一个深度卷积模型来优化类属性关联,该模型具有语言先验,可以解释文本中的噪声和缺失数据。在对ImageNet的全面评估中,我们证明了我们的模型能够大规模有效地发现和学习语义属性。此外,我们证明了我们的模型在三个数据集上的零样本学习中表现优于最先进的模型:ImageNet,具有属性的动物和aPascal/aYahoo。最后,我们在ImageNet上启用了基于属性的学习,并将共享属性和关联以供未来研究。
2017-04-12 cs.CV
CyCADA: Cycle-Consistent Adversarial Domain Adaptation
BAIR, UC Berkeley(加州大学伯克利分校伯克利人工智能研究院);OpenAI;CS, Boston University(波士顿大学计算机科学系)
领域自适应对于在新的、未知的环境中取得成功至关重要。在特征空间中应用的对抗适应模型发现了域不变表示,但难以可视化,有时无法捕获像素级和低级域偏移。最近的工作表明,结合循环一致性约束的生成对抗网络在域之间映射图像时非常有效,即使不使用对齐的图像对。提出了一种新的区分训练的循环一致性对抗领域自适应模型。CyCADA在像素级和特征级都适应表示,在利用任务丢失的同时加强周期一致性,并且不需要对齐对。我们的模型可以应用于各种视觉识别和预测设置。我们在多个适应任务中展示了新的最先进的结果,包括数字分类和道路场景的语义分割,展示了从合成到现实世界领域的转移。
2017-12-29 cs.CV
Person Identification from Partial Gait Cycle Using Fully Convolutional Neural Network
Technical University of Munich(慕尼黑工业大学)
步态作为一种生物特征,在视频监控和安全应用中起着关键作用。在步态识别中,通常从一个完整的步态周期中提取步态特征,如步态能量图像(GEI)。然而,在许多情况下,这样的完整步态周期可能由于闭塞而不可用。因此,GEI是不完整的,导致基于步态的人识别率下降。在本文中,我们解决这个问题,提出了一种新的方法来识别个人的步态特征时,几个(甚至是单一)帧(S)。为此,我们提出了一种基于深度学习的方法,将不完整的GEI转换为从完整步态周期获得的相应完整GEI。更准确地说,这种转换是通过独立训练几个自动编码器,然后将它们组合为一个统一的模型来逐步完成的。在两个公开步态数据集上的实验结果表明,该方法在处理非常不完整的步态周期时是有效的。
2018-04-23 cs.CV
Generalized Category Discovery
University of Oxford(牛津大学);The University of Hong Kong(香港大学)
在本文中,我们考虑了一个高度通用的图像识别设置,其中,给定一个标记和未标记的图像集,任务是对未标记的集合中的所有图像进行分类。这里,未标记的图像可以来自标记的类或来自新的类。现有的识别方法无法处理这种情况,因为它们做出了一些限制性的假设,例如未标记的实例仅来自已知或未知类,以及未知类的数量是先验已知的。我们解决更无约束的设置,命名为“广义类别发现”,并挑战所有这些假设。我们首先通过从新类别发现中采用最先进的算法并使其适应这项任务来建立强大的基线。接下来,我们建议使用视觉Transformer与对比表示学习,这个开放的世界设置。然后,我们引入了一个简单而有效的半监督$k$ -均值方法来自动将未标记的数据聚类到可见和不可见的类中,大大优于基线。最后,我们还提出了一种新的方法来估计类的数量在未标记的数据。我们彻底评估我们的方法对公共数据集的通用对象分类和细粒度数据集,利用最近的语义转移基准套件。项目页面https://www.robots.ox.ac.uk/~vgg/research/gcd
2022-06-19 cs.CV cs.LG
Towards Explainable, Privacy-Preserved Human-Motion Affect Recognition
University of Glasgow(格拉斯哥大学)
人体运动特征用于监测神经系统疾病和情绪障碍的进展。由于对情绪的感知也与身体姿势和动作交织在一起,因此可以使用人类步态的情绪识别来定量监测情绪变化。许多现有的解决方案通常使用具有原始位置数据或手动提取的特征的浅机器学习模型来实现这一点。然而,步态是由许多高度表达的特征,可以用来识别人类主体,大多数解决方案未能解决这一问题,无视受试者的隐私。这项工作介绍了一种新的深度神经网络架构,以解开人类的情感和生物特征。特别是,我们提出了一种跨学科的迁移学习技术,用于训练多编码器自编码器深度神经网络,以学习人类运动特征的解纠缠潜在表示。通过从步态数据中分离出受试者的生物特征,我们证明了受试者的隐私得到了保护,同时影响识别性能优于传统方法。此外,我们利用引导梯度CAM提供全球的解释模型的决定跨步态周期。我们评估了我们的方法的有效性,现有的方法在识别情绪使用3D时间联合信号和手动提取的功能。我们还表明,这些数据可以很容易地被利用来暴露受试者的身份。我们的方法显示出高达7%的改善,并突出显示了在平均步态周期中影响最大的关节。
2021-08-27 cs.CV cs.LG