Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach
Stanford University（斯坦福大学）
虽然细粒度对象识别是计算机视觉中的一个重要问题，但当前模型不太可能准确地对野外对象进行分类。这些完全监督的模型需要额外的注释图像来对每个新场景中的对象进行分类，这是一项不可行的任务。然而，电子商务网站和现场指南等来源为许多类别提供了注释图像。在这项工作中，我们研究细粒度的领域自适应，克服容易获得的注释图像和现实世界之间的数据集转移的一步。在细粒度的环境中还没有研究自适应，在细粒度的环境中，可以使用属性等注释来提高性能。我们的工作使用基于属性的多任务适应损失，以提高准确性从基线的4.1%到19.1%的半监督适应的情况下。之前的主要适应工作已经在小数据集上进行了基准测试，例如[46]，对于某些领域总共有795个图像，或者简单化的数据集，例如[41]由数字组成。我们在一个新的具有挑战性的细粒度数据集的子集上进行实验，该数据集由来自电子商务网站和Google街景的2，657个汽车类别的1，095，021个图像组成。
2017-09-07 cs.CV
Source-free Video Domain Adaptation by Learning Temporal Consistency for Action Recognition
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
基于视频的无监督领域自适应（VUDA）方法提高了视频模型的鲁棒性，使其能够应用于跨不同环境的动作识别任务。然而，这些方法需要在自适应过程期间持续访问源数据。然而，在许多现实世界的应用中，源视频域中的主题和场景应该与目标视频域中的主题和场景无关。随着对数据隐私的日益重视，这种需要访问源数据的方法将引起严重的隐私问题。因此，为了应对这种关注，更实际的领域自适应场景被制定为基于无源视频的领域自适应（SFVDA）。虽然有一些方法用于图像数据上的无源领域自适应（SFDA），但是由于视频的多模态性质以及附加时间特征的存在，这些方法在SFVDA中产生退化性能。在本文中，我们提出了一种新的注意时间一致性网络（ATCoN），以解决SFVDA通过学习时间的一致性，保证了两个新的一致性目标，即特征一致性和源预测一致性，跨本地时间特征。ATCoN进一步构建有效的整体时间特征，通过关注局部时间特征的基础上预测的信心。实证结果表明，在各种跨域动作识别基准的ATCoN的最先进的性能。
2022-07-11 cs.CV
Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
目前的面部表情识别方法无法同时处理姿势和主题变化。在本文中，我们提出了一种新的无监督对抗领域自适应方法，可以同时减轻这两种变化。特别地，我们的方法由三种学习策略组成：对抗性领域自适应学习、跨对抗性特征学习和重建学习。第一个目标是学习源域中与姿势和表情相关的特征表示，并通过实施对抗性学习使两个特征分布适应目标域的特征分布。通过使用个性化的对抗性领域自适应，该学习策略可以减轻主题变化，并利用来自源领域的信息来帮助目标领域的学习。第二个用于通过推动姿势相关特征表示expression-undistinguished和姿势相关特征表示expression-undistinguished来执行姿势相关特征表示和表情相关特征表示之间的特征解纠缠。最后一个可以通过应用人脸图像重建来进一步增强特征学习，使得学习的表情相关特征表示更具姿态和身份鲁棒性。在四个基准数据集上的实验结果证明了该方法的有效性。
2020-07-12 cs.CV
Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
University of Bristol（布里斯托尔大学）
细粒度动作识别数据集表现出环境偏差，其中多个视频序列是从有限数量的环境中捕获的。在一个环境中训练模型并在另一个环境中部署，由于不可避免的域转移，导致性能下降。无监督领域自适应（UDA）方法经常利用源和目标领域之间的对抗训练。然而，这些方法没有探索每个域中视频的多模态性质。在这项工作中，我们利用模态的对应关系作为UDA的自监督对齐方法，除了对抗对齐。我们测试我们的方法在三个厨房，从我们的大规模数据集，EPIC-Kitchen，使用两种常用的动作识别模式：RGB和光流。我们发现，多模态自我监督比仅源培训平均提高了2.4%的性能。然后，我们将对抗训练与多模式自我监督相结合，表明我们的方法比其他UDA方法的性能高出3%。
2020-03-19 cs.CV
GA-DAN: Geometry-Aware Domain Adaptation Network for Scene Text Detection and Recognition
Nanyang Technological University（南洋理工大学）
最近的对抗性学习研究在对表观空间中的跨域数据转移进行建模方面取得了令人印象深刻的进展，但在对几何空间中的跨域转移进行建模方面却远远落后。本文提出了一种创新的几何感知领域自适应网络（GA-DAN），能够同时在几何空间和外观空间中对跨域移动进行建模，并将具有非常不同特征的图像跨域逼真地转换。在建议的GA-DAN，一种新的多模态空间学习技术的设计，将源域图像转换成多个图像的不同的空间视图，在目标域。引入了一种新的解纠缠的圈一致性损失，平衡了圈在表观空间和几何空间的一致性，大大提高了整个网络的学习能力。所提出的GA-DAN已被评估为经典的场景文本检测和识别任务，实验表明，领域适应的图像实现优越的场景文本检测和识别性能，而应用于网络训练。
2019-07-23 cs.CV
Team PyKale (xy9) Submission to the EPIC-Kitchens 2021 Unsupervised Domain Adaptation Challenge for Action Recognition
本报告描述了我们提交给EPIC-Kitchen 2021无监督领域自适应行动识别挑战赛的技术细节。EPIC-Kitchener数据集由于具有更多模态的多任务而比其他视频领域自适应数据集更困难。首先，为了参与挑战，我们使用了一个Transformer来捕获每个模态的空间信息。其次，我们采用了一个时间的注意力模块来模拟时间方面的相互依赖。第三，我们使用对抗性领域自适应网络来学习标记源和未标记目标域之间的一般特征。最后，我们将多种模态，以提高性能的三流网络与后期融合。我们的网络实现了与最先进的基线T $A^3$ N相当的性能，并且在动词类的前1准确率和动词、名词和动作这三个任务的前5准确率上优于基线。在团队名称xy 9下，我们的提交在动词类的前1准确度和所有前5准确度方面获得了第5名。
2021-08-09 cs.CV
Unsupervised Domain Adaptation Learning Algorithm for RGB-D Staircase Recognition
The University of British Columbia（不列颠哥伦比亚大学）；Southern University of Science and Technology（南方科技大学）
将楼梯检测和识别为楼上、楼下和否定（例如，是协助视障人士在陌生环境中独立行走的基础。先前的研究集中于使用大量的RGB-D场景数据来训练传统的基于机器学习（ML）的模型来检测和识别楼梯。然而，传统ML技术的性能受到标记的RGB-D阶梯数据量的限制。在本文中，我们在深度架构中应用无监督的领域自适应方法，将从标记的RGB-D固定阶梯数据集学习的知识转移到未标记的RGB-D自动扶梯数据集。通过利用领域自适应方法，我们的前馈卷积神经网络（CNN）的特征提取器具有5个卷积层可以达到100%的分类准确率测试标记的固定阶梯数据和80.6%的分类准确率测试未标记的扶梯数据。我们证明了成功的方法分类楼梯上两个域的数据量有限。为了进一步证明该方法的有效性，我们还验证了相同的CNN模型没有领域自适应，并将其结果与我们提出的架构进行比较。
2019-03-20 cs.CV
Spectral Unsupervised Domain Adaptation for Visual Recognition
S-lab（S实验室）；Nanyang Technological University（南洋理工大学）
尽管无监督领域自适应（UDA）近年来取得了令人瞩目的进展，但由于目标标注的缺失以及源和目标分布之间的差异，UDA仍然是一个巨大的挑战。我们提出了光谱UDA（SUDA），一个有效的和高效的UDA技术，工作在光谱空间，可以概括不同的视觉识别任务。SUDA从两个角度解决了UDA的挑战。首先，它引入了一个频谱Transformer（ST），减轻域间的差异，通过增强域不变的频谱，同时抑制源和目标样本的域变化的频谱。其次，它引入了多视图光谱学习，通过最大化每个目标样本的多个ST生成的光谱视图之间的互信息来学习有用的无监督表示。大量的实验表明，SUDA在目标检测、语义分割和图像分类等不同的视觉任务中都能保持较高的精度。此外，SUDA还与基于变压器的网络一起工作，并在目标检测方面实现了最先进的性能。
2022-06-05 cs.CV
Unsupervised Domain Adaptation for Video Transformers in Action Recognition
University of Trento（特伦托大学）；Universidade Federal do Espírito Santo（圣埃斯皮里图联邦大学）；University of Verona（维罗纳大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在过去的几年中，无监督领域自适应（UDA）技术在计算机视觉中获得了显著的重要性和流行性。然而，与大量的图像文献相比，视频领域仍然相对未被探索。另一方面，模型在动作识别中的性能受到域转移的严重影响。在本文中，我们提出了一个简单而新颖的UDA方法的视频动作识别。我们的方法利用时空Transformers的最新进展，建立一个强大的源模型，更好地推广到目标域。此外，我们的架构学习域不变的功能，由于引入了一个新的对齐损失来自信息瓶颈原则。我们报告了两个UDA视频动作识别基准测试的结果，显示了HMDB $\leftrightarrow$ UCF以及动力学$\rightarrow$ NEC无人机的最新性能，这更具挑战性。这证明了我们的方法在处理不同级别的域转移的有效性。源代码可在https://github.com/vturrisi/UDAVT上获得。
2022-07-26 cs.CV
OTAdapt: Optimal Transport-based Approach For Unsupervised Domain Adaptation
University of Arkansas（阿肯色大学）
无监督的领域自适应是计算机视觉中具有挑战性的问题之一。提出了一种基于最优传输距离的无监督领域自适应方法。我们的方法允许对齐目标和源域，而不需要跨域的有意义的指标。此外，该方案还可以关联源域和目标域之间的正确映射，并保证源域和目标域之间的拓扑约束。该方法在不同的数据集上进行了各种问题的评估，即（i）MNIST，MNIST-M，USPS数据集上的数字识别，（ii）Amazon，Webcam，DSLR和VisDA数据集上的对象识别，（iii）IP 102数据集上的昆虫识别。实验结果表明，我们提出的方法一致地提高性能的准确性。此外，我们的框架可以与任何其他CNN框架结合在端到端深度网络设计中，以解决识别问题，从而提高其性能。
2022-05-22 cs.CV
Align, Minimize and Diversify: A Source-Free Unsupervised Domain Adaptation Method for Handwritten Text Recognition
University of Alicante（阿利坎特大学）
本文提出用于手写文本识别的无源无监督域自适应方法AMD，通过Align、Minimize和Diversify三个正则化项解耦源数据，在多个基准上表现优异且常超越DA方法。
2024-04-28 cs.CV
Fine-tuning Is a Surprisingly Effective Domain Adaptation Baseline in Handwriting Recognition
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
针对手写识别任务，本文证明使用CTC训练的神经网络结合数据增强进行简单微调，在小规模目标域数据集上不仅效果显著且能有效抵抗过拟合。
2025-04-30 cs.CV
Correlated Adversarial Joint Discrepancy Adaptation Network
Lehigh University（理海大学）
领域自适应旨在缓解知识从一个领域转移到另一个相似但不同的领域时的领域转移问题。然而，大多数现有的作品依赖于提取边缘特征，而不考虑类标签。此外，一些方法将其模型命名为所谓的无监督领域自适应，同时使用目标域标签来调整参数。为了解决这些问题，我们提出了一种称为相关对抗联合差异自适应网络（CAJNet）的新方法，该方法最大限度地减少了两个域的联合差异，并通过使用相关标签调整参数来实现有竞争力的性能。通过训练联合特征，我们可以对齐两个域之间的边缘分布和条件分布。此外，我们引入了一个基于概率的顶部- $\mathcal{K}$相关标签（$\mathcal{K}$ -label），这是一个强大的指标的目标域和有效的度量调整参数，以帮助预测。在基准数据集上进行的大量实验表明，与现有技术相比，分类精度有了显着提高。
2021-05-18 cs.CV
Decomposition-Based Domain Adaptation for Real-World Font Recognition
我们提出了一个域自适应框架，以解决合成训练和真实世界的测试数据之间的域不匹配。我们展示了我们的方法上一个具有挑战性的细粒度分类问题：识别字体风格的文本图像。在这个任务中，生成大量的渲染字体示例非常容易，但很难获得真实世界的标记图像。在以前的字体识别方法中，这种真实到合成域的差距导致了对新真实数据的泛化能力差（Chen et al.（2014））。在本文中，我们介绍了一种卷积神经网络分解方法，利用一个大型的训练语料库的合成数据，以获得有效的特征进行分类。这是使用基于堆叠卷积自动编码器的自适应技术来完成的，堆叠卷积自动编码器利用大量未标记的真实世界文本图像与以特定方式预处理的合成数据相结合。所提出的DeepFont方法在我们收集的一个新的大型标记真实世界数据集上实现了高于80%（前5名）的准确率。
2015-04-01 cs.CV
DAPlankton: Benchmark Dataset for Multi-instrument Plankton Recognition via Fine-grained Domain Adaptation
LUT University（拉彭兰塔理工大学）；Finnish Environment Institute（芬兰环境研究所）；Instituto Español de Oceanografia（西班牙海洋学研究所）
本文提出DAPlankton，一个由实验室和波罗的海真实数据子集组成的多仪器浮游植物识别域适应基准数据集，并比较了三种主流域适应方法，以应对细粒度与类别不平衡挑战。
2024-02-08 cs.CV
Joint Geometrical and Statistical Alignment for Visual Domain Adaptation
University of Wollongong（伍伦贡大学）
提出了一种新的无监督领域自适应跨域视觉识别方法。我们提出了一个统一的框架，减少域之间的转移统计和几何，称为联合几何和统计对齐（JGSA）。具体地说，我们学习两个耦合的投影，投影的源域和目标域的数据到低维子空间的几何位移和分布偏移同时减少。目标函数可以有效地解决在一个封闭的形式。大量的实验已经验证了所提出的方法显着优于几个国家的最先进的领域自适应方法上的合成数据集和三个不同的现实世界的跨域视觉识别任务。
2017-05-16 cs.CV
Gotta Adapt 'Em All: Joint Pixel and Feature-Level Domain Adaptation for Recognition in the Wild
Michigan State University（密歇根州立大学）；NEC Labs America（NEC美国实验室）；UC San Diego（加州大学圣迭戈分校）
深度领域自适应的最新发展已经允许在中间特征或输入像素的级别上从标记的源域到未标记的目标域的知识转移。我们建议，优势可以通过将它们结合起来，以不同的见解的形式，导致一个新的设计和互补的性能，导致更好的性能。在特征层次上，受半监督学习的启发，我们提出了一个分类感知领域对抗神经网络，将目标样本带入源域的更多可分类区域。接下来，我们认为计算机视觉的见解更适合在像素级注入。特别是，我们使用基于广义外观流的3D几何和图像合成来保持姿势变换的身份，同时使用属性条件CycleGAN将单个源转换为在较低级别属性（如照明）中不同的多个目标图像。除了标准的UDA基准，我们验证了一个新的和适当的问题，汽车识别未标记的监控图像使用标记的图像从网络上，处理明确指定的，命名的变化因素，通过像素级和隐式，未指定的因素，通过特征级的适应。
2019-05-28 cs.CV
Artistic Object Recognition by Unsupervised Style Adaptation
University of Pittsburgh（匹兹堡大学）
计算机视觉系统目前缺乏可靠地识别艺术渲染对象的能力，尤其是当这种数据有限时。在本文中，我们提出了一种方法来识别艺术形式（如绘画，卡通，或素描）的对象，而不需要任何标记的数据，从这些形式。我们的方法明确占文体域之间和域内的变化。为此，我们引入了一种互补的训练模式，该模式在艺术风格上与目标领域相似，并强制网络学习两种训练模式之间不变的特征。我们展示了如何通过使用风格转移技术自动生成这种人工标记的源域，使用不同的目标图像来表示目标域中的风格。与需要大量未标记目标数据的现有方法不同，我们的方法可以处理多达10个未标记图像。我们评估了一些跨域的对象和场景分类任务，并在一个新的数据集，我们发布。我们的实验表明，我们的方法，虽然概念上简单，显着提高了准确性，现有的领域自适应技术获得的艺术对象识别。
2018-12-28 cs.CV
CNN-based Action Recognition and Supervised Domain Adaptation on 3D Body Skeletons via Kernel Feature Maps
Data61/CSIRO（Data61/联邦科学与工业研究组织）；Australian National University（澳大利亚国立大学）
深度学习在计算机视觉的许多领域中无处不在。它通常需要大规模的数据集进行训练，然后才能对中小规模的问题进行微调。活动，或者换句话说，动作识别，是深度学习的许多应用领域之一。虽然存在许多使用RGB和光流帧的卷积神经网络架构，但对3D身体骨骼关节的时间序列的训练通常通过递归网络（如LSTM）执行。在本文中，我们提出了一种新的表示编码序列的三维人体骨骼关节的纹理表示来自数学严格的核方法。这样的表示成为标准CNN网络中的第一层，ResNet-50，然后在监督领域自适应管道中使用，将信息从源数据集传输到目标数据集。这使我们能够利用可用的基于Kinect的数据，而不仅仅是在单个数据集上进行训练，并且在以简单的方式组合的任何两个数据集上进行简单的微调。更具体地说，在本文中，我们利用数据集之间的重叠类。我们通过所谓的共性将同一类的数据点相关联，这是从监督领域自适应中得知的。我们展示了国家的最先进的三个公开的基准测试结果。
2018-06-24 cs.CV
Learning Classifiers for Domain Adaptation, Zero and Few-Shot Recognition Based on Learning Latent Semantic Parts
Boston University（波士顿大学）
在计算机视觉应用中，例如领域自适应（DA）、少样本学习（FSL）和零样本学习（FSL），我们遇到了新的对象和环境，对于这些对象和环境，不存在足够的示例来允许训练“从头开始的模型”，并且需要使在所呈现的训练环境上训练的现有模型适应新场景的方法。我们提出了一种新的视觉属性编码方法，编码每个图像作为一个低维的概率向量组成的原型部分类型的概率。学习的原型是所有训练数据的代表。在测试时，我们利用这种编码作为分类器的输入。在测试时，我们冻结编码器，只学习/调整分类器组件以适应FSL中有限的注释标签;在FSL中添加新的语义属性。我们在基准数据集上进行了广泛的实验。我们的方法优于针对特定上下文（EML，FSL，DA）训练的最先进方法。
2019-08-16 cs.CV
A Study on Differentiable Logic and LLMs for EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2023
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
该研究面向 EPIC-KITCHENS-100 无监督域适应动作识别任务，引入可微逻辑损失利用动词—名词共现关系，并尝试用 GPT-3.5 生成规则，最终 NS-LLM 获 top-1 准确率第一名。
2023-07-13 cs.CV
N-gram Injection into Transformers for Dynamic Language Model Adaptation in Handwritten Text Recognition
ANTAI, Rennes, France（ANTAI研究院，法国里昂）；Univ Rennes, CNRS, IRISA - UMR 6074, Rennes, France（里昂大学，法国国家科学研究中心，IRISA-UMR 6074，法国里昂）
本文提出N-gram注入方法，用于在手写文本识别中动态调整Transformer的语言模型，以应对目标语料分布偏移问题，提升识别精度。
2026-03-10 cs.CV
Can domain adaptation make object recognition work for everyone?
Georgia Tech（佐治亚理工学院）；Artera AI（Artera人工智能公司）；Salesforce Research（赛富时研究院）
尽管在深度视觉识别方面取得了快速进展，但现代计算机视觉数据集明显过度代表了发达国家，而在这些数据集上训练的模型在来自未知地理区域的图像上表现不佳。我们研究了无监督领域自适应（UDA）的有效性，这种模型在不同的地理位置在关闭这个性能差距。要做到这一点，我们首先策划从现有的数据集的两个转变，研究地理DA问题，并发现新的挑战超越数据分布偏移：上下文的变化，其中对象周围环境可能会发生显着变化的地理区域，和亚群体的变化，其中类别内的分布可能会发生变化。我们证明了标准DA方法在地理DA中的无效性，强调了需要专门的地理适应解决方案来应对使对象识别为每个人工作的挑战。
2022-04-23 cs.CV cs.LG
Block-wise Scrambled Image Recognition Using Adaptation Network
Waseda University（早稻田大学）；The National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在这项研究中，一个感知隐藏的对象识别方法进行了研究，以产生安全的图像可识别的人类，但不是机器。因此，感知信息隐藏和相应的目标识别方法都需要发展。分块图像置乱被引入来隐藏第三方的感知信息。此外，提出了一种自适应网络来识别这些置乱图像。使用CIFAR数据集进行的实验比较表明，所提出的自适应网络在将简单的感知信息隐藏到基于DNN的图像分类中表现良好。
2020-01-21 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation for Face Recognition in Unlabeled Videos
NEC Labs America（NEC美国实验室）；UC Merced（加州大学默塞德分校）；Dalian University of Technology（大连理工大学）；UC San Diego（加州大学圣迭戈分校）
尽管人脸识别技术取得了快速的进步，但基于静态图像的人脸识别和基于视频的人脸识别的性能之间仍然存在明显的差距，这是由于这两个领域之间的视觉质量存在巨大差异，以及难以管理各种大规模视频数据集。本文解决了这两个挑战，通过图像到视频的特征级领域自适应的方法，学习歧视性的视频帧表示。该框架利用大规模的未标记的视频数据，以减少不同领域之间的差距，同时从大规模标记的静止图像转移的歧视性知识。给定在图像域中预训练的人脸识别网络，通过（i）通过特征匹配将知识从网络提取到视频自适应网络，（ii）通过合成数据增强执行特征恢复，以及（iii）通过域对抗训练学习域不变特征来实现自适应。我们通过鉴别器引导的特征融合进一步提高性能，该融合提高了高质量帧，同时消除了因视频域特定因素而退化的帧。在YouTube Faces和IJB-A数据集上的实验表明，每个模块都有助于我们的特征级领域自适应框架，并大大提高了视频人脸识别的性能，以达到最先进的准确性。我们定性地证明了网络学习抑制视频中的各种伪影，如姿势，照明或遮挡，而无需对其进行明确的训练。
2017-08-07 cs.AI cs.CV
On the Metrics and Adaptation Methods for Domain Divergences of sEMG-based Gesture Recognition
Nokia Bell Labs（诺基亚贝尔实验室）
本文提出了一种新的度量域分歧的方法和一种新的领域自适应时间序列分类方法。该度量属于基于概率分布的度量类，是可转换的，并且不假设存在源数据样本。2阶段方法利用改进的自回归，基于RNN的架构，具有深度/非线性变换。我们评估我们的指标和我们的模型的性能在sEMG/EMG为基础的手势识别的上下文中会话间和学科间域的变化。
2019-12-18 cs.CV cs.LG stat.ML
A Registration-aided Domain Adaptation Network for 3D Point Cloud Based Place Recognition
Shanghai Jiao Tong University（上海交通大学）；Beijing Institute of Technology（北京理工大学）
在自动驾驶和移动机器人的大规模SLAM领域，基于3D点云的地点识别由于其对白天和天气变化剧烈的变化环境的鲁棒性而引起了重大的研究兴趣。然而，这是耗时和精力成本高，以获得高质量的点云数据的位置识别模型的训练和地面真理注册在现实世界中。为此，提出了一种新的配准辅助三维领域自适应网络的点云位置识别。引入结构感知配准网络来帮助学习具有几何信息的特征，并且可以估计具有部分重叠的两个点云之间的6-DoF姿态。该模型通过GTA-V的合成虚拟LiDAR数据集进行训练，具有不同的天气和白天条件，并通过对齐全局特征来实现领域自适应。我们的结果优于最先进的3D位置识别基线，或者在现实世界的Oxford RobotCar数据集上实现与虚拟数据集上的注册可视化相当。
2021-08-04 cs.CV cs.RO
Evaluation of Deep Neural Network Domain Adaptation Techniques for Image Recognition
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用科学大学）
已经很好地证明，深度网络在从给定的（源）标记数据集中提取特征方面是有效的。然而，它们并不总是能够很好地推广到其他（目标）数据集，这些数据集通常具有不同的底层分布。在这份报告中，我们评估了四种不同的领域自适应技术用于图像分类任务：DeepCORAL，DeepDomainConfusion，CDAN和CDAN+E。这些技术是无监督的，因为目标数据集在训练阶段不携带任何标签。我们在Office-31数据集上评估模型性能。本报告的github存储库链接可以在这里找到：https://github.com/agrija9/Deep-Unsupervised-Domain-Adaptation。
2021-09-28 cs.AI cs.CV
Towards Robust 3D Object Recognition with Dense-to-Sparse Deep Domain Adaptation
BMW Group（宝马集团）；Technical University of Munich（慕尼黑工业大学）；University of Glasgow（格拉斯哥大学）；Radboud University（拉德堡德大学）
三维（3D）物体识别对于智能自主智能体（如自主车辆和机器人）在非结构化环境中有效运行至关重要。大多数最先进的方法依赖于相对密集的点云，并且对于稀疏点云，性能显著下降。无监督域自适应允许使用最少的未标记稀疏点云来最小化密集点云和稀疏点云之间的差异，从而节省额外的稀疏数据汇集、注释和再训练成本。在这项工作中，我们提出了一种基于点云的对象识别的新方法，该方法在密集和稀疏点云上具有与最先进的方法竞争的性能，同时仅使用密集点云进行训练。
2022-05-07 cs.CV cs.RO
Adversarial Domain Adaptation for Action Recognition Around the Clock
Charles Sturt University（查尔斯特大学）
由于在视觉监控和夜间驾驶中有许多潜在的应用，在弱光条件下识别人类行为仍然是计算机视觉中的一个难题。现有的方法将动作识别和暗增强分为两个不同的步骤来完成这项任务。然而，隔离识别和增强阻碍了用于视频动作分类的时空表示的端到端学习。本文提出了一种基于领域自适应的动作识别方法，该方法在跨领域环境中使用对抗学习来学习跨领域动作识别。监督学习可以在来自源域的大量标记数据（白天动作序列）上对其进行训练。然而，它使用深域不变特征对来自目标域的许多未标记数据（夜间动作序列）执行无监督学习。由此产生的增强模型，名为3D-DiNet，可以使用标准的反向传播与额外的层进行训练。它在InFAR和XD 145动作数据集上实现了SOTA性能。
2022-10-25 cs.AI cs.CV cs.LG
Federated Unsupervised Domain Adaptation for Face Recognition
S-Lab, NTU（新加坡南洋理工大学S实验室）；NTU（新加坡南洋理工大学）；SenseTime Research（商汤科技研究院）
在给定源域中的标记数据的情况下，无监督的领域自适应已被广泛地用于对目标域中的未标记数据（其数据分布是不同的）进行模型泛化。然而，现有的工作是不适用于人脸识别的隐私约束下，因为它们需要域之间的敏感的人脸图像共享。为了解决这个问题，我们提出了联邦无监督领域自适应的人脸识别，FedFR。FedFR联合优化了基于聚类的领域自适应和联邦学习，以提高目标领域的性能。具体来说，对于目标域中的未标记数据，我们增强了距离约束的聚类算法，以提高预测伪标签的质量。此外，我们提出了一种新的域约束损失（DCL）规范源域训练联邦学习。在一个新构建的基准上进行的大量实验表明，在不同的评估指标上，FedFR在目标域上的性能优于基线和经典方法3%到14%。
2022-04-09 cs.AI cs.CV cs.DC
Real-World Font Recognition Using Deep Network and Domain Adaptation
Beckman Institute for Advanced Science and Technology（贝克曼高等科学技术研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
我们解决了一个具有挑战性的细粒度分类问题：从文本图像中识别字体样式。在这个任务中，生成大量的渲染字体示例非常容易，但很难获得真实世界的标记图像。在以前的方法中，这种真实到合成域的差距导致对新真实数据的泛化能力较差（Chen等人（2014））。在本文中，我们参考卷积神经网络，并使用基于堆叠卷积自动编码器的自适应技术，该编码器利用未标记的真实世界图像与合成数据相结合。该方法在真实数据集上实现了高于80%（前5名）的准确度。
2015-03-31 cs.CV cs.LG
Unsupervised Domain Adaptation through Inter-modal Rotation for RGB-D Object Recognition
TU Wien（维也纳工业大学）；Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
无监督领域自适应（DA）利用对标签丰富的源数据集的监督，通过对齐两个数据分布来对未标记的目标数据集进行预测。在机器人技术中，DA用于利用自动生成的合成数据（带有“免费”注释）对真实数据进行有效预测。然而，现有的DA方法并没有被设计为应对RGB-D数据的多模态性质，这被广泛用于机器人视觉。我们提出了一种新的RGB-D DA方法，该方法通过利用RGB和深度图像之间的模态间关系来减少合成域到实域的移位。我们的方法包括训练一个卷积神经网络来解决，除了主要的识别任务，预测RGB和深度图像之间的相对旋转的借口任务。为了评估我们的方法，并鼓励在这一领域的进一步研究，我们定义了两个基准数据集的对象分类和实例识别。通过大量的实验，我们展示了利用RGB-D DA的模态间关系的好处。
2020-04-21 cs.CV cs.RO
Domain Adaptation with Soft-margin multiple feature-kernel learning beats Deep Learning for surveillance face recognition
IIT Madras（印度理工学院马德拉斯分校）
人脸识别（FR）是基于生物特征的监控的最优选模式，这是由于其在所有不同类型的生物特征中检测主体的被动性质。与训练样本相比，由于探头上的低对比度、噪声和较差的照明条件，监视场景下的FR没有给出令人满意的性能。最先进的技术，深度学习，甚至在这些场景中表现不佳。我们提出了一种新的基于软边的学习方法，用于多个特征核组合，然后使用领域自适应进行特征变换，当使用三个真实世界的监控人脸数据集进行测试时，其性能优于许多最近的最先进的技术。
2016-10-27 cs.AI cs.CV cs.HC
Meta Self-Learning for Multi-Source Domain Adaptation: A Benchmark
Beijing University of Posts and Telecommunications（北京邮电大学）
近年来，基于深度学习的方法在计算机视觉领域取得了可喜的成果。然而，常见的深度学习模型需要大量的标记数据，收集和标记这些数据是劳动密集型的。此外，由于训练数据和测试数据之间的区域偏移，模型可能会被破坏。文本识别是计算机视觉中广泛研究的领域，并且由于字体的多样性和复杂背景而遭受上述相同的问题。在本文中，我们专注于文本识别问题，并主要对这些问题的三个贡献。首先，我们收集了一个用于文本识别的多源领域自适应数据集，包括五个不同的领域，超过五百万张图像，这是我们所知的第一个多领域文本识别数据集。其次，提出了一种新的自学习方法Meta Self-Learning，将自学习方法与元学习范式相结合，在多领域自适应场景下取得了较好的识别效果。第三，在数据集上进行了大量的实验，提供了一个基准，也表明了我们的方法的有效性。我们工作的代码和数据集很快就可以在https://bupt-ai-cz.github.io/Meta-SelfLearning/上获得。
2021-08-24 cs.AI cs.CV
Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions
University of Oulu（奥卢大学）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
针对图像情感识别（IER）预训练模型和标注数据集有限的问题，本文提出基于特征的域适应技术，先构建面部表情识别（FER）系统，再通过差异损失将其适应通用图像情感识别，引入DnCShap提升可解释性，在多个数据集上取得较好准确率。
2025-02-18 cs.CV cs.LG
Deep Generative Domain Adaptation with Temporal Relation Knowledge for Cross-User Activity Recognition
The University of Auckland（奥克兰大学）
针对跨用户活动识别中数据非独立同分布及忽略时间关系的问题，提出CVAE-USM方法，结合VAE和USM利用时间模式对齐分布，在两个公开数据集上优于现有方法。
2024-03-12 cs.AI cs.CV cs.HC
Fuzzy-aware Loss for Source-free Domain Adaptation in Visual Emotion Recognition
The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对视觉情感识别无源域适应中模糊情感标签和模糊伪标签问题，提出模糊感知损失（FAL）调整非预测类别损失，理论证明其鲁棒性，并在26个子任务上验证有效性。
2025-01-26 cs.CV cs.LG
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）
在领域自适应中，最大平均差异（MMD）被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD，其被计算为边缘分布差异和条件分布差异的（加权）和;然而，更自然的度量可以是它们的联合概率分布差异。此外，大多数度量仅旨在提高域之间的可转移性，而忽略了不同类别之间的可区分性，这可能导致分类性能不足。为了解决这些问题，本文提出了判别式联合概率MMD（DJP-MMD），以取代领域自适应中常用的联合MMD。它具有两个理想的性质：1）它为计算分布差异提供了一个新的理论基础，它更简单，更精确; 2）它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明，该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
Exploring Few-Shot Adaptation for Activity Recognition on Diverse Domains
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；Mercedes-Benz Tech Innovation（梅赛德斯-奔驰技术创新公司）；University of Stuttgart（斯图加特大学）
本文研究活动识别的少样本领域自适应，提出包含五个数据集的新基准，并设计了利用少量标注样本作知识引导的 RelaMiX 方法，在所有数据集上达到最优性能。
2024-04-27 cs.AI cs.CV cs.RO
Deep Generative Domain Adaptation with Temporal Attention for Cross-User Activity Recognition
The University of Auckland（奥克兰大学）
本文提出DGDATA方法，通过在领域自适应过程中整合时间关系注意力机制与生成模型，解决了跨用户HAR任务中数据分布对齐时忽略时间序列时间关系的问题，有效提升了分类性能。
2024-03-12 cs.AI cs.CV cs.HC
MoExDA: Domain Adaptation for Edge-based Action Recognition
Nagoya Institute of Technology（名古屋技术大学）
针对动作识别中的静态偏差问题，提出轻量级域自适应方法MoExDA，结合RGB与边缘帧，以低计算成本提升泛化性能，实现更鲁棒的动作识别。
2025-08-05 cs.CV
Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
在本报告中，我们介绍了我们提交给EPIC-KITCHENS-100无监督领域自适应（UDA）2022年行动识别挑战赛的技术细节。该任务旨在将在标记的源域上训练的动作识别模型适应于未标记的目标域。为了实现这一目标，我们提出了一个动作感知的领域自适应框架，利用先验知识诱导的动作识别任务在适应。具体来说，我们使用学习的动作分类器将源特征分解为动作相关特征和动作无关特征，然后将目标特征与动作相关特征对齐。为了进一步提高动作预测性能，我们利用动词-名词共现矩阵来约束和细化动作预测。我们最终提交的作品在top-1动作识别准确率方面取得了第一名的成绩。
2023-01-29 cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report
Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
在本报告中，我们描述了我们提交2021年EPIC-KITCHENS-100无监督领域自适应行动识别挑战赛的技术细节。利用多模态已被证明有利于无监督领域自适应（UDA）任务。在这项工作中，我们提出了多模态相互增强模块（M3 EM），这是一个深度模块，用于联合考虑来自多个模态的信息，以找到跨域最可转移的表示。我们通过实施两个子模块来实现这一点，用于使用其他模式的上下文来增强每种模式。第一子模块通过语义空间跨模态交换信息，而第二子模块基于所有模态的共识找到最可转移的空间区域。
2021-07-01 cs.CV
Billet Number Recognition Based on Test-Time Adaptation
针对钢坯编号识别中图像失真、数据分布差异导致现有方法精度低的问题，提出融合测试时自适应与先验知识的方法，通过熵最小化适配测试数据、利用编码规则优化结果并改进CTC算法，显著提升真实数据集上的识别性能。
2025-02-13 cs.CV
Adversarial Graph Representation Adaptation for Cross-Domain Facial Expression Recognition
DarkMatter Research（暗物质研究）；Sun Yat-Sen University（中山大学）
由于标注过程的主观性和采集条件的不同，不同的人脸表情识别数据集不可避免地存在数据不一致和偏差。最近的作品诉诸对抗机制，学习域不变的功能，以减轻域转移。然而，大多数这些工作集中在整体特征适应，他们忽略了本地功能，更可转移到不同的数据集。此外，局部特征携带用于表情识别的更详细和有区别的内容，并且因此集成局部特征可以实现细粒度的自适应。在这项工作中，我们提出了一种新的对抗图表示自适应（AGRA）框架，该框架将图表示传播与对抗学习相结合，以实现跨域整体-局部特征协同自适应。为了实现这一点，我们首先构建一个图来关联每个域中的整体和局部区域，然后构建另一个图来关联不同域中的这些区域。然后，我们学习每个域的每类统计分布，并从输入图像中提取整体局部特征来初始化相应的图节点。最后，我们引入了两个堆叠图卷积网络来传播每个域内的整体-局部特征，以探索它们之间的相互作用，并跨不同的域进行整体-局部特征的协同适应。通过这种方式，AGRA框架可以自适应地学习细粒度的域不变特征，从而促进跨域表情识别。我们进行了广泛和公平的实验，几个流行的基准测试，并表明，建议AGRA框架实现了优越的性能比以前的国家的最先进的方法。
2020-08-04 cs.CV
Video Test-Time Adaptation for Action Recognition
Christian Doppler Laboratory for Semantic 3D Computer Vision（克里斯蒂安·多普勒语义三维计算机视觉实验室）；Christian Doppler Laboratory for Embedded Machine Learning（克里斯蒂安·多普勒嵌入式机器学习实验室）；Graz University of Technology（格拉茨工业大学）；Goethe University Frankfurt（法兰克福歌德大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
虽然动作识别系统在分布测试点上进行评估时可以达到最佳性能，但它们容易受到测试数据中的意外分布偏移的影响。然而，视频动作识别模型对常见分布偏移的测试时自适应迄今尚未得到证明。我们建议解决这个问题的一个方法，适合时空模型，能够适应一个单一的视频样本在一个步骤。它包括一种特征分布对齐技术，该技术将测试集统计数据的在线估计与训练统计数据对齐。我们进一步加强预测一致性的时间增强视图相同的测试视频样本。对三个基准动作识别数据集的评估表明，我们提出的技术是架构不可知的，能够显着提高性能，最先进的卷积架构TANet和视频Swin Transformer。我们提出的方法证明了一个显着的性能增益超过现有的测试时自适应方法在一个单一的分布偏移和随机分布偏移的挑战性情况下的评估。代码将在\url{https://github.com/wlin-at/ViTTA}上提供。
2023-03-20 cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022: Team HNU-FPV Technical Report
Hunan University（湖南大学）
在这份报告中，我们介绍了我们提交给2022年EPIC-Kitchener无监督领域自适应（UDA）挑战赛的技术细节。现有的UDA方法将从整个视频片段中提取的全局特征跨源域和目标域对齐，但在视频识别中遭受特征匹配的空间冗余。出于观察，在大多数情况下，在每个视频帧中的一个小的图像区域可以提供足够的信息的动作识别任务，我们建议利用信息图像区域进行有效的域对齐。具体来说，我们首先使用轻量级CNN来提取输入双流视频帧的全局信息，并通过基于可微插值的选择策略来选择信息丰富的图像块。然后通过现有的视频自适应方法处理来自视频帧的全局信息和来自图像块的局部信息，即，TA 3 N，以便执行源域和目标域的特征对齐。我们的方法（没有模型集成）在EPIC-KITCHENS-100的测试集上在今年的团队中排名第四。
2022-07-07 cs.CV
Self-Training of Handwritten Word Recognition for Synthetic-to-Real Adaptation
TU Dortmund University（多特蒙德工业大学）
手写文本识别（HTR）模型的性能在很大程度上取决于标记和代表性训练样本的可用性。然而，在许多应用场景中，标记的样品是稀缺的或昂贵的获得。在这项工作中，我们提出了一个自我训练的方法来训练HTR模型只合成样本和未标记的数据。所提出的训练方案使用在合成数据上训练的初始模型来对未标记的目标数据集进行预测。从这个性能相当差的初始模型开始，我们证明了通过对预测的伪标签进行训练可以实现相当大的适应性。此外，所研究的自训练策略不需要任何手动注释的训练样本。我们在四个广泛使用的基准数据集上评估了所提出的方法，并证明了其在缩小与以全监督方式训练的模型之间的差距方面的有效性。
2022-06-30 cs.CV
Modality Compensation Network: Cross-Modal Adaptation for Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
随着RGB-D相机的普及，多模态视频数据已变得更可用于人类动作识别。这项任务的一个主要挑战是如何有效地利用它们的补充信息。在这项工作中，我们提出了一个模态补偿网络（MCN）来探索不同模态之间的关系，并提高人类动作识别的表示。我们把RGB/光流视频作为源模态，骨架作为辅助模态。我们的目标是在辅助模态的帮助下，从源模态中提取更多的鉴别特征。我们的模型建立在深度卷积神经网络（CNN）和长短期记忆（LSTM）网络的基础上，通过模态自适应块将源模态和辅助模态的数据连接起来，以实现自适应表示学习，网络学习补偿测试时甚至训练时的骨架损失。根据训练过程中源数据和辅助数据的对齐情况，我们探索了多种自适应方案，从不同的层次上缩小源数据和辅助数据之间的距离。此外，骨架只在训练阶段需要。在测试时，我们的模型能够提高源数据的识别性能。实验结果表明，MCN优于国家的最先进的方法上广泛使用的动作识别基准。
2020-01-31 cs.CV
GeoAdapt: Self-Supervised Test-Time Adaptation in LiDAR Place Recognition Using Geometric Priors
CSIRO（联邦科学与工业研究组织）；Queensland University of Technology（昆士兰科技大学）
GeoAdapt通过几何一致性先验生成伪标签，以自监督测试时自适应方式缓解LiDAR地点识别中的域偏移问题，性能媲美全监督方法。
2023-11-29 cs.CV
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition
Italian Institute of Technology（意大利理工学院）
当前的面部表情识别系统在部署到与它们被训练的场景不同的场景时需要昂贵的重新训练例程。使它们偏向于学习特定的面部特征，而不是执行典型的迁移学习方法，可能有助于这些系统在不同的任务中保持高性能，但减少了训练工作。在本文中，我们提出了对比抑制自适应（CIAO），这是一种适应最后一层面部编码器来描述不同数据集上特定情感特征的机制。CIAO在六个不同的数据集上提供了面部表情识别性能的改进，这些数据集具有非常独特的情感表示，特别是与最先进的模型相比。在我们的讨论中，我们深入分析了学习的高级面部特征是如何表示的，以及它们如何对每个数据集的特征做出贡献。最后，我们讨论了CIAO如何在非通用面部表情感知的最新研究结果范围内定位自己，以及它对面部表情识别研究的影响。
2022-08-10 cs.CV
Ev-TTA: Test-Time Adaptation for Event-Based Object Recognition
Seoul National University（首尔国立大学）
我们介绍了Ev-TTA，一个简单，有效的测试时自适应算法，基于事件的对象识别。虽然事件摄像机被提出来提供具有快速运动或剧烈照明变化的场景的测量，但许多现有的基于事件的识别算法在极端条件下由于显著的域偏移而遭受性能恶化。Ev-TTA通过在测试阶段使用受事件的时空特性启发的损失函数微调预训练的分类器来减轻严重的域间隙。由于事件数据是测量的时间流，因此我们的损失函数对相邻事件实施类似的预测，以快速适应在线变化的环境。此外，我们利用事件的两个极性之间的空间相关性来处理极端照明下的噪声，其中不同极性的事件表现出独特的噪声分布。Ev-TTA在广泛的基于事件的对象识别任务上表现出大量的性能增益，而无需大量的额外训练。我们的公式可以成功地应用，无论输入表示，并进一步扩展到回归任务。我们期望Ev-TTA提供关键技术，以部署基于事件的视觉算法在具有挑战性的现实世界中的应用，显着的域转移是不可避免的。
2022-03-28 cs.CV
Local-Adaptive Face Recognition via Graph-based Meta-Clustering and Regularized Adaptation
Microsoft AI R&D Center（微软人工智能研发中心）；Microsoft Cloud and AI（微软云与人工智能）
由于对数据隐私的日益关注，可以合理地假设本地客户端数据不能传输到集中式服务器，也不能提供相关的身份标签。为了支持持续学习并填补最后一英里的质量差距，我们引入了一个新的问题设置，称为局部自适应人脸识别（LaFR）。在部署初始全局模型后，利用特定于环境的本地数据，LaFR旨在通过自动和非监督地训练本地适应模型来获得最佳性能，而不是固定其初始全局模型。我们通过一个新提出的基于图卷积网络（GCN）的嵌入聚类模型来实现这一点，该模型通过元优化过程进行训练。与以前的工作相比，我们的元聚类模型可以推广到看不见的本地环境。利用聚类结果中的伪身份标签，我们进一步引入新的正则化技术来提高模型自适应性能。种族和内部传感器适应的广泛实验表明，我们提出的解决方案是更有效的适应在每个特定的环境中的人脸识别模型。同时，我们表明，LaFR可以进一步改善全球模型通过一个简单的联邦聚合更新的本地模型。
2022-03-27 cs.CV
