Deep Adaptation of Adult-Child Facial Expressions by Fusing Landmark Features
Old Dominion University(欧道明大学)
提出FACE-BE-SELF方法,利用Beta混合分布选择地标特征,在共享潜在空间对齐成人与儿童表情分布,实现跨年龄面部表情的稳健分类。
2024-03-12 cs.CV cs.LG
MLSL: Multi-Level Self-Supervised Learning for Domain Adaptation with Spatially Independent and Semantically Consistent Labeling
Information Technology University of Punjab(旁遮普信息技术大学)
大多数最近的深度语义分割算法遭受大的泛化误差,即使在基于卷积神经网络的强大的分层表示模型已经被采用。这可能是由于有限的训练数据和训练和测试域数据集中的大分布差距。本文提出了一种用于语义分割的领域自适应的多层次自监督学习模型。利用的想法,一个对象(和大多数的东西给定的上下文)应该被标记一致,无论其位置,我们生成空间独立和语义一致(SISC)的伪标签分割多个子图像使用基本模型和设计的聚合策略。图像级伪弱标记PWL,计算引导领域自适应通过捕获全局上下文相似性在潜在空间级的源和域。因此,即使与图像的其余部分相比,属于域类别的像素非常少(例如小对象),也可以帮助潜在空间学习表示。我们的多级自监督学习(MLSL)优于现有的最先进的(自我或对抗学习)算法。具体而言,保持所有设置相似并采用MLSL,与现有最先进的方法相比,我们在GTA-V到Cityscapes适配上获得了5:1%的mIoU增益,在SYNTHIA到Cityscapes适配上获得了4:3%的mIoU增益。
2019-09-30 cs.CV
Unsupervised Domain Adaptation for 3D LiDAR Semantic Segmentation Using Contrastive Learning and Multi-Model Pseudo Labeling
Universität Stuttgart(斯图加特大学)
针对3D LiDAR语义分割中的域偏移问题,提出两阶段无监督域适应框架,结合片段级对比预训练与多架构硬投票伪标签微调,在多个目标数据集上显著优于直接迁移和单模型方法。
2025-07-24 cs.CV
Unsupervised Domain Adaptation for Person Re-Identification through Source-Guided Pseudo-Labeling
CEA, LIST(法国原子能和替代能源委员会 科学信息与互动技术研究所);Normandie Univ, INSA Rouen, LITIS(诺曼底大学 鲁昂国立应用科学学院 计算机科学与信息技术实验室)
人的重新识别(re-ID)旨在检索不同相机拍摄的同一个人的图像。re-ID的一个挑战是当模型用于与训练数据域(源数据)属于不同域的感兴趣数据(目标数据)时的性能保持。无监督领域自适应(UDA)是一个有趣的研究方向,因为它避免了昂贵的目标数据的注释。伪标记方法在基于UDA的re-ID中获得了最好的结果。令人惊讶的是,标记的源数据在该初始化步骤之后被丢弃。然而,我们认为伪标记可以进一步利用标记的源数据,以改善初始化后的训练步骤。为了提高对错误伪标签的鲁棒性,我们提倡在所有训练迭代期间利用标记的源数据和伪标记的目标数据。为了支持我们的指导方针,我们引入了一个框架,它依赖于一个两个分支架构优化分类和三元组损失为基础的度量学习,分别在源和目标域,以允许\emph{adaptability to the target domain},同时确保\emph{robustness to noisy pseudo-labels}。事实上,共享的低和中级别参数受益于源分类和三重丢失信号,而目标分支的高级别参数学习特定于域的特征。我们的方法很简单,可以很容易地与现有的伪标记UDA方法相结合。我们的实验表明,它是有效的,并提高了性能时,基本方法没有机制来处理伪标签噪声或硬适应任务。我们的方法在常用数据集Market-1501和DukeMTMC-reID上进行评估时达到了最先进的性能,并且在针对更大,更具挑战…
2020-09-20 cs.CV
Semi-Supervised Domain Adaptation via Selective Pseudo Labeling and Progressive Self-Training
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
领域自适应(DA)是一种将知识从标签充足的源领域转移到标签稀缺的目标领域的表示学习方法。虽然大多数早期的方法都集中在无监督DA(UDA),最近提出了一些研究半监督DA(SSDA)。在SSDA中,少量标记的目标图像用于训练,这些数据的有效性已被先前的研究所证明。然而,以前的SSDA方法只采用这些数据嵌入普通的监督损失,忽略了潜在的有用性,但信息线索很少。基于这一观察,在本文中,我们提出了一种新的方法,进一步利用标记的目标图像SSDA。具体地说,我们利用标记的目标图像选择性地生成伪标签的未标记的目标图像。此外,基于伪标签不可避免地带有噪声的观察,我们应用了一种标签噪声鲁棒学习方案,该方案依次逐步更新网络和伪标签集。大量的实验结果表明,我们提出的方法优于其他以前的国家的最先进的SSDA方法。
2021-04-01 cs.CV
ADeLA: Automatic Dense Labeling with Attention for Viewpoint Adaptation in Semantic Segmentation
Stanford University(斯坦福大学);Zhejiang University(浙江大学)
我们描述了一个无监督的领域自适应方法的图像内容的变化所造成的语义分割任务的观点。大多数现有方法在共享空间中执行域对齐,并假设从对齐空间到输出的映射是可转移的。然而,由视点变化引起的新内容可能使这种有效对齐的空间无效,从而导致负面适应。我们的方法不需要在两个域之间对齐图像的任何统计数据。相反,它利用仅在彩色图像上训练的视图转换网络来为目标产生语义图像。由于注意力机制引入的归纳偏差,尽管缺乏监督,视图转换网络仍然可以推广到语义图像。此外,为了解决语义图像转换为语义标签的歧义,我们把视图转换网络作为一个功能表示的颜色图像所隐含的未知映射,并提出功能标签幻觉在目标域中生成伪标签。我们的方法超越了基于最先进的对应估计和视图合成方法的基线。此外,它优于最先进的无监督领域自适应方法,利用自我训练和对抗域对齐。我们的代码和数据集将公开提供。
2021-07-29 cs.CV
Effective Pseudo-Labeling based on Heatmap for Unsupervised Domain Adaptation in Cell Detection
Kyushu University(九州大学);RIKEN Center for Integrative Medical Sciences(理化学研究所综合医学科学中心)
细胞检测是生物医学研究中的一个重要课题。最近,深度学习方法使得提高细胞检测的性能成为可能。然而,在特定条件下(源域)用训练数据训练的检测网络可能不能很好地工作在其他条件下(目标域)的数据上,这被称为域移位问题。具体而言,根据研究目的,在不同条件下培养细胞。特征,例如,单元的形状和密度根据条件而改变,并且这种改变可能导致畴移问题。在这里,我们提出了一种无监督的领域自适应方法,用于使用伪细胞位置热图进行细胞检测,其中细胞质心位于地图和选择性伪标记中高斯分布的峰值处。在目标区域的预测结果中,即使峰值位置正确,峰值周围的信号分布也常常具有非高斯形状。因此,使用预测热图中的峰值位置重新生成伪单元位置热图以具有清晰的高斯形状。我们的方法基于不确定性和课程学习选择自信的伪单元位置热图。我们进行了大量的实验表明,与现有的方法相比,我们的方法提高了检测性能在不同的条件下。
2023-03-09 cs.CV
Analysis of Pseudo-Labeling for Online Source-Free Universal Domain Adaptation
Institute of Signal Processing and System Theory , University of Stuttgart, Germany(信号处理与系统理论研究所,斯图加特大学)
本文系统分析了在线无源通用域适应(SF-UniDA)中伪标签对适应结果的影响,发现伪标签准确率比数量更关键,对比损失对中等准确率鲁棒而交叉熵损失在接近完美时更优,揭示了当前方法与理论上界间的差距。
2025-05-30 cs.CV cs.LG
Trust And Balance: Few Trusted Samples Pseudo-Labeling and Temperature Scaled Loss for Effective Source-Free Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genoa(热那亚大学)
本文提出信任与平衡(TAB)无源无监督域自适应方法,通过少量可信样本伪标签(FTSP)和温度缩放自适应损失(TSAL)提升目标域伪标签质量与适应性,在多个数据集上超越现有方法。
2024-09-01 cs.CV
Incremental Pseudo-Labeling for Black-Box Unsupervised Domain Adaptation
University of Fukui(福井大学);Toyohashi University of Technology(丰桥技术科学大学);Niigata University(新潟大学);University of Toyama(富山大学)
针对黑盒无监督域适应中伪标签错误问题,提出增量选择高置信度伪标签并迭代训练目标网络的方法,在三个基准数据集上取得最优性能。
2024-05-26 cs.CV
3D-PL: Domain Adaptive Depth Estimation with 3D-aware Pseudo-Labeling
National Chiao Tung University(国立交通大学);Phiar Technologies(Phiar科技公司)
对于单目深度估计,获取真实数据的地面实况并不容易,因此通常采用使用监督合成数据的领域自适应方法。然而,由于缺乏来自真实数据的监督,这仍然可能导致很大的域缺口。在本文中,我们开发了一个领域自适应框架,通过生成可靠的伪地面实况的深度从实际数据提供直接的监督。具体来说,我们提出了两种伪标签机制:1)基于2D的伪标签,通过测量图像内容相同但风格不同时深度预测的一致性; 2)3D感知的伪标签,通过点云完成网络学习在3D空间中完成深度值,从而在场景中提供更多的结构信息,以改进和生成更可靠的伪标签。在实验中,我们证明了我们的伪标记方法在各种设置中改善了深度估计,包括在训练期间使用立体声对。此外,所提出的方法在现实世界的数据集上表现良好,对几个国家的最先进的无监督领域自适应方法。
2022-09-19 cs.CV
Dual Moving Average Pseudo-Labeling for Source-Free Inductive Domain Adaptation
Carleton University(卡尔顿大学);CIFAR AI Chair(CIFAR人工智能讲席);Amii(阿尔伯塔机器智能研究所)
无监督领域自适应通过将知识从源领域适应到目标领域来减少对深度学习中数据注释的依赖。出于隐私和效率考虑,无源领域自适应通过在不访问源数据的情况下将预训练的源模型适配到未标记的目标域来扩展无监督的领域自适应。然而,大多数现有的无源领域自适应方法集中在转导设置,其中目标训练集也是测试集。在本文中,我们解决无源领域自适应在更现实的归纳设置,目标训练和测试集是互斥的。提出了一种新的半监督微调方法--双滑动平均伪标记法(DMAPL),用于无源归纳领域自适应。我们首先根据预训练源模型的预测置信度得分将目标域中的未标记训练集分为伪标记置信子集和未标记置信度较低的子集。然后,我们提出了一个软标签的移动平均更新策略的基础上的移动平均原型分类器的未标记的子集,逐渐适应的源模型向目标域。实验表明,我们提出的方法达到了最先进的性能,并大大优于以前的方法。
2022-12-15 cs.CV cs.LG
Unveiling Class-Labeling Structure for Universal Domain Adaptation
Nanjing University of Posts and Telecommunications(南京邮电大学)
作为用于无监督领域自适应的更实际的设置,最近引入了通用领域自适应(UDA),其中目标标签集是未知的。UDA中最大的挑战之一是如何确定源域和目标域共享的公共标签集,因为目标域中根本没有可用的标签。在本文中,我们采用了一种概率的方法来定位的共同标签集,其中每个源类可能来自共同的标签集的概率。特别是,我们提出了一种新的方法来评估每个源类的概率从共同的标签集,这个概率是由预测利润累积在整个目标域计算。然后,我们提出了一个简单的通用自适应网络(S-UAN),将概率结构的共同标签集。最后,我们分析了UDA在公共标签集上的推广界,并探讨了UDA目标风险的性质。大量的实验表明,S-UAN在不同的UDA设置工作得很好,并优于国家的最先进的方法大幅度。
2020-10-10 cs.AI cs.CV
Source-Free Domain Adaptive Fundus Image Segmentation with Denoised Pseudo-Labeling
The Chinese University of Hong Kong(香港中文大学)
域适配通常需要访问源域数据以利用它们的分布信息来与目标数据进行域对齐。然而,在许多现实世界的场景中,由于隐私问题,在目标域中的模型适配期间,源数据可能不可访问。研究了无源无监督域自适应问题,即只有源模型和未标记的目标数据可用于模型自适应。针对这一问题,提出了一种新的去噪伪标签方法,该方法有效地利用了源模型和未标记的目标数据,以促进模型自适应伪标签。重要的是,考虑到从源模型生成的伪标签不可避免地由于域移位而带有噪声,我们进一步引入了两种互补的像素级和类级去噪方案,其具有不确定性估计和原型估计,以减少噪声伪标签,并选择可靠的伪标签以提高伪标签的功效。跨域眼底图像分割的实验结果表明,在不使用任何源图像或改变源训练,我们的方法实现了可比的,甚至更高的性能比最先进的源依赖无监督域自适应方法。
2021-09-19 cs.CV eess.IV
Continuous Adaptation of Multi-Camera Person Identification Models through Sparse Non-redundant Representative Selection
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校);University of California, Riverside(加利福尼亚大学河滨分校)
基于图像的个人识别/识别的问题是基于描述他/她的外观的学习模型向个人的图像提供身份。大多数传统的身份识别系统依赖于在繁琐的标记训练数据上学习静态模型。虽然手动标记是监督框架中不可或缺的一部分,但对于大规模识别系统来说,标记大量数据是一个显着的开销。对于相机网络中通常遇到的大型多传感器数据,标记大量样本并不总是意味着更多信息,因为冗余图像会被标记多次。在这项工作中,我们提出了一个基于凸优化的迭代框架,逐步和明智地选择一个稀疏但信息丰富的样本集进行标记,与以前标记的图像重叠最小。我们还使用了一个结构保持稀疏重建的分类器,以减少训练负担通常出现在判别式分类器。两个阶段的方法导致一个新的框架,只涉及新的标记数据,而不是任何昂贵的训练阶段的分类器的在线更新。我们证明了我们的方法在多摄像机人重新识别数据集上的有效性,以证明在多摄像机大数据应用中学习在线分类模型的可行性。使用三个基准数据集,我们验证了我们的方法,并证明了我们的框架实现了卓越的性能与显着较少的手动标记。
2016-07-01 cs.CV
Domain-Specific Block Selection and Paired-View Pseudo-Labeling for Online Test-Time Adaptation
Gwangju Institute of Science Technology(光州科学技术院)
本文提出 DPLOT 框架,通过领域特定块选择和成对视图伪标签生成提升在线测试时自适应的伪标签质量,并在多个基准上显著降低错误率。
2024-05-07 cs.CV
PseudoSeg: Designing Pseudo Labels for Semantic Segmentation
Virginia Tech(弗吉尼亚理工大学);Google Cloud AI(谷歌云AI);Google Brain(谷歌大脑)
半监督学习(SSL)的最新进展表明,一致性正则化和伪标记相结合可以有效地提高低数据状态下图像分类的准确率。与分类相比,语义分割任务需要更密集的标记成本。因此,这些任务极大地受益于数据高效的训练方法。然而,分割中的结构化输出带来了特殊的困难(例如,设计伪标记和增强)以应用现有的SSL策略。为了解决这个问题,我们提出了一种简单而新颖的伪标签重新设计,以生成经过良好校准的结构化伪标签,用于使用未标记或弱标记数据进行训练。我们提出的伪标签策略是网络结构不可知的,适用于一个阶段的一致性训练框架。我们证明了所提出的伪标签策略在低数据和高数据制度的有效性。大量的实验已经证明,通过明智地融合不同的源和强大的数据增强产生的伪标签是至关重要的一致性训练分割。源代码可在https://github.com/googleinterns/wss上获得。
2021-03-30 cs.CV
Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model
University of Stuttgart(斯图加特大学)
针对在线无源通用领域适应中的内存限制问题,提出基于高斯混合模型持续捕捉已知类分布并结合熵检测生成伪标签的方法,在多个数据集上达到SOTA。
2024-11-12 cs.CV
General Domain Adaptation Through Proportional Progressive Pseudo Labeling
University of Colorado Boulder(科罗拉多大学博尔德分校)
领域自适应是将已有标记的源领域知识转移到未标记的目标领域的过程。在过去的几年中,不同的领域自适应技术已经公布。这些方法的一个共同缺陷是,虽然它们可能在一种输入类型(如图像)上工作得很好,但当应用于其他输入类型(如文本或时间序列)时,它们的性能会下降。在本文中,我们介绍了比例渐进伪标记(PPPL),一个简单的,但有效的技术,可以在几行代码中实现,以建立一个更通用的领域自适应技术,可以应用于几种不同的输入类型。在训练阶段开始时,PPPL通过直接用伪标记的目标域样本训练模型,同时从训练集中排除更可能错误伪标记的样本,并推迟对这些样本的训练,从而逐步减少目标域分类错误。在6个不同的数据集上进行的实验表明,PPPL可以击败其他基线,并且具有更好的泛化能力,这些数据集包括异常检测、文本情感分析和图像分类等任务。
2020-12-23 cs.CR cs.CV cs.LG
Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling
Durham University(杜伦大学)
无监督领域自适应的目的是解决分类问题的未标记的样本从目标域,而标记的样本只能从源域和数据分布在这两个领域是不同的。因此,当直接应用于来自目标域的样本时,从源域中的标记样本训练的分类器遭受显著的性能下降。为了解决这个问题,已经提出了不同的方法来学习域不变特征或域特定分类器。在任何一种情况下,目标域中缺少标记的样本可能是一个问题,通常通过伪标记来克服。然而,不准确的伪标记可能会导致学习过程中灾难性的错误积累。在本文中,我们提出了一种新的基于结构化预测的选择性伪标记策略。结构化预测的想法受到以下事实的启发:目标域中的样本在深度特征空间内被很好地聚类,使得可以使用无监督聚类分析来促进准确的伪标记。在四个数据集(即EST-Caltech,EST 31,ImageCLEF-DA和EST-Home)上的实验结果验证了我们的方法优于当代最先进的方法。
2019-11-18 cs.CV cs.LG cs.MM
One-Shot Federated Unsupervised Domain Adaptation with Scaled Entropy Attention and Multi-Source Smoothed Pseudo Labeling
University of Windsor(温莎大学)
针对联邦域适应中的数据隐私、域偏移和多轮通信开销问题,提出单轮FUDA方法,通过SEA聚合可靠模型并结合MSPL与SSCE生成、净化伪标签,在四个基准上以更低成本超越现有方法。
2025-03-13 cs.CV cs.LG
GMM-COMET: Continual Source-Free Universal Domain Adaptation via a Mean Teacher and Gaussian Mixture Model-Based Pseudo-Labeling
Institute of Signal Processing and System Theory, University of Stuttgart(信号处理与系统理论研究所,斯图加特大学)
GMM-COMET通过均值教师和高斯混合模型伪标签方法,实现连续源无关通用领域适应,提升长序列适应的稳定性与鲁棒性。
2026-01-16 cs.CV cs.LG
Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer
Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
无监督领域自适应(UDA)的目的是将知识从一个相关但不同的良好标记的源域转移到一个新的未标记的目标域。大多数现有的UDA方法需要访问源数据,因此当数据是机密的并且由于隐私问题而不可共享时不适用。本文的目的是解决一个现实的设置,只有一个分类模型可用的训练,而不是访问,源数据。为了有效地利用源模型进行自适应,我们提出了一种称为源假设转移(SHOT)的新方法,该方法通过将目标数据特征拟合到冻结的源分类模块(代表分类假设)来学习目标域的特征提取模块。具体来说,SHOT利用信息最大化和自监督学习来进行特征提取模块学习,以确保目标特征通过相同的假设与看不见的源数据的特征隐式对齐。此外,我们提出了一种新的标签转移策略,该策略将目标数据分为两个分裂的基础上的预测(标签信息)的信心,然后采用半监督学习,以提高在目标领域的信心不足的预测精度。如果预测是通过SHOT获得的,我们将标记转移表示为SHOT++。数字分类和对象识别任务的大量实验表明,SHOT和SHOT++实现的结果超过或相当于国家的最先进的,证明了我们的方法对各种视觉领域自适应问题的有效性。代码可在\url{https://github.com/tim-learn/SHOT-plus}上获得。
2021-12-05 cs.CV cs.LG
Contrastive Test-Time Adaptation
Toyota Research Institute(丰田研究院);UC Berkeley(加州大学伯克利分校);Google(谷歌)
测试时自适应是无监督领域自适应的一种特殊设置,其中源域上的训练模型必须适应目标域而无需访问源数据。我们提出了一种新的方法来利用自监督对比学习来促进目标特征学习,以及一个在线伪标签方案,该方案具有显着的去噪伪标签。对比学习任务与伪标记联合应用,对比与MoCo类似但具有源初始化编码器的正对和负对,并且排除由伪标记指示的同类负对。同时,我们在线生成伪标签,并通过目标特征空间中最近邻居之间的软投票来细化它们,通过维护内存队列来实现。我们的方法AdaContrast在主要基准测试中实现了最先进的性能,同时与现有作品相比具有几个理想的特性,包括内存效率,对超参数不敏感以及更好的模型校准。项目页面:sites.google.com/view/adacontrast。
2022-04-21 cs.CV
Vox-UDA: Voxel-wise Unsupervised Domain Adaptation for Cryo-Electron Subtomogram Segmentation with Denoised Pseudo Labeling
School of Computing and Information Technology, University of Wollongong, Australia(澳大利亚卧龙岗大学计算与信息技术学院);Ray and Stephanie Lane Computational Biology Department, Carnegie Mellon University, USA(美国卡内基梅隆大学莱恩计算生物学系);Centre for Nutrition and Food Sciences, The University of Queensland, Australia(澳大利亚昆士兰大学营养与食品科学中心);School of Electrical and Information Engineering, University of Sydney, Australia(澳大利亚悉尼大学电气与信息工程学院);Department of Business Strategy and Innovation, Griffith University, Australia(澳大利亚格里菲斯大学商业战略与创新系);Department of Biological Sciences, Purdue University, USA(美国普渡大学生物科学系);NVIDIA, USA(美国英伟达公司)
本文提出Vox-UDA,首个面向cryo-ET亚体素分割的体素级无监督域自适应方法,通过噪声生成模块模拟目标噪声并采用基于改进双边滤波的去噪伪标签策略缓解域偏移,在模拟与真实数据集上均优于现有UDA方法。
2024-06-30 cs.CV
Putting a Face to the Voice: Fusing Audio and Visual Signals Across a Video to Determine Speakers
Google Inc.(谷歌公司)
在本文中,我们提出了一个系统,通过融合来自音频和视频信号的信息,将视频中的人脸与语音相关联。我们工作的基础是,一种非常简单的生成(弱)语音集群的方法可以与视觉信号相结合,通过聚合视频中的统计数据来有效地将人脸和声音联系起来。这种方法不需要任何特定于该任务的训练数据,并且利用了音频和视频流中信息的自然一致性。它特别适用于跟踪网络上视频中的说话者,其中关于环境的先验信息(例如,扬声器数量、用于波束成形的空间信号)不可用。我们使用这个分析框架在真实世界的数据集上进行了实验,以确定视频中的说话者。考虑到由人类评分员共识确定的地面真实标签,我们的方法具有约71%的准确率。
2017-05-31 cs.CV cs.MM cs.SD
Diffusing More Objects for Semi-Supervised Domain Adaptation with Less Labeling
TNO(荷兰应用科学研究组织);University of Amsterdam(阿姆斯特丹大学);University of Twente(特温特大学)
针对目标检测半监督域适应标注成本高的问题,提出基于扩散模型的随机累加器方法,合并多轮随机边界框预测以提升检测性能,将其作为加权伪标签用于半监督学习,跨域测试效果媲美人工伪标签且无需人工参与。
2023-12-19 cs.AI cs.CV
Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds
Google Research(谷歌研究院)
我们研究了三维点云语义标注的无监督领域自适应问题,特别关注不同LiDAR传感器引起的领域差异。基于对稀疏3D点云从3D表面采样的观察,我们采取完整和标记的方法来恢复底层表面,然后将其传递到分割网络。具体来说,我们设计了一个稀疏体素完成网络(SVCN)来完成稀疏点云的3D表面。与语义标签不同,获得SVCN的训练对不需要手动标记。我们还引入了局部对抗学习来对表面先验进行建模。恢复的3D表面作为一个规范域,语义标签可以在不同的LiDAR传感器之间传输。实验和消融研究表明,我们的新基准的跨域语义标记的激光雷达数据所提出的方法提供了8.2-36.6%的性能比以前的领域自适应方法。
2021-03-30 cs.CV cs.LG
Effortless Active Labeling for Long-Term Test-Time Adaptation
South China University of Technology(华南理工大学)
针对长期测试时自适应的误差累积与标注负担问题,提出每批最多标注1个边界样本的轻松主动标注方法,结合特征扰动选样与动态权重平衡梯度,以更低成本实现优于现有方法的性能。
2025-03-18 cs.AI cs.CV cs.LG
Robust Character Labeling in Movie Videos: Data Resources and Self-supervised Feature Adaptation
University of Southern California(南加州大学)
鲁棒的人脸聚类是实现媒体中视觉角色刻画的计算理解的重要一步。长格式内容的人脸聚类是具有挑战性的,因为外观的变化和缺乏支持的大规模标记数据。我们在本文中的工作集中在这个问题的两个关键方面:缺乏特定领域的训练或基准数据集,以及将在Web图像上学习的人脸嵌入适应于长格式内容,特别是电影。首先,我们展示了一个包含240部好莱坞电影中超过169,000个面部轨迹的数据集,其中包含关于一对面部轨迹是否属于相同或不同角色的弱标签。我们提出了一个离线算法的基础上最近邻搜索嵌入空间挖掘这些轨道的硬例子。然后,我们研究三重损失和基于多视图相关性的方法,以适应人脸嵌入硬的例子。我们的实验结果突出了弱标记数据对特定领域特征自适应的有用性。总的来说,我们发现,基于多视图相关性的自适应产生更多的歧视性和鲁棒性的人脸嵌入。它在下游人脸验证和聚类任务上的性能与该领域的最新成果相当。我们还提出了帆船电影字符基准语料库开发,以增强现有的基准。它由不同种族的演员组成,并为后续的错误分析提供了面部质量标签。我们希望在这项工作中开发的大规模数据集可以进一步推进视频中的自动字符标记。所有资源都可以在https://sail.usc.edu/~ccmi/multiface上免费获得。
2022-02-25 cs.CV eess.IV
Deep Neural Networks In Fully Connected CRF For Image Labeling With Social Network Metadata
Kitware Inc.(基特韦尔公司)
我们提出了一种新的方法,通过融合图像内容描述符与每个图像的社交媒体上下文来预测图像标签。上传到Flickr等社交媒体网站的图像通常具有有意义的相关信息,例如用户上传的评论和其他图像,这些信息与像素内容互补,有助于预测标签。ImageNet~ \cite{imagenet_cvpr09}和MSCOCO~ \cite{LinMBHPRDZ:ECCV14}等预测挑战仅使用像素,而其他方法则纯粹从社交媒体上下文\cite{McAuleyECCV12}进行预测。我们的方法基于一个新的全连接条件随机场(CRF)框架,其中每个节点都是一个图像,并且由两个深度卷积神经网络(CNN)和一个递归神经网络(RNN)组成,它们对文本和视觉节点/图像信息进行建模。CRF图的边权重表示文本相似性和基于链接的元数据,例如用户集和图像组。我们将CRF建模为用于学习和推理的RNN,并将加权排名损失和交叉熵损失纳入CRF参数优化以处理训练数据不平衡问题。我们提出的方法在MIR-9 K数据集上进行了评估,实验结果优于当前最先进的方法。
2018-01-27 cs.CV
Learning from Scale-Invariant Examples for Domain Adaptation in Semantic Segmentation
Information Technology University(信息技术大学)
用于语义分割模型的无监督领域自适应(UDA)的自监督学习方法遭受预测和选择合理的高质量伪标签的挑战。在本文中,我们提出了一种新的方法,利用自监督领域自适应的语义分割模型的尺度不变性属性。我们的算法是基于一个合理的假设,在一般情况下,无论对象和东西(给定的上下文)的大小的语义标签应该是不变的。我们表明,这个约束是违反了目标域的图像,因此可以用来转移标签之间的不同规模的补丁。具体来说,我们表明,语义分割模型产生高熵的输出时,提出了与原始大小的图像相比,与目标域的按比例放大的补丁。这些尺度不变的例子是从目标域的最有信心的图像中提取的。提出了动态类特定熵阈值机制来过滤掉不可靠的伪标签。此外,我们还将焦点损失,以解决类不平衡的问题,自监督学习。大量的实验已经进行,结果表明,利用尺度不变的标记,我们优于现有的自我监督为基础的国家的最先进的领域自适应方法。具体而言,我们通过VGG 16-FCN 8基线网络实现了GTA 5到Cityscapes和SYNTHIA到Cityscapes的1.3%和3.8%的领先优势。
2020-07-28 cs.CV
Robust Target Training for Multi-Source Domain Adaptation
University of Surrey(萨里大学);Samsung AI Center(三星人工智能中心)
给定多个标记的源域和单个目标域,大多数现有的多源领域自适应(MSDA)模型在一个步骤中联合训练来自所有域的数据。这种一步到位的方法限制了他们适应目标领域的能力。这是因为训练集由更多的标记源域数据主导。通过引入第二个训练步骤,可以潜在地减轻源域偏差,其中仅使用伪标签作为监督,使用未标记的目标域数据对模型进行微调。然而,伪标签不可避免地带有噪声,并且在未经检查的情况下使用时会对模型性能产生负面影响。为了解决这个问题,我们提出了一种新的基于双层优化的稳健目标训练(BORT $^2$)方法MSDA。给定任何现有的完全训练的一步MSDA模型,BORT $^2$将其转换为标记函数,为目标数据生成伪标签,并仅使用伪标签目标数据训练目标模型。至关重要的是,目标模型是一个随机的CNN,它被设计为对标记函数生成的标签噪声具有内在的鲁棒性。这种随机CNN将每个目标实例特征建模为高斯分布,其中部署了熵最大化正则化器来测量标签不确定性,这被进一步利用来减轻噪声伪标签的负面影响。训练标记函数和目标模型构成了一个嵌套的双层优化问题,我们基于隐式微分制定了一个优雅的解决方案。大量的实验表明,我们提出的方法达到了最先进的性能在三个MSDA基准,包括大规模的DomainNet数据集。我们的代码将在\url{https://github.com/Zhongying-Deng/BORT2}上提供
2022-10-04 cs.CV
Multi-Source Domain Adaptation and Semi-Supervised Domain Adaptation with Focus on Visual Domain Adaptation Challenge 2019
JD AI Reseach(京东人工智能研究院)
本文概述并比较分析了我们为视觉领域自适应挑战赛(VisDA-2019)中的以下两个任务设计的系统:多源领域自适应和半监督领域自适应。多源领域自适应:我们研究了多源领域自适应任务的像素级和特征级自适应,即,通过CycleGAN直接对标记的目标样本产生幻觉,并通过自学习学习域不变特征表示。此外,进一步研究了融合不同骨干特征的机制,以促进领域不变分类器的学习。源代码和预训练模型可在\url{https://github.com/Panda-Peter/visda2019-multisource}上获得。半监督领域自适应:采用标准的自学习框架,根据已标记的源数据和目标数据构建分类器,并为未标记的目标数据生成伪标签。然后利用这些具有伪标签的目标数据在接下来的迭代中重新训练分类器。此外,基于原型的分类模块,另外利用,以加强预测。源代码和预训练模型可在\url{https://github.com/Panda-Peter/visda2019-semisupervised}上获得。
2019-10-14 cs.CV
Learning from Distributed Eyes: Leveraging Collaborative Perception for Automated Model Adaptation
City University of Hong Kong(香港城市大学);Lingnan University(岭南大学)
针对自动驾驶中感知模型因域偏移难以泛化的问题,提出LDE框架,利用协同感知生成高质量伪标签,通过特征共享、视野过滤和课程学习策略,在3D目标检测上优于现有方法。
2026-09-17 cs.CV cs.LG
Syn-to-Real Unsupervised Domain Adaptation for Indoor 3D Object Detection
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对室内3D物体检测的合成到真实域偏移问题,提出OHDA框架,通过物体感知增强与双分支自适应实现整体和类级域对齐,显著提升真实数据集上的检测性能。
2024-08-26 cs.CV
LabOR: Labeling Only if Required for Domain Adaptive Semantic Segmentation
KAIST(韩国科学技术院)
用于语义分割的无监督领域自适应(UDA)已经被积极地研究以减轻标签丰富的源数据和未标签的目标数据之间的域差距。尽管做出了这些努力,UDA要达到完全监督的绩效还有很长的路要走。为此,我们提出了一个标签只有在需要的策略,劳动力,我们引入了一个人在循环的方法,自适应地给稀缺的标签点,UDA模型是不确定的。为了找到不确定的点,我们使用所提出的自适应像素选择器生成一个不一致的掩码,我们标记这些基于段的区域,以实现近监督的性能,只有一小部分(约2.2%)地面真值点,我们称之为“基于段的像素标记(SPL)”。为了进一步减少人类注释者的努力,我们还提出了“基于点的像素标记(PPL)”,它在生成的不一致掩码中找到最具代表性的标记点。这将工作量从2.2%段标签减少到40点标签,同时最大限度地减少性能下降。通过大量的实验,我们展示了这种新框架的优势,领域自适应语义分割,同时最大限度地减少人力成本。
2021-08-12 cs.CV
Fusing Pseudo Labels with Weak Supervision for Dynamic Traffic Scenarios
PES University(PES大学);Intel Corporation(英特尔公司)
针对动态交通场景中数据分布变化导致的检测性能下降,提出融合多模型伪标签与弱监督的统一标签流程,构建统一标签空间并重训练单一模型,显著提升目标检测性能与域偏移鲁棒性。
2023-08-30 cs.CV
Domain Adaptation with Auxiliary Target Domain-Oriented Classifier
National University of Singapore(新加坡国立大学);Sea AI Lab(Sea AI 实验室)
领域自适应(DA)旨在将知识从标签丰富但异质的领域转移到标签稀缺的领域,它简化了标签工作,引起了广泛的关注。不同于以往的方法侧重于学习域不变的特征表示,最近的一些方法提出了通用的半监督学习(SSL)技术,并直接将其应用到DA任务,甚至实现竞争力的性能。最流行的SSL技术之一是伪标签,它通过由标记数据训练的分类器为每个未标记数据分配伪标签。然而,它忽略了DA问题中的分布偏移,不可避免地偏向于源数据。为了解决这个问题,我们提出了一个新的伪标记框架,称为辅助目标领域导向分类器(ATDOC)。ATDOC通过引入仅针对目标数据的辅助分类器来消除分类器的偏差,从而提高伪标签的质量。具体来说,我们采用记忆机制,并开发两种类型的非参数分类器,即最近的质心分类器和邻域聚合,而不引入任何额外的网络参数。尽管其简单的伪分类目标,ATDOC与邻域聚合显着优于域对齐技术和以前的SSL技术在各种各样的DA基准,甚至害怕标记的SSL任务。
2021-12-16 cs.CV cs.LG
GeT: Generative Target Structure Debiasing for Domain Adaptation
National University of Singapore(新加坡国立大学)
本文提出GeT,通过在线目标生成式分类器和结构相似性正则化缓解源数据与目标类别分布偏差,在多种领域自适应设置下实现稳定性能提升。
2023-08-20 cs.CV
SSLChange: A Self-supervised Change Detection Framework Based on Domain Adaptation
School of Information Science and Technology, Southwest Jiaotong University(西南交通大学信息科学与技术学院);School of Information Science and Engineering, Ocean University of China(中国海洋大学信息科学与工程学院);School of Electrical and Information Engineering, University of the Witwatersrand(金山大学电气与信息工程学院);Faculty of Engineering and Science, University of Agder(阿格德大学工程与科学学院)
本文提出SSLChange自监督对比框架,通过域适配器和层次化对比头,仅用单时相样本预训练,提升遥感变化检测在数据受限时的性能与稳定性。
2024-05-28 cs.CV
Learning What is Worth Learning: Active and Sequential Domain Adaptation for Multi-modal Gross Tumor Volume Segmentation
Shenzhen Key Laboratory of Ubiquitous Data Enabling, Tsinghua Shenzhen International Graduate School, Tsinghua University(深圳 ubiquitous 数据赋能重点实验室、清华大学深圳国际研究生院、清华大学)
针对多模态大体肿瘤体积分割中标注昂贵、源数据受限及现有ADA一次性选择易负迁移的问题,提出主动序贯域适应框架mmActS,依据信息量与代表性动态选择样本,性能显著优于现有ADA方法。
2025-08-28 cs.CV
Refined Pseudo labeling for Source-free Domain Adaptive Object Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Nanjing Artificial Intelligence Research of IA(IA南京人工智能研究院)
域自适应目标检测(DAOD)假设标记的源数据和未标记的目标数据都可用于训练,但这种假设在现实世界的场景中并不总是成立。因此,提出了无源DAOD,以使源训练的检测器适应仅具有未标记目标数据的目标域。现有的无源DAOD方法通常使用伪标记,其中性能严重依赖于置信度阈值的选择。然而,大多数现有的工作采用一个单一的固定阈值的所有类来生成伪标签,忽略了不平衡的类分布,导致偏见的伪标签。在这项工作中,我们提出了一个完善的伪标签框架的无源DAOD。首先,为了生成无偏的伪标签,我们提出了一个类别感知的自适应阈值估计模块,它自适应地为每个类别提供合适的阈值。其次,为了减少不正确的盒回归,引入了一种定位感知的伪标签分配策略,将标签分为确定和不确定的标签,并分别进行优化。最后,在四个自适应任务上的大量实验证明了我们的方法的有效性。
2023-03-07 cs.CV
Domain Adaptive Semantic Segmentation Using Weak Labels
UC Riverside(加州大学河滨分校);NEC Labs America(NEC美国实验室);UC San Diego(加州大学圣迭戈分校)
学习语义分割模型需要大量的逐像素标记。然而,标记的数据可能仅在与期望的目标域不同的域中大量可用,所述期望的目标域仅具有最少的注释或没有注释。在这项工作中,我们提出了一个新的框架,领域自适应语义分割与图像级弱标签在目标领域。弱标签可以基于用于无监督领域自适应(UDA)的模型预测来获得,或者从用于语义分割的新的弱监督领域自适应(WDA)范例中的人类注释者获得。使用弱标签既实用又有用,因为(i)在WDA中收集图像级目标注释非常便宜,并且在UDA中不产生成本,并且(ii)它为类别领域对齐提供了机会。我们的框架使用弱标签,使特征对齐和伪标签之间的相互作用,改善在领域自适应的过程中。具体来说,我们开发了一个弱标签分类模块来强制网络关注某些类别,然后使用这些训练信号来指导所提出的类别对齐方法。在实验中,我们表现出相当大的改进,相对于现有的国家的最先进的UDA,并提出了一个新的基准在WDA设置。项目页面位于http://www.nec-labs.com/~mas/WeakSegDA。
2020-08-12 cs.CV
Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling
Daimler AG R&D(戴姆勒股份公司研发部);TU Dresden(德累斯顿工业大学)
检测小型道路危险,例如丢失的货物,是自动驾驶汽车的一项重要功能。我们解决了这个具有挑战性的,很少解决的问题与视觉系统,利用外观,上下文以及几何线索。为了利用外观和上下文线索,我们提出了一种新的基于深度学习的障碍物检测框架。在这里,使用完全卷积网络的变体来预测(i)自由空间,(ii)道路上意外障碍物和(iii)背景的逐像素语义标记。几何线索利用国家的最先进的检测方法,通过基于模型的统计假设检验预测立体输入图像的障碍。我们提出了一个原则性的贝叶斯框架融合的语义和立体的检测结果。中层Stixel表示用于以灵活、紧凑和鲁棒的方式描述障碍物。我们在Lost and Found数据集上评估了我们的新障碍物检测系统,其中包括高度仅为5 cm的障碍物的非常具有挑战性的场景。总体而言,我们报告了对最先进技术的重大改进,相对性能增益高达50%。特别是,我们实现了超过90%的检测率,距离达50米。我们的系统在我们的自动驾驶平台上以22 Hz运行。
2016-12-20 cs.CV cs.RO
Instance-Aware Pseudo-Labeling and Class-Focused Contrastive Learning for Weakly Supervised Domain Adaptive Segmentation of Electron Microscopy
College of Computer Science and Technology, Huaqiao University(华侨大学计算机科学与技术学院);Department of Digital Economics, Jimei University(厦门理工学院数字经济系)
本文提出实例感知伪标签与类别聚焦对比学习方法,用于弱监督领域自适应显微镜图像分割,有效提升分割性能并缩小与监督方法的差距。
2026-05-01 cs.CV
Domain Adaptation-based Augmentation for Weakly Supervised Nuclei Detection
Definiens(Definiens公司);School Of Medicine, University of St Andrews(圣安德鲁斯大学医学院)
细胞核的检测是计算病理学最基本的组成部分之一。目前最先进的方法是基于深度学习,前提是有大量的标记数据集可用。待分析的患者队列数量的增加、组织染色和适应症的多样性以及数据集标记的成本促使开发新方法以减少跨领域的标记工作。在这项工作中,我们介绍了一个弱监督的“域间”的方法,(i)进行染色归一化和不成对的图像到图像的转换标记的图像在源域上的合成标记的图像在一个未标记的目标域和(ii)使用所得到的合成标记的图像训练检测网络的目标域。大量的实验表明,该方法对国家的最先进的“域内”检测基于全监督学习的优越性。
2019-07-10 cs.CV eess.IV
Reducing Annotation Effort by Identifying and Labeling Contextually Diverse Classes for Semantic Segmentation Under Domain Shift
IIIT Delhi(德里英迪拉·甘地信息技术学院);Indian Institute of Technology Delhi(印度理工学院德里分校)
在主动领域自适应(ADA)中,使用主动学习(AL)来从目标域选择图像的子集,然后将其注释并用于监督领域自适应(DA)。考虑到有监督和无监督DA技术之间的巨大性能差距,ADA允许在注释成本和性能之间进行很好的权衡。现有技术利用模型的不确定性或不一致性的度量来识别要由人类预言者注释的“区域”。然而,这些区域通常由对象边界处的像素组成,这是难以注释的。因此,即使被注释的图像像素的分数减少,总的注释时间和所产生的成本仍然很高。在这项工作中,我们提出了一个ADA策略,它给出了一个框架,确定了一组类,模型最难准确预测,从而推荐语义有意义的区域在选定的框架中进行注释。我们表明,这些“硬”类集是上下文相关的,通常在不同的框架,并在注释时,帮助模型更好地概括。我们提出了两种ADA技术:基于锚点和基于增强的方法在当前训练集的背景下选择互补和多样化的区域。我们的方法在GTA到Cityscapes数据集上实现了66.6 mIoU,注释预算为4.7%,而MADA使用5%的注释实现了64.9 mIoU。我们的技术还可以用作任何现有的基于帧的AL技术的装饰器,例如,我们报告使用我们的方法,CDAL在Cityscapes上的性能提高了1.5%。
2022-10-13 cs.CV
COARSE: Collaborative Pseudo-Labeling with Coarse Real Labels for Off-Road Semantic Segmentation
Jet Propulsion Laboratory, California Institute of Technology(喷气推进实验室,加州理工学院);EPFL, Ecole Polytechnique Federale de Lausanne(苏黎世联邦理工学院)
COARSE通过协作伪标签与粗略真实标签提升越野语义分割的域适应能力,实验证明在多生物环境下的有效性。
2025-03-05 cs.AI cs.CV cs.RO
De-Confusing Pseudo-Labels in Source-Free Domain Adaptation
Sony Semiconductor Israel(索尼半导体以色列公司);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
针对无源域适应中伪标签存在噪声的问题,提出基于噪声转移矩阵学习的伪标签去混淆方法,结合多种现有方法在三个基准数据集上取得最优结果。
2024-10-31 cs.CV
You Only Label Once: 3D Box Adaptation from Point Cloud to Image via Semi-Supervised Learning
Hong Kong University of Science and Technology(香港科技大学);DJI Automotive(大疆车载)
提出基于半监督学习的3D框自适应方法,仅需在点云上标注一次,即可自动调整Lidar 3D框参数以生成图像级长方体标注,显著减少标注工作量并达到人类水平精度。
2023-09-12 cs.CV
Temporal Model Adaptation for Person Re-Identification
University of Udine(乌迪内大学);University of California Riverside(加州大学河滨分校)
人物身份识别是计算机视觉中一个开放的、具有挑战性的问题。大部分的努力已经花费在设计最佳的特征表示或学习最佳的匹配度量。大多数方法都忽略了随着时间的推移调整所选特征或学习模型的问题。为了解决这个问题,我们提出了一个时间模型适应计划与人类在循环。我们首先介绍了一种相似性-相异性学习方法,它可以通过随机交替方向方法的乘数优化过程以增量方式进行训练。然后,为了实现有限的人力时间适应,我们利用基于图形的方法,向用户提供最丰富的探针库匹配,应该用来更新模型。三个数据集上的结果表明,我们的方法的性能与最先进的方法相当,甚至更好,同时减少了约80%的手动成对标记工作。
2016-07-25 cs.CV
MAPSeg: Unified Unsupervised Domain Adaptation for Heterogeneous Medical Image Segmentation Based on 3D Masked Autoencoding and Pseudo-Labeling
Columbia University(哥伦比亚大学);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院);University of Maryland, College Park(马里兰大学帕克分校);University of California, Irvine(加州大学欧文分校);University of Rochester(罗切斯特大学);Universidade Federal de São Paulo(圣保罗联邦大学);Duke University(杜克大学);Emory University(埃默里大学)
本文提出统一无监督域自适应框架MAPSeg,结合3D掩码自编码与伪标签,首次同时支持集中式、联邦式和测试时UDA,并在婴儿脑MRI和心脏CT-MRI分割上显著超越现有方法。
2024-03-30 cs.AI cs.CV cs.LG
Asymmetric Tri-training for Unsupervised Domain Adaptation
The University of Tokyo(东京大学)
在大量标记样本上训练的深层模型可以提高许多任务的准确性。重要的是将这样的模型应用到不同的领域,因为在不同的领域中收集许多标记的样本是昂贵的。在无监督领域自适应中,需要训练分类器,当提供有标记的源样本和未标记的目标样本时,该分类器在目标域上工作良好。虽然许多方法旨在匹配源样本和目标样本的分布,但简单地匹配分布并不能确保目标域上的准确性。为了学习目标域的判别表示,我们假设人工标记目标样本可以产生良好的表示。Tri-training同样利用三个分类器来为未标记的样本提供伪标签,但该方法并不假设标记来自不同domain.In本文中,我们提出了一种用于无监督领域自适应适应的非对称Tri-training方法,其中我们为未标记的样本分配伪标签,并训练神经网络,就好像它们是真正的标签。在我们的工作中,我们不对称地使用三个网络。所谓非对称,我们的意思是两个网络用于标记未标记的目标样本,一个网络由样本训练以获得目标区分表示。我们评估我们的方法数字识别和情感分析数据集。我们所提出的方法达到了最先进的性能的基准数字识别数据集的领域自适应。
2017-05-13 cs.AI cs.CV