Sensor Transfer: Learning Optimal Sensor Effect Image Augmentation for Sim-to-Real Domain Adaptation
Robotics Institute, University of Michigan(密歇根大学机器人研究所);Department of Mechanical Engineering, University of Michigan(密歇根大学机械工程系);Department of Naval Architecture and Marine Engineering, University of Michigan(密歇根大学 naval architecture and marine engineering 系)
随着深度学习的进步,基准数据集的性能得到了大幅提高。尽管如此,由于两个不同数据集之间可能发生的域偏移,跨数据集泛化性能仍然相对较低。这种域转移在合成数据集和真实数据集之间尤其夸张。已经进行了大量的研究来减少这种差距,特别是通过建模场景的空间布局中的变化,例如遮挡,以及场景环境因素,例如一天中的时间和天气效果。然而,很少有工作已经解决了建模的传感器域中的变化作为一种手段,减少合成到真正的域差距。用于捕获数据集的相机或传感器将伪影引入到传感器模型所特有的图像数据中,这表明传感器效应也可能有助于域偏移。为了解决这个问题,我们提出了一个由基于物理的增强函数组成的学习增强网络。我们提出的增强管道将传感器模型的特定效果-色差,模糊,曝光,噪声和色温-从真实数据集转移到合成数据集。我们提供的实验表明,增强合成训练数据集与建议的学习增强框架减少了合成和真实域之间的域差距,在城市驾驶场景中的目标检测。
2019-01-07 cs.CV
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
由于深度神经网络中的脆弱泛化,使用来自任何感兴趣目标域的数据来适应源域的模型的问题已经变得突出。虽然已经出现了几种测试时自适应技术,但在目标数据可用性有限的情况下,它们通常依赖于合成数据增强。在本文中,我们考虑了单次自适应的挑战性设置,并探索了增强策略的设计。我们认为,现有的方法所利用的增强是不足以处理大的分布偏移,因此提出了一种新的方法SiSTA(单次目标增强),首先微调生成模型从源域使用单次目标,然后采用新的采样策略策展合成目标数据。使用国家的最先进的领域自适应方法的实验,我们发现,SiSTA产生高达20\%的改进超过现有的基线下,具有挑战性的变化,在面部属性检测,它执行竞争力的Oracle模型通过训练获得一个更大的目标数据集。
2022-10-29 cs.CV cs.LG stat.ML
Shuffle PatchMix Augmentation with Confidence-Margin Weighted Pseudo-Labels for Enhanced Source-Free Domain Adaptation
Rochester Institute of Technology(罗切斯特技术学院);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出 Shuffle PatchMix 数据增强与置信度边际加权伪标签策略,通过生成多样化增强样本并抑制标签噪声,在 PACS、VisDA-C 和 DomainNet-126 上取得 SFDA 最优结果。
2025-05-30 cs.CV
Randomized Histogram Matching: A Simple Augmentation for Unsupervised Domain Adaptation in Overhead Imagery
University of Michigan(密歇根大学);Duke University(杜克大学);University of Montana(蒙大拿大学)
本文提出随机直方图匹配(RHM)作为一种简单高效的无监督训练增强方法,用于缓解俯视影像中的视觉域偏移问题,在建筑物分割任务上以更低复杂度取得与最先进无监督域适应方法相当或更优的性能。
2023-08-11 cs.CV
Target-driven One-Shot Unsupervised Domain Adaptation
Italian Institute of Technology(意大利理工学院);University of Genoa(热那亚大学);University of Verona(维罗纳大学)
针对仅含一个无标签目标样本的OSUDA问题,提出TOS-UDA框架,以目标风格引导可学习增强并联合风格对齐,在Digits和DomainNet上取得领先或可比性能。
2023-07-17 cs.CV
LLMs-based Augmentation for Domain Adaptation in Long-tailed Food Datasets
School of Computing and Information Systems(计算与信息系统学院)
本文提出基于大语言模型的框架,用于解决长尾食品数据集中的领域适应问题,通过生成食品标题和配料并投影到共享嵌入空间以提升识别性能。
2025-11-20 cs.CV
SAGA: Semantic-Aware Gray color Augmentation for Visible-to-Thermal Domain Adaptation across Multi-View Drone and Ground-Based Vision Systems
Department of Aerospace Engineering, Indian Institute of Science(航空航天工程系,印度科学研究院);Robert Bosch Centre for Cyber Physical Systems, Indian Institute of Science(网络物理系统研究中心,印度科学研究院)
提出SAGA策略,通过提取对象级特征减轻颜色偏差,并引入多传感器数据集IndraEye,显著提升可见光到热红外的域自适应目标检测性能。
2025-04-22 cs.CV
SF(DA)$^2$: Source-free Domain Adaptation Through the Lens of Data Augmentation
Yonsei University(延世大学);Seoul National University(首尔大学)
针对无源域适应中数据增强的挑战,提出SF(DA)$^2$方法,通过构建增强图、谱聚类及隐式特征增强和特征解缠正则化,在2D图像、3D点云及不平衡数据集上取得优越性能。
2024-03-16 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
生成真实图像标签的成本很高,并且真实图像和模拟图像之间存在域差距,因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外,用流图增强RGB在简单的语义分割中具有改进的性能,并且跨域保留几何形状。因此,通过用密集光流图增强图像,可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Shuffle Augmentation of Features from Unlabeled Data for Unsupervised Domain Adaptation
Xpeng motors(小鹏汽车);Nanyang Technological University(南洋理工大学);University of Pennsylvania(宾夕法尼亚大学);Microsoft(微软)
无监督领域自适应(UDA)是迁移学习的一个分支,在目标样本的标签不可用的情况下,近年来在对抗训练模型的帮助下得到了广泛的研究和发展。虽然现有的UDA算法能够引导神经网络提取可转移的和有区别的特征,但分类器仅仅是在标记的源数据的监督下训练的。由于源域和目标域之间不可避免的差异,分类器很难知道目标分类边界。在本文中,洗牌增强功能(SAF),一种新的UDA框架,提出了解决这个问题,通过提供监督信号的分类器从目标特征表示。SAF从目标样本中学习,自适应地提取类别感知的目标特征,并隐式引导分类器找到全面的类别边界。大量实验表明,SAF模块可以集成到任何现有的对抗UDA模型,以实现性能改进。
2022-01-28 cs.CV cs.LG
What Has Been Overlooked in Contrastive Source-Free Domain Adaptation: Leveraging Source-Informed Latent Augmentation within Neighborhood Context
The University of British Columbia(不列颠哥伦比亚大学);Department of Mechanical Engineering(机械工程系);Department of Computer Science(计算机科学系)
针对无源域自适应中难以估计域差距的问题,本文提出一种基于源预训练模型引导的邻域潜在特征增强方法,通过提升正键信息量优化对比学习,在多个基准数据集上超越现有方法。
2024-12-18 cs.CV cs.LG
Data Augmentation with norm-VAE for Unsupervised Domain Adaptation
Durham University(杜伦大学);University of Essex(埃塞克斯大学)
从一个新的角度研究了图像分类中的无监督领域自适应问题。与大多数现有的对齐数据分布或学习域不变特征的方法相比,我们直接在高维均匀特征空间内学习统一的分类器,而无需显式的领域自适应。为此,我们采用有效的选择性伪标记(SPL)技术,以利用目标域中的未标记的样品。令人惊讶的是,计算简单的分类器可以很好地处理源域和目标域之间的数据分布差异(例如,浅层多层感知器)在原始特征空间中训练。此外,我们提出了一种新的生成模型norm-VAE生成合成特征的目标域作为一个数据增强策略,以加强分类器的训练。在几个基准数据集上的实验结果表明,伪标签策略本身可以导致与许多最先进的方法相当的性能,而使用norm-VAE进行特征增强可以进一步提高性能在大多数情况下。因此,我们提出的方法(即naive-SPL和norm-VAE-SPL)可以实现新的最先进的性能,在Digits-Caltech和ImageCLEF-DA数据集上的平均准确率分别为93.4%和90.4%,在Digits,Digit 31和Digit-Home数据集上的性能相当,平均准确率分别为97.2%,87.6%和67.9%。
2020-12-01 cs.CV cs.LG
Zero-Shot Domain Adaptation in CT Segmentation by Filtered Back Projection Augmentation
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute(人工智能研究院);Higher School of Economics(高等经济学院)
领域转移是医学计算机视觉中最突出的挑战之一。由于扫描仪参数和成像协议的巨大差异,即使从同一个人和同一台扫描仪获得的图像也可能存在显著差异。我们解决了计算机断层扫描(CT)图像中的变化所造成的重建过程中使用的不同的卷积核,在CT的关键域移位因子。卷积核的选择会影响像素的粒度、图像平滑度和噪声水平。我们分析了成对的CT图像的数据集,其中平滑和锐利的图像是从具有不同内核的相同正弦图重建的,从而提供相同的解剖结构但不同的风格。虽然相同的预测是理想的,我们表明,一致性,衡量成对预测之间的平均骰子,只有0.54。我们提出了滤波反投影增强(FBPAug),一个简单的和令人惊讶的有效的方法来增强CT图像在正弦空间模拟重建不同的内核。我们应用所提出的方法在一个zero-shot域自适应设置,并显示出的一致性从0.54提升到0.92优于其他增强方法。既不需要源域数据的特定准备,也不需要目标域数据,因此我们公开发布的FBPAug可以用作任何基于CT的任务中的zero-shot域适配的即插即用模块。
2022-06-08 cs.CV eess.IV
TridentAdapt: Learning Domain-invariance via Source-Target Confrontation and Self-induced Cross-domain Augmentation
Huawei MRC(华为媒体技术研究院)
由于难以获得真实标签,从虚拟世界数据集学习对于语义分割等现实应用非常重要。从领域自适应的角度来看,关键的挑战是学习输入的领域不可知表示,以便从虚拟数据中受益。在本文中,我们提出了一种新的三叉戟式架构,强制执行共享的特征编码器,以满足对抗性的源和目标的约束,同时,从而学习域不变的特征空间。此外,我们还引入了一种新的训练管道,使自诱导跨域数据增强在向前通过。这有助于进一步减小畴隙。结合自我训练过程,我们在基准数据集上获得了最先进的结果(例如GTA 5或Synthia到Cityscapes的适应)。代码和预训练模型可在https://github.com/HMRC-AEL/TridentAdapt上获得
2022-05-15 cs.CV
Adversarial and Random Transformations for Robust Domain Adaptation and Generalization
National Innovation Institute of Defense Technology(国防科技创新研究院)
数据增强已被广泛用于在训练深度神经网络时提高泛化能力。最近的工作表明,使用最坏情况下的转换或对抗增强策略可以显着提高准确性和鲁棒性。然而,由于图像变换的不可微性质,必须应用诸如强化学习或演化策略的搜索算法,这对于大规模问题在计算上是不实用的。在这项工作中,我们表明,通过简单地应用随机数据增强的一致性训练,可以获得领域自适应(DA)和泛化(DG)的最先进的结果。为了进一步提高对抗样本的准确性和鲁棒性,提出了一种基于空间Transformer网络的可微对抗数据增强方法。基于组合对抗和随机变换的方法在多个DA和DG基准数据集上的性能优于最先进的方法。此外,所提出的方法显示出良好的鲁棒性腐败,这也是常用的数据集上验证。
2022-11-13 cs.CV cs.LG
Building Manufacturing Deep Learning Models with Minimal and Imbalanced Training Data Using Domain Adaptation and Data Augmentation
Purdue University(普渡大学);National Taiwan University(台湾大学)
本文提出一种域适应与自编码器数据增强相结合的方法,在标注样本极少且类别不平衡的条件下实现晶圆缺陷检测,实验证明其性能优于其他算法。
2023-05-31 cs.CV cs.LG
Augmentation based unsupervised domain adaptation
King’s College London(伦敦国王学院);UCL(伦敦大学学院);Cerebriu A/S(Cerebriu公司);University of Copenhagen(哥本哈根大学)
在医学图像分析中插入深度学习,导致在疾病分类以及异常检测和分割等几个应用中开发了最先进的策略。然而,即使是最先进的方法也需要大量不同的数据来概括。因为在现实的临床场景中,数据采集和注释是昂贵的,所以在小的和不具有代表性的数据上训练的深度学习模型在部署在与用于训练的数据不同的数据(例如来自不同扫描仪的数据)中时往往表现出色。在这项工作中,我们提出了一个域自适应方法来缓解这个问题的分割模型。我们的方法利用了对抗域适应和一致性训练的特性,以实现更强大的适应。使用两个带有白质高强度(WMH)注释的数据集,我们证明了所提出的方法即使在个别策略往往失败的角落情况下也能提高模型的泛化能力。
2022-02-23 cs.CV cs.LG eess.IV
Unsupervised Cross-Modality Domain Adaptation for Segmenting Vestibular Schwannoma and Cochlea with Data Augmentation and Model Ensemble
Vanderbilt University(范德堡大学)
磁共振成像(MRI)被广泛用于量化前庭神经鞘瘤和耳蜗。最近,深度学习方法在分割这些结构方面表现出了最先进的性能。然而,训练分割模型可能需要在目标域中手动标记,这是昂贵且耗时的。为了克服这个问题,域自适应是一种有效的方法,利用信息从源域获得准确的分割,而不需要手动标签在目标域。在本文中,我们提出了一个无监督的学习框架分割VS和耳蜗。我们的框架利用来自对比增强的T1加权(ceT 1-w)MRI及其标签的信息,并在目标域中没有任何标签的情况下为T2加权MRI生成分割。我们首先应用生成器来实现图像到图像的翻译。接下来,我们从不同模型的集合中集成输出,以获得最终的分割。为了应对来自不同站点/扫描仪的MRI,我们在训练期间应用了各种“在线”增强,以更好地捕获几何变化以及图像外观和质量的变化。我们的方法很容易构建,并产生有前途的分割,在验证集中,VS和耳蜗的平均Dice得分分别为0.7930和0.7432。
2022-08-24 cs.CV eess.IV
Fine-tuning Is a Surprisingly Effective Domain Adaptation Baseline in Handwriting Recognition
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
针对手写识别任务,本文证明使用CTC训练的神经网络结合数据增强进行简单微调,在小规模目标域数据集上不仅效果显著且能有效抵抗过拟合。
2025-04-30 cs.CV
Domain Adaptation-based Augmentation for Weakly Supervised Nuclei Detection
Definiens(Definiens公司);School Of Medicine, University of St Andrews(圣安德鲁斯大学医学院)
细胞核的检测是计算病理学最基本的组成部分之一。目前最先进的方法是基于深度学习,前提是有大量的标记数据集可用。待分析的患者队列数量的增加、组织染色和适应症的多样性以及数据集标记的成本促使开发新方法以减少跨领域的标记工作。在这项工作中,我们介绍了一个弱监督的“域间”的方法,(i)进行染色归一化和不成对的图像到图像的转换标记的图像在源域上的合成标记的图像在一个未标记的目标域和(ii)使用所得到的合成标记的图像训练检测网络的目标域。大量的实验表明,该方法对国家的最先进的“域内”检测基于全监督学习的优越性。
2019-07-10 cs.CV eess.IV
Effective Dual-Region Augmentation for Reduced Reliance on Large Amounts of Labeled Data
Rochester Institute of Technology(罗切斯特理工学院);DEVCOM Army Research Laboratory(国防部陆军研究实验室)
本文提出双区域增强方法,通过对前景加噪声、背景打乱来提升数据多样性,在SFDA和行人ReID任务上减少标注依赖并超越现有方法。
2025-06-03 cs.CV
Augmenting and Aligning Snippets for Few-Shot Video Domain Adaptation
Nanyang Technological University(南洋理工大学)
为了使视频模型能够在不同的环境中无缝地跨视频任务传输和应用,引入了视频无监督领域自适应(VUDA)来提高视频模型的鲁棒性和可传输性。然而,目前的VUDA方法依赖于大量的高质量的未标记的目标数据,这在现实世界中可能是不可用的。因此,我们考虑一个更现实的\textit{Few-Shot Video-based Domain Adaptation}(FSVDA)的情况下,我们适应视频模型只有几个目标视频样本。虽然一些方法已经触及图像和FSVDA中的Few-Shot领域自适应(FSDA),但是它们主要依赖于用于目标域扩展的空间增强,其中在实例级统计地执行对准。然而,视频包含更多的知识,在丰富的时间和语义信息,这应该充分考虑时,增加目标域和执行对齐FSVDA。我们提出了一种新的SSA2lign来解决FSVDA在片段级别,其中目标域是通过一个简单的片段级增强扩展,然后通过语义和统计上的片段的注意对齐,其中片段的语义对齐是通过多个角度进行的。实证结果证明了SSA2lign在多个跨域动作识别基准测试中的最新性能。
2023-03-18 cs.CV
Singular Value Penalization and Semantic Data Augmentation for Fully Test-Time Adaptation
University of Macau(澳门大学);Alibaba Group(阿里巴巴集团);Sichuan Agricultural University(四川农业大学);Sun Yat-Sen University(中山大学)
针对全测试时自适应中现有方法多样性提升不足、易过拟合的问题,提出最大化奇异值和并最小化其方差的方法,结合跨批次语义数据增强,有效提升预测多样性与判别性,性能优于部分现有最优方法。
2023-12-10 cs.AI cs.CV
Ensembling and Test Augmentation for Covid-19 Detection and Covid-19 Domain Adaptation from 3D CT-Scans
Junia(朱尼亚学院);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);University of the Basque Country UPV/EHU(巴斯克大学)
本文针对COV19D竞赛,提出基于PDAtt-Unet分割和多种3D CNN骨干网络集成及测试增强的方法,用于新冠肺炎检测与领域自适应,相比基线F1分数提升14%。
2024-03-17 cs.CV cs.LG eess.IV
QD-PCQA: Quality-Aware Domain Adaptation for Point Cloud Quality Assessment
本文提出QD-PCQA框架,通过Rank-weighted Conditional Alignment和Quality-guided Feature Augmentation策略提升点云质量评估的泛化能力。
2026-03-16 cs.CV
Robust Cross-vendor Mammographic Texture Models Using Augmentation-based Domain Adaptation for Long-term Breast Cancer Risk
University of Copenhagen(哥本哈根大学);Gentofte Hospital(根措夫特医院);ScreenPoint Medical
目的:风险分层乳腺癌筛查可能会提高早期发现和效率,而不会影响质量。然而,基于现代乳腺X线摄影的风险模型不能确保跨供应商域的适应性,并且依赖于与短期风险相关的癌症前兆,这可能限制长期风险评估。我们报告了一个跨供应商的乳房X线摄影纹理模型的长期风险。方法:使用两个系统设计的病例对照数据集对纹理模型进行鲁棒训练。通过从训练中排除具有诊断/潜在恶性肿瘤的样本来学习指示未来乳腺癌的纹理特征。一种基于增强的域自适应技术,基于乳房X线摄影视图的风味化,确保了跨供应商域的泛化。该模型在66,607名连续筛选的丹麦女性和25,706名荷兰女性中进行了验证。在筛选后两年内对间隔癌症(IC)和筛选后两年内的长期癌症(LTC)进行了性能评价。纹理模型与已建立的风险因素相结合,以标记10%具有最高风险的女性。结果如下:在丹麦妇女中,纹理模型实现了一个区域下的受试者工作特性(AUC)为0.71和0.65的IC和LTC,分别。在荷兰妇女与全息处理的意见,AUC没有不同的AUC在丹麦妇女与风味的意见。对于LTC,纹理与已确定的风险因素相结合的AUC增加至0.68。被标记为高风险的10%妇女占IC的25.5%和LTCs的24.8%。结论:该纹理模型稳健地估计了长期乳腺癌风险,同时适应了一个看不见的处理供应商域,并确定了一个临床相关的高风险亚组。
2023-01-10 cs.CV physics.med-ph
ADLDA: A Method to Reduce the Harm of Data Distribution Shift in Data Augmentation
Weifang University of Science and Technology(潍坊科技学院)
本文提出 ADLDA 数据增强方法,通过划分子域、引入域标签并结合域适应技术,缓解增强导致的分布偏移,提升模型在多数据集上的鲁棒性、准确性及关键特征识别能力。
2024-05-11 cs.CV
DefSynUS: Real-time Patient-specific Intrahepatic Vessel Identification via Deformation-Aware CT-US Domain Adaptation
Inria(法国国家信息与自动化研究所);University of Strasbourg(斯特拉斯堡大学);Technical University of Munich(慕尼黑技术大学);University of Basel(巴塞尔大学);Institute of Image-Guided Surgery(图像引导手术研究所)
提出一种基于物理渲染和形变感知数据增强的域自适应框架,无需术前超声即可实现术中实时、患者特异性的肝内血管分支识别。
2026-05-28 cs.CV
Thermal-Infrared Remote Target Detection System for Maritime Rescue based on Data Augmentation with 3D Synthetic Data
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文针对海上救援热红外目标检测中数据稀缺和合成-真实域差距问题,提出基于三维游戏合成数据增强、目标-背景分离域适应算法及固定权重核分割网络,显著提升了检测性能。
2023-10-31 cs.CV
VisDA 2022 Challenge: Domain Adaptation for Industrial Waste Sorting
Boston University(波士顿大学);Worcester Polytechnic Institute(伍斯特理工学院);Georgetown University(乔治城大学);MIT-IBM Watson Lab(麻省理工学院-IBM沃森实验室);Hanbat National University(韩巴国立大学);SI Analytics(SI分析公司);Tel-Aviv University(特拉维夫大学);Beijing Institute of Technology(北京理工大学)
标签高效和可靠的语义分割对于许多现实生活中的应用至关重要,特别是对于具有高度视觉多样性的工业环境,例如废物分类。在工业废物分类中,最大的挑战之一是输入流的极端多样性,这取决于分类设施的位置,设施中可用的设备以及一年中的时间等因素,所有这些因素都会显著影响废物流的组成和视觉外观。数据中的这些变化被称为“视觉领域”,并且需要模型对这些领域的标签有效适应,以成功地对工业废物进行语义分割。为了测试计算机视觉模型在这一任务上的能力,我们提出了VisDA 2022挑战工业废物分类的领域自适应。我们的挑战结合了一个完全注释的废物分类数据集ZeroWaste,从不同地点和季节的两个真实材料回收设施收集,以及一个新的程序生成的合成废物分类数据集SynthWaste。在这次比赛中,我们的目标是回答两个问题:1)我们能否利用领域自适应技术来最小化领域差距?以及2)合成数据增强是否可以提高该任务的性能并帮助适应不断变化的数据分布?比赛结果表明,工业废物检测提出了一个真正的领域自适应问题,领域泛化技术,如增强,集成等,提高未标记目标域示例的整体性能,并且有效地利用合成数据仍然是一个开放的问题。请访问https://ai.bu.edu/visda-2022/
2023-03-26 cs.CV
Fine-Grained Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation
Radboud University Medical Center(拉德堡德大学医学中心);The Netherlands Cancer Institute(荷兰癌症研究所);Macao Polytechnic University(澳门理工大学)
本文提出一种细粒度无监督跨模态域适应框架,通过向量控制生成器合成伪图像并搜索特征字典进行数据增强,显著提升了前庭神经鞘瘤和耳蜗的分割性能与鲁棒性。
2023-11-25 cs.CV cs.LG eess.IV
TeSLA: Test-Time Self-Learning With Automatic Adversarial Augmentation
EPFL(洛桑联邦理工学院);CHUV(洛桑大学医院)
大多数最近的测试时自适应方法只关注分类任务,使用专门的网络架构,破坏模型校准或依赖于来自源域的轻量级信息。为了解决这些问题,本文提出了一种新的测试时自学习方法与自动对抗增强称为TeSLA的适应预训练的源模型的未标记的流测试数据。与传统的基于交叉熵的自学习方法不同,本文通过互信息和在线知识蒸馏的隐式紧密联系,引入了一种新的测试时间损失函数。此外,我们提出了一个可学习的高效对抗增强模块,通过模拟高熵增强图像进一步增强在线知识蒸馏。我们的方法实现了国家的最先进的分类和分割结果的几个基准和类型的域的变化,特别是在具有挑战性的测量位移的医学图像。与竞争方法相比,TeSLA还受益于几个理想的特性,包括校准、不确定性度量、对模型架构的不敏感性和源培训策略,所有这些都得到了广泛消融的支持。我们的代码和模型可以在GitHub上找到。
2023-03-17 cs.CV
Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
从单个图像感知3D人体的能力具有从娱乐和机器人到神经科学和医疗保健的多种应用。人体网格恢复的一个基本挑战是收集训练所需的地面真实3D网格目标,这需要繁重的运动捕获系统,并且通常限于室内实验室。因此,虽然在这些限制性环境中收集的基准数据集取得了进展,但由于分布偏移,模型无法推广到现实世界的“野外”情景。我们提出了域自适应三维姿态增强(DAPA),一个数据增强方法,提高了模型的泛化能力,在野外的情况。DAPA结合了基于合成数据集的方法的优势,通过从合成网格中获得直接监督,以及通过使用来自目标数据集的地面真实2D关键点的领域自适应方法。我们定量地表明,微调与DAPA有效地提高了基准3DPW和AGORA的结果。我们进一步展示了DAPA在一个具有挑战性的数据集上的实用性,该数据集是从现实世界的亲子互动视频中策划的。
2022-09-14 cs.CV
Angular Visual Hardness
Rice University(莱斯大学);Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(矢量研究所);Caltech(加州理工学院)
最近的卷积神经网络(CNN)已经带来了令人印象深刻的性能,但往往受到校准不良的影响。他们往往过于自信,模型的信心并不总是反映出潜在的真正的模糊性和硬度。在本文中,我们提出了角度视觉硬度(AVH),由样本特征嵌入和目标分类器之间的归一化角距离给出的分数来衡量样本硬度。我们通过深入和广泛的科学研究验证了这一分数,并观察到具有最高准确度的CNN模型也具有最佳AVH分数。这与早期的一项发现一致,即最先进的模型可以改善对较难样本的分类。我们观察到,AVH的训练动态与训练损失相比有很大不同。具体来说,AVH对于所有样本都很快达到平台期,即使训练损失不断改善。这表明需要设计更好的损失函数,可以更有效地针对更难的例子。我们还发现AVH与人类视觉硬度具有统计学显著相关性。最后,我们证明了AVH的好处,如自训练领域自适应和领域泛化的各种应用。
2020-07-10 cs.CV cs.LG stat.ML
GAMA: Geometry-Aware Manifold Alignment via Structured Adversarial Perturbations for Robust Domain Adaptation
针对域适应中源目标域流形差异大、现有方法忽略精确流形对齐与结构化扰动探索的问题,提出几何感知流形对齐框架GAMA,通过切空间探索和流形约束优化实现显式对齐,理论与实验均验证其在多数据集上的性能优势。
2025-05-21 cs.CV
From Traditional to Modern : Domain Adaptation for Action Classification in Short Social Video Clips
IIIT Hyderabad(海得拉巴国际信息技术学院)
与传统视频数据集相比,像葡萄藤这样的短互联网视频剪辑呈现出明显的野生分布。在本文中,我们专注于使用传统的标记数据集的野生葡萄藤无监督动作分类的问题。为此,我们使用一个简单的领域自适应策略的数据增强。我们利用语义word2vec空间作为一个共同的子空间嵌入视频功能,标记的源域和未标记的目标域。我们的方法增量地用目标样本增加标记源,并迭代地修改嵌入函数,以将源和目标分布放在一起。此外,我们利用多模态表示,结合了嘈杂的语义信息,以散列标签的形式。我们证明了这种简单的适应技术的有效性测试集的葡萄树,并取得显着的改善性能。
2016-10-18 cs.CV
In-context Cross-Density Adaptation on Noisy Mammogram Abnormalities Detection
VinBrain JSC(VinBrain股份公司);VinBigData(Vin大数据公司);University of Education(教育大学);University of Medicine and Pharmacy(医药大学);Vietnamese-German University(越德大学)
该研究针对乳腺密度分布影响钼靶检测模型泛化的问题,提出结合NLTE框架的DAOD方法与鲁棒增强框架,在带噪声的VinDr-Mammo数据集上实现mAP约5%的提升,验证了域适配在乳腺钼靶成像中的价值。
2023-06-12 cs.AI cs.CV
Robust pedestrian detection in thermal imagery using synthesized images
Università degli Studi di Firenze(佛罗伦萨大学)
在本文中,我们提出了一种方法,用于改善行人检测在热域中使用两个阶段:首先,生成数据增强的方法,然后领域自适应方法使用生成的数据适应RGB行人检测器。我们的模型,基于最小二乘生成对抗网络,训练合成输入RGB图像的真实热版本,然后用于增强可用于训练的有限数量的标记热行人图像。我们应用我们的生成数据增强策略,以适应预训练的YOLOv 3行人检测器在仅热域中的检测。实验结果表明,该方法的有效性:使用不到50%的真实热训练数据,并依赖于领域自适应阶段模型生成的合成数据,在KAIST多光谱行人检测基准测试中取得了最好的结果;即使有更多的真实热数据可用将GAN生成的图像添加到训练数据导致改进的性能,从而表明这些图像用作数据增强的有效形式。据我们所知,我们的检测器在KAIST上实现了最好的单模态检测结果。
2021-02-03 cs.CV
D-GAP: Improving Out-of-Domain Robustness via Dataset-Agnostic and Gradient-Guided Augmentation in Frequency and Pixel Spaces
D-GAP通过频率和像素空间的梯度引导增强提升域外鲁棒性,有效减少频率偏倚并恢复细节。
2026-10-01 cs.AI cs.CV
Unsupervised Domain Adaptation for Action Recognition via Self-Ensembling and Conditional Embedding Alignment
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院);Amazon(亚马逊公司)
本文提出μDAR架构,通过一致性正则化增强、时间集成伪标签生成和条件分布对齐三个模块的联合优化,解决可穿戴动作识别中标注稀缺和域偏差问题,在四个基准数据集上平均宏观F1分数提升约4-12%。
2024-10-23 cs.AI cs.CV
Improving Out-of-Domain Robustness with Targeted Augmentation in Frequency and Pixel Spaces
HKUST(GZ)(香港科技大学(广州));SYSU(南方科技大学);ECNU(华东师范大学)
针对域适应场景下通用增强对域外鲁棒性提升有限、特定数据集定向增强依赖专业知识的问题,提出不依赖数据集的Frequency-Pixel Connect框架,通过频域与像素域混合生成增强样本,在多领域基准上性能优于现有方法。
2025-05-18 cs.CV cs.LG
Domain Adaptation with a Single Vision-Language Embedding
Inria(法国国家信息与自动化研究所);Kyutai(Kyutai公司)
提出一种利用单一视觉-语言(VL)嵌入进行域适应的框架,通过提示/照片驱动的实例归一化(PIN)挖掘多种视觉风格,实现零样本和单样本无监督域适应,在语义分割任务上优于基线方法。
2026-05-30 cs.CV cs.LG
We Learn Better Road Pothole Detection: from Attention Aggregation to Adversarial Domain Adaptation
UC San Diego(加州大学圣迭戈分校);HKUST Robotics Institute(香港科技大学机器人研究所);University of Bristol(布里斯托大学)
由认证检查员进行的人工目视检查仍然是道路坑洞检测的主要形式。然而,这一过程不仅繁琐、费时和费钱,而且对视察员来说也很危险。此外,路面坑槽检测结果往往是主观的,因为它们完全依赖于个人的经验。我们最近推出的视差(或逆深度)变换算法可以更好地区分损坏和未损坏的道路区域,它可以很容易地部署到任何语义分割网络,以获得更好的道路坑洞检测结果。为了提高性能,我们提出了一种新的注意力聚合(AA)框架,它采取了不同类型的注意力模块的优点。此外,我们开发了一种有效的训练集增强技术的基础上对抗领域自适应,其中合成道路RGB图像和转换后的道路视差(或逆深度)图像生成,以加强语义分割网络的训练。实验结果表明,首先,变换后的视差(或逆深度)图像变得更有信息量;其次,我们的最佳性能实现AA-UNet和AA-RTFNet分别优于所有其他最先进的单模态和数据融合网络,用于道路坑洞检测;最后,基于对抗性领域自适应的训练集增强技术不仅提高了状态估计的准确性,艺术语义分割网络,而且还加速了它们的融合。
2020-12-11 cs.CV cs.RO
Feature Augmentation based Test-Time Adaptation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出FATA方法,通过归一化扰动进行特征增强并利用FATA损失充分利用有限测试数据,在不改模型架构的情况下提升测试时自适应性能。
2024-10-18 cs.CV
Improving Artifact Robustness for CT Deep Learning Models Without Labeled Artifact Images via Domain Adaptation
Johns Hopkins University(约翰霍普金斯大学)
本研究通过领域自适应方法提升CT深度学习模型在无标注artifact数据下的鲁棒性,实验证明该方法在环形artifact识别中准确率达77.4%。
2026-01-21 cs.CV q-bio.TO
SEVA: Leveraging Single-Step Ensemble of Vicinal Augmentations for Test-Time Adaptation
School of Computer Science, Peking University(北京大学计算机学院)
SEVA提出通过优化熵损失上界将多轮邻域增强训练整合为单步,在不增加计算负担的同时利用可靠样本,并配合选择策略过滤有害样本,提升测试时自适应的效率与鲁棒性。
2025-05-07 cs.CV
A Study of Unsupervised Evaluation Metrics for Practical and Automatic Domain Adaptation
Zhejiang University(浙江大学);Baidu Inc.(百度公司);Zhejiang Lab(之江实验室)
本文提出增强一致性指标ACM,通过结合源域准确率、保留MLP分类器和数据增强,实现无需目标标签的UDA模型自动评估与超参数搜索,在四个基准上优于人工调优。
2023-09-18 cs.CV cs.LG
On the Mechanisms of Adversarial Data Augmentation for Robust and Adaptive Transfer Learning
该研究系统探究对抗数据增强在迁移学习中的作用,提出整合对抗数据增强、一致性正则化与域不变表征学习的统一框架,在多基准数据集上验证了其提升域适应性能的效果,拓展了对抗学习的应用价值。
2025-05-19 cs.CV cs.LG
Self-Guided Adaptation: Progressive Representation Alignment for Domain Adaptive Object Detection
NELVT, School of EE & CS, Peking University(北京大学电子信息与计算机科学学院NELVT);University of Chinese Academy of Sciences(中国科学院大学);School of ECE, Peking University(北京大学电子信息工程学院);Pengcheng Laboratory(鹏城实验室);Beijing Institute of Technology(北京理工大学);Nanyang Technological University(南洋理工大学)
无监督领域自适应(UDA)在提高目标检测模型的跨域鲁棒性方面取得了前所未有的成功。然而,现有的UDA方法在很大程度上忽略了模型学习过程中的瞬时数据分布,这可能会在较大的域偏移情况下恶化特征表示。在这项工作中,我们提出了一个自我导向适应(SGA)模型,目标对准的特征表示和跨域的目标检测模型,同时考虑到即时对齐的困难。SGA的核心是在核空间中计算样本对的“硬度”因子,以指示域距离。该算法通过引入硬度因子,自适应地指示样本的重要性,并赋予样本不同的约束条件。根据硬度因子的指示,在模型自适应过程中以“由易到难”的方式实现了自引导渐进采样(SPS)。使用多级卷积特征,SGA进一步聚合以完全对齐检测模型的分层表示。在常用的基准测试上的大量实验表明,SGA改进了最先进的方法,具有显着的裕度,同时证明了大域偏移的有效性。
2020-03-22 cs.CV
Semi-Supervised Domain Adaptation Using Target-Oriented Domain Augmentation for 3D Object Detection
Hanyang University(汉阳大学);Kakao Mobility Corp(Kakao Mobility公司);Seoul National University(首尔大学)
针对现实场景中传感器数据分布变化影响3D目标检测性能的问题,提出面向LiDAR 3D检测的半监督域自适应方法TODA,通过TargetMix和AdvMix两阶段增强实现特征对齐,性能显著优于现有技术。
2024-06-17 cs.CV
FASA: Feature Augmentation and Sampling Adaptation for Long-Tailed Instance Segmentation
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Carnegie Mellon University(卡内基梅隆大学)
最近的长尾实例分割方法仍然在具有很少训练数据的稀有对象类上挣扎。我们提出了一种简单而有效的方法,特征增强和采样自适应(FASA),通过增强特征空间来解决数据稀缺问题,特别是对于稀有类。特征增强(FA)和特征采样组件都是自适应于实际训练状态的- FA由过去迭代中观察到的真实样本的特征均值和方差来通知,并且我们以损失适应的方式对生成的虚拟特征进行采样,以避免过度拟合。FASA不需要任何精心设计的损失,并消除了对类间迁移学习的需要,这通常涉及大量成本和手动定义的头/尾类组。我们表明FASA是一种快速,通用的方法,可以很容易地插入到标准或长尾分割框架,具有一致的性能增益和很少的额外成本。FASA也适用于其他任务,如具有最先进性能的长尾分类。
2021-09-30 cs.CV
AugMax: Adversarial Composition of Random Augmentations for Robust Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院)
数据增强是提高深度神经网络(DNN)鲁棒性的一种简单而有效的方法。多样性和硬度是数据增强实现鲁棒性的两个互补维度。例如,AugMix探索了一组不同增强的随机组合,以增强更广泛的覆盖范围,而对抗性训练则生成对抗性的硬样本来发现弱点。出于这一动机,我们提出了一个数据增强框架,称为AugMax,统一的多样性和硬度的两个方面。AugMax首先随机采样多个增强算子,然后学习所选算子的对抗混合。作为一种更强大的数据增强形式,AugMax导致显著增强的输入分布,这使得模型训练更具挑战性。为了解决这个问题,我们进一步设计了一个被称为DuBIN(Dual-Batch-and-Instance Normalization)的解纠缠规范化模块,该模块可以解纠缠AugMax产生的实例特征异质性。实验表明,AugMax-DuBIN显著提高了分布外鲁棒性,在CIFAR 10-C、CIFAR 100-C、Tiny ImageNet-C和ImageNet-C上的性能分别优于现有技术3.03%、3.49%、1.82%和0.71%。代码和预训练模型可在https://github.com/VITA-Group/AugMax上找到。
2022-01-01 cs.CV cs.LG
Neutralizing Token Aggregation via Information Augmentation for Efficient Test-Time Adaptation
School of Software, Tsinghua University(清华大学软件学院);BNRist, Tsinghua University(清华大学BNRist);Department of Automation, Tsinghua University(清华大学自动化系)
针对测试时自适应中令牌聚合导致信息损失的问题,提出NAVIA方法,通过增强[CLS]令牌嵌入和添加自适应偏置,在熵最小化下恢复信息,性能提升超2.5%,延迟降低超20%。
2025-08-06 cs.CV
An Augmentation-based Model Re-adaptation Framework for Robust Image Segmentation
School of Computing, Newcastle University(纽卡斯尔大学计算学院);Procter and Gamble(宝洁公司)
针对工业图像分割样本少、纹理复杂及计算成本问题,提出基于增强的模型重适配框架AMRF,通过最小增强集平衡效率与性能,微调后FCN、U-Net在两个时序数据集上的裁剪与分类精度均显著优于基线及顶尖SAM模型。
2024-09-14 cs.CV