Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features
Cornell University（康奈尔大学）；The Ohio State University（俄亥俄州立大学）
本文提出利用无标签重复遍历的LiDAR统计信息进行自驾驶目标检测的无监督域自适应，通过历史特征量化和轻量级回归头实现特征正则化与稳定自训练，在真实数据集上最高提升20个百分点。
2023-09-21 cs.AI cs.CV cs.LG
TTA-DAME: Test-Time Adaptation with Domain Augmentation and Model Ensemble for Dynamic Driving Conditions
Yonsei University（延世大学）
本文提出TTA-DAME方法，通过领域增强和模型集成应对动态变化的驾驶场景，提升模型在天气变化下的适应能力。
2026-03-31 cs.AI cs.CV cs.LG
Content Disentanglement for Semantically Consistent Synthetic-to-Real Domain Adaptation
TUM（慕尼黑工业大学）；BMW AG（宝马股份公司）；Google（谷歌）
合成数据生成是自动驾驶中生成新交通场景的一种有吸引力的方法。然而，仅在合成数据上训练的深度学习感知算法在真实数据上进行测试时会遇到严重的性能下降。这种性能下降通常归因于真实数据和合成数据之间的域间隙。已经应用于减轻上述领域差距的领域自适应方法实现了视觉上吸引人的结果，但是通常将语义不一致引入到翻译样本中。在这项工作中，我们提出了一种新的，无监督的，端到端的领域自适应网络架构，使语义一致的\textit{sim2real}图像传输。我们的方法通过采用共享内容编码器和固定样式的代码来执行内容解纠缠。
2021-08-03 cs.CV
Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving
Robert Bosch Corporate Research（博世企业研究院）；KLA（科磊）；Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术与科学学院）
在开发基于感知的深度学习模型时，合成数据的好处是巨大的。然而，由于它们之间的域差距，在对真实世界数据进行测试时，针对某些计算机视觉任务使用合成数据训练的网络的性能显着下降。在弥合合成数据和实际世界数据之间的差距方面，一个流行的解决方案是将其框定为领域自适应任务。在本文中，我们提出并评估新的方法来改善这种方法。特别是，我们建立在团结的方法。在域转换任务的正常GAN训练中，随机完成来自两个域（即真实域和合成域）的图像配对。我们提出了一种新的方法来有效地将语义监督纳入到这种对选择中，这有助于提高模型的性能，同时提高这种转换图像的视觉质量。我们说明了我们的实证研究结果城市景观\cite{cityscapes}和具有挑战性的合成数据集Synscapes。虽然这些调查结果是在全球联盟的基础网络上报告的，但它们可以很容易地扩展到任何其他类似的网络。
2023-02-08 cs.CV
VoloGAN: Adversarial Domain Adaptation for Synthetic Depth Data
UNED - Universidad Nacional de Educación a Distancia（西班牙国立远程教育大学）；Volograms Ltd.（Volograms有限公司）
我们提出了VoloGAN，这是一种对抗性的领域自适应网络，它将一个人的高质量3D模型的合成RGB-D图像转换为可以用消费者深度传感器生成的RGB-D图像。该系统特别适用于为复制真实世界捕获条件的单视图3D重建算法生成大量训练数据，能够模仿不同传感器类型的风格，用于相同的高端3D模型数据库。该网络使用CycleGAN框架，其中生成器采用U-Net架构，并采用SIV-GAN启发的CycleGAN。我们使用不同的优化器和学习率调度来训练生成器和学习器。我们进一步构建了一个损失函数，认为图像通道单独和，除其他指标，评估结构相似性。我们证明了CycleGANs可用于应用合成3D数据的对抗领域自适应来训练只有很少训练样本的体积视频生成器模型。
2022-07-19 cs.CV cs.LG eess.IV
Saliency-Guided Domain Adaptation for Left-Hand Driving in Autonomous Steering
Centre for Accident Research and Road Safety-Queensland, Queensland University of Technology（昆士兰事故研究与道路安全中心、昆士兰理工大学）；QUT Centre for Robotics and School of Electrical Engineering and Computer Science, Queensland University of Technology（昆士兰大学机器人中心及电气工程与计算机科学学院、昆士兰理工大学）
本文提出利用翻转数据预训练结合微调的方法，将PilotNet模型适应至左行驾驶条件，显著降低了预测误差并增强了对左侧线索的注意力，且在ResNet上验证了该适应趋势。
2025-11-03 cs.CV cs.RO
Explicit Domain Adaptation with Loosely Coupled Samples
BMW Group（宝马集团）；Technische Universität München（慕尼黑工业大学）；Google Inc.（谷歌公司）
一般来说，迁移学习是机器学习的一个重要领域，特别是在完全自动驾驶的背景下，需要同时解决许多不同的领域，例如不断变化的天气条件和国家特定的驾驶行为。传统的迁移学习方法通常关注图像数据，并且是黑箱模型。在这项工作中，我们提出了一个迁移学习框架，其核心是学习领域之间的显式映射。由于其可解释性，这对于安全关键型应用（如自动驾驶）是有益的。我们通过考虑图像分类问题展示了它的普遍适用性，然后转向时间序列数据，特别是预测车道变化。在我们的评估中，我们将预先训练的模型适应于表现出不同驾驶和感官特征的数据集。
2020-04-24 cs.CV cs.LG eess.IV
CONDA: Continual Unsupervised Domain Adaptation Learning in Visual Perception for Self-Driving Cars
University of Arkansas（阿肯色大学）
针对自动驾驶视觉感知中分割模型遇新数据、旧数据因隐私不可用的问题，提出无需旧数据的CONDA持续无监督域自适应方法，通过双射最大似然损失防灾难性遗忘，在基准测试上性能先进。
2024-04-15 cs.CV
StRDAN: Synthetic-to-Real Domain Adaptation Network for Vehicle Re-Identification
MODULABS；Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；Kookmin University（国民大学）
针对车辆重识别深度学习方法数据需求大的问题，提出StRDAN框架，结合域自适应与半监督学习，利用合成与真实数据训练，在VeRi和CityFlow-ReID数据集上平均精度均值分别提升3.1%和12.9%。
2020-07-17 cs.CV cs.LG eess.IV
DriVLM: Domain Adaptation of Vision-Language Models in Autonomous Driving
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
针对多模态大语言模型计算资源需求过高的问题，本文探索小规模MLLM的效用，并通过DriVLM将其领域适应到自动驾驶场景，以促进真实落地。
2025-01-09 cs.LG
Unsupervised Domain Adaptation from Synthetic to Real Images for Anchorless Object Detection
Faculty of Electrical Engineering and Information Technology, Chemnitz University of Technology（Chemnitz工业大学电气工程与信息技术学院）
合成图像是避免与生成带注释的数据集以训练监督卷积神经网络（CNN）相关联的高成本的最有前途的解决方案之一。然而，为了使网络能够将知识从合成图像推广到真实图像，领域自适应方法是必要的。本文实现了无监督领域自适应（UDA）方法的无锚对象检测器。无锚探测器由于其良好的性能，在目标检测领域越来越受到关注。虽然它们的结果与成熟的基于锚的方法相当，但无锚检测器的速度要快得多。在我们的工作中，我们使用CenterNet，最近的无锚体系结构之一，涉及合成图像的领域自适应问题。利用无锚检测器的架构，我们提出调整两种UDA方法，即，熵最小化和最大平方损失，最初开发用于分割，到目标检测。我们的研究结果表明，所提出的UDA方法可以提高mAP从61%到69%，相对于直接转移所考虑的无锚探测器。代码可在https://github.com/scheckmedia/centernet-uda上找到。
2020-12-15 cs.CV
Synthetic to Real Adaptation with Generative Correlation Alignment Networks
Boston University（波士顿大学）
从3D CAD模型渲染的合成图像对于增强对象识别算法的训练数据是有用的。然而，生成的图像是非真实感的，并且不匹配真实图像统计。这会导致较大的域差异，导致在合成数据上训练的模型在真实域上表现不佳。最近的工作已经显示了深度卷积神经网络生成逼真图像的巨大潜力，但尚未利用生成模型来解决合成到真实领域自适应。在这项工作中，我们提出了一个深度生成相关对齐网络（DGCAN）合成图像使用一种新的域自适应算法。DGCAN利用形状保持损失和低水平的统计匹配损失来最小化深特征空间中合成图像和真实图像之间的域差异。实验表明，在新生成的数据上训练现成的分类器可以显着提高在真实图像域（PASCAL VOC 2007基准和Office数据集）上测试时的性能，改进了几种现有的方法。
2017-03-18 cs.CV
Unsupervised Domain Adaptation for Learning Eye Gaze from a Million Synthetic Images: An Adversarial Approach
IIT Kharagpur（印度理工学院卡拉格普尔分校）
随着图形引擎的当代进步，深度学习社区的最新趋势是在自动注释的模拟示例上训练模型，并在测试期间应用于真实数据。这减轻了手动注释的负担。然而，图形引擎生成的图像与真实世界的图像在分布上存在着固有的差异。这种域差异会降低在合成示例上训练的模型的测试时间性能。在本文中，我们通过跨合成域和实域的无监督对抗特征自适应来解决这个问题，用于眼睛注视估计的特殊用例，这是各种下游HCI任务的重要组成部分。我们首先学习从3D游戏引擎渲染的带注释的合成样本上的凝视估计器，然后通过零和极大极小对抗游戏来适应未注释的真实样本的特征，该对抗游戏遵循最近的生成对抗网络的范例。这种对抗性适应迫使两个域的特征无法区分，这使得我们能够使用在合成域上训练的回归模型来用于真实样本。在具有挑战性的MPIIGaze真实生活数据集上，我们的表现优于最近在手动注释的真实样本上训练的完全监督方法，并且与SimGAN的当前基准方法相比，在适应后还实现了13\%的相对增益
2018-10-18 cs.CV
PieTrack: An MOT solution based on synthetic data training and self-supervised domain adaptation
PAII Inc.（PAII公司）；Ping An Bank Co Ltd.（平安银行股份有限公司）
为了应对日益增长的对标记数据的需求和人体检测的隐私问题，合成数据已被用作替代品，并在人体检测和跟踪任务中显示出有希望的结果。我们参加了第七届多目标跟踪基准研讨会，主题是“合成数据能让我们走多远”？我们的解决方案PieTrack是基于合成数据开发的，不使用任何预先训练的权重。我们提出了一种自监督领域自适应方法，该方法能够减轻合成（例如，MOTSynth）和真实数据（例如，MOT17），而不涉及额外的人类标签。通过利用所提出的多尺度集成推理，我们在MOT17测试集上获得了58.7的最终HOTA分数，在挑战中排名第三。
2022-07-22 cs.CV
SIDA: Synthetic Image Driven Zero-shot Domain Adaptation
Hanyang University（汉阳大学）
提出SIDA方法，利用合成图像生成目标域风格特征，通过域混合和补丁风格转移模块实现高效零样本域适应，在多个场景中达到最优性能。
2026-06-29 cs.AI cs.CV cs.LG
Domain Adaptation based Object Detection for Autonomous Driving in Foggy and Rainy Weather
Cleveland State University（克利夫兰州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Wuhan University（武汉大学）
针对雾天和雨天自动驾驶目标检测的域间差异问题，提出图像级和物体级自适应、对抗梯度反转层及辅助域正则化的框架，显著提升检测性能。
2024-08-20 cs.CV
Synthetic-to-Real Domain Adaptation for Lane Detection
General Motors Technical Center Israel - R&D Labs（通用汽车以色列技术中心研发实验室）
准确的车道检测是自动驾驶的关键推动因素，目前依赖于获得大型且多样化的标记训练数据集。在这项工作中，我们探索从丰富的，随机生成的合成数据，以及未标记或部分标记的目标域数据，而不是学习。随机生成的合成数据具有车道几何形状和照明的受控可变性的优点，但其在照片真实性方面受到限制。这就提出了将在不切实际的合成域上学习的模型适应真实图像的挑战。为此，我们开发了一种新的基于自动编码器的方法，该方法使用与特定图像不对齐的合成标签来适应目标域数据。此外，我们探索现有的领域自适应方法，如图像平移和自我监督，并调整它们的车道检测任务。我们测试所有的方法在无监督的领域自适应设置，其中没有目标域标签是可用的，并在半监督设置，其中一小部分的目标图像被标记。在使用三个不同的数据集进行的广泛实验中，我们证明了节省昂贵的目标域标记工作的可能性。例如，在美洲驼和tuSimple车道数据集上使用我们提出的自动编码器方法，我们几乎可以只用10%的标记数据恢复完全监督的准确性。此外，我们的自动编码器的方法优于所有其他方法在半监督领域自适应的情况下。
2020-11-09 cs.CV
Learning Part Segmentation through Unsupervised Domain Adaptation from Synthetic Vehicles
Johns Hopkins University（约翰斯·霍普金斯大学）；Zhejiang University（浙江大学）；Beihang University（北京航空航天大学）；Tongji University（同济大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
零件分割提供了对象的丰富而详细的零件级描述。然而，他们的注释需要大量的工作，这使得很难应用标准的深度学习方法。在本文中，我们提出了通过无监督领域自适应（UDA）从合成数据学习部分分割的想法。我们首先介绍UDA-Part，这是一个全面的车辆零件分割数据集，可以作为UDA的适当基准（https：//qliu24.github.io/udapart）。在UDA-Part中，我们在3D CAD模型上标记零件，这使我们能够生成大量带注释的合成图像。我们还在一些真实图像上标注部件，以提供真实的测试集。其次，为了提高从合成数据训练的零件模型到真实图像的适应性，我们引入了一种新的UDA算法，该算法利用对象的空间结构来指导适应过程。我们在两个真实测试数据集上的实验结果证实了我们的方法优于现有的作品，并展示了从合成数据中学习一般对象的部分分割的承诺。我们相信我们的数据集为研究UDA的零件分割提供了丰富的测试平台，并将有助于显著推动该领域的研究。
2022-04-03 cs.CV
Unsupervised Domain Adaptation for Mobile Semantic Segmentation based on Cycle Consistency and Feature Alignment
University of Padova（帕多瓦大学）
用于语义分割的深度网络的监督训练需要大量标记的真实世界数据。为了解决这个问题，一个常用的解决方法是使用合成数据进行训练，但是当分析与训练集具有略微不同统计属性的数据时，深度网络显示出严重的性能下降。在这项工作中，我们提出了一种新的无监督领域自适应（UDA）策略，以解决现实世界和合成表示之间的域转移问题。基于循环一致性框架的对抗模型执行合成域和真实域之间的映射。然后将数据馈送到执行语义分割任务的MobileNet-v2架构。在MobileNet-v2的特征级工作的另外两个鉴别器允许更好地对齐两个域分布的特征，并进一步提高性能。最后，利用语义映射的一致性。在对合成数据进行初始监督训练之后，整个UDA架构将同时考虑其所有组件进行端到端训练。实验结果表明，所提出的策略是如何能够获得令人印象深刻的性能，在适应分割网络训练的合成数据，以现实世界的情况。轻量级MobileNet-v2架构的使用允许其部署在具有有限计算资源的设备上，如自动驾驶汽车中使用的设备。
2020-03-12 cs.CV cs.LG
Unsupervised Cumulative Domain Adaptation for Foggy Scene Optical Flow
Huazhong University of Science and Technology（华中科技大学）；Huawei International Co. Ltd.（华为国际有限公司）
光流在洁净场景下取得了巨大的成功，但在雾天场景下受到限制。现有的方法通常采用领域自适应的方法将运动知识从干净域转移到合成的模糊域，以弥补干净域和模糊域之间的差距。然而，这些方法意外地忽略了合成域到真实域的间隙，因此当应用于真实世界场景时是错误的。为了处理雾天场景下的实际光流，本文提出了一种新的无监督累积领域自适应光流（UCDA-Flow）框架：深度关联运动自适应和相关对齐运动自适应。具体来说，我们发现，深度是影响光流的一个关键因素：更深的深度，劣光流，这促使我们设计一个深度关联运动自适应模块，以弥合清洁到雾域的差距。此外，我们计算出的成本体积相关共享相似的分布的合成和真正的雾域图像，这启发我们设计一个相关对齐运动自适应模块提取运动知识的合成雾域到真正的雾域。请注意，合成雾被设计为中间域。在这个统一的框架下，建议的累积适应逐步转移知识从干净的场景到真正的雾场景。大量的实验验证了该方法的优越性。
2023-03-20 cs.CV
Unsupervised Collaborative Domain Adaptation for Driving Scene Parsing
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息学院）；Department of Control Science and Engineering, Harbin Institute of Technology（控制科学与工程系，哈尔滨工业大学）；Department of Vehicle Control System and Software Development, NIO（车辆控制系统与软件开发部，蔚来汽车）；School of Computer Science and Technology, Tongji University（计算机科学与技术学院，同济大学）；Key Laboratory of Embedded System and Service Computing (Ministry of Education), Tongji University（嵌入式系统与服务计算重点实验室（教育部），同济大学）
提出无监督协作域自适应框架UCDA，通过多源模型协作优化和知识蒸馏，在无源数据条件下提升目标域驾驶场景解析的鲁棒性和泛化能力。
2026-06-01 cs.CV
Ship classification from overhead imagery using synthetic data and domain adaptation
Space and Naval Warfare Systems Center, Pacific（太平洋空间与海战系统中心）
在本文中，我们重新审视的问题，分类船舶（海上船只）从开销图像检测。尽管过去十年对这一非常重要和相关的问题进行了研究，但它在很大程度上仍未得到解决。在海洋领域中对船舶和其他物体进行检测和分类的主要问题之一是缺乏训练最先进的机器学习算法所需的大量地面实况数据。我们通过使用Unity游戏引擎和3D船舶模型构建大型（200k）合成图像数据集来解决这个问题。我们证明，使用合成数据，分类性能显着提高，特别是当有很少的注释图像用于训练。
2019-05-10 cs.CV
Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving
University of Waterloo（滑铁卢大学）
虽然自动驾驶中的监督检测和分类框架需要大型标记数据集来收敛，但无监督领域自适应（UDA）方法在真实照片模拟环境生成的合成数据的帮助下，被认为是低成本且耗时更少的解决方案。在本文中，我们提出了UDA计划使用对抗性的判别和生成方法的车道检测和自动驾驶中的分类应用。我们还提出了Simulanes数据集生成器来创建一个合成数据集，这是自然利用CARLA的巨大的交通场景和天气条件。建议的UDA框架将带有标签的合成数据集作为源域，而目标域是未标记的真实世界数据。使用对抗生成和特征鉴别器，调整学习的模型以预测目标域中的车道位置和类别。使用现实世界和我们的合成数据集评估所提出的技术。实验结果表明，本文提出的方法在检测和分类的准确性和一致性方面优于其他基线方案。消融研究表明，模拟数据集的大小在所提出的方法的分类性能中起着重要的作用。我们的UDA框架可在https://github.com/anita-hu/sim2real-lane-detection上获得，我们的数据集生成器可在https://github.com/anita-hu/simulanes上发布
2022-05-30 cs.CV
SynJAC: Synthetic-data-driven Joint-granular Adaptation and Calibration for Domain Specific Scanned Document Key Information Extraction
The University of Western Australia（西澳大学）；The University of Melbourne（墨尔本大学）；Hunan University（湖南大学）
SynJAC通过合成数据驱动的联合细粒度适应与校准，有效提升扫描文档关键信息提取的效率与性能。
2025-12-17 cs.CV
Meta-Learning Online Dynamics Model Adaptation in Off-Road Autonomous Driving
Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室、加州理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Institute of Technology（佐治亚理工学院）
针对高速越野自动驾驶中地形-车辆相互作用建模困难的问题，提出结合卡尔曼滤波在线自适应与元学习参数的框架，通过离线优化基函数与自适应参数，实现实时动力学模型调整，实验证明其在预测精度、性能与安全性上优于基线方法。
2025-04-23 cs.LG cs.RO cs.SY
Learning Depth from Monocular Videos Using Synthetic Data: A Temporally-Consistent Domain Adaptation Approach
The University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数现有技术的单目深度估计方法是监督学习方法。这种方法的成功在很大程度上取决于高质量的深度标签，这是昂贵的获得。最近的一些方法试图通过利用来自单眼视频的无监督线索来学习深度网络，这些线索更容易获得但不太可靠。在本文中，我们建议通过从合成视频中转移知识来解决这个难题，这些视频具有易于获得的地面实况深度标签。由于合成图像和真实图像之间的风格差异，我们提出了一种时间一致的领域自适应（TCDA）方法，同时探索合成域中的标签和视频中的时间约束，以提高风格转移和深度预测。此外，我们利用合成数据中的地面真实光流和姿态信息来学习移动掩模和姿态预测网络。学习的运动掩模可以过滤掉产生错误的时间约束的运动区域，并且估计的姿态提供用于估计时间约束的更好的初始化。实验结果表明，我们的方法的有效性和可比的性能对国家的最先进的。
2019-11-26 cs.CV
Beyond Photo Realism for Domain Adaptation from Synthetic Data
NYU（纽约大学）；Google Brain（谷歌大脑）
随着合成图像在训练深度模型中的使用越来越频繁，了解不同的合成技术如何影响这些模型的性能非常重要。在这项工作中，我们进行了彻底的评估的有效性，几种不同的合成技术和它们的影响的复杂性分类领域自适应的“真正的”底层数据分布，他们试图复制。此外，我们提出了一种新的学习合成技术，以更好地训练分类器模型比国家的最先进的离线图形方法，同时使用显着更少的计算资源。我们通过学习生成模型来完成这一点，以执行合成几何形状的着色，条件是渲染场景的“g缓冲区”表示，以及低采样蒙特卡罗渲染图像。主要贡献是（i）允许比较同一场景的真实和合成版本的数据集，（ii）增强数据表示，提高学习的稳定性并提高数据集的准确性，（iii）三种不同的部分可微渲染技术，其中学习了照明，去噪和阴影，以及（iv）我们改进了最先进的生成对抗网络（GAN）通过使用训练模型的集合来生成数据集的方法，所述数据集接近在真实数据上的训练的性能并且超过完全全局光照的性能渲染。
2019-09-04 cs.CV cs.LG stat.ML
Continual Few-shot Adaptation for Synthetic Fingerprint Detection
本文提出连续少样本适应方法用于合成指纹检测，通过结合二元交叉熵和监督对比损失，结合样本重放以缓解灾难性遗忘，实现快速适应新合成风格同时避免遗忘已知风格。
2026-03-15 cs.CV cs.IT math.IT
Rapid Speaker Adaptation in Low Resource Text to Speech Systems using Synthetic Data and Transfer learning
Flipkart（Flipkart公司）
本文提出利用高资源英语数据和合成印地语数据进行双重预训练，并仅微调解码器，在仅3小时目标说话人数据下实现低资源印地语TTS的快速说话人自适应。
2023-12-02 cs.LG
Deep Domain Adaptation Based Video Smoke Detection using Synthetic Smoke Images
State Key Laboratory of Fire Science, University of Science and Technology of China（中国科学技术大学火灾科学国家重点实验室）
提出了一种基于深度领域自适应的视频烟雾检测方法，以提取烟雾的强有力的特征表示。由于深度CNN训练的烟雾图像样本规模和多样性有限，我们系统地产生了足够的合成烟雾图像，烟雾形状，背景和照明条件有很大的变化。考虑到合成和真实烟雾图像之间的外观差距（数据集偏差）会显着降低训练模型在完全由真实图像组成的测试集上的性能，我们构建了基于领域自适应的深层架构，以混淆从合成和真实烟雾图像中提取的特征分布。该方法扩展了烟雾图像样本的域不变特征空间。与直接在合成图像和真实图像的混合数据集上训练的模型相比，训练模型的识别率显著提高。实验上，几种不同设计选择的深度结构被应用于感烟探测器。最终框架在测试集上得到了满意的结果。我们相信，我们的方法是利用深度神经网络增强合成烟雾图像进行视频烟雾检测的方向的开始。
2017-03-31 cs.CV
Two-Step Image Dehazing with Intra-domain and Inter-domain Adaptation
Beijing Institute of Technology（北京理工大学）
在图像处理任务中，由于数据分布的差异，域内和域间间隙普遍存在。在图像去雾领域，某些先前的工作已经注意到合成域和真实域之间的域间间隙。然而，这些方法仅建立从源域到目标域的连接，而没有考虑目标域内的大的分布偏移（域内间隙）。在这项工作中，我们提出了一个两步去雾网络（TSDN）的内部领域自适应和一个受约束的领域自适应间。首先，我们将合成域中的分布细分为子集，并通过基于丢失的监督来挖掘最佳子集（简单样本）。为了减轻合成域的域内间隙，我们提出了一种域内领域自适应，通过对抗学习将其他子集的分布对准最优子集。最后，我们进行约束的域间领域自适应从真正的域的合成域的最佳子集，减轻域之间的域移动以及实域内的分布偏移。大量的实验结果表明，我们的框架表现良好，对国家的最先进的算法在合成数据集和真实数据集。
2021-04-19 cs.CV
Adversarial Learning and Self-Teaching Techniques for Domain Adaptation in Semantic Segmentation
University of Padova（帕多瓦大学）
深度学习技术已经广泛应用于自动驾驶系统中，用于城市场景的语义理解。然而，它们需要大量的标记数据进行训练，这是困难和昂贵的。最近提出的解决方案是使用合成数据来训练深度网络，但现实世界和合成表示之间的域转移限制了性能。在这项工作中，一种新的无监督领域自适应（UDA）策略被引入到解决这个问题。所提出的学习策略由三个部分驱动：标记合成数据上的标准监督学习损失;利用标记合成数据和未标记真实数据的对抗学习模块;最后，应用于未标记数据的自学策略。最后一个部分利用了一个区域增长框架的分割信心的指导下。此外，我们根据类别频率对该组件进行加权，以提高对不太常见类别的性能。实验结果证明了所提出的策略的有效性，在适应分割网络训练的合成数据集，如GTA 5和SYNTHIA，现实世界的数据集，如城市景观和Mapillary。
2020-03-02 cs.CV cs.LG eess.IV
BoMuDANet: Unsupervised Adaptation for Visual Scene Understanding in Unstructured Driving Environments
University of Maryland（马里兰大学）
针对非结构化驾驶环境的视觉场景理解问题，提出BoMuDANet无监督自适应方法，结合基于无监督域自适应的语义分割技术与多源域自适应自训练算法Alt-Inc，在India Driving Dataset上达87.18%准确率，较现有方法提升5.17%-42.9%。
2021-05-23 cs.CV eess.IV
A Survey on Deep Domain Adaptation for LiDAR Perception
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Research Center for Information Technology (FZI)（信息技术研究中心）
可扩展的自动驾驶系统必须可靠地应对开放世界的环境。这意味着，感知系统会受到剧烈的领域变化的影响，例如天气条件、时间依赖性方面或地理区域的变化。用注释数据覆盖所有域是不可能的，因为域的变化无穷无尽，注释过程既耗时又昂贵。此外，系统的快速开发周期还引入了硬件变化，例如传感器类型和车辆设置，以及来自仿真的所需知识转移。因此，为了实现可扩展的自动驾驶，以稳健和有效的方式解决这些领域的转变至关重要。在过去的几年里，大量不同的领域自适应技术的发展。已经存在许多关于相机图像上的领域自适应的调查论文，然而，缺少关于LiDAR感知的调查。然而，LiDAR是自动驾驶的重要传感器，可提供车辆周围环境的详细3D扫描。为了促进未来的研究，本文提出了一个全面的审查最近的进展，领域自适应方法，并制定了有趣的研究问题，专门针对激光雷达感知。
2021-06-07 cs.AI cs.CV cs.LG
Learning Texture Invariant Representation for Domain Adaptation of Semantic Segmentation
Yonsei University（延世大学）
由于为语义分割注释像素级标签是费力的，因此利用合成数据是一种有吸引力的解决方案。然而，由于合成域和真实域之间的域间隙，用合成数据训练的模型推广到真实数据具有挑战性。本文考虑到两个域的根本区别在于纹理，提出了一种自适应目标域纹理的方法。首先，我们多样性的合成图像的纹理风格转移算法。生成的图像的各种纹理防止分割模型过度拟合到一个特定的（合成）纹理。然后，我们通过自训练对模型进行微调，以直接监督目标纹理。我们的结果达到了最先进的性能，我们通过大量的实验分析了在风格化数据集上训练的模型的属性。
2020-03-30 cs.CV
Exploiting Playbacks in Unsupervised Domain Adaptation for 3D Object Detection
Cornell University（康奈尔大学）；the Ohio State University（俄亥俄州立大学）
自动驾驶汽车必须以3D方式检测其他车辆和行人，以规划安全路线并避免碰撞。基于深度学习的最先进的3D物体检测器已经显示出有希望的准确性，但容易过度适应领域特性，使它们在新的环境中失败-如果自动驾驶汽车打算自由操作，这是一个严重的问题。在本文中，我们提出了一种新的学习方法，通过微调目标域中伪标签上的检测器，根据先前记录的驾驶序列的回放，我们的方法在车辆停放时生成，从而大大减少了这一差距。在这些回放中，随着时间的推移跟踪对象，并对检测结果进行插值和外推--至关重要的是，利用未来的信息来捕捉疑难案件。在五个自动驾驶数据集上，我们发现，对这些伪标签上的对象检测器进行微调，大大减少了与新驾驶环境的域差距，从而大大提高了准确性和检测可靠性。
2022-07-10 cs.CV
Project to Adapt: Domain Adaptation for Depth Completion from Noisy and Sparse Sensor Data
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
深度补全旨在从稀疏深度输入预测密集深度图。获取用于深度完井设置的密集地面实况注释可能很困难，同时，真实LiDAR测量值与合成数据之间的显著域差距阻碍了在虚拟设置中成功训练模型。我们提出了一种领域自适应方法，用于从合成数据训练的稀疏到密集的深度完成，而不需要在实域或额外的传感器中进行注释。我们的方法模拟RGB+LiDAR设置中的真实传感器噪声，由三个模块组成：通过投影模拟合成域中的真实LiDAR输入，过滤真实噪声LiDAR进行监督，并使用CycleGAN方法调整合成RGB图像。我们广泛评估这些模块对国家的最先进的KITTI深度完成基准，显示出显着的改善。
2020-08-05 cs.CV
Structured prototype regularization for synthetic-to-real driving scene parsing
Tongji University（同济大学）；Beijing Institute of Aerospace Control Devices（北京航天控制设备研究所）；Ryazan State Radio Engineering University（里亚赞无线电工程大学）；Manhattan University（曼哈顿大学）
本文提出一种新的无监督领域适应框架，通过正则化语义特征结构提升现实场景中的驾驶场景解析性能，采用类特定原型增强特征聚类的判别性和结构一致性。
2026-03-17 cs.CV
Prompt-Driven Domain Adaptation for End-to-End Autonomous Driving via In-Context RL
针对端到端自动驾驶域适应难题，提出基于上下文强化学习的推理阶段少样本提示驱动域适应方法，无需更新参数或额外采集目标域数据，在CARLA恶劣天气闭环驾驶场景中性能优于现有基线。
2025-11-16 cs.LG cs.RO
Geometric Unsupervised Domain Adaptation for Semantic Segmentation
Toyota Research Institute (TRI)（丰田研究所）
模拟器可以有效地生成大量带标签的合成数据，并对难以标记的任务（如语义分割）进行完美的监督。然而，它们引入了一个域间隙，严重损害了现实世界的性能。我们建议使用自监督单目深度估计作为代理任务来弥合这一差距，并提高模拟到真实的无监督领域自适应（UDA）。我们的几何无监督领域自适应方法（GUDA）通过多任务目标学习域不变表示，该目标将合成语义监督与视频上的真实几何约束相结合。GUDA在UDA中建立了一个新的最先进的语义分割的三个基准，优于使用领域对抗学习，自我训练或其他自我监督代理任务的方法。此外，我们表明，我们的方法规模以及质量和数量的合成数据，同时也提高了深度预测。
2021-08-18 cs.CV
Unsupervised Domain Adaptation Learning for Hierarchical Infant Pose Recognition with Synthetic Data
University of Washington（华盛顿大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）
阿尔伯塔省婴儿运动量表（AIMS）是一个众所周知的评估方案，通过记录实现的特定姿势的数量来评估婴儿的大运动发育。借助基于图像的姿势识别模型，AIMS评估程序可以缩短和自动化，提供潜在发育障碍的早期诊断或指标。由于有限的公共婴儿相关的数据集，许多作品使用基于SMIL的方法来生成合成的婴儿图像进行训练。然而，真实训练样本和合成训练样本之间的这种域不匹配通常会导致推理过程中的性能下降。在本文中，我们提出了一个基于CNN的模型，该模型以任何婴儿图像作为输入，并预测粗和细级别的姿势标签。该模型由图像分支和姿态分支组成，分别通过无监督领域自适应和使用具有SMPLify优化的HRNet生成3D关键点来生成粗级logits。然后，这些分支的输出将被发送到分层姿态识别模块，以估计精细级别的姿态标签。我们还收集并标记了一个新的AIMS数据集，其中包含750个真实和4000个合成婴儿图像与AIMS姿势标签。我们的实验结果表明，该方法可以显着对齐合成和真实世界的数据集的分布，从而实现细粒度的婴儿姿势识别的准确性能。
2022-05-04 cs.CV
Synthetic-to-Real Unsupervised Domain Adaptation for Scene Text Detection in the Wild
Zhejiang University（浙江大学）；Tencent（腾讯）；University of Hong Kong（香港大学）
基于深度学习的场景文本检测在有足够的标记训练数据的情况下可以取得较好的性能。然而，手动标记是耗时且费力的。在极端情况下，相应的注释数据不可用。利用合成数据是一个非常有前途的解决方案，除了合成数据集和真实数据集之间的域分布失配。为了解决严重的域分布不匹配问题，提出了一种基于领域自适应的场景文本检测方法，将合成数据（源域）的知识转移到真实数据（目标域）。本文介绍了一种文本自训练（TST）方法和对抗性文本实例对齐（ATA）的领域自适应场景文本检测。ATA通过以对抗方式训练域分类器来帮助网络学习域不变特征。TST减少了由不准确的伪标记引起的假阳性~（FP）和假阴性~（FN）的不利影响。这两个组成部分对提高场景文本检测器从合成场景到真实场景的适应性能有积极的影响。我们通过从SynthText，VISD转移到ICDAR 2015，ICDAR 2013来评估所提出的方法。实验结果表明，该方法的有效性达到了10%以上，对领域自适应场景文本检测具有重要的探索意义。代码可在https://github.com/weijiawu/SyntoReal_STD上获得
2020-09-03 cs.AI cs.CV
Bridging the Synthetic-to-Authentic Gap: Distortion-Guided Unsupervised Domain Adaptation for Blind Image Quality Assessment
Xidian University（西安电子科技大学）
针对合成训练数据与真实图像间的域差距，本文提出 DGQA 框架，通过失真先验自适应选择源域以减少负迁移，并在两类跨域设置中验证其有效性。
2024-05-07 cs.CV eess.IV
Unsupervised Reverse Domain Adaptation for Synthetic Medical Images via Adversarial Training
Johns Hopkins University（约翰斯·霍普金斯大学）
为了实现医学成像深度学习的全部潜力，需要大型注释数据集进行训练。这样的数据集很难获得，因为标记的医学图像通常由于隐私问题而不可用，缺乏可用于注释的专家，罕见病症的代表性不足以及标准化差。在传统的视觉应用中，已经解决了缺乏注释数据的问题，这些应用使用通过无监督对抗训练改进的合成图像来看起来像真实图像。然而，这种方法很难扩展到一般的医学成像，因为在真实的人体组织中发现的复杂和多样的功能集。我们提出了一个使用反向流的替代框架，其中对抗训练用于使真实医学图像更像合成图像，并假设临床相关特征可以通过自正则化来保留。然后，这些领域适应的图像可以通过在合成医学图像的大型数据集上训练的网络进行准确解释。我们测试这种方法是出了名的困难的任务，从内窥镜的深度估计。我们训练的深度估计器上的合成图像的大数据集，使用内窥镜和解剖现实的结肠精确的前向模型生成。与真实图像相比，该网络在使用类似合成的域适应图像时预测的深度明显更好，从而确认保留了深度的临床相关特征。
2017-11-29 cs.CV
From Synthetic to Real: Unsupervised Domain Adaptation for Animal Pose Estimation
National University of Singapore（新加坡国立大学）
动物姿态估计是近年来受到越来越多关注的一个重要领域。这项任务的主要挑战是缺乏标记数据。现有的工作规避这个问题，从其他容易访问的域，如合成数据的数据生成的伪标签。然而，这些伪标签是嘈杂的，即使与一致性检查或基于置信度的过滤，由于数据中的域移位。为了解决这个问题，我们设计了一个多尺度领域自适应模块（MDAM），以减少合成数据和真实数据之间的领域差距。我们进一步介绍了一个在线的粗到精的伪标签更新策略。具体来说，我们提出了一个自蒸馏模块在内部粗更新循环和一个平均教师在外部细更新循环，以产生新的伪标签，逐渐取代旧的。因此，我们的模型能够在早期阶段从旧的伪标签中学习，并在后期阶段逐渐切换到新的伪标签以防止过拟合。我们在TigDog和VisDA 2019数据集上评估了我们的方法，在这些数据集上，我们的性能大大优于现有方法。我们还通过对看不见的域和看不见的动物类别进行广泛的测试来证明我们的模型的泛化能力。我们的代码可以在项目网站上找到。
2021-03-27 cs.CV
Virtual to Real adaptation of Pedestrian Detectors
Institute of Information Science and Technologies - National Research Council（信息科学与技术研究所 - 国家研究委员会）
通过计算机视觉进行行人检测是众多应用的基础。最近，人们对用于执行这样的任务的基于卷积神经网络的架构越来越感兴趣。这些监督网络的关键目标之一是将训练阶段学到的知识推广到具有不同特征的新场景。一个适当标记的数据集对于实现这一目的至关重要。主要问题是手动注释数据集通常需要大量的人力，而且成本高昂。为此，我们引入了ViPeD（虚拟行人数据集），这是一组新的合成生成的图像，使用视频游戏GTA V -侠盗猎车手V的高度照片逼真的图形引擎收集，其中自动获取注释。然而，当仅在合成数据集上训练时，模型会经历Synthetic 2 Real Domain Shift，导致应用于真实世界图像时性能下降。为了缓解这一差距，我们提出了两种不同的领域自适应技术适合的行人检测任务，但可能适用于一般的目标检测。实验表明，使用ViPeD训练的网络可以比在真实世界数据上训练的检测器更好地概括看不见的真实世界场景，从而利用我们的合成数据集的多样性。此外，我们证明，我们的领域自适应技术，我们可以减少合成2实域移位，使更接近的两个域，并获得性能改善时，测试网络在现实世界的图像。代码、模型和数据集可在https://ciampluca.github.io/viped/上免费获得
2020-09-19 cs.CV cs.LG eess.IV
Synthetic-to-Real Domain Adaptation using Contrastive Unpaired Translation
University of Bonn（波恩大学）
机器人技术中深度学习模型的有用性在很大程度上取决于训练数据的可用性。手动注释训练数据通常是不可行的。合成数据是一种可行的替代方案，但存在域缺口。我们提出了一种多步骤的方法来获得训练数据，而无需手动注释工作：从3D对象网格，我们使用现代合成管道生成图像。我们利用最先进的图像到图像的翻译方法，以适应合成图像的真实域，最大限度地减少域差距的学习方式。翻译网络是从未配对的图像中训练出来的，即只需要一个未注释的真实图像集合。然后可以使用生成和细化的图像来为特定任务训练深度学习模型。我们还提出并评估了进一步提高性能的翻译方法的扩展，例如基于补丁的训练，它缩短了训练时间并提高了全局一致性。我们评估我们的方法，并证明其有效性的两个机器人数据集。最后，我们深入了解学习的细化操作。
2022-06-28 cs.CV
Domain Adaptation from Synthesis to Reality in Single-model Detector for Video Smoke Detection
University of Science and Technology of China（中国科学技术大学）
提出了一种基于合成烟雾样本的视频烟雾检测方法。虚拟数据可以自动提供精确和丰富的注释样本。然而，真实烟雾样本与合成烟雾样本之间的外观差距会损害烟雾表示的学习。现有的研究主要集中在对从原始标注样本中提取的样本的适应性上。这些方法将目标检测和领域自适应作为两个独立的部分。为了用丰富的合成样本训练一个强大的检测器，我们构建了对最先进的单模型检测器（SSD和MS-CNN）的检测层的适应。培训过程是一个端到端的阶段。在学习过程中，将分类、定位和自适应相结合。在我们的实验中，所提出的模型的性能超过了原来的基线。同时，我们的结果表明，基于对抗适应的检测器优于基于差异适应的检测器。代码将在http://smoke.ustc.edu.cn上公开。此外，在附录A中描述了用于两级检测器的领域自适应。
2018-11-21 cs.CV
Synthetic-to-Real Domain Adaptation for Action Recognition: A Dataset and Baseline Performances
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University Applied Physics Lab（约翰斯·霍普金斯大学应用物理实验室）；Georgia Institute of Technology（佐治亚理工学院）；University of Maryland（马里兰大学）；Army Research Lab（陆军研究实验室）
本文提出RoCoG-v2数据集，包含七个手势类别的真实与合成视频，聚焦人机协作手势，并支持地面与空中视角下的合成到真实域偏移研究，同时给出基于先进动作识别与域适应算法的基线结果。
2024-08-01 cs.CV
Decomposition-Based Domain Adaptation for Real-World Font Recognition
我们提出了一个域自适应框架，以解决合成训练和真实世界的测试数据之间的域不匹配。我们展示了我们的方法上一个具有挑战性的细粒度分类问题：识别字体风格的文本图像。在这个任务中，生成大量的渲染字体示例非常容易，但很难获得真实世界的标记图像。在以前的字体识别方法中，这种真实到合成域的差距导致了对新真实数据的泛化能力差（Chen et al.（2014））。在本文中，我们介绍了一种卷积神经网络分解方法，利用一个大型的训练语料库的合成数据，以获得有效的特征进行分类。这是使用基于堆叠卷积自动编码器的自适应技术来完成的，堆叠卷积自动编码器利用大量未标记的真实世界文本图像与以特定方式预处理的合成数据相结合。所提出的DeepFont方法在我们收集的一个新的大型标记真实世界数据集上实现了高于80%（前5名）的准确率。
2015-04-01 cs.CV
GTA-Crime: A Synthetic Dataset and Generation Framework for Fatal Violence Detection with Adversarial Snippet-Level Domain Adaptation
Department of Electrical Engineering（电气工程系）；Electronic Engineering（电子工程）；AI Semiconductor Engineering（人工智能半导体工程）；Hanyang University（翰阳大学）
针对致命暴力视频稀缺和伦理问题，提出GTA-Crime合成数据集及生成框架，结合Wasserstein对抗性片段级域适应，提升真实世界致命暴力检测精度。
2025-09-10 cs.CV
Bridging the Sim2Real gap with CARE: Supervised Detection Adaptation with Conditional Alignment and Reweighting
Georgia Tech（佐治亚理工学院）；NVIDIA（英伟达）
Sim2Real领域自适应（DA）研究的重点是从标记的合成源域到未标记或稀疏标记的真实目标域的自适应约束设置。然而，对于高风险应用（例如，自动驾驶），除了大量的自动标记的源数据（例如，来自驾驶模拟器）之外，通常还具有适量的人类标记的真实数据。我们研究了这种设置的监督sim2real DA应用到二维目标检测。我们提出了域翻译通过条件对齐和重新加权（CARE）一种新的算法，系统地利用目标标签显式地关闭sim2real外观和内容的差距。我们提出了一个分析的理由，我们的算法，并证明了强大的收益在标准基准的竞争方法。
2023-02-09 cs.CV
ChildGAN: Large Scale Synthetic Child Facial Data Using Domain Adaptation in StyleGAN
University of Galway（戈尔韦大学）；Xperi Corporation（Xperi公司）
本文提出ChildGAN，基于StyleGAN2通过域自适应生成大规模合成儿童面部数据，经多种视觉测试验证其高质量，可作为真实儿童数据集的替代方案。
2023-07-25 cs.CV
Semi-supervised domain adaptation with CycleGAN guided by a downstream task loss
University of Wuppertal（伍珀塔尔大学）
领域自适应具有巨大的意义，因为标记是一项昂贵且容易出错的任务，特别是当像语义分割中那样在像素级上需要标记时。因此，人们希望能够在数据丰富且标签精确的合成域上训练神经网络。然而，这些模型通常在域外图像上表现不佳。为了减轻输入中的移位，可以使用图像到图像方法。然而，标准的图像到图像的方法，桥梁的部署域与合成训练域不集中在下游的任务，而只是在视觉检查水平。因此，我们提出了一个“任务感知”版本的GAN在图像到图像的领域自适应的方法。在少量标记的地面真实数据的帮助下，我们将图像到图像的翻译引导到更合适的输入图像，用于在合成数据（合成领域专家）上训练的语义分割网络。这项工作的主要贡献是1）一个模块化的半监督领域自适应方法的语义分割，通过训练下游的任务感知CycleGAN，同时避免适应合成语义分割专家2）该方法是适用于复杂的领域自适应任务的演示和3）一个更少的偏见域间隙分析，通过从头开始的网络。我们评估我们的方法上的分类任务，以及对语义分割。我们的实验表明，我们的方法比CycleGAN（一种标准的图像到图像方法）在仅使用70（10%）个地面真实图像的分类任务中的准确率高出7%。对于语义分割，我们可以在训练期间仅使用14个地面实况图像的Cityscapes评估数据集上显示平均交集比并集提高约4%至7%。
2022-08-18 cs.CV
