Heterogeneous-Modal Unsupervised Domain Adaptation via Latent Space Bridging
Southern University of Science and Technology(南方科技大学);SZ DJI Technology Co., Ltd(深圳大疆科技有限公司)
本文提出异构模态无监督域适应(HMUDA)设置及潜在空间桥接(LSB)框架,利用桥接域实现跨模态知识迁移,在六个基准数据集上达到语义分割任务的最优性能。
2026-10-09 cs.AI cs.CV cs.LG
Camera Alignment and Weighted Contrastive Learning for Domain Adaptation in Video Person ReID
ETS Montreal(蒙特利尔高等技术学院)
用于人员重新识别(ReID)的系统在大型全标记图像数据集上训练时可以实现高准确度。然而,域转移通常与不同的操作捕获条件(例如,摄像机视点和照明)可能转化为性能的显著下降。本文重点介绍了基于视频的ReID的无监督领域自适应(UDA)-一个相关的情况下,在文献中较少探讨。在这种情况下,ReID模型必须适应由基于tracklet信息的不同视频摄像机网络定义的复杂目标域。现有技术的方法对未标记的目标数据进行聚类,但是跨目标相机(子域)的域偏移可能导致聚类方法的初始化不佳,从而使噪声跨时期传播,从而阻止ReID模型准确地关联相同身份的样本。在本文中,为视频人物ReID引入了一种UDA方法,该方法利用视频轨迹的知识,以及在目标相机上捕获的帧的分布,以提高使用伪标签训练的CNN骨干的性能。我们的方法依赖于一种对抗性的方法,在这种方法中,引入了一个摄像机网络来提取与摄像机无关的判别表示,从而促进了后续的聚类。此外,提出了一种加权对比损失,以利用集群的信心,并减轻不正确的身份关联的风险。在三个具有挑战性的基于视频的人ReID数据集-PRID 2011,iLIDS-VID和MARS -上获得的实验结果表明,我们提出的方法可以优于相关的最先进的方法。我们的代码可从以下网址获得:\url{https://github.com/dmekhazni/CAWCL-ReID}
2022-11-07 cs.CV
Residual-CycleGAN based Camera Adaptation for Robust Diabetic Retinopathy Screening
Baidu Inc(百度公司)
糖尿病视网膜病变(DR)眼底图像自动检测是目前研究的热点。然而,当将这些模型应用于真实世界的DR筛查时,观察到准确性下降,其中眼底相机品牌与用于捕获训练图像的相机品牌不同。我们如何训练一个分类模型,对一个品牌的眼底图像进行分类,同时对其他品牌的眼底图像也有很好的分类效果?在本文中,我们定量地验证眼底相机品牌相关的域偏移的DR分类模型的性能的影响,从实验的角度。此外,我们提出了面向相机的residual-CycleGAN,以减轻相机品牌的差异,通过域自适应,并实现目标相机图像上的分类性能的提高。在EyePACS数据集和私有数据集上进行的大量消融实验表明,相机品牌差异会显著影响分类性能,证明了该方法能有效提高目标域的模型性能.我们已经推断并标记了EyePACS数据集中每个图像的相机品牌,并将公布相机品牌标签,以进一步研究领域适应。
2020-07-31 cs.CV eess.IV
DeepSalt: Bridging Laboratory and Satellite Spectra through Domain Adaptation and Knowledge Distillation for Large-Scale Soil Salinity Estimation
Department of Computer Science, Colorado State University, USA(计算机科学系,科罗拉多州立大学);Department of Soil and Crop Sciences, Colorado State University, USA(土壤与作物科学系,科罗拉多州立大学)
DeepSalt通过域适应和知识蒸馏,将实验室光谱知识迁移至卫星高光谱,实现无需大量采样的准确大规模土壤盐分估算。
2025-10-27 cs.CV cs.LG
Bridging Few-Shot Learning and Adaptation: New Challenges of Support-Query Shift
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Sicara(西卡拉公司);Sidetrade(赛德贸易公司)
少样本学习(FSL)算法在仅用少量标记数据学习新概念方面取得了实质性进展。为了从测试时遇到的新类中对查询实例进行分类,它们只需要由几个标记样本组成的支持集。FSL基准测试通常假设这些查询来自与支持集中的实例相同的分布。然而,在现实环境中,数据分布可能会发生变化,这种情况称为分布偏移(DS)。本工作解决了支持/查询移位(FSQS)下的少样本学习的新的和具有挑战性的问题,即,当从相关但不同的分布中采样支持和查询实例时。我们的贡献如下。首先,我们为FSQS发布了一个测试平台,包括数据集、相关基线和一个用于严格和可重复评估的协议。其次,我们观察到,成熟的FSL算法毫不奇怪地遭受相当大的准确性下降时,面对FSQS,强调我们的研究的意义。最后,我们表明,转导算法可以限制DS的不合时宜的影响。特别是,我们研究了批量归一化和最优传输(OT)在对齐分布中的作用,将无监督领域自适应与FSL连接起来。这导致了一种新的方法,有效地结合OT与著名的原型网络。我们带来了令人信服的实验,证明了我们方法的优势。我们的工作通过提供测试平台和强大的基线开启了一条令人兴奋的研究路线。我们的代码可在https://github.com/ebennequin/meta-domain-shift上获得。
2021-08-05 cs.CV cs.LG
Bridging the Synthetic-to-Authentic Gap: Distortion-Guided Unsupervised Domain Adaptation for Blind Image Quality Assessment
Xidian University(西安电子科技大学)
针对合成训练数据与真实图像间的域差距,本文提出 DGQA 框架,通过失真先验自适应选择源域以减少负迁移,并在两类跨域设置中验证其有效性。
2024-05-07 cs.CV eess.IV
MVUDA: Unsupervised Domain Adaptation for Multi-view Pedestrian Detection
Global Trucks Operations, Volvo Group(沃尔沃集团全球卡车运营部);Chalmers University of Technology(查尔姆斯理工大学)
针对多视角行人检测器在不同摄像头装置间部署性能下降的问题,提出MVUDA无监督域自适应方法,结合均值教师框架与定制伪标签技术,在多个基准上取得最优性能,减少标记数据依赖并建立UDA基线。
2024-12-05 cs.CV
Bridging the Synthetic-Real Gap: Supervised Domain Adaptation for Robust Spacecraft 6-DoF Pose Estimation
SnT, University of Luxembourg(SnT,卢森堡大学)
针对航天器位姿估计中合成到真实的域差距问题,提出首个基于LIRR范式的监督域自适应框架,联合优化域不变表示与任务特定风险,在SPEED+基准上仅用5%标记目标数据即超越oracle基线,实现高效鲁棒的位姿估计。
2025-09-17 cs.AI cs.CV
Unsupervised Vehicle Counting via Multiple Camera Domain Adaptation
Institute of Information Science and Technologies (ISTI), Italian National Research Council (CNR)(意大利国家研究委员会信息科学与技术研究所);Instituto Superior Técnico (LARSyS/IST)(里斯本高等理工学院)
监测城市中的车辆流量对于改善城市环境和公民生活质量至关重要。图像是感知和评估大面积车辆流动的最佳传感方式。目前用于图像中车辆计数的技术依赖于大量的注释数据,这阻碍了它们在系统中添加新相机时对城市规模的可扩展性。这是处理物理系统时经常出现的问题,也是机器学习和AI的关键研究领域。我们提出并讨论了一种新的方法来设计基于图像的车辆密度估计器,通过多个摄像机领域自适应的标记数据很少。
2020-09-13 cs.CV cs.LG
Adaptive Dual-Teacher Distillation with Subnetwork Rectification for Bridging Semantic Gaps in Black-Box Domain Adaptation
School of Computer Science and Engineering, Tianjin University of Technology(天津理工大学计算机科学与工程学院);School of Artificial Intelligence, Tianjin University(天津大学人工智能学院)
本文提出DDSR框架,通过自适应预测融合策略和子网络正则化机制,解决黑盒领域适应中任务特定知识与语言对齐语义先验的不一致问题,提升领域适应性能。
2026-10-21 cs.CV cs.LG
SceneAdapt: Scene-based domain adaptation for semantic segmentation using adversarial learning
University of Catania(卡塔尼亚大学);Park Smart s.r.l.(Park Smart有限责任公司)
得益于深度学习,语义分割方法已经取得了出色的性能。然而,当这些算法被部署到训练期间未看到的新上下文时,有必要收集和标记特定于场景的数据,以便使用微调使其适应新的域。由于不同视点引起的不同场景布局,每当移动已经安装的摄像机或在摄像机网络中引入新的摄像机时,都需要该过程。为了限制要收集的附加训练数据的量,理想的是使用已经可用的标记数据和仅来自新相机的未标记数据来训练语义分割方法。我们将这个问题形式化为一个领域自适应任务,并引入了一个新的数据集的城市场景与相关的语义标签。作为解决这一挑战性任务的第一种方法,我们提出了SceneAdapt,一种基于对抗学习的语义分割算法的场景自适应方法。与最先进的领域自适应方法的实验和比较突出表明,当两个场景具有不同的视角时,以及当它们包括完全不同场景的图像时,使用对抗性学习可以实现有希望的性能。为了鼓励对这个主题的研究,我们在我们的网页上提供了我们的代码:https://iplab.dmi.unict.it/ParkSmartSceneAdaptation/。
2020-06-18 cs.CV
Relating Events and Frames Based on Self-Supervised Learning and Uncorrelated Conditioning for Unsupervised Domain Adaptation
University of Southern California(南加州大学)
针对事件相机标注数据稀缺问题,提出结合不相关条件与自监督学习的无监督域适应算法,将基于帧的标注数据知识迁移至事件数据,在两个基准上超越现有方法。
2025-06-29 cs.CV
Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning
University of Southern California(南加州大学)
基于事件的摄像机为在高动态范围环境和快速运动机动期间执行计算机视觉任务提供可靠的测量。然而,在基于事件的视觉中采用深度学习面临着由于事件相机的新近性而导致的注释数据稀缺的挑战。转移可以从传统相机注释数据中获得的知识为这一挑战提供了一个实用的解决方案。我们开发了一种无监督的领域自适应算法,用于使用对比学习和数据的不相关条件来训练用于基于事件的数据图像分类的深度网络。为此,我们的解决方案优于现有的算法。
2023-03-22 cs.CV cs.LG
InfAnFace: Bridging the infant-adult domain gap in facial landmark estimation in the wild
Roux Institute(鲁克斯研究所);Northeastern University(东北大学);University of Maine(缅因大学)
我们为婴儿面部的算法理解研究奠定了基础,预期从医疗保健到心理学的应用,特别是在发育障碍的早期预测方面。具体来说,我们介绍了有史以来第一次的数据集的婴儿面部标注的面部标志坐标和姿态属性,展示了现有的面部标志估计算法在婴儿领域的不足之处,和训练新的国家的最先进的模型,显着改善后,这些算法使用领域自适应技术。我们触及了与婴儿面部检测密切相关的任务,以及我们实验室收集的红外婴儿监视器图像的一个具有挑战性的案例研究,作为对上述发展问题的现场研究的一部分。
2022-05-27 cs.CV
Self-Supervised Adaptation of High-Fidelity Face Models for Monocular Performance Tracking
University of Minnesota(明尼苏达大学);Facebook Reality Labs(Facebook现实实验室)
数据采集和人脸建模技术的改进使我们能够创建高保真逼真的人脸模型。然而,驱动这些逼真的人脸模型需要特殊的输入数据,例如3D网格和展开的纹理。此外,这些面部模型期望在受控实验室环境下获得干净的输入数据,这与在野外收集的数据非常不同。所有这些限制使得在商品相机的跟踪中使用高保真模型具有挑战性。在本文中,我们提出了一个自我监督的领域自适应方法,使动画的高保真人脸模型从商品相机。我们的方法首先通过训练一个新的网络来规避对特殊输入数据的要求,该网络可以直接从单个2D图像驱动人脸模型。然后,我们克服了实验室和不受控制的环境之间的域不匹配,通过执行基于“连续帧纹理一致性”的自监督领域自适应的假设,即人脸的外观在连续帧上是一致的,避免了建模新的环境,如照明或背景的必要性。实验表明,我们能够驱动一个高保真的人脸模型来执行复杂的面部运动从手机摄像头,而不需要任何标记的数据从新的域。
2019-07-25 cs.CV
Few-Shot Domain Adaptation for Low Light RAW Image Enhancement
Indian Institute of Science, Bangalore, India(印度科学理工学院(班加罗尔))
由于短曝光时间和有限的照明导致严重的噪声和颜色失真,增强实际的低光原始图像是一项困难的任务。尽管现有的基于卷积神经网络(CNN)的方法取得了成功,但它们的性能不适用于不同的相机域。此外,这样的方法还需要具有针对每个相机域的短曝光和对应的长曝光地面真实原始图像的大数据集,这是冗长的编译。针对这一问题,提出了一种新的Few-Shot领域自适应方法,利用源摄像机已有的标记数据和目标摄像机的少量标记样本,提高极弱光成像中目标域的增强质量。我们的实验表明,与使用大型标记目标相机数据集训练模型相比,仅来自目标相机域的十个或更少的标记样本就足以实现类似或更好的增强性能。为了支持这一方向的研究,我们还提出了一个新的低光原始图像数据集,用尼康相机拍摄,包括短曝光和相应的长曝光地面真实图像。
2023-03-27 cs.CV eess.IV
WARP-VLA: Wrist-Camera Adaptation for View-Robust Policy Execution in Vision-Language-Action Models
Yonsei University(延世大学);Korea Electronics Technology Institute(KETI)(韩国电子技术研究院(KETI))
针对视觉-语言-动作模型在机器人操作中对相机配置变化敏感的问题,提出WARP-VLA,采用混合专家架构实现腕部视角鲁棒策略,在LIBERO基准上将pi-0.5平均成功率从39.2%提至78.3%,且可迁移至真实机器人。
2026-10-14 cs.CV cs.RO
Fake it, Mix it, Segment it: Bridging the Domain Gap Between Lidar Sensors
University of Wuppertal(伍珀塔尔大学);Aptiv(安波福)
激光雷达数据的分割是一项提供有关机器人或自动驾驶车辆环境的丰富逐点信息的任务。目前用于激光雷达分割的性能最佳的神经网络针对特定数据集进行了微调。切换激光雷达传感器而不重新训练来自新传感器的大量注释数据会造成域转移,从而导致网络性能急剧下降。在这项工作中,我们提出了一种新的方法,激光雷达域自适应,其中我们使用注释的全景激光雷达数据集,并在不同的激光雷达传感器的结构中重新创建记录的场景。我们缩小域间隙的目标数据,通过重新创建全景数据从一个域中的另一个和混合生成的数据与部分(伪)标记的目标域数据。我们的方法将nuScenes到SemanticKITTI无监督领域自适应性能提高了15.2 mIoU,在我们的半监督方法中提高了48.3 mIoU。我们证明了类似的改善SemanticKITTI nuScene领域自适应分别由21.8 mIoU和51.5 mIoU。我们将我们的方法与两种最先进的语义激光雷达分割领域自适应方法进行比较,无监督和半监督领域自适应有显着改进。此外,我们成功地将我们提出的方法应用于两个完全未标记的数据集的两个国家的最先进的激光雷达传感器Velodyne Alpha Prime和InnovizTwo,和训练表现良好的语义分割网络。
2022-12-19 cs.CV cs.LG
Domain Camera Adaptation and Collaborative Multiple Feature Clustering for Unsupervised Person Re-ID
Tongji University(同济大学)
针对无监督行人重识别中跨域泛化、多粒度信息不足及确认偏差问题,提出结合域相机自适应、协同伪重标注与CMFC多特征聚类的方法,并在两个基准上取得有竞争力的结果。
2024-06-17 cs.CV
CMDA: Cross-Modality Domain Adaptation for Nighttime Semantic Segmentation
East China University of Science and Technology(华东理工大学);United Imaging Intelligence(联影智能)
针对夜间低光下传统相机图像细节缺失的问题,提出无监督跨模态域适应(CMDA)框架,结合图像与事件多模态信息并仅需白天标签,设计了运动与内容提取器弥合模态与域间差距,并发布了首个图像-事件夜间语义分割数据集。
2023-07-29 cs.CV
Towards Bridging the Space Domain Gap for Satellite Pose Estimation using Event Sensing
Australian Institute for Machine Learning (AIML)(澳大利亚机器学习研究所);Sentient Satellites Laboratory (SSL)(感知卫星实验室)
针对太空场景真实数据稀缺导致域适应困难的问题,提出仅用合成事件数据训练并结合基础增强的卫星位姿估计方法,依托实验室模拟交会数据集验证其可在剧烈光照下有效泛化。
2022-09-24 cs.CV cs.RO
AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain Adaptation
UC Merced(加州大学默塞德分校);Amazon Web Services(亚马逊云科技)
基于神经网络的语义分割在有大量标注数据时,即在有监督的情况下,取得了显著的效果。然而,收集这样的数据是昂贵的,因此已经开发了方法来适应在相关的、通常是合成数据上训练的模型,对于这些数据,标签是容易获得的。目前的适应方法不考虑这些模型的泛化/可转移性对网络架构的依赖。在本文中,我们执行神经架构搜索(NAS)提供架构级的观点和分析领域自适应。我们确定的优化差距时,存在的搜索架构无监督领域自适应,这使得这个NAS问题独特的困难。我们建议弥合这一差距,使用最大平均差异和区域加权熵估计的准确性度量。几个广泛采用的基准测试的实验结果表明,我们提出的AutoAdapt框架确实发现了一些现有的自适应技术,提高性能的架构。
2021-06-24 cs.CV
Bridging the Domain Gap in Satellite Pose Estimation: a Self-Training Approach based on Geometrical Constraints
National University of Defense Technology(国防科技大学);Sun Yat-Sen University(中山大学)
最近,卫星姿态估计中的无监督领域自适应得到了越来越多的关注,旨在减轻训练深度模型的注释成本。为此,我们提出了一个自我训练框架的基础上域不可知的几何约束。具体来说,我们训练一个神经网络来预测卫星的2D关键点,然后使用Pestro来估计姿态。目标样本的姿态被视为潜在变量,制定任务作为一个最小化问题。此外,我们利用细粒度分割来解决将卫星抽象为稀疏关键点所导致的信息丢失问题。最后,我们迭代地解决最小化问题的两个步骤:伪标签生成和网络训练。实验结果表明,该方法对目标域有较好的适应性.在第二届国际卫星位姿估计竞赛的日光灯任务中获得第一名。
2022-12-23 cs.CV
Bridging the Theoretical Bound and Deep Algorithms for Open Set Domain Adaptation
Tsinghua University(清华大学);University of Technology Sydney(悉尼科技大学)
在无监督开集领域自适应(UOSDA)中,目标域包含在源域中未观察到的未知类。该领域的研究人员旨在训练分类器,以准确地:1)识别未知目标数据(具有未知类别的数据),以及2)分类其他目标数据。为了实现这一目标,已有研究证明了目标域风险的一个上界,而开集差作为上界中的一个重要项,被用来度量未知目标数据上的风险。通过最小化上界,可以训练一个浅层分类器来实现目标。然而,如果分类器非常灵活(例如,深度神经网络(DNN)),当最小化上界时,开集差将收敛到负值,这导致大多数目标数据被识别为未知数据的问题。为了解决这个问题,我们提出了一个新的UOSDA目标域风险的上限,其中包括四个术语:源域风险,$ε$ -开集差($Δ_ε$),域之间的分布差异,和一个常数。与开集差异相比,当它被最小化时,$Δ_ε$对问题更鲁棒,因此我们能够使用非常灵活的分类器(即,DNN)。然后,我们提出了一种新的原则指导的深度UOSDA方法,通过最小化新的上限来训练DNN。具体而言,源域风险和$Δ_ε$通过梯度下降最小化,分布差异通过一种新的开集条件对抗训练策略最小化。最后,与现有的浅层和深层UOSDA方法相比,我们的方法在几个基准数据集上显示了最先进的性能,包括数字识别(MNIST,SVHN,USPS),对象识别(Office-31,M-Home)和人脸识别(PIE)。
2020-06-23 cs.CV cs.LG stat.ML
1st Place Solution for Waymo Open Dataset Challenge -- 3D Detection and Domain Adaptation
Horizon Robotics(地平线机器人)
在这份技术报告中,我们介绍了我们在CVPR 2020 Waymo开放数据集挑战赛中3D检测赛道和领域自适应赛道的获奖解决方案“HorizonLiDAR 3D”。许多现有的3D对象检测器包括基于先验的锚框设计,以考虑对象的不同尺度和纵横比以及类别,这限制了其推广到不同数据集或域的能力,并且需要后处理(例如,非最大值抑制(NMS))。我们提出了一个一阶段的,锚和NMS免费的3D点云对象检测器AFDet,使用对象的关键点编码的3D属性,并学习一个端到端的点云目标检测,而不需要手工工程或学习的锚。AFDet是我们获胜解决方案的强大基准,在挑战赛中,我们在此基础上进行了重大改进。具体来说,我们设计了更强大的网络,并使用致密化和点绘制来增强点云数据。为了利用相机信息,我们通过将它们投影到相机空间并收集基于图像的感知信息来为每个点添加/绘制额外的属性。最终的检测性能也受益于3D检测轨道和领域自适应轨道中的模型集成和测试时间增强(TTA)。我们的解决方案在3D检测轨道和领域自适应轨道上分别以77.11%mAPH/L2和69.49%mAPH/L2获得第一名。
2020-06-28 cs.CV
Lessons and Open Questions from a Unified Study of Camera-Trap Species Recognition Over Time
The Ohio State University(俄亥俄州立大学);Boston University(波士顿大学)
本文通过统一研究相机陷阱物种识别的时间变化,揭示了生态实践中维持可靠识别的挑战,提出了一种真实场景的基准测试,并发现生物基础模型在多个站点表现不佳,适应性困难,以及类不平衡和时间偏移是主要因素。
2026-07-24 cs.CV
Unsupervised Domain Adaptation for Nighttime Aerial Tracking
Tongji University(同济大学);ETH Zürich(苏黎世联邦理工学院)
以往在目标跟踪方面的研究主要集中在良好的光照条件下,而忽略了夜间的跟踪性能,这严重阻碍了相关空中机器人应用的发展。这项工作,而不是开发一种新的无监督领域自适应框架夜间空中跟踪(UDAT)。具体而言,提供了一种独特的对象发现方法来从原始夜间跟踪视频生成训练补丁。为了解决域差异,我们采用了一个基于transformer的桥接层后的特征提取器,以对齐来自两个域的图像特征。借助Transformer日/夜功能,白天跟踪模型经过逆向训练,可在夜间进行跟踪。此外,我们构建了一个开创性的基准,即NAT 2021无监督域自适应夜间跟踪,其中包括一个测试集的180手动注释的跟踪序列和一个训练集超过276 k未标记的夜间跟踪帧。详尽的实验证明了该框架在夜间空中跟踪中的鲁棒性和域适应性。代码和基准可以在https://github.com/vision4robotics/UDAT上获得。
2022-03-30 cs.CV
A Multi Camera Unsupervised Domain Adaptation Pipeline for Object Detection in Cultural Sites through Adversarial Learning and Self-Training
University of Catania(卡塔尼亚大学);National Research Council(国家研究委员会)
目标检测算法允许实现许多有趣的应用,这些应用可以在诸如智能电话和可穿戴设备的不同设备中实现。在文化场所的背景下,在诸如一副智能眼镜的可穿戴设备中实现这些算法允许使用增强现实(AR)来显示关于艺术品的额外信息并丰富游客在他们的游览期间的体验。然而,目标检测算法需要在许多注释良好的示例上进行训练以获得合理的结果。这带来了一个主要的限制,因为注释过程需要人工监督,这使得它在时间和成本方面非常昂贵。一个可能的解决方案,以减少这些成本包括利用工具,自动生成合成标记的图像从三维模型的网站。然而,用合成数据训练的模型不能推广到在目标场景中获取的真实图像上,在该场景中,它们应该被使用。此外,物体检测器应该能够与不同的可穿戴设备或不同的移动设备一起工作,这使得泛化更加困难。在本文中,我们提出了一个新的数据集收集在一个文化遗址研究目标检测的领域自适应的问题,在存在多个未标记的目标域对应于不同的相机和标记的源域考虑合成图像的训练目的。我们提出了一种新的领域自适应方法,它优于当前国家的最先进的方法相结合的好处,对齐的域在特征和像素级的自训练过程。我们在以下链接https://iplab.dmi.unict.it/OBJ-MDA/发布数据集,并在https://github.com/fpv-iplab/STMDA-RetinaNet发布拟议架构的代码。
2022-10-03 cs.CV cs.LG
EventFly: Event Camera Perception from Ground to the Sky
National University of Singapore(新加坡国立大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Institute for Infocomm Research, A*STAR(新加坡科研局信息通信研究所);IPAL, CNRS IRL 2955(法国国家科学研究中心IPAL国际研究实验室);CerCo, CNRS UMR 5549, Université Toulouse III(法国国家科学研究中心CerCo实验室,图卢兹第三大学)
EventFly提出跨平台事件相机感知自适应框架,通过事件激活先验、数据混合和双判别器对齐,在车辆、无人机和四足机器人基准上显著提升性能。
2025-03-25 cs.CV cs.RO
Syn2RealTrack: Bridging the Gap Between Synthetic and Real-World Datasets for Online Multi-View Multi-Target Tracking
Sungkyunkwan University(成均馆大学)
Syn2RealTrack将合成到真实域差距分解为三个环节并对应局部解决方案,无需重训特征提取器,在AI City Challenge 2026 Track 1评估中3D HOTA达52.0118%,用于在线多视图多目标跟踪
2026-08-26 cs.AI cs.CV
DensePASS: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation with Attention-Augmented Context Exchange
Institute for Anthropomatics and Robotics(人机与人机交互研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hangzhou SurImage Company Ltd.(杭州 SurImage 有限公司)
智能车辆显然受益于360度传感器的扩大视野(FoV),但绝大多数可用的语义分割训练图像都是用针孔摄像头捕获的。在这项工作中,我们看看这个问题,通过镜头的领域自适应,并将全景语义分割的设置,标记训练数据源自传统的针孔相机图像的不同分布。首先,我们形式化的全景语义分割的无监督领域自适应的任务,其中从针孔摄像机数据的源域的标记的例子上训练的网络部署在一个不同的目标域的全景图像,其中没有标签可用。为了验证这一想法,我们收集并公开发布了DensePASS -一种用于跨域条件下全景分割的新型密集注释数据集,专门用于研究针孔到全景转移,并附带从Cityscapes获得的针孔相机训练样本。DensePASS涵盖了标记和未标记的360度图像,标记数据包括19个类别,明确适合源域(即针孔)数据中可用的类别。为了应对领域转移的挑战,我们利用当前基于注意力机制的进展,并建立了一个通用的框架,跨域全景语义分割的基础上注意力增强领域自适应模块的不同变体。我们的框架有利于在本地和全球层面的信息交换时,学习域对应关系,并提高了领域自适应性能的两个标准的分割网络的平均IoU分别为6.05%和11.26%。
2021-08-13 cs.CV cs.RO eess.IV
Bridging Synthetic and Real-World Domains: A Human-in-the-Loop Weakly-Supervised Framework for Industrial Toxic Emission Segmentation
Universiteit van Amsterdam(阿姆斯特丹大学)
针对工业烟雾分割中现实场景像素级标注稀缺问题,提出人在环类别感知域自适应框架CEDANet,结合公民弱标签优化伪标签及类别特定域判别器,实验表明其性能接近小样本全监督水平,验证公民科学与弱监督结合的实用性。
2025-11-12 cs.AI cs.CV
Heterogeneous Model Fusion for Privacy-Aware Multi-Camera Surveillance via Synthetic Domain Adaptation
Department of Computer Science and Information Engineering, National Chung Cheng University(资讯工程系,国立 Chung Cheng 大学);Department of Computer Science, National Yang Ming Chiao Tung University(计算机科学系,国立阳明交通大学);National Center for High-Performance Computing(国家高速计算中心)
本文提出HeroCrystal框架,通过合成领域适应解决多摄像头目标检测中的隐私、类别不平衡和异构架构问题,提升定位精度并实现模型融合,实验表明其在多类别隐私保护设置下优于现有方法,mAP提升2.1%达33.4%。
2026-05-10 cs.CV cs.DC cs.LG
Domain Stylization: A Strong, Simple Baseline for Synthetic to Real Image Domain Adaptation
NVIDIA(英伟达)
由于协变量偏移问题,深度神经网络在应用于真实图像时在很大程度上未能有效利用合成数据。在本文中,我们表明,通过应用一个简单的修改现有的真实感风格转移算法,我们实现了最先进的合成到真实的领域自适应的结果。我们对语义分割和目标检测的四个合成到真实任务进行了广泛的实验验证,并表明我们的方法超过了任何当前最先进的基于GAN的图像翻译方法的性能,如分割和目标检测指标所衡量的。此外,我们提供了一个基于距离的分析,我们的方法,显示了显着减少弗雷歇初始距离之间的源域和目标域,提供了一个定量指标,证明了我们的算法在弥合合成到真实的差距的有效性。
2018-07-24 cs.CV cs.LG
Dance Across Shifts: Forward-Facilitation Continual Test-Time Adaptation through Dynamic Style Bridging
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Shenzhen University of Advanced Technology(深圳先进技术大学);Guangdong Provincial Key Laboratory of Computility Microelectronics(广东省计算微电子重点实验室)
本文提出了一种新的向前促进的持续测试时间适应方法,通过动态风格桥接机制,在部署前构建紧凑的知识库,并在测试时动态注入输入数据风格,以提供可靠的监督信号,从而在持续迁移中实现稳定的适应。
2026-05-18 cs.CV
Bridging Domain Gaps for Fine-Grained Moth Classification Through Expert-Informed Adaptation and Foundation Model Priors
University of Exeter(埃克塞特大学);Aarhus University(奥胡斯大学)
本文针对蛾类细粒度分类中的领域偏移问题,提出结合专家标注野外数据与 BioCLIP2 知识蒸馏到 ConvNeXt-tiny 的轻量级方法,在 101 种丹麦蛾类上以更低计算成本达到与 BioCLIP2 相当的准确率。
2025-08-27 cs.CV
Bridge the Domain Gap Between Ultra-wide-field and Traditional Fundus Images via Adversarial Domain Adaptation
Airdoc LLC(爱丁堡医疗科技有限公司);Monash University(莫纳什大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
几十年来,视网膜成像技术的进步已经使得能够使用眼底照相机有效地诊断和管理视网膜疾病。近年来,Optos超宽视野眼底成像技术因其能更好地观察到传统眼底图像所不能观察到的眼底病变而逐渐得到应用。对传统眼底图像的研究是一个活跃的课题,而对UWF眼底图像的研究却很少。其中一个重要原因是UWF眼底图像难以获取。在本文中,我们第一次探讨域自适应从传统的眼底UWF眼底图像。我们提出了一个灵活的框架来弥合两个领域之间的领域差距,并通过伪标记和对抗学习来共同训练UWF眼底诊断模型。我们设计了一个正则化技术来调节域适应。此外,我们应用MixUp来克服不正确生成的伪标签的过拟合问题。实验结果表明,该方法能够很好地将传统眼底图像中的知识转化为UWF眼底图像中的知识,提高了视网膜疾病识别的性能。
2020-03-24 cs.CV eess.IV
Bridging the View Disparity Between Radar and Camera Features for Multi-modal Fusion 3D Object Detection
Tsinghua University(清华大学)
通过雷达和摄像头的多模态融合进行环境感知对于提高自动驾驶的准确性、完整性和鲁棒性至关重要。本文主要研究利用毫米波雷达和摄像机传感器融合进行三维目标检测。提出了一种新的方法,实现了鸟瞰图(BEV)下的特征级融合,以获得更好的特征表示。首先,雷达点增加时间积累和发送到一个空时编码器的雷达特征提取。同时,通过图像骨架和颈部模型,得到了适应不同空间尺度的多尺度图像二维特征。然后,图像特征转换到BEV与设计的视图Transformer。此外,本工作融合的多模态特征的两阶段融合模型称为点融合和ROI融合,分别。最后,检测头回归对象类别和3D位置。实验结果表明,该方法在最关键的检测指标--平均精度(mAP)和nuScenes检测分数(NDS)下,在具有挑战性的nuScenes数据集上实现了最先进的(SOTA)性能。
2022-10-29 cs.CV
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
Zhejiang University(浙江大学);Tencent Hunyuan(腾讯文心)
WorldStereo通过3D几何记忆模块实现相机引导视频生成与3D场景重建的高效融合,提升多视角一致性与重建质量。
2026-03-02 cs.CV
Subjective Camera 1.0: Bridging Human Cognition and Visual Reconstruction through Sequence-Aware Sketch-Guided Diffusion
National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University(国家多媒体软件工程研究中心,人工智能研究院,计算机科学学院,武汉大学);Hubei Key Laboratory of Multimedia and Network Communication Engineering(湖北省多媒体与网络通信工程重点实验室);Zhongguancun Academy, Beijing, China(中关村学院,北京,中国);CyberAgent AI Lab, Japan(CyberAgent AI实验室,日本)
本文提出Subjective Camera 1.0框架,通过文本描述和逐步草图等主观读数,利用序列感知草图引导扩散模型重建真实场景,无需大规模配对训练数据,在图像质量与空间语义对齐上达到最先进水平。
2025-09-21 cs.CV
HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
大多数基于学习的语义分割方法针对白天场景和有利的照明条件进行了优化。然而,现实世界的驾驶场景需要不利的环境条件,例如夜间照明或眩光,这对于现有方法来说仍然是一个挑战。在这项工作中,我们提出了一个多模态语义分割模型,可以在白天和夜间应用。为此,除了RGB图像外,我们还利用热图像,使我们的网络更加强大。我们避免了昂贵的夜间图像的注释,利用现有的白天RGB数据集,并提出了一个师生培训的方法,将数据集的知识转移到夜间域。我们进一步采用了一种领域自适应方法来调整学习的特征空间,并提出了一种新的两阶段训练方案。此外,由于缺乏自动驾驶的热数据,我们提出了一个新的数据集,包括超过20,000个时间同步和对齐的RGB热图像对。在这种情况下,我们还提出了一种新的无目标校准方法,允许自动鲁棒的外在和内在的热摄像机校准。除此之外,我们使用我们的新数据集来显示夜间语义分割的最新结果。
2020-03-10 cs.CV cs.LG cs.RO
Transfer beyond the Field of View: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
自动驾驶车辆显然受益于360度传感器的扩展视场(FoV),但现代语义分割方法严重依赖于带注释的训练数据,而这些数据很少可用于全景图像。我们从领域自适应的角度来看待这个问题,并将全景语义分割带到一个设置中,其中标记的训练数据来自传统针孔相机图像的不同分布。为了实现这一目标,我们将全景语义分割的无监督领域自适应任务形式化,并收集DensePASS -一种用于跨域条件下全景分割的新型密集注释数据集,专门用于研究针孔到全景域的转移,并伴有从Cityscapes获得的针孔相机训练样本。DensePASS涵盖标记和未标记的360度图像,标记数据包括19个类别,明确适合源(即针孔)域中可用的类别。由于数据驱动的模型是特别容易受到数据分布的变化,我们引入P2PDA -针孔到全景语义分割,解决了不同的注意力增强领域自适应模块的变体域分歧的挑战,使输出,功能和功能的置信度空间的传输通用框架。P2PDA交织的不确定性意识的适应使用的信心值调节的飞行通过注意头与不一致的预测。我们的框架有利于上下文交换时,学习域对应关系,并显着提高了适应性能的准确性和效率为重点的模型。综合实验验证,我们的框架显然超过无监督的领域自适应和专门的全景分割方法。
2021-10-21 cs.CV cs.RO eess.IV
Joint Progressive Knowledge Distillation and Unsupervised Domain Adaptation
École de technologie supérieure(高等技术学院);Genetec Inc.(Genetec公司)
目前,设计和操作数据分布的差异以及大的计算复杂性是在现实世界应用中采用CNN的限制因素。例如,人员重新识别系统通常依赖于分布式相机组,其中每个相机具有不同的捕获条件。这可以转化为源(例如实验室设置)和目标(例如操作相机)域之间的相当大的转变。考虑到为每个目标域中的微调而捕获的注释图像数据的成本,无监督领域自适应(UDA)已成为适应CNN的流行方法。此外,提供高准确性的最先进的深度学习模型通常依赖于对于实时应用来说过于复杂的架构。尽管最近提出了几种压缩和UDA方法来克服这些限制,但它们不允许优化CNN以同时解决这两个问题。在本文中,我们提出了一个未探索的方向-CNN的联合优化,以提供一个压缩模型,该模型适用于给定的目标域。特别是,所提出的方法执行无监督的知识蒸馏(KD)从一个复杂的教师模型到一个紧凑的学生模型,通过利用源和目标数据。它还改进了现有的UDA技术,逐步教学生关于域不变的功能,而不是直接适应目标域数据的紧凑模型。我们的方法进行了比较,对国家的最先进的压缩和UDA技术,使用两个流行的分类数据集UDA --31和ImageClef-DA。在这两个数据集,结果表明,我们的方法可以达到最高水平的准确性,同时需要一个相当或更低的时间复杂度。
2020-05-16 cs.CV cs.LG stat.ML
Camera Style Adaptation for Person Re-identification
Xiamen University(厦门大学);University of Technology Sydney(悉尼科技大学)
作为一个跨相机检索任务,人的重新识别遭受不同的相机造成的图像风格的变化。本领域通过学习相机不变描述符子空间来隐式地解决该问题。在本文中,我们明确考虑这一挑战,通过引入相机风格(CamStyle)适应。CamStyle可以用作平滑相机样式差异的数据增强方法。具体来说,使用CycleGAN,标记的训练图像可以被风格转移到每个相机,并与原始训练样本一起形成增强的训练集。这种方法虽然增加了数据多样性,但也会产生相当大的噪声。在努力减轻噪声的影响,标签平滑正则化(LSR)。我们的方法的香草版本(没有LSR)在经常发生过拟合的少数相机系统上表现得相当好。与LSR,我们表现出一致的改善,在所有系统中,无论过度拟合的程度。我们还报告了与最先进技术相比具有竞争力的准确性。
2018-04-10 cs.CV
BGG: Bridging the Geometric Gap between Cross-View images by Vision Foundation Model Adaptation for Geo-Localization
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education of China, Xidian University(中国教育部智能感知与图像理解重点实验室,西安电子科技大学);School of Telecommunications, Xidian University(西安电子科技大学电信学院);Department of Automation, Tsinghua University(清华大学自动化系)
本文提出BGG框架,通过多粒度特征增强适配器和频率感知结构聚合模块,有效提升跨视角地理定位性能,实验表明其在低训练成本下达到最先进的定位效果。
2026-05-11 cs.CV
DARNet: Bridging Domain Gaps in Cross-Domain Few-Shot Segmentation with Dynamic Adaptation
UNSW(新南威尔士大学);HKUST(香港科技大学)
针对跨域小样本分割中的域差异问题,本文提出 DARNet,通过 CSD、ARSM 和 TTA 动态增强泛化、预测精度与目标域适应能力,并取得优于现有方法的性能。
2023-12-08 cs.CV
Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels
Nokia Bell Labs(诺基亚贝尔实验室);New York University(纽约大学)
对深度学习的一个关键批评是,为了训练具有高性能和良好泛化能力的模型,需要大量昂贵且难以获取的训练数据。针对通过场景坐标回归(SCR)进行单目摄像机姿态估计的任务,提出了一种新的摄像机姿态估计网络(DANCE)的领域自适应方法,该方法能够在不访问目标任务上的任何标签的情况下训练模型。DANCE需要未标记的图像(没有已知的姿势,排序或场景坐标标签)和空间的3D表示(例如,扫描的点云),这两者都可以使用现成的商品硬件以最小的努力来捕获。DANCE从3D模型中渲染标记的合成图像,并通过应用无监督图像级领域自适应技术(不成对的图像到图像转换)来弥合合成图像和真实图像之间不可避免的领域差距。当在真实图像上进行测试时,使用DANCE训练的SCR模型以一小部分成本实现了与其完全监督的对应模型相当的性能(在这两种情况下,都使用PnP-RANSAC进行最终姿态估计)。我们的代码和数据集可在https://github.com/JackLangerman/dance上获得
2021-11-29 cs.CV
SIGMA: Bridging Structural and Distributional Gaps for Vision Foundation Model Adaptation
Xiaomi Corporation(小米公司)
提出SIGMA方法,通过尺度自适应融合和语义调制模块,以1.72%可训练参数实现视觉基础模型在密集预测任务上的高效微调,性能优于现有PEFT方法。
2026-05-27 cs.CV
MITA: Bridging the Gap between Model and Data for Test-time Adaptation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Pennsylvania State University(宾夕法尼亚州立大学);Kuaishou Technology(快手科技)
提出MITA方法,通过引入基于能量的优化实现模型与数据的双向相互适应,有效弥合分布差距,在异常值、混合和纯分布场景下显著提升测试时适应的泛化性能。
2024-10-12 cs.CV cs.LG
Seq-Masks: Bridging the gap between appearance and gait modeling for video-based person re-identification
Institute of Image Processing and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像处理与网络工程研究所);School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院);Shanghai Key Laboratory of Scalable Computing and Systems, Shanghai Jiao Tong University(上海交通大学可扩展计算与系统重点实验室)
基于图像的人物再识别(Re-ID)旨在匹配由不相交的监控摄像机捕获的视频序列中的人物图像。传统的基于视频的人的Re-ID方法专注于探索外观信息,因此容易受到光照变化,场景噪声,相机参数,特别是衣服/携带变化的影响。步态识别提供了一种隐式生物识别解决方案,以缓解上述头痛。尽管如此,它经历了严重的性能退化相机视图的变化。在试图解决这些问题,在本文中,我们提出了一个框架,利用序列掩模(SeqMasks)在视频中集成外观信息和步态建模在一个紧密的方式。具体来说,为了充分验证我们的方法的有效性,我们建立了一个新的数据集命名为MaskMARS基于MARS。在我们提出的大型野生视频Re-ID数据集MaskMARS上的综合实验证明了我们非凡的性能和泛化能力。步态识别度量CASIA-B数据集上的验证进一步证明了我们的混合模型的能力。
2021-12-10 cs.CV
DINO-Med3D: Bridging Dimension and Domain Gaps in Volumetric Segmentation via Progressive Adaptation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出两阶段渐进框架DINO-Med3D,通过多切片嵌入模块、3D适配器和并行细节恢复流,将DINOv3适配到3D医学分割,在五个数据集上超越现有方法。
2026-06-18 cs.CV
SurroundNEXO: Ego-Centric Metric Bridging for Spatially Consistent Geometry in Autonomous Driving
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Hello Inc.
提出SurroundNEXO框架,通过自车中心几何(Ego-Ray位置编码)和稀疏LiDAR度量锚点,解决多相机低重叠下的度量深度预测与空间一致性问题,在多个基准上显著提升性能。
2026-06-16 cs.CV
Bridging the Dimensionality Gap: A Taxonomy and Survey of 2D Vision Model Adaptation for 3D Analysis
Independent Researcher(独立研究员)
本文综述了将2D视觉模型适应3D分析的策略,分类为数据导向、架构导向和混合方法,探讨了计算复杂度、预训练依赖性和几何归纳偏置的权衡。
2026-04-03 cs.CV
RayTun3R: Online Camera Adaptation in 3D Foundation Models
TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学)
研究3D基础模型在鱼眼相机下表现不佳的问题,提出RayTun3R方法,通过学习参数高效的残差校正等,在保持预训练网络不变的情况下适配相机,减少旋转误差且参数少、无需多视图推理。
2026-07-07 cs.CV