ARKitScenes: A Diverse Real-World Dataset For 3D Indoor Scene Understanding Using Mobile RGB-D Data
Apple（苹果公司）
场景理解是一个非常活跃的研究领域。商业深度传感器，如Kinect，在过去几年中已经发布了几个RGB-D数据集，这些数据集催生了3D场景理解的新方法。最近，随着苹果iPad和iPhone中LiDAR传感器的推出，数百万人可以在他们常用的设备上访问高质量的RGB-D数据。这为计算机视觉社区以及应用程序开发人员开启了一个全新的场景理解时代。场景理解的基础研究以及机器学习的进步现在可以影响人们的日常体验。然而，将这些场景理解方法转化为现实世界的体验需要额外的创新和开发。本文介绍ARKitScenes。它不仅是第一个使用现在广泛使用的深度传感器捕获的RGB-D数据集，而且据我们所知，它也是发布的最大的室内场景理解数据。除了来自移动终端的原始数据和处理后的数据外，ARKitScenes还包括使用固定激光扫描仪捕获的高分辨率深度图，以及用于大型家具分类的手动标记的3D定向边界框。我们进一步分析了两个下游任务的数据的有用性：3D目标检测和颜色引导的深度上采样。我们证明了我们的数据集可以帮助推动现有最先进方法的界限，并引入了更好地代表现实世界场景的新挑战。
2022-01-12 cs.AI cs.CV
No More Discrimination: Cross City Adaptation of Road Scene Segmenters
National Tsing Hua University（清华大学（台湾））；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
尽管最近基于深度学习的语义分割取得了成功，但由于数据集偏差，将预训练的道路场景分割器部署到其图像未呈现在训练集中的城市将无法实现令人满意的性能。我们提出了一种无监督学习方法来适应不同城市的道路场景分割器，而不是收集每个感兴趣城市的大量注释图像来训练或改进分割器。通过利用Google街景及其时间机器功能，我们可以在不同时间收集每个道路场景的未注释图像，从而可以相应地提取相关的静态对象先验。通过推进一个联合的全局和特定类别的领域对抗学习框架，可以在不需要任何用户注释或交互的情况下实现预先训练的分割器对该城市的适应。我们表明，我们的方法提高了语义分割在多个城市跨大陆的性能，而它表现良好的国家的最先进的方法，需要注释的训练数据。
2017-04-27 cs.AI cs.CV
SceneAdapt: Scene-based domain adaptation for semantic segmentation using adversarial learning
University of Catania（卡塔尼亚大学）；Park Smart s.r.l.（Park Smart有限责任公司）
得益于深度学习，语义分割方法已经取得了出色的性能。然而，当这些算法被部署到训练期间未看到的新上下文时，有必要收集和标记特定于场景的数据，以便使用微调使其适应新的域。由于不同视点引起的不同场景布局，每当移动已经安装的摄像机或在摄像机网络中引入新的摄像机时，都需要该过程。为了限制要收集的附加训练数据的量，理想的是使用已经可用的标记数据和仅来自新相机的未标记数据来训练语义分割方法。我们将这个问题形式化为一个领域自适应任务，并引入了一个新的数据集的城市场景与相关的语义标签。作为解决这一挑战性任务的第一种方法，我们提出了SceneAdapt，一种基于对抗学习的语义分割算法的场景自适应方法。与最先进的领域自适应方法的实验和比较突出表明，当两个场景具有不同的视角时，以及当它们包括完全不同场景的图像时，使用对抗性学习可以实现有希望的性能。为了鼓励对这个主题的研究，我们在我们的网页上提供了我们的代码：https://iplab.dmi.unict.it/ParkSmartSceneAdaptation/。
2020-06-18 cs.CV
NetAdapt: Platform-Aware Neural Network Adaptation for Mobile Applications
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）
这项工作提出了一种名为NetAdapt的算法，该算法可以在给定资源预算的情况下自动将预先训练的深度神经网络适应移动平台。虽然许多现有算法基于MAC或权重的数量来简化网络，但优化这些间接指标可能不一定会减少直接指标，例如延迟和能耗。为了解决这个问题，NetAdapt将直接度量纳入其自适应算法。这些直接指标使用经验测量进行评估，因此不需要平台和工具链的详细知识。NetAdapt自动并逐步简化预先训练的网络，直到满足资源预算，同时最大限度地提高准确性。实验结果表明，与现有的自动化网络简化算法相比，NetAdapt在移动CPU和移动GPU上都取得了更好的精度和延迟平衡。对于ImageNet数据集上的图像分类，NetAdapt在测量的推理延迟方面实现了高达1.7 $\times$的加速，在MobileNets（V1和V2）上具有相同或更高的准确性。
2018-09-28 cs.CV
Preferences Prediction using a Gallery of Mobile Device based on Scene Recognition and Object Detection
HSE University（高等经济大学）；St. Petersburg Department of Steklov Institute of Mathematics（斯捷克洛夫数学研究所圣彼得堡分所）；Samsung-PDMI Joint AI Center（三星-PDMI联合人工智能中心）
本文通过在移动终端上处理一组照片和视频来研究用户建模任务。提出了一种基于场景识别、目标检测和人脸分析的用户偏好预测引擎。首先，将图库中的所有人脸进行聚类，并在离线模式下在嵌入式系统上处理来自大型聚类的所有私人照片和视频。其他照片可以被发送到远程服务器以由非常深的模型进行分析。通过场景识别和目标检测模型获得每张照片的视觉特征。这些特征被聚合到神经注意力块中的单个用户描述符中。所提出的管道实现的Android移动平台。使用Photo Event Collection、Web Image Dataset for Event Recognition和Amazon Fashion数据集的子集进行的实验结果表明，可以非常有效地处理图像，而不会显着降低准确性。Android移动应用程序的源代码可在https://github.com/HSE-asavchenko/mobile-visual-preferences上公开获取。
2021-04-18 cs.CV cs.LG
Responsive DNN Adaptation for Video Analytics against Environment Shift via Hierarchical Mobile-Cloud Collaborations
Shanghai Jiao Tong University（上海交通大学）
本文提出MOCHA框架，通过移动端模型复用与快速微调、云端结构化专家模型检索及机载缓存预取，提升视频分析DNN在环境偏移下连续适配的响应性，实现准确率提升6.8%并显著降低延迟与重训练时间。
2025-04-30 cs.CV cs.LG
M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
本文提出M3Bench基准及其数据生成工具M3BenchMaker，用于3D场景中移动操作的全身运动生成，包含3万个任务，评估显示现有先进模型在协调全身运动和遵守约束方面仍存在困难。
2025-05-29 cs.AI cs.CV cs.LG
AdaCrowd: Unlabeled Scene Adaptation for Crowd Counting
University of Manitoba（曼尼托巴大学）；Simon Fraser University（西蒙菲莎大学）；University of Waterloo（滑铁卢大学）；Huawei Technologies Canada（华为加拿大公司）
我们解决的问题，基于图像的人群计数。特别是，我们提出了一个新的问题，称为无标签的场景自适应人群计数。给定一个新的目标场景，我们希望有一个人群计数模型，专门适应这个特定的场景，基于目标数据，捕捉一些关于新场景的信息。在本文中，我们建议使用一个或多个未标记的图像从目标场景进行适应。与现有的问题设置（例如完全监督）相比，我们提出的问题设置更接近人群计数系统的实际应用。我们引入一个新的AdaCrowd框架来解决这个问题。我们的框架由一个人群计数网络和一个引导网络组成。引导网络基于来自特定场景的未标记图像来预测人群计数网络中的一些参数。这使得我们的模型能够适应不同的目标场景。在几个具有挑战性的基准数据集上的实验结果表明，与其他方法相比，我们提出的方法的有效性。代码可在https://github.com/maheshkkumar/adacrowd上获得。
2021-02-23 cs.CV
Multi-Modal Domain Adaptation Across Video Scenes for Temporal Video Grounding
Zhejiang University（浙江大学）
针对跨场景时间视频定位，提出对抗性多模态域自适应方法，利用域判别器、语义对齐和掩码重建提升新场景性能，在多个基准上验证有效。
2023-12-21 cs.CV
HyDRA: Hierarchical and Dynamic Rank Adaptation for Mobile Vision Language Model
Liaoning Technical University（辽宁技术大学）；University of Göttingen（哥廷根大学）
HyDRA通过分层和动态秩调度优化，提升移动视觉语言模型的微调效率和性能。
2025-12-20 cs.AI cs.CV cs.LG
FogAdapt: Self-Supervised Domain Adaptation for Semantic Segmentation of Foggy Images
Information Technology University（信息技术大学）
本文提出了一种新的领域自适应的语义分割浓雾场景的方法FogAdapt。虽然有意义的研究已被定向到减少语义分割中的域转移，但适应具有不利天气条件的场景仍然是一个悬而未决的问题。由于天气条件（如雾、烟雾和霾）导致的场景可见性的大变化加剧了域偏移，从而使此类场景中的无监督适应具有挑战性。提出一种自熵和多尺度信息增强的自监督领域自适应方法（FogAdapt），以最小化雾天场景分割中的区域偏移。支持的经验证据表明，雾密度的增加导致高自熵的分割概率，我们引入了一个自熵的损失函数，以指导自适应方法。此外，在不同的图像尺度上获得的推理组合和加权的不确定性，以产生目标域的尺度不变的伪标签。这些尺度不变的伪标签对可见性和尺度变化具有鲁棒性。我们评估所提出的模型对真正的晴朗天气场景，真正的雾场景适应和合成无雾图像，真正的雾场景适应场景。我们的实验表明，FogAdapt显着优于当前国家的最先进的雾图像的语义分割。具体来说，通过考虑与最先进的（SOTA）方法相比的标准设置，FogAdapt在从Cityscapes调整到Foggy Zurich时，在Foggy Zurich上获得3.8%，在Foggy Driving-dense上获得6.0%，在mIoU上获得3.6%。
2022-06-08 cs.CV cs.LG
NeRFlex: Resource-aware Real-time High-quality Rendering of Complex Scenes on Mobile Devices
UM-SJTU Joint Institute（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
NeRFlex 是一个移动设备上复杂场景的资源感知实时高质量渲染框架，通过多 NeRF 表示分解场景并结合动态规划算法优化配置，在商用移动设备上实现了实时高质量渲染。
2025-04-04 cs.CV cs.GR cs.LG
Model Adaptation with Synthetic and Real Data for Semantic Dense Foggy Scene Understanding
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
研究了浓雾环境下的语义场景理解问题。尽管语义场景理解已经取得了相当大的进展，但它主要涉及晴朗天气场景。将识别方法扩展到雾等恶劣天气条件下对于户外应用至关重要。在本文中，我们提出了一种新的方法，命名为课程模型自适应（CMAda），逐步适应语义分割模型从轻合成雾到稠密的真实雾在多个步骤中，使用合成和真实雾数据。此外，我们提出了其他三个主要的独立贡献：1）一种新的方法来添加合成雾的真实，清晰的天气场景使用语义输入; 2）一个新的雾密度估计器; 3）雾苏黎世数据集包括$3808$真正的雾图像，与像素级的语义注释$16$图像浓雾。我们的实验表明，1）我们的雾模拟略优于国家的最先进的竞争模拟方面的语义雾场景理解（SFSU）的任务; 2）CMAda提高了国家的最先进的模型SFSU的性能显着利用未标记的真实雾数据。数据集和代码是公开的。
2018-08-03 cs.CV
Multi-Task Learning for Automotive Foggy Scene Understanding via Domain Adaptation to an Illumination-Invariant Representation
Durham University（杜伦大学）；Majmaah University（迈季迈阿大学）
汽车应用的联合场景理解和分割在两个关键方面是一个具有挑战性的问题：（1）对整个场景中的每个像素进行分类，以及（2）在不稳定的天气和照明变化（例如，雾天）下执行该任务，这导致室外场景能见度差。这种较差的户外场景可见性导致基于深度卷积神经网络的场景理解和分割的性能非最佳。在本文中，我们提出了一个有效的端到端的现代汽车语义场景理解方法在雾天条件下，采用领域自适应和光照不变的图像预变换。作为一个多任务流水线，我们提出的模型提供：-（1）使用域转移方法将图像从极端天气条件转移到晴朗天气条件，以及（2）使用具有密集连接性、跳过连接性和基于融合技术的竞争性编码器-解码器卷积神经网络（CNN）对场景进行语义分割。我们在具有挑战性的雾数据集上评估我们的方法，包括合成数据集（雾城景）以及真实世界的数据集（雾苏黎世和雾驾驶）。通过结合RGB，深度和光照不变的信息，我们的方法优于国家的最先进的汽车场景理解，在雾天条件下。
2019-09-17 cs.CV cs.LG stat.ML
ROAD: Reality Oriented Adaptation for Semantic Segmentation of Urban Scenes
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
近年来，利用合成数据来学习深度模型引起了越来越多的关注。然而，合成图像和真实图像之间的固有域差异通常会导致将学习模型应用于真实世界场景时的显着性能下降。这主要是由于两个原因：1）模型过拟合到合成图像，使得卷积滤波器不能为真实图像提取信息表示; 2）合成数据和真实数据之间存在分布差异，这也被称为领域自适应问题。为此，我们提出了一种新的面向现实的适应方法，通过学习合成数据的城市场景语义分割。首先，我们提出了一种目标引导的蒸馏方法来学习真实的图像风格，这是通过训练分割模型来模仿使用真实图像的预训练真实风格模型来实现的。其次，我们进一步利用城市场景图像的内在空间结构，并提出了一个空间感知的自适应方案，以有效地对齐两个域的分布。这两个模块可以很容易地与现有的最先进的语义分割网络集成，以提高其泛化能力时，从合成到真实的城市场景。通过对GTAV和SYNTHIA数据集的调整，我们在Cityscapes数据集上对所提出的方法进行了评估，结果表明了我们方法的有效性。
2018-04-07 cs.CV
PointTPA: Dynamic Network Parameter Adaptation for 3D Scene Understanding
Huazhong University of Science and Technology（华中科技大学）
PointTPA通过动态网络参数适应提升3D场景理解，采用SNG和DPP方法生成输入感知参数，实现参数高效且在ScanNet上取得78.4% mIoU。
2026-04-06 cs.CV
KLIEP-based Density Ratio Estimation for Semantically Consistent Synthetic to Real Images Adaptation in Urban Traffic Scenes
TU Munich（慕尼黑工业大学）；BMW AG（宝马集团）；Google（谷歌）
合成数据已应用于许多基于深度学习的计算机视觉任务。仅在合成数据上训练的算法的有限性能已经接近领域自适应技术，例如基于生成对抗框架的技术。我们展示了对抗训练如何单独在翻译图像中引入语义不一致。为了解决这个问题，我们提出了密度预匹配策略，使用基于KLIEP的密度比估计过程。最后，我们表明，上述策略提高了质量的翻译图像的基础方法和它们的可用性的语义分割任务的背景下，自动驾驶。
2021-05-26 cs.CV
Articulated 3D Scene Graphs for Open-World Mobile Manipulation
本文提出MoMa-SG框架，通过语义-运动学3D场景图实现开放世界移动操作中物体的稳健交互与操控。
2026-10-14 cs.AI cs.CV cs.RO
CROVIA: Seeing Drone Scenes from Car Perspective via Cross-View Adaptation
University of Arkansas（阿肯色大学）；Concordia University（康考迪亚大学）；University of Wollongong（伍伦贡大学）
本文提出CROVIA跨视角自适应方法，通过几何约束、GeiCo损失和多模态双射网络，将车辆视角知识有效迁移到无人机视角，在SYNTHIA/GTA5到UAVID基准上取得SOTA性能。
2023-04-14 cs.CV
Dark Model Adaptation: Semantic Image Segmentation from Daytime to Nighttime
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
这项工作解决了夜间场景的语义图像分割问题。虽然在语义图像分割方面已经取得了相当大的进展，但它主要与白天场景有关。本文提出了一种新的方法，逐步适应白天场景训练的语义模型，以及其中的大规模注释，通过黄昏时间的桥梁-黎明和日出之间的时间，或日落和黄昏之间的夜间场景。该方法的目标是通过从标准的白天条件下转移知识来减轻夜间图像的人工注释成本。除了该方法之外，还编制了一个新的道路场景数据集;它由35，000张图像组成，从白天到黄昏和夜间。此外，夜间图像的子集被密集注释用于方法评估。实验表明，该方法可以有效地实现从白天场景到夜间场景的模型自适应，而无需额外的人工标注。
2018-10-05 cs.CV
GA-DAN: Geometry-Aware Domain Adaptation Network for Scene Text Detection and Recognition
Nanyang Technological University（南洋理工大学）
最近的对抗性学习研究在对表观空间中的跨域数据转移进行建模方面取得了令人印象深刻的进展，但在对几何空间中的跨域转移进行建模方面却远远落后。本文提出了一种创新的几何感知领域自适应网络（GA-DAN），能够同时在几何空间和外观空间中对跨域移动进行建模，并将具有非常不同特征的图像跨域逼真地转换。在建议的GA-DAN，一种新的多模态空间学习技术的设计，将源域图像转换成多个图像的不同的空间视图，在目标域。引入了一种新的解纠缠的圈一致性损失，平衡了圈在表观空间和几何空间的一致性，大大提高了整个网络的学习能力。所提出的GA-DAN已被评估为经典的场景文本检测和识别任务，实验表明，领域适应的图像实现优越的场景文本检测和识别性能，而应用于网络训练。
2019-07-23 cs.CV
FREDOM: Fairness Domain Adaptation Approach to Semantic Scene Understanding
University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）
针对语义场景分割域自适应中公平性问题，提出FREDOM框架，通过类别分布公平处理与条件结构约束建模结构依赖，在标准基准上实现SOTA性能并提升模型公平性。
2023-04-04 cs.CV
Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene Understanding via Domain Adaptation
Durham University（杜伦大学）；Majma'ah University（迈季迈阿大学）；COSMONiO
恶劣天气条件下的汽车场景理解提出了一个现实的和具有挑战性的问题，归因于不良的室外场景能见度（例如，雾天）。然而，由于大多数当代场景理解方法都是在理想天气条件下应用的，因此当与建立的关于极端天气理解的先验见解相比时，这种方法可能无法提供真正的最佳性能。在本文中，我们提出了一个复杂的，但有竞争力的多任务学习方法，能够在实时的【形】语义场景理解和单目深度估计雾天气条件下，利用双方的最新进展对抗训练和领域自适应。作为一个端到端的管道，我们的模型提供了一种新的解决方案，通过使用基于GAN的模型将场景从雾中转换为正常，来克服雾天气条件下的能见度下降。为了在语义分割中获得最佳性能，我们的模型生成深度，用作分割网络中RGB的补充源信息。我们提供了一个强大的方法雾场景理解通过训练两个模型（正常和雾）同时共享权重（每个模型在每个天气条件下独立训练）。我们的模型通过具有密集连接和特征融合的不同编码器将RGB颜色，深度和亮度图像合并在一起，并利用跳过连接来产生一致的深度和分割预测。在推理时使用这种具有轻计算复杂性的体系结构公式，我们能够以整体模型复杂性的一小部分实现与当代方法相当的性能。
2020-12-09 cs.CV
Weakly Supervised Adversarial Domain Adaptation for Semantic Segmentation in Urban Scenes
Northwestern Polytechnical University（西北工业大学）
语义分割是一种像素级的视觉任务，通过使用卷积神经网络（CNN）得到了快速发展。训练CNN需要大量的标记数据，但手动注释数据很困难。为了解放人力，近年来，一些合成数据集被发布。然而，它们仍然不同于真实场景，这导致在合成数据（源域）上训练模型不能在真实城市场景（目标域）上取得良好的性能。本文提出了一种弱监督对抗性领域自适应来提高从合成数据到真实场景的分割性能，它由三个深度神经网络组成。具体而言，检测和分割（简称“DS”）模型专注于检测对象和预测分割图;像素级域分类器（简称“PDC”）试图区分图像特征来自哪些域;对象级域分类器（简称“ODC”）区分对象来自哪些域并预测对象类别。PDC和ODC被视为鉴别器，DS被视为生成器。通过对抗学习，DS应该学习域不变特征。在实验中，我们提出的方法产生了新的记录mIoU度量在同一问题。
2019-04-19 cs.CV
Universal Domain Adaptation for Remote Sensing Image Scene Classification
Technical University of Munich（慕尼黑工业大学）
目前的领域自适应方法（如无监督自适应方法）依赖于源域和目标域标签集之间关系的丰富先验知识，并且由于隐私或机密性问题，源数据往往不可访问，因此通常不能很好地适用于遥感图像分类的实际领域自适应场景。为此，我们提出了一个实用的通用领域自适应设置遥感图像场景分类，不需要先验知识的标签集。此外，针对源数据不可用的情况，提出了一种无需源数据的通用领域自适应方法。该模型的体系结构分为两个部分：源数据生成阶段和模型自适应阶段。第一阶段使用源域中的类可分性知识从预训练模型估计源数据的条件分布，然后合成源数据。有了这个合成的源数据，如果目标样本属于源标签集中的任何类别，则将其正确分类，否则将其标记为"未知”，这就成为一个通用的DA任务。在第二阶段，一种新的可转移的权重，区分在每个域中的共享和私有标签集，促进自动发现的共享标签集的适应，并成功地识别“未知”的样本。实验结果表明，无论源数据是否可用，该模型都能有效地进行遥感图像场景分类。该代码可在https://github.com/zhu-xlab/UniDA上获得。
2023-01-26 cs.CV
DenseTRF: Texture-Aware Unsupervised Representation Adaptation for Surgical Scene Dense Prediction
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）；PCASO Laboratory, Department of Surgery, University of Pennsylvania（宾夕法尼亚大学外科PCASO实验室）；Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）
本文提出DenseTRF框架，通过基于纹理的关注机制学习纹理感知的表示，提升外科场景密集预测的跨分布泛化能力。
2026-09-14 cs.AI cs.CV cs.LG
FewShotNeRF: Meta-Learning-based Novel View Synthesis for Rapid Scene-Specific Adaptation
University of Moratuwa（莫拉图瓦大学）；UC Berkeley（加州大学伯克利分校）
提出 FewShotNeRF，通过元学习获得类别共享几何与纹理的初始化，并结合位置编码加速 NeRF 场景拟合，在 Common Objects in 3D 上验证了少视角高质量新视角合成效果。
2024-08-09 cs.CV
Multi-Model Learning for Real-Time Automotive Semantic Foggy Scene Understanding via Domain Adaptation
Durham University（杜伦大学）；Majma'ah University（迈季迈阿大学）；COSMONiO
用于汽车应用的鲁棒语义场景分割在两个关键方面是具有挑战性的问题：（1）标记每个单独的场景像素以及（2）在不稳定的天气和照明变化（例如，雾天），这导致室外场景能见度差。这种可见性限制导致基于广义深度卷积神经网络的语义场景分割的非最佳性能。在本文中，我们提出了一个有效的端到端的汽车语义场景理解方法，是强大的雾天气条件。作为一个端到端的管道，我们提出的方法提供：（1）图像从雾到晴朗的天气条件下使用域转移方法（纠正能见度差）和（2）语义分割的场景使用具有竞争力的编码器-解码器架构具有低计算复杂性（实现实时的【形】性能）。我们的方法通过具有密集连接性和特征融合的不同编码器将RGB颜色，深度和亮度图像合并在一起，以有效地利用来自不同输入的信息，这有助于在整个模型中实现最佳特征表示。使用这种具有密集跳跃连接的架构公式，我们的模型以整体模型复杂性的一小部分实现了与当代方法相当的性能。
2020-12-09 cs.CV
Multi-source Pseudo-label Learning of Semantic Segmentation for the Scene Recognition of Agricultural Mobile Robots
Toyohashi University of Technology（丰桥技术科学大学）
本文介绍了一种新的方法，训练语义分割模型的农业移动机器人的场景识别，利用公共可用的数据集的户外场景是不同的目标温室环境。语义分割模型需要通过繁琐的人工标注给出丰富的标签。一种解决方法是无监督领域自适应（UDA），它将知识从标记的源数据集转移到未标记的目标数据集。然而，现有的方法的有效性没有得到很好的研究，在异构环境之间的适应，如城市场景和温室。在本文中，我们提出了一种方法来训练一个语义分割模型的温室图像没有手动标记的温室图像数据集。其核心思想是利用多个不同环境下的丰富图像数据集，利用分割标签为目标图像生成伪标签，有效地传递多源知识，实现语义分割的精确训练。随着伪标签的生成，我们引入了最先进的方法来处理伪标签中的噪声，以进一步提高性能。我们在多个温室数据集的实验中证明，与单源基线和现有方法相比，我们提出的方法提高了性能。
2023-01-13 cs.CV cs.RO
Unsupervised Scene Adaptation with Memory Regularization in vivo
Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）
我们考虑从标记的源数据和未标记的目标数据学习的无监督场景自适应问题。现有的方法集中在minoring源域和目标域之间的域间差距。然而，由网络学习的域内知识和固有的不确定性未被充分利用。在本文中，我们提出了一种正交的方法，称为记忆正则化体内开发域内知识和正则化模型训练。具体来说，我们将分割模型本身称为记忆模块，并缩小两个分类器的差异，即，主分类器和辅助分类器，以减少预测的不一致性。该方法不需要额外的参数，是对现有领域自适应方法的补充，可以普遍提高现有方法的性能。虽然很简单，但我们在两个合成到真实的基准测试中验证了内存正则化的有效性：GTA5 -> Cityscapes和SYNTHIA -> Cityscapes，与基线模型相比，mIoU分别提高了+11.1%和+11.3%。此外，在跨城市基准上观察到类似的+12.0% mIoU改善：Cityscapes -> Oxford RobotCar。
2023-02-07 cs.CV
What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation
University of Southern California（南加州大学）；USC IMSC（南加州大学综合媒体系统中心）；German Jordanian University（德国约旦大学）；Integrated Media Systems Center (IMSC)（综合媒体系统中心）
该研究针对大都市区区域地理定位问题，对比CLIP不同适配方法的性能，发现编码器适配可提升邻近区域区分能力，且对场景配置的敏感性更高。
2026-08-25 cs.AI cs.CE cs.CV
3D Scene Parsing via Class-Wise Adaptation
Sony Interactive Entertainment Inc.（索尼互动娱乐有限公司）
我们提出的方法，只使用计算机图形数据集来解析真实世界的三维场景。为了实现虚拟世界中的类别交互，需要进行基于语义分割的三维场景解析。卷积神经网络（CNN）最近在计算机视觉任务（包括语义分割）上显示出最先进的性能。然而，需要收集和注释大量的数据来训练CNN。特别是在语义分割的情况下，逐个像素地注释花费大量时间并且经常出错。相比之下，计算机图形学可以生成大量精确的注释数据，并且可以通过改变相机位置、纹理和灯光来轻松扩展。尽管有这些优点，但在计算机图形数据集上训练的模型在真实数据上的表现并不好，这被称为域转移。为了解决这个问题，我们首先提出，深度模态和合成噪声是有效的，以减少域移位。然后，我们开发了类自适应，获得CNN的域不变特征。为了减少区域偏移，我们用大量的道具创建了计算机图形室，并提供了真实感的渲染图像，我们还演示了语义分割与同时定位与地图构建（SLAM）相结合的应用。我们的应用程序在实际房间上实时执行准确的3D场景解析。
2019-03-01 cs.CV
CoDA: Instructive Chain-of-Domain Adaptation with Severity-Aware Visual Prompt Tuning
Sun Yat-sen University（中山大学）；Wuhan University of Science and Technology（武汉科技大学）；National University of Singapore（新加坡国立大学）；EPFL（洛桑联邦理工学院）
针对现有无监督域适应方法在恶劣场景适配时忽略场景内差异的问题，提出含域链策略与严重度感知视觉提示调优的CoDA方法，在多个雾天场景基准上取得最优性能。
2024-07-15 cs.CV
What Synthesis is Missing: Depth Adaptation Integrated with Weak Supervision for Indoor Scene Parsing
National Taiwan University（台湾大学）
场景解析是使自主系统能够理解周围环境并与之交互的关键步骤。有监督的深度学习方法在解决场景解析问题方面取得了很大进展，然而，代价是费力的手动像素级注释。为了减轻这种努力，合成数据以及监管不力都进行了调查。尽管如此，综合生成的数据仍然遭受严重的域转移，而弱标签往往是不精确的。此外，大多数现有的弱监督场景解析工作仅限于显著的前景对象。因此，这项工作的目的是双重的：在可行的情况下利用合成数据，并在必要时整合薄弱的监督。更具体地说，我们通过利用深度作为传递域来实现这一目标，因为它的合成与真实的差异比颜色低得多。与此同时，我们执行弱本地化从容易获得的图像级标签和集成使用一种新的基于轮廓的计划。我们的方法被实现为一个教师-学生学习框架，通过生成伪地面真值来解决迁移学习问题。仅使用基于深度的自适应，该方法在流行的室内场景解析SUN RGB-D数据集上已经优于先前的迁移学习方法。与迁移学习中以前的最先进技术相比，我们提出的两阶段集成将完全监督方法的差距缩小了一半以上。
2019-03-23 cs.CV
Bilevel Fast Scene Adaptation for Low-Light Image Enhancement
Dalian University of Technology（大连理工大学）；Xiaomi AI Lab（小米人工智能实验室）
针对低光照增强模型跨场景泛化不足的问题，本文提出双层学习框架，冻结通用编码器并元初始化场景解码器，结合 Retinex 自适应去噪架构，在多数据集上实现快速自适应和有竞争力的增强效果。
2023-06-02 cs.CV
Unsupervised Domain Adaptation for Mobile Semantic Segmentation based on Cycle Consistency and Feature Alignment
University of Padova（帕多瓦大学）
用于语义分割的深度网络的监督训练需要大量标记的真实世界数据。为了解决这个问题，一个常用的解决方法是使用合成数据进行训练，但是当分析与训练集具有略微不同统计属性的数据时，深度网络显示出严重的性能下降。在这项工作中，我们提出了一种新的无监督领域自适应（UDA）策略，以解决现实世界和合成表示之间的域转移问题。基于循环一致性框架的对抗模型执行合成域和真实域之间的映射。然后将数据馈送到执行语义分割任务的MobileNet-v2架构。在MobileNet-v2的特征级工作的另外两个鉴别器允许更好地对齐两个域分布的特征，并进一步提高性能。最后，利用语义映射的一致性。在对合成数据进行初始监督训练之后，整个UDA架构将同时考虑其所有组件进行端到端训练。实验结果表明，所提出的策略是如何能够获得令人印象深刻的性能，在适应分割网络训练的合成数据，以现实世界的情况。轻量级MobileNet-v2架构的使用允许其部署在具有有限计算资源的设备上，如自动驾驶汽车中使用的设备。
2020-03-12 cs.CV cs.LG
RGB-only Active 3D Scene Graph Generation for Indoor Mobile Robots
Mobile Robotics Group (MRG)（移动机器人小组）；Visual and Multimodal Applied Learning Lab (VANDAL)（视觉与多模态应用学习实验室）
本文提出了一种仅使用RGB输入的主动3D场景图生成方法，通过统一感知与规划的结构化表示，解决了传统方法对专用传感器的依赖问题，并在Replica数据集上验证了其有效性。
2026-05-18 cs.AI cs.CV cs.RO
SRDA: Generating Instance Segmentation Annotation Via Scanning, Reasoning And Domain Adaptation
Shanghai Jiaotong University（上海交通大学）
实例分割是计算机视觉中的一个重要问题。然而，为这项任务准备带注释的数据是非常耗时和昂贵的。通过结合3D扫描，推理和基于GAN的领域自适应技术的优点，我们引入了一种名为SRDA的新管道，以非常小的努力获得大量的训练样本。我们的管道非常适合可扫描的场景，即大多数室内和一些室外场景。为了评估我们的性能，我们构建了三个代表性的场景和一个新的数据集，其中包含各种常见对象类别的3D模型和带注释的真实场景图像。大量的实验表明，我们的流水线可以实现体面的实例分割性能给出非常低的人力成本。
2018-07-13 cs.CV
Online Refinement of a Scene Recognition Model for Mobile Robots by Observing Human's Interaction with Environments
Toyohashi University of Technology（丰桥技术科学大学）
本文介绍了一种在线细化的机器人导航场景识别模型的方法，考虑可穿越的植物，灵活的植物部分，机器人可以推到一边，而移动。在场景识别系统中，考虑可穿越的植物生长出的路径，误分类可能会导致机器人卡住，由于可穿越的植物识别为障碍物。然而，在任何估计方法中，错误分类是不可避免的。在这项工作中，我们提出了一个框架，允许精炼的语义分割模型飞行在机器人的操作。我们引入了一个基于权重印记的Few-Shot分割方法，用于在线模型细化而无需微调。训练数据通过观察人与植物部分的交互来收集。我们提出了新的强大的重量印记，以减轻噪音的影响，包括在由相互作用产生的掩模。所提出的方法进行了评估，通过实验使用真实世界的数据，并显示出优于普通的重量印迹，并提供有竞争力的结果，微调与模型蒸馏，同时需要更少的计算成本。
2022-08-13 cs.CV cs.RO
Fast and Accurate Quantized Camera Scene Detection on Smartphones, Mobile AI 2021 Challenge: Report
相机场景检测是智能手机上最流行的计算机视觉问题之一。虽然许多定制的解决方案是由手机供应商开发的，但到目前为止，没有一个设计的模型是公开的。为了解决这个问题，我们引入了第一个移动AI挑战，其目标是开发基于量化深度学习的相机场景分类解决方案，可以在智能手机和物联网平台上展示实时性能。为此，向参与者提供了一个大规模的CamSDD数据集，其中包括属于30个最重要场景类别的超过11 K图像。所有型号的运行时都在流行的Apple Bionic A11平台上进行了评估，该平台可以在许多iOS设备中找到。该解决方案与所有主要的移动AI加速器完全兼容，并且可以在大多数最新的智能手机平台上展示超过100-200 FPS，同时实现超过98%的前三名准确度。本文提供了在挑战中开发的所有模型的详细描述。
2021-05-17 cs.CV cs.LG eess.IV
Deriving Visual Semantics from Spatial Context: An Adaptation of LSA and Word2Vec to generate Object and Scene Embeddings from Images
Cardiff University（卡迪夫大学）
嵌入是表征词义的重要工具。它们的有效性依赖于分布假设：出现在相同上下文中的单词携带相似的语义信息。在这里，我们采用这种方法来索引场景图像中的视觉语义。为此，我们制定了一个分布假设的对象和场景：场景包含相同的对象（对象上下文）是语义相关的。类似地，出现在相同空间上下文中（在场景或场景的子区域内）的对象在语义上相关。我们开发了两种方法来学习对象和场景嵌入从注释图像。在第一种方法中，我们采用LSA和Word 2 vec的Skipgram和CBOW模型，从整个图像中的对象共现生成两组嵌入，一组用于对象，一组用于场景。这些嵌入所跨越的表征空间表明，分布假设适用于图像。在这种方法的初步应用中，我们表明我们基于图像的嵌入改进了场景分类模型，如ResNet 18和VGG-11（Top5精度提高3.72%，Top1精度提高4.56%）。在第二种方法中，而不是分析整个图像的场景，我们专注于共同出现的对象内的子区域的图像。我们说明，这种方法产生一个明智的层次分解的场景到语义相关的对象集合。总体而言，这些结果表明，对象和场景嵌入对象同现和空间上下文产生语义上有意义的表示，以及计算的改进，如场景分类的下游应用。
2020-09-20 cs.CV cs.LG
Test-time Adaptation with Slot-Centric Models
Carnegie Mellon University（卡内基梅隆大学）；Mila（米拉研究所）；DeepMind（深度思维）；Google Research（谷歌研究院）
针对视觉检测器在分布外场景分解能力不足的问题，提出半监督的以槽为中心的模型Slot-TTA，通过在测试时对重建或跨视图合成目标进行梯度下降适应，显著提升了图像和3D点云的分布外泛化性能。
2023-06-27 cs.AI cs.CV cs.LG
A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes
在过去的五年中，卷积神经网络（CNN）已经战胜了语义分割，这是自动驾驶和增强现实等许多应用的核心任务之一。然而，训练CNN需要大量的数据，这些数据很难收集并且注释起来很费力。计算机图形学的最新进展使得在具有计算机生成的注释的照片级真实感合成图像上训练CNN成为可能。尽管如此，真实图像和合成数据之间的域不匹配阻碍了模型的性能。因此，我们提出了一种学习风格的学习方法，以最大限度地减少城市场景语义分割的领域差距。课程领域自适应首先解决简单的任务，以推断目标域的必要属性;特别是，第一个任务是学习图像上的全局标签分布和地标超像素上的局部分布。这些很容易估计，因为城市场景的图像具有很强的特质（例如，建筑物、街道、汽车等的尺寸和空间关系）。然后，我们训练一个分割网络，同时在目标域中对其预测进行正则化，以遵循这些推断的属性。在实验中，我们的方法优于两个数据集和两个骨干网络的基线。我们还报告了关于我们方法的广泛消融研究。
2019-01-10 cs.CV
Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in Scene Segmentation
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
领域自适应是将从源领域学习到的共享知识转移到新的环境中，即，目标域。一种常见的做法是在标记的源域数据和未标记的目标域数据上训练模型。然而，由于源域的强监督，学习的模型通常是有偏见的。大多数研究者采用早期停止策略来防止过度拟合，但由于缺乏目标域验证集，何时停止训练仍然是一个具有挑战性的问题。在本文中，我们提出了一种高效的自举方法，称为Adaboost Student，在训练过程中显式学习互补模型，并将用户从经验早期停止中解放出来。Adaboost Student将深度模型学习与传统的训练策略相结合，即，自适应提升，并使学习模型和数据采样器之间的交互成为可能。我们采用一个自适应数据采样器，以逐步促进学习硬样本和聚合“弱”模型，以防止过度拟合。大量的实验表明：（1）AdaBoost Student在训练过程中通过有效的互补模型学习，无需担心停止时间，提供了一个鲁棒的解决方案。(2)AdaBoost Student与大多数领域自适应方法都是正交的，可以与现有的方法相结合，以进一步提高最先进的性能。我们在三个广泛使用的场景分割领域自适应基准上取得了有竞争力的结果。
2022-09-22 cs.CV
Cycle Training with Semi-Supervised Domain Adaptation: Bridging Accuracy and Efficiency for Real-Time Mobile Scene Detection
Ho Chi Minh University of Technology, VNU-HCM（胡志明市理工大学（胡志明市国家大学））；Michigan State University（密歇根州立大学）；LPL Financial（LPL金融公司）；Georgia State University（佐治亚州立大学）；Posts and Telecommunications Institute of Technology, Hanoi, Vietnam（河内邮电技术学院）；York University（约克大学）；AI VIETNAM Lab（越南人工智能实验室）
针对移动设备资源有限导致图像分类精度与效率难以平衡的问题，提出循环训练框架结合半监督域自适应，在CamSSD数据集上实现94.00%Top-1精度、99.17%Top-3精度及1.61ms CPU推理，适用于移动部署。
2025-04-12 cs.CV
Robust tracking of respiratory rate in high-dynamic range scenes using mobile thermal imaging
University College London（伦敦大学学院）
监测呼吸频率的能力对于医疗、保健和健身部门极其重要。在许多情况下，需要移动方法，使用户能够进行日常活动。然而，目前的监测系统可能是突兀的，需要用户佩戴呼吸带或鼻探头。热成像系统的最新进展已经缩小了它们的尺寸、重量和成本，使得可以创建不受照明条件影响的基于智能手机的呼吸率监测设备。然而，移动热成像在高热动态范围的场景中面临挑战。这种挑战被诸如运动伪影和低空间分辨率的一般问题进一步放大，导致不可靠的呼吸信号。在本文中，我们提出了一种新的和强大的呼吸跟踪方法，它补偿了环境温度和运动伪影的变化的负面影响，可以准确地提取呼吸率在高度动态的热场景。它有三个主要贡献。首先是一种新的最优量化技术，自适应地构造绝对温度的颜色映射，以改善分割、分类和跟踪。第二种是热梯度流方法，其计算热梯度幅值图以提高对目标区域跟踪的准确性。最后，我们引入了热体素方法，以增加捕获的呼吸信号的可靠性相比，传统的平均方法。我们证明了我们的系统的极端鲁棒性，以跟踪的呼吸区域和测量呼吸率在高动态范围的场景。
2017-09-20 cs.CV physics.med-ph
Curriculum Model Adaptation with Synthetic and Real Data for Semantic Foggy Scene Understanding
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文研究了雾天环境下的语义场景理解问题。虽然语义场景理解已经取得了显著的进展，它主要集中在晴朗天气的场景。将语义分割方法扩展到恶劣天气条件（如雾）对于户外应用至关重要。在本文中，我们提出了一种新的方法，命名为课程模型自适应（CMAda），逐步适应语义分割模型从轻合成雾到稠密的真实雾在多个步骤中，使用标记的合成雾数据和未标记的真实雾数据。该方法是基于这样的事实，即语义分割的结果，在中度不利条件（轻雾）可以引导，以解决同样的问题，在高度不利的条件（浓雾）。CMAda可扩展到其他不利条件，并提供了一个新的范例学习与合成数据和未标记的真实数据。此外，我们提出了其他三个主要的独立贡献：1）一种新的方法添加合成雾真实，清晰的天气场景使用语义输入; 2）一个新的雾密度估计器; 3）一个新的雾致密化方法，在真实的雾场景不使用深度的雾致密化; Foggy Zurich数据集包含3808幅真实雾天图像，其中40幅图像在浓雾下具有像素级语义注释。我们的实验表明，1）我们的雾模拟和雾密度估计优于他们的国家的最先进的同行方面的语义雾场景理解（SFSU）的任务; 2）CMAda提高了国家的最先进的模型SFSU的性能显着，受益于我们的合成和真实的雾数据。数据集和代码可在项目网站上获得。
2019-05-01 cs.CV
Stratified Domain Adaptation: A Progressive Self-Training Approach for Scene Text Recognition
University of Information Technology（信息科技大学）；Vietnam National University（越南国家大学）
针对源域与目标域差距大导致现有UDA方法在场景文本识别（STR）中效果下降的问题，提出分层域自适应（StrDA）方法，通过分层训练数据并渐进式自训练，显著提升基线STR模型性能。
2024-10-29 cs.CV
Robust Mobile Object Tracking Based on Multiple Feature Similarity and Trajectory Filtering
本文提出了一种新的算法来跟踪移动目标在不同的场景条件。提出的跟踪器的主要思想包括估计，多特征相似性度量和轨迹滤波。为每个跟踪对象定义特征集（距离，面积，形状比率，颜色直方图）以搜索最佳匹配对象。将其最佳匹配目标与卡尔曼滤波器估计的目标状态相结合，更新跟踪目标的位置和大小。然而，移动对象的轨迹通常是支离破碎的，因为遮挡和误检测。因此，我们也提出了一个轨迹过滤，称为全球跟踪器，旨在消除噪声轨迹和融合属于同一个移动对象的碎片轨迹。该方法已被测试与不同场景条件下的五个视频。其中三个是由ETISEO基准测试项目（http：//www-sop.inria.fr/orion/ETISEO）提供的，其中所提出的跟踪器性能与其他七种跟踪算法进行了比较。与现有技术相比，我们的方法的优点是：（i）不需要先验知识信息（例如，不需要校准和上下文模型），（ii）跟踪器通过组合多个特征相似性而更可靠，（iii）跟踪器可以在不同的场景条件下执行：单个/多个移动对象、弱/强照明、室内/室外场景，（iv）定义并应用轨迹滤波以提高跟踪器性能，（v）跟踪器性能优于现有技术的许多算法。
2011-06-14 cs.CV
When Small Guides Large: Cross-Model Co-Learning for Test-Time Adaptation
Foshan University（佛山大学）；Nanyang Technological University（南洋理工大学）
研究跨模型知识对测试时自适应的影响，提出COCA框架通过协同自适应和自自适应策略整合大小模型互补知识，显著提升多种规模模型在目标域的适应精度。
2025-07-12 cs.AI cs.CV
Image Based Food Energy Estimation With Depth Domain Adaptation
Purdue University（普渡大学）
对膳食摄入量的评估主要依靠自我报告工具，这种工具容易出现测量误差。饮食评估方法越来越多地采用技术进步，特别是移动，基于图像的方法，以解决这些限制和进一步自动化。移动的、基于图像的方法可以通过从由移动设备捕获的进食场合图像自动估计饮食摄入来减少用户负担和偏差。在本文中，我们提出了一个“能量密度图”，这是一个像素到像素的映射从RGB图像的能量密度的食物。然后，我们将“能量密度图”与由深度传感器捕获的相关深度图相结合，以估计食物能量。该方法在Nutrition5k数据集上进行了评估。实验结果表明，与基线方法相比，改进的结果具有13.29 kCal的平均误差和13.57%的平均百分比误差之间的地面实况和估计的能量的食物。
2022-08-25 cs.AI cs.CV cs.LG
DRIV100: In-The-Wild Multi-Domain Dataset and Evaluation for Real-World Domain Adaptation of Semantic Segmentation
Osaka University（大阪大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；The University of Tokyo（东京大学）
结合语义分割的最新进展，人们提出了许多领域自适应方法来克服训练和部署环境之间的领域差距。然而，大多数以前的研究使用有限的源/目标数据集的组合，和领域自适应技术从来没有彻底评估在一个更具挑战性和多样化的目标领域。这项工作提出了一个新的多域数据集DRIV 100的基准领域自适应技术在野外道路场景视频从互联网上收集。该数据集由100个视频的像素级注释组成，这些视频基于两个标准选择以覆盖不同的场景/域;人类主观判断和使用现有道路场景数据集判断的异常分数。我们为每个视频提供多个手动标记的地面实况帧，从而能够对视频级领域自适应进行全面评估，其中每个视频独立地用作目标域。使用该数据集，我们量化了最先进的方法的领域自适应性能，并阐明了领域自适应技术的潜在和新的挑战。该数据集可在https://doi.org/10.5281/zenodo.4389243上获得。
2021-02-25 cs.CV
Face Detection on Mobile: Five Implementations and Analysis
Dnipro University of Technology（第聂伯罗理工大学）
在许多实际情况下，智能手机或其他高度便携式设备上的人脸检测是必要的。应用包括移动人脸访问控制系统、驾驶员状态跟踪、情感识别等。移动设备的处理能力有限，即使运行人脸检测应用程序，也应该有足够长的电池寿命。因此，在算法质量和复杂性之间取得适当的平衡至关重要。在这项工作中，我们适应5算法移动。这些算法基于手工制作或基于神经网络的特征，包括：Viola-Jones（Haar cascade），LBP，HOG，MTCNN，BlazeFace。我们分析了这些算法的推理时间在不同的设备与不同的输入图像分辨率。我们提供了指导，哪些算法最适合移动人脸访问控制系统和潜在的其他移动应用。有趣的是，我们注意到级联算法在没有人脸的场景上执行得更快，而BlazeFace在空场景上执行得更慢。利用这种行为在实践中可能是有用的。
2022-05-12 cs.CV
DepthSSC: Monocular 3D Semantic Scene Completion via Depth-Spatial Alignment and Voxel Adaptation
University of Washington（华盛顿大学）；Sun Yat-sen University（中山大学）；Taiyuan University of Technology（太原理工大学）；Central South University（中南大学）
针对单目3D语义场景补全中物体形状预测不准和边界分类错误的问题，提出集成ST-GF模块与GAV的DepthSSC方法，实现空间与深度信息精确对齐，在SemanticKITTI等数据集上取得SOTA性能。
2024-11-25 cs.CV
