Evaluating Synthetic Pre-Training for Handwriting Processing Tasks
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
本研究构建大型合成手写单词图像数据集进行ConvNet预训练,提取手写风格表示,在四个下游手写分析任务上取得与SOTA方法相竞争的性能。
2023-04-04 cs.CV
Air-Writing Translater: A Novel Unsupervised Domain Adaptation Method for Inertia-Trajectory Translation of In-air Handwriting
基于惯性传感器的空中手写作为一种新的人机交互方式,可以提供自然、无约束的交互方式,在三维空间表达更复杂、更丰富的信息。然而,现有的空中手写工作大多集中在手写字符识别上,这使得这些工作受到惯性信号可读性差和缺乏标记样本的影响。针对这两个问题,本文采用无监督领域自适应方法重构惯性信号轨迹,并利用在线手写轨迹生成惯性样本。在本文中,我们提出了一个AirWriting Translater模型,在没有成对的惯性和轨迹样本的情况下,学习轨迹域和惯性域之间的双向翻译。通过语义级对抗训练和潜在分类丢失,该模型学习提取惯性信号和轨迹之间的域不变内容,同时在跨两个域的翻译过程中保持语义一致性。我们仔细设计的架构,使所提出的框架可以接受任意长度的输入和不同的采样率之间的转换。我们还在两个公共数据集上进行了实验:6DMG(空中手写数据集)和CT(手写轨迹数据集),两个数据集上的结果表明,所提出的网络在惯性到轨迹和轨迹到惯性转换任务中都取得了成功。
2019-11-01 cs.AI cs.CV eess.SP
Cross-Domain Few-Shot Writer Adaptation for Real-World Handwritten Mathematical Expression Recognition
本研究针对手写数学表达式识别中训练与真实图像域差距及个人书写风格适应问题,提出书写者自适应微调流程,实验显示在多数子集上提升识别率,验证了该方法的可行性。
2026-09-29 cs.CV
CSSL-RHA: Contrastive Self-Supervised Learning for Robust Handwriting Authentication
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Beijing University of Technology(北京工业大学);Peking University(北京大学)
针对手写认证面临的特征复杂、破损严重、监督不足的难题,本文提出对比自监督学习框架CSSL-RHA,结合信息论滤波、自适应块匹配与动量对比自监督训练,在多个数据集上实现了更优的鲁棒手写认证效果。
2023-07-18 cs.CV cs.MM
Unsupervised Domain Adaptation in LiDAR Semantic Segmentation with Self-Supervision and Gated Adapters
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在本文中,我们专注于一个较少探索,但更现实和复杂的LiDAR语义分割领域自适应的问题。当训练(源域)和测试(目标域)数据来自不同的LiDAR传感器时,现有分割模型的性能会显着下降。为了克服这个缺点,我们提出了一个无监督的领域自适应框架,利用未标记的目标域数据进行自我监督,再加上一个不成对的掩码转移策略,以减轻域转移的影响。此外,我们引入了门控适配器模块与少量的参数到网络中,以占目标域特定的信息。从真实到真实和合成到真实LiDAR语义分割基准两者适配的实验证明了相对于现有技术的显著改进。
2022-03-21 cs.CV
Aesthetic Assessment of Chinese Handwritings Based on Vision Language Models
The Open University of China(中国开放大学);Engineering Research Center of Integration and Application of Digital Learning Technology, Ministry of Education(数字化学习技术集成与应用教育部工程研究中心);OUC-online(国开在线)
本文基于视觉语言模型分析中文手写体质量,生成多级反馈,通过低秩适应和上下文学习方法提升评估效果,实验结果在CCL 2025工作坊中表现优异。
2026-03-24 cs.AI cs.CL cs.CV
Tackling Partial Domain Adaptation with Self-Supervision
Politecnico di Torino(都灵理工大学);Istituto Italiano di Tecnologia(意大利理工学院);Sapienza Università di Roma(罗马第一大学)
领域自适应方法在减少视觉域之间的边缘分布差异方面显示出有希望的结果。它们允许训练在不同性质的数据集(照片,绘画等)上工作的可靠模型,但当域不共享相同的标签空间时,它们仍然很难。在部分领域自适应设置中,其中目标仅覆盖源类别的子集,在不引起负转移的情况下减小域间隙是具有挑战性的。许多解决方案只是通过增加启发式样本加权策略来保持标准的领域自适应技术。在这项工作中,我们展示了如何从空间协同定位的补丁获得的自我监督信号可以用来定义一个边任务,支持适应,而不管跨域的确切标签共享条件。我们建立在最近的工作,介绍了一个拼图任务领域泛化:我们描述了如何重新制定这种方法的部分领域自适应,我们展示了它如何提高现有的自适应解决方案时,与他们相结合。在三个数据集上的实验结果支持了该方法的有效性。
2019-06-12 cs.CV
A Transformer Based Handwriting Recognition System Jointly Using Online and Offline Features
Indian Statistical Institute, India(印度统计研究所);Manipal University Jaipur, India(贾浦尔曼纳普大学);University of Salford, United Kingdom(萨尔福德大学)
提出一种端到端Transformer网络,通过在共享潜在空间中早期融合离线图像与在线笔划数据,在IAMOn-DB等数据集上实现高达1%的准确率提升,达到SOTA。
2025-06-25 cs.CV cs.LG
Unsupervised Domain Adaptation with Implicit Pseudo Supervision for Semantic Segmentation
Wuhan University(武汉大学)
伪标记是语义分割的无监督领域自适应中的一种流行技术。然而,伪标签是嘈杂的,不可避免地有确认偏差,由于源和目标域和训练过程之间的差异。本文利用模型自身隐式产生的伪标签对模型进行训练,以学习目标领域的新的补充知识。具体来说,我们提出了一个三学习架构,其中每两个分支产生的伪标签训练第三个。我们根据每两个分支的概率分布的相似性来对齐伪标签。为了进一步隐式地利用伪标签,我们最大化不同类的特征距离,并通过三重丢失来最小化相同类的距离。对GTA5到Cityscapes和SYNTHIA到Cityscapes任务的大量实验表明,所提出的方法有相当大的改进。
2022-04-14 cs.CV
Universal Domain Adaptation through Self Supervision
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
无监督领域自适应方法传统上假设所有源类别都存在于目标域中。在实践中,很少有人知道这两个领域之间的类别重叠。虽然一些方法使用部分或开放集合类别来解决目标设置,但它们假设特定设置是先验已知的。我们提出了一个更普遍适用的领域自适应框架,可以处理任意的类别转移,称为域自适应邻域聚类通过熵优化(DANCE)。DANCE结合了两个新颖的想法:首先,由于我们不能完全依赖于源类别来学习目标的区别特征,我们提出了一种新的邻域聚类技术,以自监督的方式学习目标域的结构。其次,我们使用基于熵的特征对齐和拒绝来将目标特征与源特征对齐,或者基于它们的熵将它们拒绝为未知类别。我们通过大量的实验表明,DANCE在开集,开部分和部分领域自适应设置上优于基线。可在https://github.com/VisionLearningGroup/DANCE上获得实现。
2020-10-06 cs.CV
Labeling Where Adapting Fails: Cross-Domain Semantic Segmentation with Point Supervision via Active Selection
KAIST(韩国科学技术院);Harvard University(哈佛大学)
专用于语义分割的训练模型需要大量逐像素注释的数据。由于其成本高昂的特性,这些注释可能无法用于手头的任务。为了缓解这个问题,无监督的领域自适应方法旨在对齐标记源数据和未标记目标数据之间的特征分布。虽然这些战略带来了显著的改善,但其效力仍然有限。为了更有效地指导领域自适应任务,以前的作品试图在目标数据中以稀疏单像素注释的形式将人类交互包括在这个过程中。在这项工作中,我们提出了一个新的领域自适应框架语义分割通过主动选择注释点。首先,我们进行无监督的领域自适应的模型,从这个适应,我们使用基于熵的不确定性测量的目标点的选择。最后,为了最小化领域差距,我们提出了一个领域自适应框架,利用这些目标点注释的人类注释。基准数据集上的实验结果表明,我们的方法对现有的无监督领域自适应方法的有效性。建议流水线是通用的,并且可以作为现有领域自适应策略的额外模块被包括。
2022-06-04 cs.CV
Multi-site Organ Segmentation with Federated Partial Supervision and Site Adaptation
Beijing UCAS Space Technology Co., Ltd.(北京国科大空间技术有限公司);University of Science and Technology of China(中国科学技术大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
目标和影响声明:准确的器官分割对于不同临床地点的许多临床应用至关重要,这些临床地点可能具有涉及不同器官的特定应用要求。简介:然而,学习高质量的、特定于部位的器官分割模型是具有挑战性的,因为它通常需要现场管理大量带注释的图像。安全问题使问题更加复杂。方法:本文旨在通过两阶段聚合然后适应的方法来应对这些挑战。联合聚合的第一阶段通过利用“更大数据”的力量来学习单个多器官分割模型,所述“更大数据”通过以下方式形成:(i)将来自具有不同器官标签的多个站点的数据集聚合在一起以提供部分监督,以及(ii)在没有数据泄露的情况下进行部分监督学习。站点自适应的第二阶段是将联合多器官分割模型转换为特定于站点的器官分割模型,每个站点一个模型,以便进一步提高每个站点的器官分割任务的性能。此外,改进的边际损失和排斥损失函数被用来避免部分监督机制中的“知识冲突”问题。结果与结论:在五个器官分割数据集上的广泛实验证明了我们的多站点方法的有效性,显著优于站点本身学习模型,并实现了与集中学习模型相当的性能。
2023-02-08 cs.CV
Image to Video Domain Adaptation Using Web Supervision
Microsoft Cognition(微软认知)
训练深度神经网络通常需要大量的标记数据,对于特定的目标域,获得这些标记数据可能是稀缺的或昂贵的。作为替代方案,我们可以利用相对丰富但可能包含噪声结果的网络监督数据(即来自公共搜索引擎的结果)。在这项工作中,我们提出了一种新的两阶段的方法来学习视频分类器使用webly监督的数据。我们认为,学习外观特征,然后依次时间特征,而不是同时,是一个更容易优化这项任务。我们通过首先从网络图像中学习图像模型来展示这一点,该图像模型用于初始化和训练视频模型。我们的模型应用领域自适应来解释源域(网络监督数据)和目标域之间存在的潜在域偏移,并通过添加新的注意力分量来解释噪声。我们报告的结果与UCF-101上最先进的网络监督方法具有竞争力(同时简化了训练过程),并对Kinetics进行了评估以进行比较。
2019-08-05 cs.CV
Zero-Shot Synthetic-to-Real Handwritten Text Recognition via Task Analogies
University of Alicante(阿利坎特大学);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本文提出通过学习模型参数在合成到真实手写转换中的变化,实现零样本跨语言真实文本识别,实验显示在五种语言和六种架构上均优于合成-only基线。
2026-04-08 cs.CV
What Synthesis is Missing: Depth Adaptation Integrated with Weak Supervision for Indoor Scene Parsing
National Taiwan University(台湾大学)
场景解析是使自主系统能够理解周围环境并与之交互的关键步骤。有监督的深度学习方法在解决场景解析问题方面取得了很大进展,然而,代价是费力的手动像素级注释。为了减轻这种努力,合成数据以及监管不力都进行了调查。尽管如此,综合生成的数据仍然遭受严重的域转移,而弱标签往往是不精确的。此外,大多数现有的弱监督场景解析工作仅限于显著的前景对象。因此,这项工作的目的是双重的:在可行的情况下利用合成数据,并在必要时整合薄弱的监督。更具体地说,我们通过利用深度作为传递域来实现这一目标,因为它的合成与真实的差异比颜色低得多。与此同时,我们执行弱本地化从容易获得的图像级标签和集成使用一种新的基于轮廓的计划。我们的方法被实现为一个教师-学生学习框架,通过生成伪地面真值来解决迁移学习问题。仅使用基于深度的自适应,该方法在流行的室内场景解析SUN RGB-D数据集上已经优于先前的迁移学习方法。与迁移学习中以前的最先进技术相比,我们提出的两阶段集成将完全监督方法的差距缩小了一半以上。
2019-03-23 cs.CV
Strong-Weak Integrated Semi-supervision for Unsupervised Single and Multi Target Domain Adaptation
提出SWISS-UDA框架,通过动态更新强弱代表集并融合生成伪标签训练批次,结合同伴脚手架机制和对抗logits损失,有效解决单目标与多目标无监督域适应问题。
2023-09-12 cs.CV
Unsupervised Adaptation for Synthetic-to-Real Handwritten Word Recognition
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);omni:us
手写文本识别(HTR)仍然是一个具有挑战性的问题,因为它必须处理两个重要的困难:写作风格之间的差异,以及标记数据的稀缺性。为了缓解这些问题,通常使用合成数据生成和数据增强来训练HTR系统。然而,用这样的数据进行训练产生了令人鼓舞的但仍然不准确的真实单词的transmittance。在本文中,我们提出了一种无监督的作家适应方法,能够自动调整一个通用的手写字识别器,完全训练与合成字体,对一个新的输入作家。我们使用五个不同的数据集对我们的建议进行了实验验证,涵盖了几个挑战:(i)文档来源:现代和历史样本,可能涉及纸张降解问题;(ii)不同的笔迹风格:单个和多个作家收藏;以及(iii)语言,涉及不同的字符组合。在这些具有挑战性的集合中,我们表明我们的系统能够保持其性能,因此,它提供了一种实用和通用的方法来处理新的文档集合,而不需要任何昂贵和繁琐的手动注释步骤。
2020-05-26 cs.CV
DAM: Dual Active Learning with Multimodal Foundation Model for Source-Free Domain Adaptation
Harbin Institute of Technology(哈尔滨工业大学)
针对无源主动域适应中ViL监督与人工标注缺乏融合的问题,本文提出DAM框架,通过多模态双重监督与双向蒸馏实现迭代适应,并在多个基准上达到最先进性能。
2025-09-29 cs.CV
RobIA: Robust Instance-aware Continual Test-time Adaptation for Deep Stereo
Ewha Womans University(成均馆大学);Soongsil University(顺天大学)
针对真实场景立体深度估计的动态域偏移等问题,本文提出实例感知持续测试时自适应框架RobIA,通过AttEx-MoE模块与鲁棒AdaptBN教师模型提升域泛化能力,实验验证其性能优异且高效。
2025-11-13 cs.CV
DiDA: Disentangled Synthesis for Domain Adaptation
Shandong University(山东大学);Tel Aviv University(特拉维夫大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
无监督领域自适应旨在通过利用从源域到无监督目标域的监督来学习两个相关但不相同的域的共享模型。许多有效的领域自适应方法依赖于提取两个领域共有的有区别的但领域不变的潜在因素的能力。提取潜在的共性对于解纠缠分析也是有用的,使得两个域的共同特征和域特定特征之间能够分离。在本文中,我们提出了一种方法来提高领域自适应性能,利用解纠缠分析。其核心思想是通过学习分别提取共同特征和领域特定特征,可以在有监督的情况下合成更多的目标领域数据,从而提高领域自适应性能。更好的公共特征提取反过来又有助于进一步改进解纠缠分析和解纠缠合成。我们发现,迭代之间的领域自适应和解纠缠分析可以不断提高对方的几个无监督的领域自适应任务,为各种领域自适应骨干模型。
2018-05-21 cs.CV
DOME: Learning Transferable Domain Variables from Sparse Supervision for Test-Time Adaptation
MAIS, IACAS(中国科学院自动化研究所多模态人工智能系统实验室)
提出DOME域编码器,通过视觉-语言预训练提取密集连续表示,参数化域为分布变量并引入动量更新的稀疏域库,实现零样本显式域建模,在多个基准上超越复杂TTA方法。
2026-06-02 cs.AI cs.CV
Semi-supervised Domain Adaptation for Semantic Segmentation
用于语义分割的深度学习方法主要依赖于监督学习方法,并且需要在产生像素级注释方面做出大量努力。此外,当应用于看不见的图像域时,这样的方法可能表现不佳。为了应对这些限制,已经提出了具有完全源监督但没有目标监督的无监督领域自适应(UDA)和具有部分监督的半监督学习(SSL)。虽然这些方法在对齐不同的特征分布方面是有效的,但仍然需要有效地利用未标记的数据来解决与完全监督方法相关的性能差距。在本文中,我们解决了半监督领域自适应(SSDA)的语义分割,其中大量的标记源数据以及少量的标记目标数据是可用的。我们提出了一种新的和有效的两步半监督双领域自适应(SSDDA)的方法来解决跨域和域内的差距语义分割。建议的框架是由两个混合模块。首先,我们通过图像级混合策略进行跨领域自适应,该策略学习对齐源数据和目标数据之间的特征的分布偏移。第二,使用单独的学生-教师网络实现领域自适应,该网络被构建为通过以尊重预测对象边界的方式混合未标记的目标数据来生成类别级数据增强。我们证明了所提出的方法优于国家的最先进的方法,两个共同的合成到真正的语义分割基准。一个广泛的消融研究提供了进一步验证我们的方法的有效性。
2021-10-20 cs.CV
Geometric Unsupervised Domain Adaptation for Semantic Segmentation
Toyota Research Institute (TRI)(丰田研究所)
模拟器可以有效地生成大量带标签的合成数据,并对难以标记的任务(如语义分割)进行完美的监督。然而,它们引入了一个域间隙,严重损害了现实世界的性能。我们建议使用自监督单目深度估计作为代理任务来弥合这一差距,并提高模拟到真实的无监督领域自适应(UDA)。我们的几何无监督领域自适应方法(GUDA)通过多任务目标学习域不变表示,该目标将合成语义监督与视频上的真实几何约束相结合。GUDA在UDA中建立了一个新的最先进的语义分割的三个基准,优于使用领域对抗学习,自我训练或其他自我监督代理任务的方法。此外,我们表明,我们的方法规模以及质量和数量的合成数据,同时也提高了深度预测。
2021-08-18 cs.CV
Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain Supervision for Domain-adaptive Action Detection
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
我们提出了一种新的域自适应动作检测方法和一种新的自适应协议,利用图像级无监督领域自适应(UDA)技术的最新进展,并处理实例级视频数据的变幻莫测。自训练结合跨领域混合采样在无监督领域自适应(UDA)背景下的语义分割中表现出显著的性能增益。出于这一事实,我们提出了一种用于视频中人体动作检测的方法,该方法使用混合采样和基于伪标签的自训练将知识从源域(注释数据集)转移到目标域(未注释数据集)。现有的UDA技术遵循用于语义分割的ClassMix算法。然而,简单地采用ClassMix进行动作检测是行不通的,主要是因为这是两个完全不同的问题,即,像素标签分类与实例标签检测。为了解决这个问题,我们提出了一种新的动作实例混合采样技术,结合跨域的信息的基础上的动作实例,而不是动作类。此外,我们提出了一个新的UDA训练协议,通过使用辅助源域(ASD)的监督来解决长尾样本分布和域偏移问题。对于ASD,我们提出了一个新的动作检测数据集,具有密集的帧级注释。我们将我们提出的框架命名为域自适应动作实例混合(DA-AIM)。我们证明,DA-AIM始终优于以前的作品具有挑战性的领域自适应基准。源代码可在https://github.com/wwwfan628/DA-AIM上获得。
2022-10-06 cs.CV
Mx2M: Masked Cross-Modality Modeling in Domain Adaptation for 3D Semantic Segmentation
Tencent(腾讯)
本文提出Mx2M方法,通过掩码跨模态建模解决3D语义分割领域自适应中目标域缺乏监督的问题,利用跨模态去除与预测和动态跨模态滤波器提升跨域性能。
2023-07-09 cs.CV
Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Tencent AI Lab(腾讯人工智能实验室)
最近的研究表明,深度神经网络很容易受到对抗性样本的影响--带有轻微但故意扰动的输入会被网络错误地分类。这种脆弱性使得某些安全相关的应用程序(例如,自动驾驶汽车中的语义分割),并引发了对模型可靠性的极大关注。第一次,我们全面评估现有的UDA方法的鲁棒性,并提出了一个强大的UDA方法。它植根于两个观察:(i)UDA方法在语义分割中的鲁棒性仍然未被探索,这在该领域中引起了安全问题;以及(ii)尽管通常使用自监督(例如,旋转和拼图)有利于图像任务,如分类和识别,它们不能提供关键的监督信号,可以学习区分表示的分割任务。这些观察促使我们提出对抗性自我监督UDA(或ASSUDA),通过输出空间中的对比损失来最大化干净图像与其对抗性示例之间的一致性。对常用基准的大量实证研究表明,ASSUDA能够抵抗对抗攻击。
2021-07-25 cs.CV
Cross-domain Self-supervised Learning for Domain Adaptation with Few Source Labels
Boston University(波士顿大学);POSTECH(浦项科技大学)
现有的无监督领域自适应方法旨在将知识从标签丰富的源领域转移到未标记的目标领域。然而,获得标签的一些源域可能是非常昂贵的,使完整的标签中使用的现有工作不切实际。在这项工作中,我们研究了一个新的领域自适应的情况下,稀疏标记的源数据,在源域中只有几个例子已被标记,而目标域是未标记的。我们表明,当标记的源示例是有限的,现有的方法往往无法学习适用于源和目标域的判别功能。我们提出了一种新的跨域自监督(CDS)学习方法的领域自适应,学习功能,不仅是域不变的,但也类歧视。我们的自监督学习方法捕捉明显的视觉相似性与域自适应方式的域内自我监督和跨域的自我监督进行跨域的特征匹配。在三个标准基准数据集的广泛实验中,我们的方法显着提高了目标精度的性能,在新的目标域与几个源标签,甚至是经典的领域自适应的情况下是有帮助的。
2020-03-18 cs.CV
SciQNet: Two-Stage Multimodal Adaptation for Scientific Image Quality Assessment
Universiti Malaya(马来亚大学);Universiti Tunku Abdul Rahman(拉曼大学);National University of Singapore(新加坡国立大学)
本研究提出SciQNet两阶段多模态适配框架,在ICME 2026科学图像质量评估挑战赛评分赛道获第2,模型在SIQA-S、SIQA-U等指标表现优异,证实预训练数据相关性的重要性。
2026-08-07 cs.CV
Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
University of Bristol(布里斯托尔大学)
细粒度动作识别数据集表现出环境偏差,其中多个视频序列是从有限数量的环境中捕获的。在一个环境中训练模型并在另一个环境中部署,由于不可避免的域转移,导致性能下降。无监督领域自适应(UDA)方法经常利用源和目标领域之间的对抗训练。然而,这些方法没有探索每个域中视频的多模态性质。在这项工作中,我们利用模态的对应关系作为UDA的自监督对齐方法,除了对抗对齐。我们测试我们的方法在三个厨房,从我们的大规模数据集,EPIC-Kitchen,使用两种常用的动作识别模式:RGB和光流。我们发现,多模态自我监督比仅源培训平均提高了2.4%的性能。然后,我们将对抗训练与多模式自我监督相结合,表明我们的方法比其他UDA方法的性能高出3%。
2020-03-19 cs.CV
Unsupervised Domain Adaptation through Self-Supervision
University of California, Berkeley(加利福尼亚大学伯克利分校)
本文讨论了无监督的领域自适应,设置标记的训练数据在源域上是可用的,但目标是在目标域上只有未标记的数据具有良好的性能。像以前的许多工作一样,我们寻求对齐源和目标域的学习表示,同时保持可辨别性。我们完成对齐的方式是通过学习同时在两个域上执行辅助自我监督任务。每个自我监督任务都沿着与该任务相关的方向将两个域更紧密地联系在一起。与源域上的主任务分类器一起训练,可以成功地推广到未标记的目标域。所提出的目标是直接实现和易于优化。我们在七个标准基准中的四个上取得了最先进的结果,并在分割适应上取得了有竞争力的结果。我们还证明了我们的方法与另一种流行的像素级自适应方法组合良好。
2019-09-29 cs.CV cs.LG stat.ML
SuperCM: Improving Semi-Supervised Learning and Domain Adaptation through differentiable clustering
Department of Physics and Technology(物理与技术系);Norwegian Computing Center(挪威计算中心);Pioneer Centre for AI(人工智能先锋中心)
本文提出SuperCM,通过显式引入可微聚类模块并利用有监督数据计算质心,以端到端方式改进半监督学习和无监督域自适应,在低监督场景下表现突出,既可独立使用也可作为正则化器。
2025-07-18 cs.CV
Concurrent Subsidiary Supervision for Unsupervised Source-Free Domain Adaptation
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院)
无监督领域自适应(DA)的主要挑战是减轻源域和目标域之间的域移位。先前的DA工作表明,借口任务可以用来减轻这种域转移通过学习域不变表示。然而,在实践中,我们发现,大多数现有的借口任务对其他既定的技术是无效的。因此,我们从理论上分析了如何以及何时可以利用辅助借口任务来帮助给定DA问题的目标任务,并制定了客观的辅助任务适用性标准。基于这个标准,我们设计了一个新的过程中的贴纸干预和铸造贴纸分类作为一个监督的附属DA问题并发的目标任务无监督DA。我们的方法不仅提高了目标任务的适应性能,但也有利于隐私导向的无源DA,即没有并发的源-目标访问。在标准Office-31、Open-Home、DomainNet和VisDA基准测试上的实验证明了我们在单源和多源无源DA上的优越性。我们的方法还补充了现有的非无源作品,实现了领先的性能。
2022-07-27 cs.CV cs.LG
Domain Adaptation for Ulcerative Colitis Severity Estimation Using Patient-Level Diagnoses
Kyushu University, Japan(九州大学);Kyoto Second Red Cross Hospital, Japan(京都第二红十字医院)
提出一种弱监督领域自适应方法,利用患者级诊断结果作为弱监督,通过共享聚合令牌和最大严重性三元组损失对齐跨域类别分布,有效改进了领域偏移下的溃疡性结肠炎严重程度估计。
2025-09-18 cs.CV
Semi-Supervised Adaptation of Diffusion Models for Handwritten Text Generation
TU Dortmund University(多特蒙德工业大学)
本研究扩展了用于手写文本生成的潜在扩散模型,通过掩码自编码器学习风格条件,支持多种文本与书法特征条件化方式,并提出半监督训练方案,在IAM和RIMES数据库上验证了对未见书写风格生成的改进。
2024-12-20 cs.CV
Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video
Zhejiang University, State Key Lab of CAD \& CG;Nanyang Technological University;Independent Researcher;Zhejiang University of Technology
SAGE通过互联网视频弱监督实现几何基础模型的可扩展适应,提升零样本泛化能力。
2026-10-19 cs.AI cs.CV
GroPrompt: Efficient Grounded Prompting and Adaptation for Referring Video Object Segmentation
National Taiwan University(台湾大学);NVIDIA(英伟达)
针对指代视频目标分割现有方法依赖密集掩码标注、成本高的问题,提出GroPrompt框架,通过仅需边界框监督的文本感知提示对比学习适配基础分割模型,在多个基准上取得有竞争力的弱监督性能。
2024-06-23 cs.CV
ISLA: A U-Net for MRI-based acute ischemic stroke lesion segmentation with deep supervision, attention, domain adaptation, and ensemble learning
Univ. Lille, CNRS, Inserm, CHU Lille, Institut Pasteur de Lille, US 41 - UAR 2014 - PLBS, F-59000 Lille, France(里尔大学,法国国家科学研究中心,法国国家医学研究院,里尔大学医院,里尔巴斯德研究所,US 41 - UAR 2014 - PLBS,法国里尔)
ISLA是一种基于U-Net的深度学习模型,通过深度监督、注意力、领域适应和集成学习技术,实现了对MRI中急性缺血性中风病变的高效分割。
2026-01-13 cs.AI cs.CV
SCoDA: Self-supervised Continual Domain Adaptation
Shiv Nadar Institution of Eminence(施瓦尔纳卓越研究所)
提出SCoDA框架,通过自监督预训练初始化和几何流形对齐原则,结合实例级特征匹配与空间相似度损失及EMA更新,有效解决无源域自适应中的几何信息丢失与灾难性遗忘问题。
2025-09-12 cs.CV
Online and Offline Handwritten Chinese Character Recognition: A Comprehensive Study and New Benchmark
NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);MILA, University of Montreal(蒙特利尔大学MILA)
最近的基于深度学习的方法通过直接从原始数据学习区分性表示,实现了手写汉字识别(HCCR)的最新性能。尽管如此,我们相信,长期和良好的调查领域特定的知识仍然应该有助于提高HCCR的性能。通过将传统的归一化协作方向分解特征映射(directMap)与深度卷积神经网络(convNet)相结合,我们能够在ICDAR-2013竞赛数据库上获得新的在线和离线HCCR的最高精度。有了这个新的框架,我们可以消除对数据增强和模型集成的需求,这些需求在其他系统中被广泛使用,以达到最佳效果。这使得我们的框架在训练和测试方面都是高效和有效的。此外,虽然directMap+convNet可以达到最佳效果,并超过人类水平的性能,我们表明,在这种情况下,作家适应仍然是有效的。提出了一种新的自适应层,以减少特定源层上的训练数据和测试数据之间的失配。适应过程可以以无监督的方式高效且有效地实施。通过在预先训练好的convNet中加入适应层,它可以适应特定书写者的新笔迹风格,识别准确率可以进一步得到一致和显著的提高。本文概述和比较了最近基于深度学习的HCCR方法,并为在线和离线HCCR设置了新的基准。
2016-06-18 cs.CV
Simple Supervision Is Hard to Beat: A Bitter Lesson from Sparse Target Labels in Domain-Adaptive Object Detection
Amazon Robotics(亚马逊机器人)
提出随机目标监督混合(RTSM)方法,通过监督检测损失利用少量标注目标图像,在多种域自适应方法中提升1.7-18.3 AP50,并发现简单监督优于复杂反馈策略。
2026-07-01 cs.CV
Learning to Generalize One Sample at a Time with Self-Supervision
Sapienza University of Rome(罗马大学);Italian Institute of Technology(意大利理工学院);Politecnico di Torino(都灵理工大学)
尽管深度网络显著提高了视觉识别方法的性能,但要实现真实世界应用所需的跨视觉领域的鲁棒性仍然具有挑战性。为了解决这一问题,领域自适应和泛化的研究在过去的十年中蓬勃发展。在评估到目前为止在文献中所做的工作时,需要考虑的一个重要方面是在源和目标级别训练每种方法所需的数据注释量。在本文中,我们认为,数据注释过载应尽量减少,因为它是昂贵的。因此,我们提出使用自监督学习来实现领域泛化和自适应。我们认为从非注释数据中学习数据集是一个辅助任务,并在辅助学习的原则框架内解决这个问题。此外,我们建议进一步利用的能力,学习从非注释图像的视觉域的目标数据,同时测试,数据呈现给算法一个样本的时间。三种不同情况下的结果证实了我们的方法的价值。
2019-10-11 cs.CV
Aligning What You Separate: Denoised Patch Mixing for Source-Free Domain Adaptation in Medical Image Segmentation
1 Carnegie Mellon University, PA, USA 2 PASSIO Lab, North Carolina A\&T State University, NC, USA 3 Ho Chi Minh University of Science, Vietnam 4 Ho Chi Minh University of Technology, Vietnam 5 Northwestern University, IL, USA
针对医学图像分割无源域自适应中样本难度被忽略、监督噪声大的问题,提出结合难样本选择、蒙特卡洛去噪伪标签优化与斑块混合的渐进对齐框架,在基准数据集上取得了当前最优的分割精度。
2025-10-29 cs.CV
CPATTA: Conformal Supervision Allocation For Active Test-Time Adaptation
Computer Science and Engineering, University of California San Diego(加州大学圣地亚哥分校计算机科学与工程系);New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别新实验室);College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院)
针对现有主动测试时自适应方法标注效率低的问题,提出融合共形预测的CPATTA方法,通过带覆盖率保证的不确定性度量等设计,在域偏移场景下准确率较现有最优方法提升约5%。
2026-09-30 cs.AI cs.CV cs.LG
The Unreasonable Effectiveness of Large Language-Vision Models for Source-free Video Domain Adaptation
LTCI, Télécom Paris, Institut polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室);University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对无源视频无监督域适应任务,提出参数高效的DALL-V方法,利用大型语言-视觉模型的世界先验与源模型信息蒸馏适配目标域,性能显著优于现有最优方法。
2023-08-22 cs.CV
Is it an i or an l: Test-time Adaptation of Text Line Recognition Models
Google Research(谷歌研究院)
针对手写文本行识别模型在测试时因书写风格或图像退化而频繁出错的问题,提出一种无需标签的迭代自训练方法,利用语言模型反馈和基于增强的置信度度量更新光学模型,在多个基准及退化数据集上实现字符错误率最高8%的绝对改进。
2023-08-29 cs.CV
Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision
KAIST(韩国科学技术院)
基于卷积神经网络的方法在语义分割方面取得了显著的进展。然而,这些方法严重依赖于劳动密集型的注释数据。为了克服这一局限性,使用从图形引擎生成的自动注释数据来训练分割模型。然而,从合成数据训练的模型很难转移到真实图像。为了解决这个问题,以前的作品已经考虑直接适应模型从源数据的未标记的目标数据(以减少域间的差距)。然而,这些技术没有考虑目标数据本身之间的大分布间隙(域内间隙)。在这项工作中,我们提出了一个两步的自我监督领域自适应方法,以尽量减少域间和域内的差距在一起。首先,我们进行跨领域自适应的模型,从这个适应,我们分离的目标域到一个容易和困难的分裂使用基于熵的排名功能。最后,为了减少域内差距,我们建议采用一种自监督自适应技术,从容易到困难的分裂。在众多基准数据集上的实验结果突出了我们的方法对现有最先进方法的有效性。源代码可在https://github.com/feipan664/IntraDA.git上获得。
2020-07-15 cs.CV cs.LG cs.RO
Contrastive Centroid Supervision Alleviates Domain Shift in Medical Image Classification
Baidu Inc(百度公司)
基于深度学习的医学成像分类模型通常会遇到域偏移问题,当训练数据和真实世界数据在成像设备制造商、图像采集协议、患者人群等方面存在差异时,分类性能会下降。该方法通过在训练过程中对实例和类质心之间的对比度损失进行额外的监督,可以提高目标域分类性能。与现有的无监督领域自适应和领域泛化方法相比,FCCL方法性能更好,而且只需要单个源域的标记图像数据,不需要目标域。我们通过大量的实验验证,FCCL可以实现至少三种成像方式,即眼底照片,皮肤镜图像,H & E组织图像的优异性能。
2022-05-31 cs.CV
Unsupervised Adaptation of Polyp Segmentation Models via Coarse-to-Fine Self-Supervision
ByteDance(字节跳动);The University of Hong Kong(香港大学)
针对无源域适应中目标结构利用不足与伪标签误差累积问题,提出 RPANet,通过区域级对比学习和置信度校准伪标签由粗到细自监督,显著提升跨域息肉分割性能。
2023-08-13 cs.AI cs.CV
A Fully Convolutional Tri-branch Network (FCTN) for Domain Adaptation
University of Southern California(南加州大学)
提出了一种基于领域自适应的城市场景分割方法。我们开发了一个完全卷积的三分支网络,其中两个分支为未标记目标域中的图像分配伪标签,而第三个分支则基于伪标记目标域中的图像进行监督训练。重新贴标签和重新培训过程交替进行。通过这种设计,三分支网络逐步学习特定于目标的区别性表示,因此,分段器的跨域能力得到提高。我们评估所提出的网络上的大规模领域自适应实验使用合成(GTA)和真实(城市景观)图像。结果表明,我们的解决方案实现了最先进的性能,它优于以前的方法的显着保证金。
2018-02-27 cs.CV
Self-Supervision & Meta-Learning for One-Shot Unsupervised Cross-Domain Detection
Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利理工学院)
深度检测方法在受控条件下是强大的,但当源模型在看不见的领域中使用时,它会显得脆弱和失败。现有的大多数关于领域自适应的工作简化了大的源数据集和相当数量的目标样本两者的设置和联合访问。然而,在许多实际情况下,这种情况是不现实的,例如当监控来自社交媒体的图像源时:只有预训练的源模型可用,并且用户上传的每个目标图像都属于训练期间未预见的不同域。我们通过提出一种目标检测算法来解决这个具有挑战性的设置,该算法能够利用预先训练的源模型,并通过仅使用测试时看到的一个目标样本来执行无监督自适应。我们的多任务架构包括一个自监督分支,我们利用它来用单样本跨域事件对整个模型进行元训练,并为测试条件做准备。在部署时,自监督任务在任何传入的样本上迭代求解,以一次性适应它。我们引入了一个新的社交媒体图像源数据集,并提出了一个全面的基准测试,其中最新的跨域检测方法显示了我们方法的优势。
2022-09-01 cs.CV
Efficient Domain Adaptation for Text Line Recognition via Decoupled Language Models
University of Cincinnati(辛辛那提大学)
本文提出一种模块化检测-校正框架,利用预训练序列模型实现高效领域适应,减少计算量95%,在现代手写体、连笔字和历史文档上均表现优异。
2026-03-30 cs.CV cs.LG
Towards Multimodal Open-Set Domain Generalization and Adaptation through Self-supervision
ETH Zürich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
本文首次提出利用自监督学习解决多模态开放集领域泛化与自适应问题,通过掩码跨模态翻译、多模态拼图及熵加权机制学习多模态特征,并在多个数据集上验证了方法的有效性和通用性。
2024-07-01 cs.AI cs.CV cs.LG
Semi-Supervised Domain Adaptation with Representation Learning for Semantic Segmentation across Time
UMI2958 GeorgiaTech-CNRS(佐治亚理工学院-法国国家科学研究中心 UMI2958);Centrale Supélec(中央理工-高等电力学院);Université Paris Saclay(巴黎萨克雷大学);Google Research(谷歌研究院);GeorgiaTech Lorraine(佐治亚理工学院洛林校区)
深度学习生成最先进的语义分割,前提是大量图像以及像素级注释可用。为了减轻昂贵的数据汇集过程中,我们提出了一种半监督领域自适应方法的特定情况下,图像具有相似的语义内容,但不同的像素分布。在过去的数据集上进行监督训练的网络在新的数据集上进行微调,以保留其特征图。领域自适应成为特征图之间的简单回归,并且不需要对新数据集进行注释。该方法在具有合成变换的PASCAL VOC数据集上达到了类似于经典迁移学习的性能。
2019-10-06 cs.CV
CASA-SDF: Curriculum-Aware Spatial Adaptation with Curvature-Guided Density for Neural Implicit Surface Reconstruction
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Automation, Nanjing University of Science and Technology(南京理工大学自动化学院)
针对室内场景几何异质性带来的高保真曲面重建挑战,提出CASA-SDF框架。通过混合空间自适应不确定性退火构建课程进行先验监督,利用曲率感知局部自适应密度转换增强薄结构表示,实验证明该方法提升了高频结构曲面完整性和细节恢复,且不影响平面稳定性。
2026-07-16 cs.CV cs.GR