SwinIA: Self-Supervised Blind-Spot Image Denoising without Convolutions
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学学院);CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学CAIRO机构)
本文提出首个基于Swin Transformer的全Transformer自监督图像去噪架构SwinIA,利用注意力机制实现盲点特性,无需掩码和噪声先验,以简单均方误差损失端到端训练并在多个基准上达到最优性能。
2024-12-28 cs.CV
Spatiotemporal Blind-Spot Network with Calibrated Flow Alignment for Self-Supervised Video Denoising
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
提出时空盲点网络STBN,结合双向盲点对齐与空间感受野扩展,并引入无监督光流蒸馏,提升自监督视频去噪性能。
2024-12-16 cs.CV
Exploring Efficient Asymmetric Blind-Spots for Self-Supervised Denoising in Real-World Scenarios
School of Computer Science, Peking University(北京大学计算机学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
针对真实场景空间相关噪声下自监督去噪效果差的问题,提出非对称可调盲点网络AT-BSN平衡噪声抑制与细节保留,还基于其设计多教师蒸馏策略提升轻量网络性能,实现SOTA效果且计算与视觉表现更优。
2024-04-11 cs.CV
WeCromCL: Weakly Supervised Cross-Modality Contrastive Learning for Transcription-only Supervised Text Spotting
Baidu Inc.(百度公司)
针对仅转录监督文本定位无需边界标注的需求,提出弱监督跨模态对比学习模型WeCromCL,通过逐字符细粒度对比学习检测转录文本锚点作为伪标签,在四个基准上取得优于现有方法的性能。
2025-01-13 cs.AI cs.CV
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University(迪肯大学);Champion Data(冠军数据公司);Paralympics Australia(澳大利亚残奥委员会)
研究体育视频中精确事件定位问题,提出时间特征蒸馏半监督目标及Transformer Gate Shift模块,通过对齐主干特征保留关键线索,实验显示在多数据集上相比基线有显著提升,减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
MM-BSN: Self-Supervised Image Denoising for Real-World with Multi-Mask based on Blind-Spot Network
Senslab Technology(Senslab科技);NeuroSens Technology(NeuroSens科技)
本文提出MM-BSN,一种结合多掩码策略与盲点网络的自监督图像去噪方法,通过多形状卷积核打破噪声空间相关性,有效解决大噪声去噪问题,在真实数据集上达到最先进性能。
2023-04-07 cs.CV
View Blind-spot as Inpainting: Self-Supervised Denoising with Mask Guided Residual Convolution
McGill University(麦吉尔大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
近年来,自监督去噪方法表现出了令人瞩目的性能,它避免了监督去噪方法中噪声-干净图像对的艰苦收集过程,提高了去噪在现实世界中的适用性。其中一个著名的自监督去噪策略是盲点训练方案。然而,目前还没有研究从网络结构上对基于盲点的自去噪算法进行改进。在本文中,我们直观地看待盲点策略,并将其使用邻近像素来预测操作像素的过程视为修复过程。因此,我们提出了一种新的掩模引导残差卷积(MGRConv)到常见的卷积神经网络中,例如U-Net,以促进基于盲点的去噪。我们的MGRConv可以被视为软部分卷积,并在部分卷积,可学习的注意力地图和门控卷积之间找到折衷。它可以通过适当的掩码约束实现动态掩码学习。与偏卷积和门卷积不同,它为网络学习提供了适度的自由度。与可学习的注意力地图不同,它还避免了利用外部可学习参数来激活掩码。实验结果表明,我们提出的即插即用MGRConv可以帮助基于盲点的去噪网络,以达到现有的基于单图像和基于小波包的方法有前途的结果。
2021-09-10 cs.CV eess.IV
ST-KeyS: Self-Supervised Transformer for Keyword Spotting in Historical Handwritten Documents
Digital Research Center of Sfax(斯法克斯数字研究中心);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Blekinge Institute of Technology(布莱金厄理工学院)
历史文献中的关键词识别是数字化馆藏初步探索的重要工具。如今,最有效的KWS方法依赖于需要大量带注释的训练数据的机器学习技术。然而,在历史手稿的情况下,缺乏带注释的语料库进行训练。为了处理数据稀缺问题,我们研究了自监督学习的优点,以提取输入数据的有用表示,而不依赖于人类注释,然后在下游任务中使用这些表示。我们提出了ST-KeyS,一种基于视觉Transformer的掩蔽自动编码器模型,其中预训练阶段基于掩蔽和预测范式,而不需要标记数据。在微调阶段,预先训练的编码器被集成到一个连体神经网络模型中,该模型被微调以改善来自输入图像的特征嵌入。我们进一步改进的图像表示使用金字塔直方图字符(PHOC)嵌入创建和利用基于文本属性的图像的中间表示。在对三个广泛使用的基准数据集(Botany,Alvermann Konzilsprotokolle和George Washington)进行的详尽实验评估中,所提出的方法优于在相同数据集上训练的最先进的方法。
2023-03-06 cs.CV
Self-Supervised Bulk Motion Artifact Removal in Optical Coherence Tomography Angiography
Stony Brook University(石溪大学)
光学相干断层扫描血管造影(OCTA)是一种重要的成像方式,在许多生物工程任务。然而,OCTA的图像质量通常会因体运动伪影(BMA)而降低,体运动伪影(BMA)是由于受试者的微动引起的,通常表现为被模糊区域包围的亮条纹。现有的方法通常将BMA去除视为基于学习的图像修补问题,但需要大量具有非平凡注释的训练样本。此外,这些方法丢弃了BMA条纹区域中携带的丰富的结构和外观信息。为了解决这些问题,在本文中,我们提出了一个自我监督的内容感知BMA删除模型。首先,从BMA区域中提取基于梯度的结构信息和外观特征,并将其注入模型中以捕获更多的连通性。其次,利用容易收集的缺陷掩模,以自监督的方式训练模型,其中仅使用清晰区域进行训练,而BMA区域用于推理。该模型以含噪图像的结构信息和外观特征为参考,可以去除较大的BMA,并产生更好的可视化效果。此外,只涉及有缺陷的掩模的2D图像,从而提高了我们的方法的效率。对小鼠皮质OCTA的实验表明,我们的模型可以去除大多数尺寸极大且强度不一致的BMA,而之前的方法则失败了。
2022-03-27 cs.CV
Spot On: Action Localization from Pointly-Supervised Proposals
University of Amsterdam(阿姆斯特丹大学);Delft University of Technology(代尔夫特理工大学)
我们致力于视频中动作的时空定位。最先进的技术依赖于测试时的行动建议,并使用经过仔细注释的框注释训练的分类器选择最好的一个。在视频中注释动作框是繁琐、乏味且容易出错的。而不是注释框,我们建议在视频中的动作只与帧的稀疏子集上的点。我们引入了行动建议和点之间的重叠度量,并将它们全部纳入非凸多实例学习优化的目标中。对UCF Sports和UCF 101数据集的实验评估表明,(i)时空建议可用于训练分类器,同时保持本地化性能,(ii)点注释产生与框注释相当的结果,同时注释速度明显更快,(iii)在最小量的监督下,我们的方法与最先进的方法相比具有竞争力。我们在Hollywood2的训练和测试视频上引入时空动作注释,从而产生Hollywood2Tubes,其可在www.example.com获得http://tinyurl.com/hollywood2tubes。
2016-07-25 cs.CV
Weakly- and Semi-Supervised Probabilistic Segmentation and Quantification of Ultrasound Needle-Reverberation Artifacts to Allow Better AI Understanding of Tissue Beneath Needles
Carnegie Mellon University(卡内基梅隆大学)
超声图像质量一直在不断提高。然而,当针或其他金属物体在组织内操作时,所产生的混响伪影会严重破坏周围的图像质量。这些影响对于现有的用于医学图像分析的计算机视觉算法是具有挑战性的。针状混响伪影有时可能难以识别,并且在不同程度上影响各种像素值。这种工件的边界是模糊的,导致人类专家之间的分歧标记的工件。我们提出了一种弱监督和半监督的概率针和混响伪影分割算法,以分离所需的基于组织的像素值从叠加的伪影。我们的方法模拟了伪影强度的强度衰减,旨在最大限度地减少人类标记错误。我们证明了该方法的适用性,并将其与其他分割算法进行比较。我们的方法是能够区分的混响从伪影的补丁,以及建模的强度下降的文物。我们的方法与最先进的伪影分割性能相匹配,并在估计伪影与基础解剖结构的每像素贡献方面设定了一个新标准,特别是在混响线之间的紧邻区域。我们的算法也能够提高下游图像分析算法的性能。
2021-06-03 cs.CV eess.IV
Weak Supervision with Arbitrary Single Frame for Micro- and Macro-expression Spotting
University Of Electronic Science And Technology Of China(电子科技大学)
提出点级弱监督表情定位框架PWES,仅需单帧标注,通过设计多精炼伪标签生成和分布引导特征对比学习策略解决标签稀疏及预测碎片化问题,性能媲美全监督方法。
2024-03-21 cs.CV
Self-supervised Image Denoising with Downsampled Invariance Loss and Conditional Blind-Spot Network
Seoul National University(首尔国立大学);Gauss Labs Inc.(高斯实验室公司)
提出一种结合下采样不变性损失与条件盲点网络(C-BSN)的自监督图像去噪框架,通过控制网络盲目性并利用随机子采样器去除空间噪声相关性,在真实数据集上达到最先进性能。
2023-07-28 cs.CV eess.IV
Language Matters: A Weakly Supervised Vision-Language Pre-training Approach for Scene Text Detection and Spotting
Nanyang Technological University(南洋理工大学);ByteDance Inc.(字节跳动公司);University of Oxford(牛津大学)
近年来,视觉语言预训练(VLP)技术通过联合学习视觉和文本表征,极大地帮助了各种视觉语言任务,由于场景文本图像中丰富的视觉和文本信息,这直观地帮助了光学字符识别(OCR)任务。然而,这些方法不能很好地应付OCR任务,因为在实例级的文本编码和图像-文本对获取(即图像和捕获的文本中)的困难。本文提出了一种弱监督的预训练方法oCLIP,它可以通过联合学习和对齐视觉和文本信息来获得有效的场景文本表示。我们的网络包括一个图像编码器和一个字符感知文本编码器,分别提取视觉和文本特征,以及一个视觉-文本解码器,模拟文本和视觉特征之间的交互,以学习有效的场景文本表示。通过对文本特征的学习,预训练模型可以很好地处理图像中的文本,并具有字符意识。此外,这些设计使得能够从弱注释文本(即没有文本边界框的图像中的部分文本)中学习,这大大减轻了数据注释约束。在ICDAR 2019-LSVT中对弱注释图像的实验表明,我们的预训练模型将F分数提高了+2.5\%和+4.8\%,同时将其权重分别转移到其他文本检测和定位网络。此外,所提出的方法在多个公共数据集(例如,Total-Text和CTW 1500分别为+3.2\%和+1.3\%)。
2022-11-14 cs.CV
AP-BSN: Self-Supervised Denoising for Real-World Images via Asymmetric PD and Blind-Spot Network
Seoul National University(首尔国立大学)
盲点网络(BSN)及其变体在自监督去噪方面取得了重大进展。然而,由于不太实际的假设,如像素独立噪声,它们仍然受到合成噪声输入的约束。因此,使用自监督BSN来处理空间相关的真实世界噪声是具有挑战性的。最近,像素重排下采样(PD)已被提出来消除真实世界噪声的空间相关性。然而,直接集成PD和BSN并不简单,这会阻碍真实世界图像上的完全自监督去噪模型。我们提出了一个非对称PD(AP)来解决这个问题,它引入了不同的PD步幅因子用于训练和推理。我们系统地表明,所提出的AP可以解决固有的权衡所造成的特定PD步幅因素,使BSN适用于实际场景。为此,我们开发了AP-BSN,这是一种用于现实世界sRGB图像的最先进的自监督去噪方法。我们进一步提出了随机替换细化,这显着提高了我们的AP-BSN的性能,而无需任何额外的参数。广泛的研究表明,我们的方法优于其他自监督,甚至不成对的去噪方法的大幅度,而不使用任何额外的知识,例如,噪音水平,关于潜在的未知噪音。
2022-03-24 cs.CV eess.IV
Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction
University of Rochester(罗切斯特大学);University of Maryland, College Park(马里兰大学帕克分校);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
当前用于计算机断层扫描(CT)金属伪影减少(MAR)的基于深度神经网络的方法是监督方法,其严重依赖于用于训练的合成数据。然而,由于合成数据可能无法完美地模拟CT成像的潜在物理机制,因此监督方法通常难以推广到临床应用。为了解决这个问题,我们提出,据我们所知,第一个无监督学习方法的MAR。具体来说,我们引入了一种新的工件解开网络,使不同形式的代和正则化之间的伪影影响和伪影免费的图像域,以支持无监督学习。大量的实验表明,我们的方法显着优于现有的无监督模型的图像到图像的翻译问题,并实现了与现有的监督模型在合成数据集上的性能相当。当应用于临床数据集时,我们的方法在监督模型上取得了相当大的改进。本文的源代码可在https://github.com/liaohaofu/adn上公开获取。
2019-11-28 cs.CV eess.IV
TM-BSN: Triangular-Masked Blind-Spot Network for Real-World Self-Supervised Image Denoising
Department of ECE, INMC, Seoul National University(首尔大学电气与计算机工程系、INMC);IPAI, Seoul National University(首尔大学IPAI)
本文提出TM-BSN网络,通过三角掩码建模真实sRGB噪声的空间相关性,无需下采样即可实现高效自监督图像去噪,实验表明其性能优于现有方法。
2026-04-06 cs.CV eess.IV
Speckle2Void: Deep Self-Supervised SAR Despeckling with Blind-Spot Convolutional Neural Networks
Politecnico di Torino(都灵理工大学)
合成孔径雷达(SAR)图像中的相干斑噪声严重影响了图像信息提取,因此相干斑抑制是场景分析算法中的一个重要步骤。深度学习最近的成功设想了新一代的去斑技术,可以超越经典的基于模型的方法。然而,目前用于去斑的深度学习方法需要监督训练,而不可能获得干净的SAR图像。在文献中,这个问题是通过诉诸合成斑点的光学图像,表现出不同的属性,相对于真正的SAR图像,或多时相SAR图像,这是很难准确地获取或融合。在本文中,最近的工作的盲点去噪网络的启发,我们提出了一个自监督贝叶斯去斑方法。所提出的方法是训练只使用噪声SAR图像,因此可以学习真正的SAR图像,而不是合成数据的功能。实验表明,该方法的性能是非常接近的监督训练方法的合成数据和真实数据的定量和视觉评估的优越性。
2020-07-04 cs.CV eess.IV
ADN: Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction
University of Rochester(罗切斯特大学);University of Maryland, College Park(马里兰大学帕克分校);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室)
当前基于深度神经网络的计算机断层扫描(CT)金属伪影减少(MAR)方法是依赖于合成金属伪影进行训练的监督方法。然而,由于合成数据可能无法准确模拟CT成像的潜在物理机制,因此监督方法通常难以推广到临床应用。为了解决这个问题,我们提出,据我们所知,第一个无监督学习方法MAR。具体来说,我们引入了一种新的工件解开网络,解开金属工件从CT图像中的潜在空间。它支持不同形式的生成(伪影减少,伪影转移和自重建等)。具有专门的损失函数,以利用合成数据来满足监督的需要。大量的实验表明,当应用于合成数据集时,我们的方法解决金属伪影显着优于现有的无监督模型设计的自然图像到图像的翻译问题,并实现了与现有的监督模型MAR的性能相当。当应用于临床数据集,我们的方法表现出更好的泛化能力的监督模型。本文的源代码可在https://github.com/liaohaofu/adn上公开获取。
2019-11-28 cs.CV eess.IV
Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对盲点驱动自监督去噪方法的信息损失问题,提出Blind2Unblind方法,通过全局感知掩码映射器和重新可见损失,实现高效去噪,在合成和真实数据集上性能优越。
2023-05-08 cs.CV eess.IV
Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising
Junyi Li, Zhilu Zhang, and Wangmeng Zuo(李俊毅、张志鲁和祖旺萌)
本文针对自监督图像去噪中Transformer注意力违反盲点要求的问题,重新设计通道分组注意力与空间掩码注意力,提出TBSN,并通过知识蒸馏提升效率,在真实数据集上取得领先性能。
2025-08-19 cs.CV eess.IV
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
SS-BSN: Attentive Blind-Spot Network for Self-Supervised Denoising with Nonlocal Self-Similarity
University of Seoul(首尔大学);Vieworks(Vieworks公司)
本文提出轻量级自相似性注意力模块(SS-Attention)以捕获非局部自相似性,并将其集成至盲点网络构建SS-BSN,在SIDD和DND基准上实现了更优的自监督图像去噪性能。
2023-05-17 cs.CV cs.LG
Motion Artifact-Aware Self-Supervised Representation Learning for 3D Brain MRI Motion Artifact Reduction
The University of Chicago(芝加哥大学);Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心)
提出SSRL-MAR自监督框架,无需配对数据或运动标签,在模拟和活体数据集上实现3D脑部MRI运动伪影去除,性能接近理想监督模型,可提升神经解剖学一致性。
2026-08-12 cs.CV physics.med-ph
Temporal Score Analysis for Understanding and Correcting Diffusion Artifacts
Queen Mary University of London(伦敦玛丽女王大学)
该研究揭示扩散模型伪影源于生成突变阶段的时间分数异常,提出ASCED方法通过监测分数动态、嵌入扩散流程的轨迹感知策略校正伪影,无需额外训练即可在多领域达到或超越有监督方法效果。
2025-03-20 cs.CV
Towards Fingerprint Mosaicking Artifact Detection: A Self-Supervised Deep Learning Approach
Austrian Institute of Technology(奥地利技术研究院);TU Wien(维也纳技术大学)
针对指纹拼接易产生伪影的问题,本文提出自监督深度学习检测与评分方法,无需人工标注即可跨模态、跨数据源准确量化拼接错误。
2025-01-09 cs.CV cs.LG eess.IV
Improving Blind Spot Denoising for Microscopy
Max-Planck Institute of Molecular Cell Biology and Genetics(马克斯·普朗克分子细胞生物学与遗传学研究所);Center for Systems Biology Dresden (CSBD)(德累斯顿系统生物学中心);Fondazione Human Technopole(人类技术城基金会);Max Planck Institute for the Physics of Complex Systems(马克斯·普朗克复杂系统物理研究所)
许多显微镜应用受到可用光总量的限制,因此受到所获得图像中的噪声水平的挑战。这个问题通常通过基于(监督)深度学习的去噪来解决。最近,通过对噪声统计进行假设,出现了自监督方法。这种方法直接在要去噪的图像上训练,不需要额外的成对训练数据。虽然取得了显着的效果,自我监督的方法可以产生高频工件,并实现较差的结果相比,监督的方法。在这里,我们提出了一种新的方法来提高自监督去噪的质量。考虑到光学显微镜图像通常是衍射有限的,我们建议将此知识包括在去噪过程中。我们假设干净的图像是与点扩散函数(PSF)卷积的结果,并在我们的神经网络的末尾显式地包含此操作。因此,我们能够消除高频伪影,并实现与传统监督方法非常接近的自监督结果。
2020-08-19 cs.CV eess.IV
Less Supervision, Better Generalization: Weakly Supervised Fake Region Localization in Diffusion-Edited Images
Kyung Hee University(庆熙大学);NAVER Cloud(NAVER云)
提出弱监督框架ReGFLoW,利用扩散重建误差定位编辑区域,实现跨生成器泛化,优于全监督方法。
2026-11-10 cs.CV
Vision Transformers Need Registers
FAIR, Meta(Meta FAIR);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室)
针对有监督和自监督ViT网络特征图中存在高范数token伪影的问题,提出给视觉Transformer输入序列添加额外寄存器token的方案,解决了伪影问题,提升了密集预测等任务性能,优化了下游视觉处理的特征与注意力图平滑度。
2024-04-12 cs.CV
N2V2 -- Fixing Noise2Void Checkerboard Artifacts with Modified Sampling Strategies and a Tweaked Network Architecture
Carl Zeiss AG(卡尔蔡司公司);Friedrich Miescher Institute for Biomedical Research(弗里德里希·米歇尔生物医学研究所);Fondazione Human Technopole(人类技术中心基金会)
近年来,基于神经网络的图像去噪方法已经彻底改变了生物医学显微数据的分析。自监督方法,如Noise 2 Void(N2 V),适用于几乎所有的噪声数据集,即使没有专用的训练数据可用。可以说,这促进了N2 V在整个生命科学中的快速和广泛采用。不幸的是,N2 V基础上的盲点训练可能会导致相当明显的棋盘式伪影,从而大大降低最终预测的质量。在这项工作中,我们对vanilla N2 V设置进行了两项修改,这两项修改都有助于大大减少不必要的伪影。首先,我们提出了一种改进的网络架构,即,在整个使用的U-Net中使用BlurPool而不是MaxPool层,将剩余U-Net回滚到非剩余U-Net,并消除最高U-Net级别的跳过连接。此外,我们提出了新的替换策略,以确定像素的强度值,填补当选的盲点像素。我们验证我们的修改范围内的显微镜和自然图像数据。基于来自多种噪声类型和不同幅度的合成噪声,我们证明了这两种修改都推动了当前最先进的完全自监督图像去噪。
2022-11-21 cs.CV cs.LG
Unsupervised Adversarial Correction of Rigid MR Motion Artifacts
University of Stuttgart(斯图加特大学);King's College London(伦敦国王学院)
运动是磁共振图像中伪影的主要来源之一。它可能对扫描结果的诊断质量产生重大影响。先前,已经建议了用于校正MR运动伪影的监督对抗方法。然而,这些方法受到用于训练的所需成对共配准数据集的限制,这些数据集通常难以或不可能获得。在我们以前工作的基础上,我们引入了一个新的对抗框架,该框架具有新的生成器架构和损失函数,用于无监督校正大脑区域中严重的刚性运动伪影。与其他监督和无监督翻译方法的定量和定性比较显示了所引入的框架的增强性能。
2019-10-12 cs.CV eess.IV
A Markov Random Field and Active Contour Image Segmentation Model for Animal Spots Patterns
Universidad de Antioquia UdeA(安蒂奥基亚大学(UdeA));Instituto Tecnológico Metropolitano ITM(大都会理工学院(ITM))
使用图像的非侵入性动物生物识别技术允许分析具有条纹和斑点等图案的表型种群和个体,而不会影响研究对象。然而,非侵入式生物识别技术需要训练有素的主体或计算机视觉算法的开发,以简化识别任务。在这项工作中,经典的分割方法,需要监督调整其参数,如阈值,自适应阈值,直方图均衡化,饱和度校正的分析。与此相反,一个通用的无监督算法,使用马尔可夫随机场(MRF)的斑点模式分割的建议。活动轮廓用于使用MRF输出作为种子来增强结果。作为研究对象的Diploglossus millepunctatus蜥蜴。所提出的方法实现了$91.11\%$的最大效率。
2015-10-26 cs.CV
DeepErase: Weakly Supervised Ink Artifact Removal in Document Text Images
Ernst & Young LLP(安永会计师事务所)
像保险、法律和政府这样的纸张密集型行业长期以来一直利用光学字符识别(OCR)将大量扫描文档自动转录为文本字符串,以供下游处理。即使在2019年,仍有许多扫描的文档和邮件以非数字格式进入企业。要从真实世界文档中提取的文本通常位于丰富的格式中,例如表格结构或带有填空框或下划线的表单,其墨水经常接触甚至穿透文本本身的墨水。此外,文本区域可能具有随机墨水污迹或虚假笔划。这样的墨水伪像会严重干扰识别算法或其他下游处理任务的性能。在这项工作中,我们提出了Deepcraft,一个基于神经的预处理器,从文本图像中删除墨水伪影。我们设计了一种方法,以编程方式组装成逼真的“脏”文本图像的真实文本图像和真正的文物,并用它们来训练文物分割网络在弱监督的方式,因为像素级的注释自动获得在组装过程中。除了高分割精度,我们表明,我们的清洗图像实现了显着提高识别精度的流行OCR软件,如Tesseract 4.0。最后,我们在扫描的国税局纳税申报表的分发外数据集(NIST SDB)上测试了DeepMind,并在准确性上实现了两位数的提高。所有的实验都是在印刷和手写文本上进行的。所有实验的代码可在https://github.com/yikeqicn/DeepErase上获得
2020-01-16 cs.CV cs.LG cs.NE
Asymmetric Mask Scheme for Self-Supervised Real Image Denoising
Sichuan University(四川大学);Dalian University of Technology(大连理工大学)
针对自监督去噪中盲点操作限制网络结构设计的问题,提出训练用单掩码、推理用多掩码的非对称掩码方案,无需盲点操作,在真实噪声数据集上达到SOTA性能。
2024-07-15 cs.CV eess.IV
Unsupervised Multi-Parameter Inverse Solving for Reducing Ring Artifacts in 3D X-Ray CBCT
本文提出无监督方法Riner,将CBCT环形伪影减少建模为多参数逆问题,通过可微分前向模型联合学习无伪影图像的隐式神经表示并直接从测量数据估计探测器物理参数,无需外部训练数据且内存友好,在模拟和真实数据上优于现有监督方法。
2025-11-08 cs.CV eess.IV
Metal Artifact Reduction in 2D CT Images with Self-supervised Cross-domain Learning
The University of Hong Kong(香港大学);Stanford University(斯坦福大学);Hong Kong University of Science and Technology(香港科技大学)
金属植入物的存在往往会在X射线CT图像中引入严重的金属伪影,这可能会对临床诊断或放射治疗中的剂量计算产生不利影响。在这项工作中,我们提出了一种新的基于深度学习的方法来减少金属伪影(MAR)。为了减轻对解剖学上相同的CT图像对的需求(即,金属伪影污染的CT图像和无金属伪影的CT图像)的网络学习,我们提出了一个自监督的跨域学习框架。具体而言,我们训练神经网络来恢复给定的无金属正弦图中的金属迹线区域值,其中金属迹线通过金属掩模的前向投影来识别。然后,我们设计了一种新的FBP重建损失,以鼓励网络生成更完美的完成结果和基于残差学习的图像细化模块,以减少重建CT图像中的二次伪影。为了保留最终MAR图像的精细结构细节和保真度,而不是直接采用CNN细化的图像作为输出,我们将金属痕迹替换纳入我们的框架中,并用通过CNN输出的前向投影生成的先前正弦图替换原始正弦图的金属影响投影。然后,我们使用滤波后向投影(FBP)算法进行最终MAR图像重建。我们对模拟和真实伪影数据进行了广泛的评估,以显示我们设计的有效性。我们的方法产生优越的MAR结果,并优于其他引人注目的方法。我们还展示了我们的框架对其他器官网站的潜力。
2021-09-28 cs.CV cs.LG eess.IV
Towards Deep Unsupervised SAR Despeckling with Blind-Spot Convolutional Neural Networks
PoliTO(都灵理工大学)
SAR相干斑抑制是遥感领域的一个重要问题,它代表了许多场景分析算法的第一步。最近,深度学习技术的性能优于经典的基于模型的去斑算法。然而,这样的方法需要干净的地面实况图像用于训练,因此由于不能获取干净的SAR图像,因此求助于合成斑点光学图像。在本文中,最近的工作的盲点去噪网络的启发,我们提出了一个自监督贝叶斯去斑方法。所提出的方法是训练只使用噪声图像,因此可以学习真正的SAR图像,而不是合成数据的功能。我们表明,所提出的网络的性能是非常接近的监督训练方法的合成数据和竞争力的真实数据。
2020-01-15 cs.CV cs.LG eess.IV
Artifact Identification in X-ray Diffraction Data using Machine Learning Methods
Argonne National Laboratory(阿贡国家实验室)
研究人员高度利用原位同步高能X射线粉末衍射(XRD)技术来分析功能器件中材料的晶体结构(例如,电池材料)或在复杂的样品环境中(例如,金刚石砧座单元或合成反应器)。材料的原子结构可以通过其衍射图案以及诸如Rietveld精化的详细分析来识别,Rietveld精化指示测量的结构如何偏离理想结构(例如,内部应力或缺陷)。对于原位实验,通常在不同条件下(例如,绝热条件),产生不同的物质状态,或者简单地作为时间的函数连续收集以跟踪样品在化学或物理过程中的变化。原位实验通常使用面探测器进行,收集由理想粉末的衍射环组成的2D图像。根据材料的形式,人们可以观察到不同于真实样品及其环境的典型德拜谢乐环的不同特征,例如2D XRD图像中的纹理或优选取向和单晶衍射点。在这项工作中,我们提出了一种机器学习方法的研究,用于快速可靠地识别和分离XRD图像中的单晶衍射斑点。在XRD图像积分过程中排除伪影可以精确分析所需的粉末衍射环。我们观察到,当使用高度多样化数据集的小子集进行训练时,梯度提升方法可以始终如一地产生高精度的结果。与常规方法相比,该方法显著减少了用于鉴定和分离单晶斑点的时间量。
2022-07-29 cs.CV cs.LG eess.IV
Semi-Supervised Temporal Action Detection with Proposal-Free Masking
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(讯飞-萨里人工智能联合研究中心);Surrey Institute for People-Centred Artificial Intelligence(萨里以人为本人工智能研究所)
现有的时间动作检测(Temporal Action Detection,简称TACT)方法依赖于大量的带有分段级注释的训练数据。因此,收集和注释这样的训练集是非常昂贵和不可扩展的。半监督视频编码(SS-SVM)通过利用大规模免费提供的未标记视频来解决这个问题。然而,SS-SVM也是一个比监督SVM更具挑战性的问题,因此研究得很多。现有的SS-SSL方法直接结合了现有的基于建议的SSL方法和SSL方法。由于它们的顺序定位(例如,提案生成)和分类设计,它们很容易发生提案错误传播。为了克服这一局限性,在这项工作中,我们提出了一种新的半监督时间动作检测模型的基础上PropOsal免费时间掩模(SPOT)与并行定位(掩模生成)和分类架构。这种新颖的设计有效地消除了定位和分类之间的依赖性,切断了错误传播的路线之间。我们进一步引入了分类和定位之间的交互机制,用于预测细化,以及用于自监督模型预训练的新借口任务。两个标准的基准测试的广泛实验表明,我们的SPOT优于国家的最先进的替代品,往往是一个很大的保证金。SPOT的PyTorch实现可在https://github.com/sauradip/SPOT上获得
2022-07-14 cs.AI cs.CV cs.LG
Denoising of Two-Phase Optically Sectioned Structured Illumination Reconstructions Using Encoder-Decoder Networks
Elmore Family School of Electrical and Computer Engineering(电子与计算机工程学院);Purdue University(普渡大学)
针对两相光学切片结构光重建中存在残留伪影且缺乏干净真值数据的问题,研究人员用合成训练对训练非对称DAE和U-Net两种编码器-解码器网络,有效提升了图像清晰度,为该类图像监督去噪提供了可行方案。
2025-10-03 cs.CV
DiffusionQC: Artifact Detection in Histopathology via Diffusion Model
Johns Hopkins University Dept. of Biomedical Engineering(约翰霍普金斯大学生物医学工程系);Merck & Co., Inc. Biometrics Research(默克公司生物度量研究);Merck & Co., Inc. Translational Medicine(默克公司转化医学)
DiffusionQC通过扩散模型检测病理学图像中的伪影,无需大量标注数据,实现高效且泛化的伪影识别。
2026-01-18 cs.CV
SelfMAD: Enhancing Generalization and Robustness in Morphing Attack Detection via Self-Supervised Learning
Faculty of Electrical Engineering, University in Ljubljana(卢布尔雅那大学电气工程学院);Faculty of Computer and Information Science, University in Ljubljana(卢布尔雅那大学计算机与信息科学学院);Dalian University of Technology(大连理工大学);Fraunhofer Institute for Computer Graphics Research(弗劳恩霍夫计算机图形研究所)
SelfMAD提出一种自监督学习方法,通过模拟通用变形攻击伪影来学习鲁棒决策边界,避免过拟合特定变形方法,在跨变形场景下将检测错误率降低超过64%。
2025-04-07 cs.CV
Recurrent Self-Supervised Video Denoising with Denser Receptive Field
Beijing Institute of Technology(北京理工大学);ETH Zürich(苏黎世联邦理工学院);Xiaohongshu Inc(小红书公司)
本文提出RDRF自监督视频去噪方法,通过更密集感受野和循环框架充分融合参考帧、近邻及远距离时间信息,在合成与真实数据集上取得优越性能。
2023-08-07 cs.CV
Spot What Matters: Learning Context Using Graph Convolutional Networks for Weakly-Supervised Action Detection
TNO(荷兰应用科学研究组织);Leiden University(莱顿大学)
时空动作检测中的主要范例是使用通过2D或3D卷积网络学习的时空特征对动作进行分类。我们认为,几个动作的特点是他们的背景下,如相关的对象和演员在视频中。为此,我们引入了一种基于自注意和图卷积网络的架构,以模拟上下文线索,如演员-演员和演员-对象交互,以提高视频中的人体动作检测。我们有兴趣在弱监督设置中实现这一点,即在动作边界框方面使用尽可能少的注释。我们的模型通过将学习到的上下文可视化为注意力地图来帮助解释,即使是在训练过程中看不到的动作和对象。我们评估如何以及我们的模型突出了相关的背景下,通过引入一个定量指标的基础上召回的对象检索的注意力地图。我们的模型依赖于3D卷积RGB流,并且不需要昂贵的光流计算。我们在DALY数据集上评估我们的模型,该数据集由人与物体的交互动作组成。实验结果表明,我们的上下文方法优于基线动作检测方法超过2点,在视频mAP。代码可在\url{https://github.com/micts/acgcn}上获得
2021-07-28 cs.CV cs.LG
Self-supervised ControlNet with Spatio-Temporal Mamba for Real-world Video Super-resolution
Jiangnan University(江南大学);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Chinese Academy of Sciences(中国科学院)
本文提出一种结合自监督ControlNet与时空Mamba的真实世界视频超分辨率框架,通过全局时空注意力、对比学习特征提取和三阶段训练策略抑制伪影并提升感知质量。
2025-06-01 cs.CV
SAVe: Self-Supervised Audio-visual Deepfake Detection Exploiting Visual Artifacts and Audio-visual Misalignment
Social Networks and Human-Centered Computing Program, Taiwan International Graduate Program, Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所台湾国际研究生计划社交网络与人本计算项目);Department of Computer Science, National Chengchi University(国立政治大学资讯科学系);Institute of Information Systems and Applications, National Tsing Hua University(国立清华大学资讯系统与应用研究所);National Institute of Informatics(国立情报学研究所);Department of Electrical Engineering and the Institute of Communications Engineering, National Tsing Hua University(国立清华大学电机工程学系与通讯工程研究所);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
SAVe通过自监督学习在真实视频上训练,生成伪篡改以学习互补的视觉线索,并通过音视频对齐组件捕捉跨模态证据,实现对深度伪造的高效检测。
2026-03-26 cs.AI cs.CV cs.LG
Self-Supervised Compression and Artifact Correction for Streaming Underwater Imaging Sonar
Simon Fraser University(西蒙弗雷泽大学);Douglas College(道格拉斯学院);McGill University(麦吉尔大学);Wild Salmon Center(野生鲑鱼中心)
SCOPE通过自监督方法实现低比特率水下声纳流式传输,有效压缩并校正声纳伪影,提升实时检测性能。
2025-12-02 cs.CV cs.LG cs.MM
U-DuDoNet: Unpaired dual-domain network for CT metal artifact reduction
Z 2 Sky Technologies Inc.(Z 2 天空科技公司);Beijing University of Posts and Telecommunications(北京邮电大学);Johns Hopkins University(约翰斯·霍普金斯大学);Suzhou Institute for Advance Research, University of Science and Technology of China(中国科学技术大学苏州研究院);Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所中国科学院智能信息处理重点实验室)
最近,有监督和无监督深度学习方法已广泛应用于CT金属伪影减少(MAR)任务。双域网络(Du-DoNet)等监督方法在模拟数据上工作良好;然而,由于域间隙,它们在临床数据上的性能受到限制。无监督方法更普遍,但不能通过图像域上的单独处理完全消除伪影。为了结合这两种MAR方法的优点,我们提出了一种使用未配对数据训练的未配对双域网络(U-DuDoNet)。与利用多个编码器和解码器将内容从伪影中分离出来的伪影分离网络(ADN)不同,我们的U-DuDoNet通过正弦图和图像域中的加法直接对伪影生成过程进行建模,这在理论上是由与金属伪影相关的加法属性证明的。我们的设计包括一个自我学习的正弦图先验网络,它为恢复正弦图域中的信息提供了指导,并为伪影减少和增加不成对数据提供了循环约束。对模拟数据和临床图像的大量实验表明,我们的新框架优于最先进的非配对方法。
2021-03-08 cs.CV eess.IV
ArcAid: Analysis of Archaeological Artifacts using Drawings
Technion(以色列理工学院);U. of Bern(伯尔尼大学);U. of Haifa(海法大学)
本文提出半监督模型ArcAid,利用考古手工绘图向文物图像隐式迁移领域知识,以同时改善文物图像分类、检索并生成文物绘图,还发布了南黎凡特印章新数据集。
2024-01-20 cs.CV
GLID: Gated Local Intrinsic Dimension Repairs the Blind Spots of Face-Forgery Detectors
University of California, Los Angeles(加州大学洛杉矶分校);University of California, Berkeley(加州大学伯克利分校)
研究针对微调基础模型面部伪造检测器对训练外生成器家族有盲点的问题,提出GLID检测器,通过估计图像补丁令牌局部内在维度,经置信门进入微调检测器,在基准测试中表现出色,揭示相关经验法则并降低准确率跨种子传播。
2026-07-22 cs.CR cs.CV
LG-BPN: Local and Global Blind-Patch Network for Self-Supervised Real-World Denoising
Beijing Institute of Technology(北京理工大学);Baidu Inc.(百度公司);ETH Zürich(苏黎世联邦理工学院)
本文提出LG-BPN方法用于自监督真实世界去噪,通过密集采样补丁掩码卷积模块恢复局部细节,并引入膨胀Transformer块建模长距离依赖,克服了现有盲点网络感受野受限的缺陷,显著提升了去噪性能。
2023-04-02 cs.CV
Beyond Flicker: Detecting Kinematic Inconsistencies for Generalizable Deepfake Video Detection
本文提出合成视频生成方法,通过引入微妙的运动不一致来训练模型,从而提升深度伪造视频检测的泛化能力。
2026-04-10 cs.CV
Artifact Removal in Histopathology Images
CentraleSupélec(巴黎中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学)
在组织病理学的临床环境中,全切片图像(WSI)伪影经常出现,使感兴趣区域失真,并对WSI分析产生有害影响。像CycleGAN这样的图像到图像转换网络原则上能够从未配对的数据中学习伪影去除函数。然而,我们发现了伪影去除的满射问题,并提出了对CycleGAN的弱监督扩展来解决这个问题。我们从TCGA数据库中收集了一个泛癌症数据集,包括伪影和干净的瓷砖。有希望的结果突出了我们的方法的可靠性。
2022-12-16 cs.CV eess.IV
Semi-Supervised Semantic Segmentation with High- and Low-level Consistency
University of Freiburg(弗莱堡大学)
从有限的标记数据中理解视觉信息的能力是机器学习的一个重要方面。虽然图像级分类已经在半监督环境中被广泛研究,但具有有限数据的密集像素级分类最近才引起注意。在这项工作中,我们提出了一种半监督语义分割的方法,学习有限的像素明智的注释样本,同时利用额外的无注释图像。它使用两个网络分支,将半监督分类与半监督分割(包括自训练)联系起来。双分支方法减少了在使用少量标签进行训练时典型的低级和高级伪影。该方法与现有方法相比有了显着的改进,特别是在使用很少的标记样本进行训练时。在几个标准基准测试中- PASCAL VOC 2012,PASCAL-Context和Cityscapes -该方法在半监督学习中达到了最先进的水平。
2019-08-15 cs.CV