Self-supervised learning for robust voice cloning
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile Communications Business, Samsung Electronics(三星电子移动通信业务部)
语音克隆是一项困难的任务,它需要在高质量的TTS系统中加入强大的和信息丰富的功能,以便有效地复制一个看不见的扬声器的声音。在我们的工作中,我们利用通过Bootstrap Your Own Latent(BYOL)方法在自监督框架中学习的功能,当特定的音频增强应用于香草算法时,该方法可以产生高质量的语音表示。我们进一步扩展了训练过程中的增强,以帮助产生的功能,以捕捉扬声器的身份,并使他们强大的噪声和声学条件。学习到的特征被用作预先训练的话语级嵌入和作为基于非注意Tacotron架构的输入,旨在实现多扬声器语音合成而不利用额外的扬声器特征。这种方法使我们能够在未标记的多说话者数据集中训练我们的模型,并使用看不见的说话者嵌入来复制说话者的声音。主观和客观的评价被用来验证所提出的模型,以及目标话语的声学条件的鲁棒性。
2022-11-02 cs.LG cs.SD eess.AS
Results and findings of the 2021 Image Similarity Challenge
Meta AI;Czech Technical University in Prague(布拉格捷克技术大学);DeNA;Baidu Research(百度研究院)
2021年图像相似性挑战赛引入了一个数据集,作为评估最新图像复制检测方法的新基准。有200人参加了比赛。本文对排名靠前的论文进行了定量和定性分析。看来,最困难的图像变换涉及严重的图像裁剪或隐藏到不相关的图像,结合局部像素扰动。获奖作品中的关键算法元素包括:强增强训练、自监督学习、分数归一化、显式重叠检测和全局描述符匹配,然后进行成对图像比较。
2022-02-08 cs.CV cs.LG
Bag of Tricks and A Strong baseline for Image Copy Detection
Baidu Research(百度研究院)
图像复制检测在现实生活中的社交媒体中非常重要。在本文中,一袋的技巧和强大的基线提出了图像复制检测。无监督预训练代替了常用的监督预训练。除此之外,我们设计了一个描述符拉伸策略,以稳定不同查询的分数。实验证明了该方法的有效性。在Facebook AI图像相似性挑战:描述符跟踪的526名参与者中,拟议的基线排名第三。代码和训练模型可在https://github.com/WangWenhao0716/ISC-Track2-Submission上获得。
2021-12-04 cs.CV
Self-supervised Learning for Video Correspondence Flow
University of Oxford(牛津大学)
本文的目标是对适合匹配视频中的对应关系的特征嵌入进行自监督学习,我们称之为对应流。通过利用视频中的自然时空相干性,我们提出训练一个“指针”,通过从参考帧复制像素来重建目标帧。我们做了以下贡献:首先,我们引入了一个简单的信息瓶颈,迫使模型学习强大的功能对应匹配,并防止它学习平凡的解决方案,\eg匹配的基础上,低级别的颜色信息。其次,为了解决跟踪器漂移的挑战,由于复杂的对象变形,光照变化和遮挡,我们提出了训练递归模型在长时间窗口与预定的采样和周期一致性。第三,我们在DAVIS 2017视频分割和JHMDB关键点跟踪任务上实现了最先进的性能,远远优于之前所有的自监督学习方法。第四,为了阐明自监督学习在视频对应流任务上的潜力,我们通过对额外数据、\ie更多样化的视频进行训练来探索上限,进一步证明了视频分割的显着改进。
2019-07-27 cs.CV cs.LG
Synergistic Self-supervised and Quantization Learning
Nanjing University(南京大学);MEGVII Technology(旷视科技)
随着自监督学习(SSL)的成功,对自监督预训练模型进行微调以提高下游任务的性能已成为主流范式。然而,我们发现,目前的SSL模型遭受严重的精度下降时,执行低比特量化,禁止其部署在资源受限的应用程序。在本文中,我们提出了一种称为协同自监督和量化学习(SSQL)的方法来预训练量化友好的自监督模型,以促进下游部署。SSQL以自我监督的方式对比量化模型和全精度模型的特征,其中量化模型的位宽在每个步骤中随机选择。SSQL不仅在量化为较低位宽时显著提高了精度,而且在大多数情况下还提高了全精度模型的精度。通过只训练一次,SSQL可以同时在不同的位宽上受益于各种下游任务。此外,在没有额外存储开销的情况下实现了位宽灵活性,在训练和推理期间仅需要一个权重副本。我们从理论上分析了SSQL的优化过程,并在各种基准测试上进行了详尽的实验,以进一步证明我们的方法的有效性。我们的代码可在https://github.com/megvii-research/SSQL-ECCV2022上获得。
2022-07-12 cs.CV cs.LG
Robust copy-move forgery detection by false alarms control
CMLA;ENS Cachan(卡尚高等师范学院);CNRS(法国国家科学研究中心)
可靠地检测复制-移动foreground是困难的,因为图像确实包含相似的对象。问题是:如何丢弃自然图像的自相似性,同时仍然检测到复制移动的部分是“不自然的相似”?复制-移动可能在旋转、比例改变之后执行,然后进行JPEG压缩或添加噪声。出于这个原因,我们的方法基于SIFT,它提供具有比例、旋转和照明不变描述符的稀疏关键点。为了区分自然的描述符匹配人工的,我们引入了一个相反的方法,它给出了理论上的保证的虚警的数量。我们验证我们的方法在几个数据库。完全无监督,它可以集成到任何通用的自动图像篡改检测管道。
2019-06-03 cs.CV
Fusing Multiscale Texture and Residual Descriptors for Multilevel 2D Barcode Rebroadcasting Detection
University of Siena(锡耶纳大学)
如今,2D条形码已广泛用于广告、移动支付和产品认证。然而,在与产品认证相关的应用中,真实的2D条形码可以以绕过认证方案的方式被非法复制并附接到伪造的产品。在本文中,我们采用了专有的二维条形码模式,并使用多媒体取证方法来分析复制(转播)攻击造成的扫描和打印文物。提出了一种多样性和互补的特征集,以量化在非法复制过程中引入的条形码纹理失真。提出的特征由全局和局部描述符组成,分别表征多尺度纹理外观和兴趣点分布。在各种场景下,如跨数据集和跨大小,将所提出的描述符与一些现有的纹理描述符和基于深度学习的方法进行比较。实验结果突出了所提出的方法在现实世界中的设置的实用性。
2022-05-16 cs.AI cs.CR cs.CV
Self-Supervised Visual Place Recognition Learning in Mobile Robots
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
位置识别是机器人导航中的一个关键组成部分,它使机器人能够重新建立以前访问过的位置,并同时使用这些信息来纠正其推算估计中发生的漂移。在这项工作中,我们开发了一种自我监督的方法来识别机器人。视觉环路闭合识别的任务被转换为度量学习问题,其中环路闭合的正面和负面示例的标签可以使用机器人已经使用的GPS辅助导航解决方案自举。通过利用传感器之间的同步,我们表明,我们能够学习任意实值图像描述符(包括最先进的CNN模型),这是专门面向移动机器人的视觉识别的适当的距离度量。此外,我们表明,新学习的嵌入可以特别强大的消歧视觉场景的任务,基于视觉的闭环识别移动机器人。
2019-05-11 cs.CV cs.LG cs.RO
SIEVE: Overcoming Topological Obstruction in Equivariant Self-Supervised Learning
SolverX;UIUC(伊利诺伊大学厄巴纳-香槟分校);Max Planck Institute of Mathematics(马克斯·普朗克数学研究所)
该研究针对3D点云掩码自编码与SE(3)等变网络的拓扑不兼容问题,提出SIEVE框架,通过球形投影掩码规避拓扑崩溃,其生成的嵌入在下游点云任务中表现优于基线,尤其在未见过形状类别的泛化上提升显著。
2026-10-16 cs.AI cs.CV cs.LG
ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives
Imperial College London(帝国理工学院)
本研究提出ViTAMINS方法,将合成难负样本用于视觉Transformer预训练,经多任务基准测试,该方法性能优于竞争模型且资源效率更高,推动对比学习成为主流生成式与自蒸馏方法的替代方案。
2026-09-02 cs.AI cs.CV cs.LG
Compact Binary Fingerprint for Image Copy Re-Ranking
Department of CS and IT, University of Balochistan(信德大学计算机与信息技术系(注:原机构为University of Balochistan,直译为“俾路支斯坦大学”,其计算机与信息技术系为Department of CS and IT,此处按要求提取到大学级别,故完整机构为“俾路支斯坦大学计算机与信息技术系”))
图像拷贝检测是计算机视觉和信号处理领域中一个富有挑战性和吸引力的课题。多媒体技术的最新发展使得图像在全球范围内的传播变得容易和快速:这导致了许多其他问题,如伪造和图像复制检索。局部关键点描述符(如SIFT)用于表示图像,并基于这些描述符匹配,匹配和检索图像。特征被量化,使得搜索/匹配可以以准确性损失为代价对于大型数据库变得可行。在本文中,我们提出了二进制特征,通过量化的SIFT到二进制,并重新检查秩列表,以消除误报。在具有挑战性的数据集上的实验表明,该方法在准确性和时间上都有了提高。
2021-09-16 cs.AI cs.CV
Digging Into Self-Supervised Learning of Feature Descriptors
Aalto University(阿尔托大学)
用于学习局部图像描述符的基于全监督CNN的方法在广泛的几何任务中表现出显着的效果。然而,他们中的大多数需要每像素的地面实况关键点对应数据,这是难以获得的规模。为了解决这一挑战,最近的弱监督和自监督方法可以从相对相机姿势或仅使用合成刚性变换(如单应性)来学习特征描述符。在这项工作中,我们专注于了解现有的自我监督方法的局限性,并提出了一套改进,结合导致强大的特征描述符。我们发现,增加搜索空间从在对在批硬负挖掘带来一致的改善。为了提高特征描述符的区分度,我们提出了一种从粗到精的方法,通过使用全局视觉图像描述符从更宽的搜索空间中挖掘局部硬否定。我们证明了合成单应性变换,颜色增强和真实感图像风格化的组合产生有用的表示,是视点和照明不变的。通过所提出的方法学习的特征描述符在各种几何基准(如基于图像的定位,稀疏特征匹配和图像检索)上具有竞争力并超过其完全和弱监督的对应物。
2021-10-10 cs.CV
Neural Descriptors: Self-Supervised Learning of Robust Local Surface Descriptors Using Polynomial Patches
Technion - Israel Institute of Technology(以色列理工学院)
提出一种自监督学习方法,结合合成数据生成与神经架构,学习采样不变的3D表面几何特征,有效克服经典描述子和微分不变量的局限性,在多个基准上提升形状对应性能并增强对拓扑噪声和部分形状的鲁棒性。
2025-03-05 cs.CV
WSDesc: Weakly Supervised 3D Local Descriptor Learning for Point Cloud Registration
École Polytechnique, IP Paris(巴黎理工学院综合理工学院);City University of Hong Kong(香港城市大学)
在这项工作中,我们提出了一种称为WSDesc的新方法,以弱监督的方式学习3D局部描述符,以实现鲁棒的点云配准。我们的工作建立在最近的3D基于CNN的描述符提取器,它利用基于体素的表示来参数化3D点的局部几何形状。我们建议以数据驱动的方式学习最佳支持,而不是在体素化中使用预定义的固定大小的局部支持。为此,我们设计了一种新的可微分体素化层,可以将梯度反向传播到支持大小优化。为了训练提取的描述符,我们提出了一种新的注册损失的基础上偏离刚性的3D变换,和损失是弱监督的先验知识,输入点云有部分重叠,而不需要地面实况对齐信息。通过大量的实验,我们表明,我们学习的描述符产生现有的几何配准基准优越的性能。
2022-03-14 cs.CV cs.GR
Evaluation of Hashing Methods Performance on Binary Feature Descriptors
Warsaw University of Technology(华沙理工大学)
在本文中,我们评估性能的数据依赖哈希方法对二进制数据。我们的目标是找到一种散列方法,可以有效地产生低维的二进制表示的512位FREAK描述符。最近的无监督,半监督和监督哈希方法的代表性样本进行了实验评估标记的二进制FREAK特征描述符的大型数据集。
2017-07-21 cs.CV
Semi-Supervised Keypoint Detector and Descriptor for Retinal Image Matching
Renmin University of China(中国人民大学);Visionary Intelligence Ltd(远见智能有限公司);Tongren Hospital(同仁医院)
对于视网膜图像匹配(RIM),我们提出了SuperRetina,这是第一个具有联合可训练关键点检测器和描述符的端到端方法。SuperRetina以一种新颖的半监督方式进行训练。一小组(近100个)图像被不完全标记,并用于监督网络检测血管树上的关键点。为了解决手动标记的不完整性,我们提出了渐进式关键点扩展来丰富每个训练时期的关键点标签。通过利用基于关键点的改进的三元组损失作为其描述损失,SuperRetina在全输入图像尺寸下产生高度区分的描述符。在多个真实世界数据集上进行的大量实验证明了SuperRetina的可行性。即使手动标注被自动标注取代,从而使训练过程完全不需要手动标注,SuperRetina在两个RIM任务(即图像配准和身份验证)中与许多强大的基线相比也毫不逊色。SuperRetina是开源的。
2022-07-16 cs.CV
TimePoint: Accelerated Time Series Alignment via Self-Supervised Keypoint and Descriptor Learning
School of Brain sciences and Cognition, BGU(本-古里安大学脑科学与认知学院)
提出自监督方法 TimePoint,通过 1D 微分同胚生成合成数据并利用全卷积和小波卷积架构学习关键点与描述符,将 DTW 应用于稀疏表示以实现更快更准确的时间序列对齐。
2025-05-29 cs.CV cs.LG
Self-Supervised Point Cloud Registration with Deep Versatile Descriptors
Shanghai Jiao Tong University(上海交通大学)
本文提出一种自监督点云配准方法,联合全局与局部描述符并利用重建和法线估计增强变换感知,在多个数据集上超越现有无监督方法,部分情况下优于有监督方法。
2023-04-13 cs.CV
Supervised Training of Dense Object Nets using Optimal Descriptors for Industrial Robotic Applications
Bosch Center For Artificial Intelligence(博世人工智能中心)
Florence,Manuelli和Tedrake(2018)的Dense Object Nets(DONs)引入了密集对象描述符作为机器人社区的一种新的视觉对象表示。它适用于许多应用,包括对象抓取,策略学习等。DON将描绘对象的RGB图像映射到描述符空间图像中,该图像隐式地编码对象的相对相机姿态不变的关键特征。令人印象深刻的是,DON的自我监督训练可以应用于任意对象,并且可以在几个小时内进行评估和部署。然而,训练方法依赖于准确的深度图像,并且在使用消费级深度相机时面临着工业环境中典型的小反射物体的挑战。在本文中,我们表明,给定一个对象的3D模型,我们可以生成其描述符空间图像,这使得监督训练的DON。我们依靠Laplacian Eigenmaps(LE)将对象的3D模型嵌入到最佳生成的空间中。虽然我们的方法使用了更多的领域知识,但它甚至可以有效地应用于较小的反射对象,因为它不依赖于深度信息。我们比较了生成工业对象的6D抓握的训练方法,并表明我们新的监督训练方法提高了行业相关任务中的拾取和放置性能。
2021-02-16 cs.CV cs.RO
Learning Feature Descriptors using Camera Pose Supervision
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);Zhejiang University(浙江大学)
针对现有特征描述子学习需大规模真实对应关系训练数据的难题,提出仅用相对相机位姿监督的弱监督框架CAPS,通过对极约束损失与可微高效架构实现,性能超越全监督方法,达几何任务SOTA。
2024-01-29 cs.CV
Efficient Logic Gate Networks for Video Copy Detection
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
本研究提出基于可微逻辑门网络的视频拷贝检测框架,结合帧小型化等技术,其模型精度相当或更优,描述符尺寸极小,推理速度超每秒1.1万样本,为该任务提供了高效替代方案。
2026-04-23 cs.AI cs.CV cs.IR
Tag, Copy or Predict: A Unified Weakly-Supervised Learning Framework for Visual Information Extraction using Sequences
South China University of Technology(华南理工大学);Guangdong Artificial Intelligence and Digital Economy Laboratory (Pazhou Lab)(广东人工智能与数字经济实验室(琶洲实验室));IntSig Information Co., Ltd(合合信息科技股份有限公司)
视觉信息抽取(VIE)近年来受到越来越多的关注。现有的方法通常首先将光学字符识别(OCR)结果组织成纯文本,然后利用标记级实体注释作为监督来训练序列标记模型。然而,它花费了大量的注释成本,并可能暴露于标签混淆,OCR错误也会显着影响最终的性能。本文提出了一个统一的弱监督学习框架TCPN(标记、复制或预测网络),其引入1)高效编码器以同时对2D OCR结果中的语义和布局信息进行建模; 2)仅利用关键信息序列作为监督的弱监督训练策略;以及3)灵活且可切换的解码器,其包含两种推理模式:一种(复制或预测模式)是通过从输入中复制一个标记或在每个时间步中预测一个标记来输出不同类别的关键信息序列,另一种(标记模式)是在单次向前传递中直接标记输入序列。我们的方法在几个公共基准测试中显示了新的最先进的性能,这充分证明了它的有效性。
2021-06-20 cs.AI cs.CV cs.IR
Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
针对半监督医学图像分割中标记与未标记数据分布失配的问题,提出基于Mean Teacher架构的双向复制粘贴方法,通过双向混合数据与一致监督缩小分布差距,在多个数据集上取得显著性能提升。
2023-05-01 cs.CV
CoopHash: Cooperative Learning of Multipurpose Descriptor and Contrastive Pair Generator via Variational MCMC Teaching for Supervised Image Hashing
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Akool Research(Akool研究院);Department of Statistics and Data Science, UCLA(加州大学洛杉矶分校统计与数据科学系);Google Research(谷歌研究院);VecML
针对监督图像哈希标注不足及 GAN 难联合训练的问题,提出基于能量协同学习的 CoopHash,联合训练对比图像生成器与多用途描述器,取得最高 10% 相对提升。
2024-06-12 cs.CV cs.IR cs.LG
Self-supervised Training Sample Difficulty Balancing for Local Descriptor Learning
在正样本和负样本之间不平衡的情况下,硬负挖掘策略已被证明可以帮助模型学习正样本和负样本之间更细微的差异,从而提高识别性能。但是,如果在数据集中推广过于严格的挖掘策略,则可能存在引入假阴性样本的风险。同时,挖掘策略的实施破坏了真实数据集中样本的难度分布,这可能导致模型过拟合这些困难的样本。因此,本文研究了如何权衡样本挖掘的难度,以获取和开发高质量的负样本,并试图从损失函数和训练策略两个方面解决这一问题。平衡损失通过将自监督方法与损失函数相结合,为阴性样本的质量提供了有效的判别,并使用动态梯度调制策略来实现对不同难度的样本的更精细的梯度调整。然后,提出的退火训练策略约束从负样本挖掘中提取的样本的难度,为损失函数提供具有不同难度分布的数据源,并使用降低难度的样本来训练模型。大量的实验表明,我们的新描述符优于以前的国家的最先进的描述符补丁验证,匹配和检索任务。
2023-03-10 cs.AI cs.CV
Image forgery detection based on the fusion of machine learning and block-matching methods
University Federico II of Naples(那不勒斯费德里科二世大学)
密集的局部描述符和机器学习已经成功地应用于几个应用中,如纹理分类、隐写分析和伪造检测。我们开发了一种新的图像伪造检测器的建设上最近提出的一些描述符在隐写分析领域适当合并一些这样的描述符,并优化SVM分类器上可用的训练集。尽管非常好的性能,非常小的fork几乎从未被检测到,因为它们对描述符的贡献非常小。因此,我们还开发了一个简单的,但非常具体的,复制移动检测器的基础上,区域匹配和融合的决定,以减少漏检率。总的结果似乎极为令人鼓舞。
2013-11-27 cs.CV
WT-BCP: Wavelet Transform based Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
Nanjing University(南京大学);Jiangsu Provincial Hospital of Traditional Chinese Medicine(江苏省中医药研究院)
针对半监督医学图像分割中分布不匹配、扰动偏差及高低频信息利用不足问题,提出基于小波变换的双向复制粘贴框架WT-BCP,通过多输入多输出模型XNet-Plus及一致性训练提升分割性能。
2025-04-20 cs.CV
LBONet: Supervised Spectral Descriptors for Shape Analysis
University of York(约克大学)
本文提出LBONet,通过监督学习优化拉普拉斯-贝尔特拉米算子的特征基,使其更具任务特异性,从而显著提升热核签名等谱描述符在形状检索、分类、分割与对应任务中的性能。
2025-08-21 cs.CV
A Dual-level Detection Method for Video Copy Detection
WeChat of Tencent(腾讯微信);University of Science and Technology of China(中国科学技术大学)
针对视频副本检测问题,本文提出结合视频编辑检测(VED)和帧场景检测(FSD)的双层检测方法,并在CVPR 2023 Video Similarity Challenge两个赛道中获胜,有效提升了检测性能。
2023-05-21 cs.CV
Semi-supervised Fisher vector network
Queen Mary University of London(伦敦玛丽女王大学)
在这项工作中,我们探索了[8]中提出的架构,它表达了经典Fisher向量管道方法的处理步骤,即通过主成分分析(PCA)投影,高斯混合模型(GMM)和Fisher向量描述符提取作为网络层的降维,可以修改为混合网络,结合无监督和监督训练方法的优点,从而产生学习所述输入数据的半监督Fisher向量描述符的模型。我们评估了所提出的模型在图像分类和动作识别问题,并显示了模型的分类性能如何提高,在训练过程中的未标记数据量的增加。
2018-01-13 cs.CV
Learning-Based Dimensionality Reduction for Computing Compact and Effective Local Feature Descriptors
ETH Zürich(苏黎世联邦理工学院);University of Bonn(波恩大学);Lund University(隆德大学);Microsoft(微软);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
以特征形式表示图像块是许多计算机视觉和机器人任务的关键组成部分,例如图像匹配、图像检索和视觉定位。最先进的描述符,从手工制作的描述符(如SIFT)到学习的描述符(如HardNet),通常是高维的; 128维甚至更多。维数越高,使用这种描述符的方法的内存消耗和计算时间就越大。在本文中,我们研究多层感知器(MLP)提取低维,但高质量的描述符。我们彻底分析了我们的方法在无监督,自我监督和监督设置,并评估四个代表性的描述符的降维结果。我们考虑不同的应用,包括视觉定位,补丁验证,图像匹配和检索。实验表明,我们的轻量级MLP实现更好的降维比PCA。我们的方法生成的低维描述符在下游任务中的表现优于原始的高维描述符,特别是对于手工制作的任务。该代码将在https://github.com/PRBonn/descriptor-dr上提供。
2022-09-27 cs.CV cs.RO
Self-supervised motion descriptor for cardiac phase detection in 4D CMR based on discrete vector field estimations
Heidelberg University Hospital(海德堡大学医院);DZHK (German Centre for Cardiovascular Research)(德国心血管研究中心);UT Southwestern Medical Center(德克萨斯大学西南医学中心);German Competence Network for Congenital Heart Defects(德国先天性心脏病能力网络);Hannover Medical School(汉诺威医学院)
心脏磁共振(CMR)序列随时间可视化心脏功能体素。同时,基于深度学习的可变形图像配准能够以自监督的方式估计离散向量场,该离散向量场将CMR序列的一个时间步长弯曲到下一个。然而,尽管这些3D+t向量场中包含丰富的信息源,但标准化解释具有挑战性,并且迄今为止临床应用仍然有限。在这项工作中,我们展示了如何有效地使用一个可变形的矢量场来描述一个心动周期的基本动态过程中的形式派生的1D运动描述符。此外,基于收缩或舒张心室的预期心血管生理特性,我们定义了一组规则,使得能够在不使用标签的情况下识别包括收缩末期(ES)和舒张末期(ED)的五个心血管阶段。我们评估了两个具有挑战性的多疾病,中心,扫描仪短轴CMR数据集上的运动描述符的可扩展性。第一,通过报告定量测量,诸如针对所提取的相位的周期性帧差。第二,通过定性地比较当我们在时间上重新采样和对齐两个数据集上所有实例的运动描述符时的一般模式。我们的方法的ED、ES关键相位的平均周期帧差为$0.80\pm{0.85}$、$0.69\pm{0.79}$,其略优于观察者间变异性($1.07\pm{0.86}$、$0.91\pm{1.6}$)和监督基线方法($1.18\pm{1.91}$、$1.21\pm{1.78}$)。代码和标签将在我们的GitHub存储库中提供。https://github.com/Cardio-AI/cmr-phase-detecti…
2022-09-18 cs.AI cs.CV
A Light-weight Transformer-based Self-supervised Matching Network for Heterogeneous Images
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对异源遥感图像匹配中标注数据稀缺与辐射差异大的问题,提出基于轻量级Transformer的自监督匹配网络LTFormer及LT Loss,实现鲁棒关键点描述子并取得有竞争力的匹配性能。
2024-04-30 cs.CV cs.MM
Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning
Institute of Medical Technology, Health Science Center of Peking University(北京大学医学部医学技术研究院);National Institute of Health Data Science, Peking University(北京大学健康医疗大数据国家研究院)
无监督/自监督图表示学习对于下游节点和图级分类任务至关重要。图的全局结构有助于区分表示,现有方法主要通过施加额外的监督来利用全局结构。然而,它们的全局语义通常对于所有节点/图是不变的,并且它们未能显式地嵌入全局语义以丰富表示。在本文中,我们提出了全粒度自我语义传播自监督图表示学习(OEPG)。具体来说,我们引入实例自适应全局感知自我语义描述符,利用每个节点/图和整个图数据集的分层全局集群之间的一阶和二阶特征差异。描述符可以作为新的邻居节点显式地集成到局部图卷积中。此外,我们设计了一个全粒度的规范化的整个规模和层次的自我语义分配注意力的权重,每个描述符从全粒度的角度。专门的借口任务和交叉迭代动量更新进一步发展为本地-全球相互适应。在下游任务中,OEPG在跨尺度和跨领域的多个数据集上始终获得最佳性能,精度增益为2%~6%。值得注意的是,OEPG还推广到数量和拓扑不平衡的场景。
2022-05-31 cs.AI cs.CV cs.LG
Learning to Align Images using Weak Geometric Supervision
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
图像对齐任务需要精确的像素对应关系,通常通过匹配局部特征描述符来恢复。这种描述符通常是使用监督学习在具有地面真实对应的现有数据集上导出的。然而,创建这样的数据集的成本通常是过高的。在本文中,我们提出了一种新的方法来对齐两个图像相关的一个未知的二维单应性的局部描述符是从头开始学习的图像和单应性估计的同时。我们的关键见解是,连体卷积神经网络可以联合训练,同时通过优化单个损失函数迭代更新单应性参数。我们的方法目前是弱监督的,因为输入图像需要粗略对齐。我们已经使用这种方法来对齐不同模态的图像,如RGB和近红外(NIR),而不使用任何先前标记的数据。图像自动对齐我们的方法,然后用于训练描述符,概括到新的图像。我们还在RGB图像上评估了我们的方法。在HPatches基准测试中,我们的方法实现了与在监督设置中离线训练的深度本地描述符相当的准确性。
2018-08-04 cs.CV
A Backbone Benchmarking Study on Self-supervised Learning as a Auxiliary Task with Texture-based Local Descriptors for Face Analysis
Machine Intelligence Group, Department of CS&IS(机器智能组,计算机科学与信息学系)
本文研究不同骨干网络对自监督学习作为辅助任务在人脸分析中的影响,通过实验验证骨干网络对性能的影响及不同任务的最佳选择。
2026-03-23 cs.CV
Anomaly localization for copy detection patterns through print estimations
University of Geneva(日内瓦大学)
复制检测模式(CDP)是用于保护产品免受伪造的最新技术。然而,与传统的复制假货相比,基于深度学习的假货已被证明很难通过传统的认证系统与原件区分开来。基于经典监督学习和数字模板的系统在训练时假设假CDP的知识,并且不能推广到看不见的假类型。基于原件的打印副本的认证是一种替代方案,即使对于看不见的假货和简单的认证指标也能产生更好的结果,但其代价是获取和存储打印副本的成本不切实际。在这项工作中,为了克服这些缺点,我们设计了一个基于机器学习(ML)的认证系统,只需要数字模板和印刷的原始CDP进行训练,而认证是完全基于数字模板,这是用来估计原始印刷代码。实验结果表明,该系统能够有效地鉴别原始CDP,并通过准确定位伪CDP中的异常来检测伪CDP。在两台工业打印机上打印的原始和ML为基础的假CDP的实证评估的认证系统进行调查。
2022-09-29 cs.CR cs.CV cs.LG
Dual-Teacher Ensemble Models with Double-Copy-Paste for 3D Semi-Supervised Medical Image Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);National Institute of Healthcare Data Science, Nanjing University(南京大学国家医疗数据科学研究院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications(Ministry of Education), Southeast University(东南大学新一代人工智能技术及交叉应用教育部重点实验室);School of Data and Computer Science, Shandong Women’s University(山东女子学院数据与计算机科学学院)
针对3D半监督医学图像分割中师生模型的耦合问题,提出双重复制粘贴技术增强双教师模型多样性,并引入分阶段选择性集成模块优化伪标签质量,有效提升了分割精度。
2024-10-15 cs.CV
Copy-move Forgery Detection based on Convolutional Kernel Network
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种基于卷积核网络的复制-移动伪造检测方法。与传统的基于手工特征的方法不同,卷积核网络是一种数据驱动的具有深度卷积结构的局部描述符。由于深度学习理论的发展和广泛可用的数据集,数据驱动的方法可以在不同的条件下获得具有竞争力的性能,其出色的区分能力。此外,我们的卷积核网络被重新定义为一系列矩阵计算和卷积运算,易于并行化和GPU加速,从而提高效率。然后,对卷积核网络进行适当的预处理和后处理,实现复制-移动伪造检测。特别地,提出了一种基于分割的关键点分配策略,并采用了一种基于GPU的自适应过分割方法。大量的实验证明了卷积核网络的GPU版本的有效性和鲁棒性,以及所提出的基于卷积核网络的复制-移动伪造检测方法的最新性能。
2017-07-05 cs.CV cs.MM
Unsupervised Deep Learning-based Keypoint Localization Estimating Descriptor Matching Performance
Grupo VARPA(VARPA组);Instituto de Investigacion Biomédica de A Coruña (INIBIC)(阿罗纳生物医学研究所(INIBIC));Universidade da Coruña(科鲁纳大学);Departamento de Ciencias de la Computación y Tecnologías de la Información(计算机科学与信息技术部门)
本研究提出一种无监督视网膜图像配准流程,通过创新的无标注描述符学习与关键点检测器网络,实现了与领先有监督方法相当的性能,可适配其他领域和模态。
2026-08-14 cs.CV
Learning Dense Object Descriptors from Multiple Views for Low-shot Category Generalization
Georgia Institute of Technology(佐治亚理工学院)
计算机视觉深度学习时代的一个标志是成功使用大规模标记数据集来训练特征表示,以完成从对象识别和语义分割到光流估计和3D场景的新视图合成等任务。在这项工作中,我们的目标是在不需要任何类别标签的情况下,学习密集的有区别的对象表示,用于低镜头类别识别。为此,我们提出了深度对象补丁编码(DOPE),它可以从对象实例的多个视图进行训练,而无需任何类别或语义对象部分标签。为了训练DOPE,我们假设访问稀疏深度,前景掩模和已知相机,以获得对象的视图之间的像素级对应关系,并使用此来制定一个自监督学习任务,以学习有区别的对象补丁。我们发现,DOPE可以直接用于低镜头分类的新类别使用局部匹配,是有竞争力的,优于监督和自监督学习基线。代码和数据可在https://github.com/rehg-lab/dope_selfsup获得。
2022-11-28 cs.CV
Decoupling Makes Weakly Supervised Local Feature Better
Sun Yat-Sen University(中山大学);The Shenzhen Campus of Sun Yat-Sen University(中山大学深圳校区);National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学);Alibaba Group(阿里巴巴集团)
弱监督学习可以帮助局部特征方法克服获取具有密集标记对应的大规模数据集的障碍。然而,由于弱监督不能区分由检测和描述步骤引起的损失,因此在联合描述-然后-检测流水线内直接进行弱监督学习会受到性能的限制。在本文中,我们提出了一种专为弱监督局部特征学习而设计的解耦描述然后检测管道。在我们的流水线中,检测步骤与描述步骤解耦,并推迟到学习了有区别的和鲁棒的描述符。此外,我们引入了一个线到窗口的搜索策略,明确地使用相机的姿态信息,更好的描述符学习。大量的实验表明,我们的方法,即PoSFeat(摄像机姿态监督特征),优于以前的完全和弱监督方法,并在广泛的下游任务上实现了最先进的性能。
2022-03-26 cs.CV
NetVLAD: CNN architecture for weakly supervised place recognition
INRIA(法国国家信息与自动化研究所);Tokyo Tech(东京工业大学);CTU in Prague(布拉格捷克理工大学)
我们解决了大规模视觉识别的问题,其中的任务是快速,准确地识别给定的查询照片的位置。我们提出以下三个主要贡献。首先,我们开发了一个卷积神经网络(CNN)架构,该架构可以以端到端的方式直接用于位置识别任务。这个架构的主要组成部分,NetVLAD,是一个新的广义VLAD层,灵感来自于“矢量的局部聚集描述符”图像表示通常用于图像检索。该层可以很容易地插入到任何CNN架构中,并且可以通过反向传播进行训练。其次,我们开发了一个训练过程,基于一个新的弱监督排名损失,以端到端的方式从谷歌街景时间机器下载的图像中学习架构的参数,这些图像描述了随着时间的推移相同的地方。最后,我们表明,所提出的架构显着优于非学习的图像表示和现成的CNN描述符在两个具有挑战性的地方识别基准,并提高了目前最先进的紧凑的图像表示标准的图像检索基准。
2016-05-02 cs.CV cs.LG
Unsupervised Feature Learning for low-level Local Image Descriptors
Technische Universität München(慕尼黑工业大学)
无监督特征学习已经在广泛的输入模式中显示出令人印象深刻的结果,特别是在计算机视觉中的对象分类任务中。使用大量的未标记的数据,无监督的特征学习方法被用来构建高层次的表示,是足够的歧视性,随后训练的监督分类算法。然而,它从来没有\emph{quantitatively}调查还如何以及无监督学习方法可以找到\emph{low-level representations}的图像补丁,没有任何额外的监督。在本文中,我们研究了纯无监督方法在低级别对应任务上的性能,这是许多计算机视觉应用的核心问题。我们发现,一种特殊类型的限制玻尔兹曼机(RBM)执行手工制作的描述符。此外,一个简单的二进制化方案产生的紧凑表示,比几个国家的最先进的描述符更好地执行。
2013-04-25 cs.CV cs.LG stat.ML
A Review and A Robust Framework of Data-Efficient 3D Scene Parsing with Traditional/Learned 3D Descriptors
本文提出RM3D框架,结合传统PFH描述符与学习型语义亲和度进行区域合并,在标签极少的情况下统一提升3D语义分割、实例分割和物体检测性能,并在多个基准上超越现有方法。
2023-12-03 cs.CV cs.RO
Feature-compatible Progressive Learning for Video Copy Detection
University of Technology Sydney(悉尼科技大学);Baidu Inc.(百度公司);Zhejiang University(浙江大学)
本文提出特征兼容渐进式学习(FCPL)用于视频拷贝检测,通过训练产生相互兼容特征的多种模型实现特征集成,并利用渐进式学习与标记配对逐步提升性能,在VSC22挑战赛中取得第二名。
2023-05-12 cs.CV
ShapeEmbed: a self-supervised learning framework for 2D contour quantification
European Bioinformatics Institute(欧洲生物信息学研究所);European Molecular Biology Laboratory(欧洲分子生物学实验室);University of Birmingham(伯明翰大学);School of Computer Science(计算机科学学院)
本文提出自监督框架 ShapeEmbed,将二维轮廓编码为对平移、缩放、旋转、反射和点索引不变的形状描述符,并在自然与生物图像分类中优于现有方法。
2025-07-01 cs.CV q-bio.QM
Self-supervised Multi-view Person Association and Its Applications
Carnegie Mellon University(卡内基梅隆大学);Uber ATG(优步先进技术集团);Adobe Research(奥多比研究院);Amazon Lab 126(亚马逊Lab 126)
由于频繁的遮挡、强烈的视点和外观变化以及异步视频流,从多个移动摄像机对参与复杂群体活动的人进行可靠的无标记运动跟踪是具有挑战性的。为了解决这个问题,同一个人跨遥远的观点和时间实例的可靠关联是必不可少的。我们提出了一个自我监督的框架,通过利用运动跟踪,互斥约束和多视图几何形状来适应一个通用的人的外观描述符的未标记的视频。适应判别描述符中使用的跟踪聚类公式。我们验证了描述符学习在WILDTRACK [14]和三个新的复杂社交场景上的有效性,这些场景由多个摄像机拍摄,最多有60人“在野外”。我们报告了关联准确性(高达18%)和稳定连贯的3D人体骨骼跟踪(5至10倍)的基线显着改善。使用重建的3D骨架,我们将输入视频切割成多角度视频,其中指定人物的图像从最佳可见的前置摄像头显示。我们的算法检测人与人之间的遮挡,以确定相机切换时刻,同时仍然保持良好的动作流。
2020-04-18 cs.CV
ProLFA: Representative Prototype Selection for Local Feature Aggregation
Beijing Jiaotong University(北京交通大学)
给定一组手工制作的局部特征,通过聚合获得全局表示是一种很有前途的技术,可以提高计算效率并改善任务性能。现有的特征聚合(FA)方法,包括词袋和Fisher向量,通常无法捕获所需的信息,由于其管道模式。在本文中,我们提出了一个通用的配方,提供了一个系统的解决方案(名为ProLFA)聚合本地描述符。它是能够产生紧凑的,但可解释的表示,从众多的描述符中选择代表性的原型,在宽松的排他性约束。同时,为了增强聚合表示的可辨别性,我们合理地强制捆绑描述符沿特定任务方向的域不变投影。此外,ProLFA还具有强大的泛化能力,可以灵活地处理局部特征聚合中的半监督和全监督场景。各种描述符和任务的实验结果表明,建议的ProLFA是相当优于目前可用的替代品的特征聚合。
2019-10-24 cs.CV
Empirical curvelet based Fully Convolutional Network for supervised texture image segmentation
Beihang University(北京航空航天大学);San Diego State University(圣地亚哥州立大学)
该研究提出一种有监督纹理图像分割方法,通过构建适配纹理字典的经验曲波滤波器组提取特征,输入全卷积网络实现分割,在多个数据集上表现优于现有最优算法。
2024-10-28 cs.CV
Tracing Copied Pixels and Regularizing Patch Affinity in Copy Detection
Ant Group, China(蚂蚁集团,中国)
本文提出PixTrace和CopyNCE方法,通过追踪复制像素并正则化补丁亲和力,提升图像复制检测的性能和可解释性。
2026-02-25 cs.AI cs.CV
Deep ViT Features as Dense Visual Descriptors
The Weizmann Inst. of Science(魏茨曼科学研究所);Berkeley Artificial Intelligence Research (BAIR)(伯克利人工智能研究院)
我们研究了使用从预训练的视觉Transformer(ViT)中提取的深度特征作为密集视觉描述符。我们观察并实证证明,当从自监督ViT模型中提取时,(DINO-ViT),表现出几个引人注目的属性,包括:(i)功能编码强大,良好的本地化语义信息,在高空间粒度,如对象部分;(ii)编码的语义信息在相关但不同的对象类别之间共享,以及(iii)位置偏置在整个层中逐渐变化。这些属性使我们能够为各种应用程序设计简单的方法,包括联合分割,部分联合分割和语义对应。为了从复杂的设计选择中提取ViT功能的强大功能,我们将自己限制在轻量级的zero-shot方法(例如,分箱和聚类)直接应用于特征。由于我们的方法不需要额外的训练或数据,因此它们很容易适用于各种领域。我们通过广泛的定性和定量评估表明,我们的简单方法与最近最先进的监督方法相比,取得了有竞争力的结果,并且大大优于以前的无监督方法。代码可以在dino-vit-features.github.io中找到。
2022-10-15 cs.CV
Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform
POSTECH(浦项科技大学);Seoul National University(首尔大学)
提出自监督旋转不变3D对应学习器RIST,通过动态构建SO(3)-不变的局部形状变换,在任意朝向和类内变化下建立形状间密集对应关系,在3D部件标签迁移和语义关键点迁移任务上显著优于现有方法。
2024-04-20 cs.CV
Copy-Pasting Coherent Depth Regions Improves Contrastive Learning for Urban-Scene Segmentation
Delft University of Technology(代尔夫特理工大学)
在这项工作中,我们利用估计的深度来提高自监督对比学习,用于城市场景的分割,其中未标记的视频很容易用于训练自监督深度估计。我们认为,在3D空间中的一组连贯的像素的语义是独立的和不变的上下文中,他们出现。我们组连贯的,语义相关的像素到连贯的深度区域,给出他们的估计深度和使用复制粘贴来综合地改变他们的上下文。通过这种方式,在对比学习中建立跨上下文对应关系,并学习上下文不变表示。对于城市场景的无监督语义分割,我们的方法在Cityscapes上的mIoU和KITTI上的mIoU分别超过了之前最先进的基线+7.14%和+6.65%。对于Cityscapes和KITTI分割的微调,我们的方法与现有模型相比具有竞争力,但我们不需要在ImageNet或COCO上进行预训练,而且我们的计算效率也更高。我们的代码可在https://github.com/LeungTsang/CPCDR上获得
2022-11-25 cs.CV