Probabilistic Multilayer Regularization Network for Unsupervised 3D Brain Image Registration
The Chinese University of Hong Kong(香港中文大学)
脑图像配准是将一对脑图像配准为一个具有匹配成像内容的系统,对脑图像分析具有重要意义。提出了一种新的无监督三维脑图像配准框架,通过获取未对准图像和参考图像之间的特征级变换关系。为了实现这一目标,我们开发了一个特征级概率模型,为两个深度卷积神经网络的隐藏层提供直接正则化,这两个深度卷积神经网络是从两个输入图像中构建的。该模型设计被开发成这两个网络的多个层,以捕获不同级别的转换关系。我们采用两个常见的基准数据集的三维脑图像配准,并进行各种实验来评估我们的方法。实验结果表明,我们的方法明显优于国家的最先进的方法在这两个基准数据集的大幅度。
2019-07-03 cs.CV
Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation
University of Cambridge(剑桥大学)
标记数据的稀缺性促使半监督学习方法的发展,该方法从大部分未标记数据以及少量标记样本中学习。一致性在不同输入扰动下模型预测之间的正则化,特别是已经证明可以在半监督框架中提供最先进的结果。然而,这些方法中的大多数已被限制在分类和分割应用。我们提出了变换一致性正则化,它深入研究了更具挑战性的图像到图像的翻译设置,这仍然是半监督算法尚未探索的。该方法引入了一组不同的几何变换,并强制模型对未标记数据的预测对这些变换保持不变。我们评估了我们的算法在三个不同的应用程序:图像着色,去噪和超分辨率的功效。我们的方法具有显著的数据效率,只需要大约10 - 20%的标记样本就可以实现与完全监督对应的图像重建。此外,我们展示了我们的方法在视频处理应用中的有效性,其中可以利用来自几帧的知识来提高电影其余部分的质量。
2020-07-15 cs.CV
Learning Symmetry Consistent Deep CNNs for Face Completion
Harbin Institute of Technology(哈尔滨工业大学);Hefei University of Technology(合肥工业大学);Anyvision;The Hong Kong Polytechnic University(香港理工大学)
深度卷积网络(CNN)在面部补全方面取得了巨大成功,可以生成合理的面部结构。然而,这些方法在保持面部组件之间的全局一致性和恢复精细的面部细节方面受到限制。另一方面,反射对称性是人脸图像的一个重要性质,有利于人脸识别和一致性建模,但在人脸的深层修复中尚未得到研究。在这项工作中,我们利用两种强制执行的卷积来形成一个一致的CNN模型(即,SymmFCNet)进行有效的面完井。对于其中一个半面上的缺失像素,开发了一个照明重新加权的变形子网来指导另一半面的变形和照明重新加权。对于两个半面上的缺失像素,我们提出了一个生成重建子网,并结合感知对称性损失来加强恢复结构的对称性一致性。SymmFCNet是通过在光照重加权扭曲子网上堆叠生成重建子网来构建的,并且可以从未对齐的人脸图像的训练集进行端到端学习。实验表明,SymmFCNet可以生成高质量的结果,对图像的合成和真实的遮挡,并表现出良好的国家的最先进的。
2018-12-19 cs.CV
Dual-Flow Transformation Network for Deformable Image Registration with Region Consistency Constraint
形变图像配准能够实现图像间快速、准确的配准,在医学图像研究中起着重要的作用。当前基于深度学习(DL)的图像配准方法通过利用卷积神经网络直接学习从一个图像到另一个图像的空间变换,需要地面真值或相似性度量。然而,这些方法仅使用全局相似性能量函数来评估一对图像的相似性,这忽略了图像内感兴趣区域(ROI)的相似性。而且,基于深度学习的方法往往直接估计图像的全局空间变换,而没有考虑图像中感兴趣区域的空间变换。在本文中,我们提出了一种新的双流变换网络与区域一致性约束,最大限度地提高了一对图像内的ROI的相似性,同时估计全球和区域的空间变换。在4个公开的3D MRI数据集上的实验结果表明,与现有的配准方法相比,该方法在准确性和泛化能力方面都具有最好的性能。
2022-06-05 cs.CV
The Devil is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation
Tsinghua University(清华大学)
作为训练和推理的基本组成部分,据我们所知,数据处理在人体姿态估计领域尚未得到系统的考虑。本文重点研究了这个问题,发现人体姿态估计进化的症结在于有偏的数据处理。具体地,通过研究主要包括坐标系变换和关键点格式变换(即,编码和解码),我们发现普通翻转策略得到的结果与推理中的原始结果不一致。此外,在一些关键点格式转换方法中存在统计误差。这两个问题结合在一起,显著降低了姿态估计性能,从而为研究界设置了陷阱。这个陷阱给了许多次优的补救措施,这总是没有报道,混乱,但有影响力。未报告的补救措施造成复制失败和比较不公平,严重阻碍了技术的发展。为了从源头上解决这一困境,我们提出了无偏数据处理(UDP),包括两个技术方面,分别为上述两个问题(即,无偏坐标系变换和无偏关键点格式变换)。UDP作为一种与模型无关的方法和优越的解决方案,成功地推动了人体姿态估计的性能边界,并为研究社区提供了更高,更可靠的基线。代码在https://github.com/HuangJunJie2017/UDP-Pose上公开
2020-12-31 cs.CV
Few-shot Open-set Recognition by Transformation Consistency
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们攻击一个Few-Shot开集识别(FSOSR)问题,这是一个组合的少样本学习(FSL)和开集识别(OSR)。它的目标是快速适应一个模型,以一个给定的小集合的标记样本,同时拒绝看不见的类样本。由于OSR需要大量数据,而FSL考虑闭集分类,现有的OSR和FSL方法在解决FSOSR问题时表现出较差的性能。先前的FSOSR方法遵循基于伪未见过类样本的方法,该方法从其他数据集收集伪未见过样本或合成样本以对未见过类表示进行建模。然而,这种方法严重依赖于伪样本的组成。在本文中,我们提出了一种新的未知类样本检测器,命名为SnaTCHer,不需要伪看不见的样本。基于转换一致性,我们的方法测量转换后的原型和修改后的原型集之间的差异。通过替换查询特征及其预测类原型来组成修改集。SnaTCHer拒绝与转换后的原型存在较大差异的样本。我们的方法改变了看不见的类分布估计问题的相对特征变换问题,独立于伪看不见的类样本。我们研究了我们的SnaTCHer与各种原型变换方法,并观察到我们的方法不断提高看不见的类样本检测性能,而不减少闭集分类。
2021-04-15 cs.CV
Importance of Self-Consistency in Active Learning for Semantic Segmentation
Carnegie Mellon University(卡内基梅隆大学)
我们解决主动学习的任务,在语义分割的背景下,自我一致性可以是一个强大的自我监督的来源,大大提高了性能的数据驱动的模型,只有少量的标记数据。自一致性使用简单的观察,即特定图像的语义分割的结果在像水平翻转的变换下不应该改变(即,结果只应翻转)。换句话说,模型的输出在等变变换下应该是一致的。自一致性的自监督信号在主动学习期间特别有帮助,因为当仅存在少量标记的训练数据时,模型易于过拟合。在我们提出的主动学习框架中,我们通过选择在等变变换下具有高不确定性(高熵)的图像块来迭代地提取需要标记的小图像块。我们在每个图像的分割网络输出与其变换(水平翻转)之间强制执行像素级自一致性,以利用丰富的自监督信息并减少网络的不确定性。通过这种方式,我们能够找到当前模型最难以分类的图像块。通过在这些困难的图像块上迭代训练,我们的实验表明,我们的主动学习方法通过仅使用基准语义分割数据集(例如,CamVid和Cityscapes)。
2020-08-04 cs.CV
ReLGAN: Generalization of Consistency for GAN with Disjoint Constraints and Relative Learning of Generative Processes for Multiple Transformation Learning
University of Florida(佛罗里达大学)
图像到图像变换由于其对包括医疗在内的不同应用的巨大影响而受到不同研究社区的欢迎。在这项工作中,我们引入了一个通用的方案,为GAN架构的一致性与两个新的概念,变换学习(TL)和相对学习(ReL)的增强学习图像变换。GAN体系结构的一致性受到不充分的约束,并且无法学习多个和多模式转换,这对于许多医疗应用来说是不可避免的。主要缺点是它专注于创建一个中间和可行的混合体,这对于专注于微小细节的医疗应用是不允许的。另一个缺点是两个学习阶段之间的相互关系很弱,TL和ReL已经在它们之间引入了改进的协调。我们已经证明了新的网络框架在公共数据集上的能力。我们强调,我们的新架构为图像产生了改进的神经图像变换版本,这更容易被医学界接受。实验和结果表明,我们的框架的有效性与增强相比,以前的作品。
2020-06-14 cs.CV cs.NE
End-to-End Learning Using Cycle Consistency for Image-to-Caption Transformations
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
到目前为止,从字幕保持图像的足够信息的观点出发,已经进行了从图像生成字幕的研究。如果可以从生成的字幕生成接近输入图像的图像,即,如果可以生成包含足够信息的自然语言字幕来再现图像,则认为该字幕忠实于图像。为了使这种再生成为可能,使用循环一致性损失的学习是有效的。在这项研究中,我们提出了一种通过学习端到端的图像和文本之间的相互转换生成字幕的方法。为了评估我们的方法,我们进行了比较实验,有和没有周期的一致性。通过自动评估和众包对结果进行评估,证明了我们所提出的方法是有效的。
2019-03-25 cs.CL cs.CV
Self-Consistency for LLM-Based Motion Trajectory Generation and Verification
Stanford University(斯坦福大学)
本文提出利用自一致性技术提升大语言模型生成运动轨迹的准确性,通过聚类和几何变换实现轨迹的一致性验证,提升生成精度4-6%并验证精度11%。
2026-03-31 cs.CV
A Source-Free Approach for Domain Adaptation via Multiview Image Transformation and Latent Space Consistency
Department of Computer Science and Engineering, United International University(计算机科学与工程系,国际大学);Faculty of Science and Information Technology, Charles Darwin University(科学与信息技术学院,查尔斯达尔文大学);Faculty of Science and Technology, Charles Darwin University(科学与技术学院,查尔斯达尔文大学)
本文提出了一种无源域适应方法,通过多视图图像变换和潜在空间一致性技术,直接从目标域学习域不变特征,提升分类准确率。
2026-01-28 cs.CV
Self-Supervised Domain Adaptation with Consistency Training
我们考虑的问题无监督领域自适应的图像分类。为了从未标记的数据中学习目标域感知特征,我们通过使用某种类型的变换(特别是图像旋转)来增强未标记的数据,并要求学习者预测变换的属性,从而创建一个自我监督的借口任务。然而,所获得的特征表示可能包含大量与主任务无关的信息。为了提供进一步的指导,我们强制增强数据的特征表示与原始数据的特征表示一致。直觉上,一致性为表示学习引入了额外的约束,因此,学习的表示更有可能专注于关于主要任务的正确信息。我们的实验结果验证了所提出的方法,并展示了最先进的性能在经典的领域自适应基准。代码可在https://github.com/Jiaolong/ss-da-consistency上获得。
2020-10-15 cs.CV
Self-supervised Semantic Segmentation: Consistency over Transformation
Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学研究所MEVIS);University of Regensburg(雷根斯堡大学);RWTH Aachen University(亚琛工业大学);Iran University of Science and Technology(伊朗科技大学);Northwestern University(西北大学)
提出自监督S$^3$-Net,结合I-LKA模块和可变形卷积,通过空间一致性损失学习仿射不变特征,在皮肤病变和肺分割任务上超越SOTA。
2023-08-31 cs.CV
Semi-Supervised Medical Image Segmentation via Learning Consistency under Transformations
Erasmus MC(伊拉斯谟医学中心);COSMONiO;University of Copenhagen(哥本哈根大学)
标记数据的稀缺往往限制了监督式深度学习技术在医学图像分割中的应用。这激发了半监督技术的发展,该技术从标记和未标记图像的混合中学习。在本文中,我们提出了一种新的半监督的方法,除了监督学习标记的训练图像,学习预测分割一致下一个给定的类的转换标记和未标记的图像。更具体地说,在这项工作中,我们探索学习弹性变形的等变性。我们通过以下方式实现这一目标:1)具有两个相同分支的连体结构,每个分支接收不同变换的图像,以及2)具有监督分割损失项和非监督项的复合损失函数,该复合损失函数鼓励两个分支的预测之间的分割一致性。我们使用5折交叉验证在具有解剖结构分割的胸片的公共数据集上评估该方法。与监督学习相比,该方法达到了更高的分割精度。这是由于在标记和未标记图像上学习变换一致性,后者贡献最大。我们实现的性能与最先进的胸部X射线分割方法相当,同时使用更少的标记图像。
2019-11-04 cs.CV cs.LG
ICON: Learning Regular Maps Through Inverse Consistency
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Salzburg(萨尔茨堡大学)
学习数据样本之间的映射是基础。应用范围从表示学习、图像翻译和生成建模到空间变形的估计。这样的映射与特征向量相关,或者在特征空间之间映射。行为良好的映射应该是规则的,可以显式地施加,也可以从数据本身产生。我们探索是什么导致了空间变换的规律性,例如,当计算图像配准时。经典的基于优化的模型计算成对样本之间的映射,并依赖于适当的正则化子来实现适定性。最近的深度学习方法试图通过依赖于样本群体来完全避免使用这种正则化器。我们探讨是否有可能获得空间规律性使用逆一致性损失,并阐明在这样的背景下解释地图的规律性。我们发现,深度网络与逆一致性损失和随机离网插值相结合,可以产生表现良好的近似同构空间变换。尽管这种方法很简单,我们的实验提出了令人信服的证据,合成和真实数据,定期地图可以得到没有仔细调整显式正则化,同时实现竞争力的注册性能。
2021-06-17 cs.CV
DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting
Kyungpook National University(庆北国立大学)
针对文本引导图像修复中的图文对齐与区域分布一致性问题,提出DAFT-GAN,通过双仿射变换逐步融合特征并分区编码以减少信息泄漏,在三个基准上取得优于现有GAN模型的效果。
2024-08-09 cs.CV
CycleBEV: Regularizing View Transformation Networks via View Cycle Consistency for Bird's-Eye-View Semantic Segmentation
Electronics and Telecommunications Research Institute (ETRI)(电子电信研究院);University of Science and Technology (UST)(科学技术大学)
CycleBEV通过引入视图循环一致性正则化方法,提升视图转换网络在鸟瞰图语义分割中的性能,实现显著的mIoU提升。
2026-02-27 cs.AI cs.CV
Generative Transition Mechanism to Image-to-Image Translation via Encoded Transformation
University of Technology Sydney(悉尼科技大学);Institute of High Performance Computing(高性能计算研究所)
在本文中,我们重新审视的图像到图像(I2 I)的转换问题与过渡一致性,即一致性定义的条件数据映射之间的每个数据对。- 用转换变量$t$来解释参数化每个数据映射,即,$x \overset{t(x,y)}{\mapsto}y$,我们发现现有的I2 I翻译模型主要关注于保持结果的一致性,例如,图像重建或属性预测的一致性,本文称之为结果一致性。这限制了他们的泛化能力,以产生令人满意的结果,在测试阶段看不见的过渡。因此,我们建议强制执行I2 I翻译的结果一致性和转换一致性,以使输入和输出之间具有更紧密的一致性。为了提高翻译模型的泛化能力,我们提出了转换编码,以方便显式正则化这两个{kinds}不可见的转换。我们进一步推广这种显式正则化的分布级,从而促进了广义的整体一致性I2 I翻译问题。通过上述设计,我们提出的模型,命名为转换编码GAN(TEGAN),可以拥有卓越的泛化能力,以生成真实的和语义一致的翻译结果与不可见的过渡在测试阶段。它还提供了对现有基于GAN的I2 I转换模型的统一理解,我们明确地对数据映射进行了建模,即,过渡四个不同的I2 I翻译任务的实验证明TEGAN的有效性和通用性。
2021-03-09 cs.CV cs.LG
Spectral Consistency-Guided Multiview Point Cloud Registration for Low-Overlap Scenes
Wuhan University(武汉大学);Institute of Urban Environment, Chinese Academy of Sciences(中国科学院城市环境研究所)
提出GMPCR,一种基于谱一致性引导的非学习多视角点云配准框架,通过谱响应评估对应可靠性与扫描对置信度,稀疏化姿态图,在低重叠场景下实现高效鲁棒配准,在3DMatch和3DLoMatch上分别达到97.2%和89.6%的召回率。
2026-09-14 cs.CV
TraVeLGAN: Image-to-image Translation by Transformation Vector Learning
Yale University(耶鲁大学)
近年来,随着基于周期一致性假设的无监督模型的成功,对图像到图像翻译的兴趣大幅增长。这些模型的成就已被限制在一个特定的子集域,这一假设产生良好的结果,即同质域的特点是风格或纹理差异。我们解决了具有挑战性的问题,图像到图像的翻译,其中的域定义的高层次的形状和上下文,以及包括显着的混乱和异质性。为此,我们引入了一种新的GAN的基础上保持域内向量变换的潜在空间学习的连体网络。传统的GAN系统引入了一个神经网络来引导生成器生成目标域中的图像。在这个双网络系统中,我们添加了第三个:指导生成器的连体网络,以便每个原始图像与其生成的版本共享语义。有了这个新的三网络系统,我们不再需要用无处不在的周期一致性约束来约束发电机。因此,生成器可以学习彼此差异很大的更复杂域之间的映射-而不仅仅是风格或纹理。
2019-02-25 cs.CV
Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations
School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络科学与技术学院);University of Chinese Academy of Sciences(中国科学院大学);School of Automation, Nanjing University of Information Science and Technology(南京信息工程大学自动化学院);Department of Mechanical Engineering, Imperial College London(伦敦帝国理工学院机械工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
研究针对归因方法在几何变换下的不足,提出基于图像区域子模搜索的无注释归因正则化框架,通过子模排序损失正则化归因及证据选择过程,实验表明该方法能提升归因稳定性且性能损失小。
2026-07-28 cs.CV
DanceText: A Training-Free Layered Framework for Controllable Multilingual Text Transformation in Images
Universiti Malaya(马来大学);Zhejiang University of Finance and Economics Dongfang College(浙江财经大学东阳学院);Kunming University of Science and Technology(昆明理工大学);University of Central Florida(佛罗里达中央大学);Toronto metropolitan university(多伦多 Metropolitan 大学);Amazon Web Services(亚马逊网络服务);Deakin University(德肯大学);University of Sheffield(谢菲尔德大学)
DanceText提出无需训练的分层框架,通过分离文本与背景并利用深度感知模块,实现图像中多语言文本的复杂几何变换与前景背景融合,在AnyWord-3M基准上取得优越视觉质量。
2025-09-26 cs.CV
On Transitive Consistency for Linear Invertible Transformations between Euclidean Coordinate Systems
Luxembourg Centre for Systems Biomedicine, University of Luxembourg, Esch-sur-Alzette, LUXEMBOURG(卢森堡系统生物医学研究中心,卢森堡大学,埃施-sur-阿尔泽特);Centre Hospitalier de Luxembourg, Luxembourg City, LUXEMBOURG(卢森堡医院,卢森堡市);Control Group, Department of Engineering, University of Cambridge, Cambridge, UNITED KINGDOM(控制组,工程系,剑桥大学,剑桥)
本文研究了如何同步非传递一致的线性可逆变换,提出两种同步方法及迭代Gauss-Newton方法,适用于不同图拓扑,并通过仿真验证了方法的有效性。
2015-09-02 cs.CV cs.MA cs.NA
Geometry-Consistent Generative Adversarial Networks for One-Sided Unsupervised Domain Mapping
The University of Sydney(悉尼大学);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Université Paris-Est(巴黎东大学)
无监督域映射旨在学习一个函数,在没有配对示例的情况下通过函数GXY将域X转换为Y。在没有配对数据的情况下寻找最优GXY是一个不适定问题,因此需要适当的约束来获得合理的解。最突出的约束之一是循环一致性,它强制GXY翻译的图像通过逆映射GYX翻译回输入图像。虽然周期一致性需要同时训练GXY和GY X,但最近的研究表明,可以通过保留图像之间的成对距离来实现单侧域映射。虽然循环一致性和距离保持成功地约束了解空间,但它们忽略了简单的几何变换不会改变图像的语义结构的特殊性质。基于这个特殊的属性,我们开发了一个几何一致的生成对抗网络(GcGAN),它可以实现单侧无监督域映射。GcGAN将原始图像和通过预定义的几何变换变换的对应图像作为输入,并在新的域中生成两幅图像,再加上相应的几何一致性约束。几何一致性约束减少了可能解的空间,同时将正确解保持在搜索空间中。与基线(单独的GAN)和最先进的方法,包括周期GAN和距离GAN的定量和定性比较证明了我们的方法的有效性。
2018-11-26 cs.CV
Learning Long-Term Style-Preserving Blind Video Temporal Consistency
L'Or\'eal Research
当试图独立地将图像训练算法应用于视频中的连续帧时,往往会出现有害的闪烁。最先进的后处理技术,旨在促进时间一致性,生成其他时间伪影,并在视觉上改变视频的风格。我们提出了一个后处理模型,不知道应用于视频的转换(例如,风格转移,使用GANs的图像操作等),以循环神经网络的形式。我们的模型使用乒乓过程及其相应的损失进行训练,最近引入了GAN视频生成,以及一种新颖的风格保留感知损失。前者改善了长期的时间一致性学习,而后者促进了风格的保持。我们在DAVIS和videvo.net数据集上评估了我们的模型,并表明我们的方法提供了关于闪烁去除的最先进的结果,并且比以前的方法更好地保持了视频的整体风格。
2021-03-12 cs.CV
$\texttt{GradICON}$: Approximate Diffeomorphisms via Gradient Inverse Consistency
UNC Chapel Hill(北卡罗来纳大学教堂山分校);LIGM, Université Gustave Eiffel(古斯塔夫·埃菲尔大学LIGM实验室);MOKAPLAN, INRIA Paris(法国国家信息与自动化研究所巴黎MOKAPLAN团队);University of Salzburg(萨尔茨堡大学);Harvard Medical School(哈佛医学院);Boston University(波士顿大学);ÉTS Montréal(蒙特利尔高等工程技术学院)
提出GradICON正则化方法,通过惩罚复合映射雅可比矩阵与单位矩阵的偏差来促进逆一致性,在医学图像配准中实现更优收敛和最先进性能。
2023-10-10 cs.CV eess.IV
Consistency Regularization Improves Placenta Segmentation in Fetal EPI MRI Time Series
Massachusetts Institute of Technology(麻省理工学院);Harvard Medical School(哈佛医学院);Boston Children’s Hospital(波士顿儿童医院)
本文提出一种基于一致性正则化的半监督学习方法,用于改善胎儿EPI MRI时间序列中的3D胎盘分割,提升整体准确性、异常值处理和时间连贯性。
2023-10-16 cs.CV
Test-Time Backdoor Detection for Object Detection Models
Huazhong University of Science and Technology(华中科技大学);Harbin Institute of Technology(哈尔滨工业大学);University of Technology Sydney(悉尼科技大学);Griffith University(格里菲斯大学)
针对目标检测模型的后门攻击挑战,提出测试时后门检测方法TRACE,利用变换一致性实现黑盒通用检测,AUROC较最优防御提升30%且可抵抗自适应攻击。
2026-07-31 cs.CV
Double-Uncertainty Guided Spatial and Temporal Consistency Regularization Weighting for Learning-based Abdominal Registration
The Chinese University of Hong Kong(香港中文大学);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院);Tencent Jarvis Lab(腾讯医疗健康(深圳)有限公司(腾讯医疗AI实验室/腾讯天衍实验室));Tsinghua University(清华大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
为了解决与图像配准问题的不适定性相关的困难,经常使用正则化来约束解空间。对于大多数基于学习的配准方法,正则化通常具有固定的权重,并且仅约束空间变换。这种惯例有两个局限性:(i)除了费力的网格搜索最佳固定权重外,特定图像对的正则化强度应该与图像的内容相关联,因此“一个值适合所有”的训练方案并不理想;(ii)仅对变换进行空间正则化可能会忽略一些与不适定性相关的信息线索。在这项研究中,我们提出了一个平均教师为基础的注册框架,它包含了一个额外的时间一致性正则化项,鼓励教师模型的预测是一致的学生模型。更重要的是,不是搜索固定的权重,教师能够通过利用变换不确定性和外观不确定性来自动调整空间正则化和时间一致性正则化的权重。在具有挑战性的腹部CT-MRI配准上进行的大量实验表明,我们的训练策略可以在有效的超参数调整以及准确性和平滑性之间的更好权衡方面推进原始的基于学习的方法。
2022-03-02 cs.CV eess.IV
MORPH-LER: Log-Euclidean Regularization for Population-Aware Image Registration
Karlert School of Computing, University of Utah(犹他大学卡尔尔特计算学院);Scientific Computing and Imaging Institute, University of Utah(犹他大学科学计算与成像研究所);Biomedical Engineering Department, University of Utah(犹他大学生物医学工程系)
MORPH-LER提出对数-欧几里得正则化框架,通过从空间变换中学习群体形态计量学并构建线性化潜在空间,在保持微分同胚性质和逆一致性的同时,为无监督图像配准网络提供群体感知的正则化引导,在OASIS-1数据集上验证了其解剖准确性和计算效率。
2025-07-03 cs.CV cs.LG
Identity-Preserving Pose-Guided Character Animation via Facial Landmarks Transformation
Zhejiang University(浙江大学)
针对姿态引导角色动画中面部身份难以保持的问题,提出基于三维可变形模型的FLT关键点变换对齐方法,显著提升生成视频的身份一致性。
2025-03-18 cs.CV cs.LG
FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning
Georgia Tech(佐治亚理工学院);Virginia Tech(弗吉尼亚理工大学)
最新的半监督学习(SSL)方法使用基于图像的变换和一致性正则化的组合作为核心组件。然而,这样的方法限于简单的变换,例如传统的数据增强或两个图像的凸组合。在本文中,我们提出了一种新的学习基于特征的细化和增强方法,产生一组不同的复杂变换。重要的是,这些转换还使用了我们通过聚类提取的类内和跨类原型表示的信息。我们使用已经在迭代中计算的特征,将它们存储在存储体中,从而避免了大量额外计算的需要。这些变换与传统的基于图像的增强相结合,然后用作基于一致性的正则化损失的一部分。我们证明,我们的方法与当前较小数据集(CIFAR-10和SVHN)的最新技术水平相当,同时能够扩展到更大的数据集,如CIFAR-100和mini-Imagenet,我们在最新技术水平上实现了显着的增益(\textit{e.g.,}在mini-Imagenet上的绝对增益为17.44\%)。我们进一步在DomainNet上测试了我们的方法,证明了对域外未标记数据的更好的鲁棒性,并进行了严格的消融和分析来验证该方法。
2020-07-16 cs.CV cs.LG
Adversarial Defense by Latent Style Transformations
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);Monash University(莫纳什大学)
机器学习模型已经证明了对对抗攻击的脆弱性,更具体地说,是对对抗示例的错误分类。在本文中,我们研究了一个攻击不可知防御对抗攻击的高分辨率图像检测可疑输入。我们的方法背后的直觉是,正常图像的基本特征通常与非基本样式转换一致,例如,稍微改变人像的面部表情。相反,对抗性示例通常对这种转换敏感。在我们的方法来检测敌对的情况下,我们提出了一个在\underline{V} ertible \underline{A} utoencoder的基础上的\underline{S} tyleGAN2生成器通过\underline{A}对抗训练(VASA),以逆图像解开潜在代码,揭示层次风格。然后,我们建立了一组编辑的副本与非必要的风格转换,通过执行潜在的移位和重建,基于潜代码和风格转换之间的对应关系。这些编辑副本的基于分类的一致性用于区分对抗实例。
2022-02-22 cs.CV cs.LG
No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency
Bosch Center for AI(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
无参考图像质量评价(NR-IQA)的目标是根据主观评价来估计图像的感知质量,由于缺乏原始参考图像,这是一个复杂且尚未解决的问题。在本文中,我们提出了一种新的模型来解决NR-IQA任务,利用混合方法,受益于卷积神经网络(CNN)和自注意力机制的Transformers从输入图像中提取本地和非本地的功能。我们通过CNN捕获图像的局部结构信息,然后为了规避提取的CNN特征之间的局部偏差并获得图像的非局部表示,我们在提取的特征上使用Transformers,将其建模为Transformer模型的顺序输入。此外,为了改善主观和客观分数之间的单调性相关性,我们利用每批图像之间的相对距离信息,并执行它们之间的相对排名。最后但并非最不重要的是,我们观察到,当我们对输入应用等变变换(例如水平翻转)时,NR-IQA模型的性能会下降。因此,我们提出了一种方法,利用自我一致性作为自我监督的来源,以提高NRIQA模型的鲁棒性。具体来说,我们对每个图像的质量评估模型的输出及其转换(水平翻转)之间进行自我一致性,以利用丰富的自我监督信息并减少模型的不确定性。为了证明我们工作的有效性,我们在七个标准IQA数据集(合成和真实)上进行了评估,并表明我们的模型在各种数据集上都取得了最先进的结果。
2022-01-05 cs.CV eess.IV
Learning Transformation Synchronization
ZJU-SenseTime Joint Lab of 3D Vision(浙江大学-商汤科技三维视觉联合实验室);UT Austin(德克萨斯大学奥斯汀分校);Zhejiang University(浙江大学);Georgia Tech(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院);Stanford University(斯坦福大学)
重建物理对象的3D模型通常需要我们将从不同相机姿势获得的深度扫描对齐到相同的坐标系中。这个全局对齐问题的解决方案通常分为两个步骤。第一步使用现成的技术估计扫描对之间的相对变换。由于成对扫描之间呈现的信息有限,因此所得到的相对变换通常是有噪声的。然后,第二步骤联合优化所有输入深度扫描之间的相对变换。在这一步中使用的自然约束是循环一致性约束,它允许我们通过检测不一致的循环来修剪不正确的相对转换。然而,这种方法的性能在很大程度上依赖于输入相对变换的质量。我们提出使用一个神经网络来学习与每个相对变换相关联的权重,而不是仅仅使用相对变换作为输入来执行变换同步。我们的方法交替变换同步使用加权相对变换和预测新的权重的输入相对变换使用神经网络。我们证明了这种方法在广泛的数据集的有用性。
2019-06-04 cs.CV cs.LG
Monocular Depth Estimation with Directional Consistency by Deep Networks
University of Applied Sciences Munich(慕尼黑应用科学大学)
随着处理能力变得越来越可用,越来越多的类人人工智能被创造出来,以解决我们天生擅长的图像处理任务。因此,我们提出了一个模型,估计从单目图像的深度。我们的方法利用了运动运动恢复结构和立体视差的组合。我们估计源图像与不同视点之间的姿态和密集深度图,并使用简单的变换来重建从所述视点看到的图像。然后,我们可以使用该视点处的真实图像作为监督来训练出模型。选择用于图像比较的度量采用标准L1和结构相似性以及深度图之间的一致性约束以及平滑度约束。我们发现,类似于人类的感知,利用两种不同方法提供的数据内的相关性,提高了准确性,并优于单个组件。
2019-05-11 cs.CV cs.LG
Triangular Consistency as a Universal Constraint for Learning Optical Flow
Louisiana State University(路易斯安那州立大学);University of California, Los Angeles(加州大学洛杉矶分校);Yale University(耶鲁大学)
提出三角一致性约束,通过组合两个光流诱导第三个光流并强制三者一致,适用于不同网络架构、监督类型和数据集,在监督、无监督和迁移学习中均提升性能。
2026-07-07 cs.AI cs.CV
Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency
Northwestern Polytechinical University(西北工业大学);Heriot Watt University(赫瑞瓦特大学)
本文提出基于循环一致性的无监督高光谱与多光谱图像融合模型CycFusion,通过域变换学习将高空间分辨率HSI作为中间特征图,并嵌入估计的PSF和SRF作为预训练权重,在多个数据集上优于现有无监督融合方法。
2023-07-07 cs.CV eess.IV
Unsupervised learning for cross-domain medical image synthesis using deformation invariant cycle consistency networks
University of Edinburgh(爱丁堡大学)
近年来,循环一致性生成对抗网络(CycleGAN)被广泛应用于多领域医学图像的合成。CycleGAN捕获的特定于域的非线性变形使得合成图像难以用于某些应用,例如,生成用于PET-MR衰减校正的伪CT。本文提出了一种使用可变形卷积层和新的循环一致性损失的变形不变CycleGAN(DicycleGAN)方法。它的鲁棒性处理遭受特定领域的非线性变形的数据进行了评估,通过比较实验进行多序列的大脑MR数据集和多模态腹部数据集。我们的方法已经显示出它能够生成与源对齐的合成数据,同时与CycleGAN生成的数据相比保持适当的信号质量。当来自源域和目标域的数据通过简单的仿射变换是可重构的时,所提出的模型也获得了与CycleGAN相当的性能。
2018-08-12 cs.AI cs.CV cs.LG