Image-to-image Translation via Hierarchical Style Disentanglement
Xiamen University(厦门大学);Tencent Youtu Lab(腾讯云图实验室)
最近,图像到图像翻译在实现多标签(\ie,以不同标签为条件的翻译)和多样式(\ie,具有不同样式的生成)任务方面取得了重大进展。然而,由于未开发的独立性和排他性的标签,现有的努力是失败的涉及不受控制的操纵翻译结果。在本文中,我们提出了层次风格分解(HiSD)来解决这个问题。具体地说,我们将标签组织成一个分层的树结构,其中独立的标签,排他性的属性,和解开的风格是从上到下分配。相应地,设计了一种新的翻译过程,以适应上述结构,其中的风格识别的可控翻译。CelebA-HQ数据集上的定性和定量结果都验证了所提出的HiSD的能力。我们希望我们的方法将作为一个坚实的基线,并提供新的见解与分层组织的注释,为未来的研究在图像到图像的翻译。该代码已在https://github.com/imlixinyang/HiSD上发布。
2021-03-02 cs.CV
Multi-mapping Image-to-Image Translation via Learning Disentanglement
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Advanced Institute of Information Technology, Peking University(北京大学先进信息技术研究院);Tencent America(腾讯美国)
图像到图像翻译的最新进展集中在从两个方面学习一对多映射:多模态翻译和多域翻译。然而,现有的方法只考虑了两个角度中的一个,这使得它们无法解决彼此的问题。为了解决这个问题,我们提出了一个新的统一模型,这两个目标的桥梁。首先,我们通过一个编码器-解码器架构,在特征空间中进行条件对抗训练,将输入图像分解为潜在表示。然后,我们鼓励生成器学习多映射通过随机跨域翻译。因此,我们可以操纵潜在表征的不同部分,以同时执行多模态和多域翻译。实验表明,我们的方法优于国家的最先进的方法。
2019-12-26 cs.CV
Unsupervised Multi-Domain Multimodal Image-to-Image Translation with Explicit Domain-Constrained Disentanglement
Tsinghua University(清华大学);University College London(伦敦大学学院)
在过去的几年里,图像到图像的翻译引起了极大的关注。它旨在将一个域中的图像转换为另一个域中的给定参考图像。由于其有效性和效率,许多应用程序可以制定为图像到图像的翻译问题。然而,在图像到图像转换中仍然存在三个主要挑战:1)缺乏用于不同任务的大量对齐训练对; 2)来自单个输入图像的多个可能输出的模糊性;以及3)缺乏来自单个网络中不同域的多个数据集的同时训练。我们在实验中还发现,内容和风格的隐性分离可能会导致意想不到的结果。在本文中,我们提出了一个统一的学习框架,使用不成对的训练数据生成不同的输出,并允许通过单个网络同时训练来自不同领域的多个数据集。此外,我们还研究了如何更好地提取域监督信息,以便学习更好的解纠缠表示,实现更好的图像翻译。实验表明,该方法优于或相当于国家的最先进的方法。
2019-11-02 cs.CV
Image-to-image translation for cross-domain disentanglement
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
深度图像翻译方法最近显示出出色的结果,输出覆盖多种数据分布模式的高质量图像。人们对解开通过深度方法学习的内部表示的兴趣也越来越大,以进一步提高其性能并实现更精细的控制。在本文中,我们这两个目标的桥梁,并介绍了跨域解纠缠的概念。我们的目标是将内部表示分为三个部分。共享部分包含两个域的信息。另一方面,排他性部分只包含每个域特有的变异因素。我们通过基于生成对抗网络和跨域自动编码器(一种新型网络组件)的双向图像翻译实现了这一点。我们的模式具有多种优势。我们可以输出覆盖两个域的多种分布模式的不同样本,执行特定于域的图像传输和插值,以及跨域检索,而不需要标记数据,只需要成对的图像。我们将我们的模型与多模态图像翻译中的最新技术进行了比较,并在具有挑战性的数据集上实现了更好的翻译结果,以及在现实数据集上进行跨域检索。
2018-11-04 cs.CV
Night-to-Day Translation via Illumination Degradation Disentanglement
Northwestern Polytechnical University(西北工业大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出N2D3方法,通过物理先验引导的退化解耦模块和退化感知对比学习策略,识别夜间图像中不同退化模式,在恢复白天域信息的同时保持语义一致性,显著提升视觉质量并有利于下游任务。
2024-11-21 cs.CV
Manipulating Medical Image Translation with Manifold Disentanglement
University of Queensland(昆士兰大学);The Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);The University of Newcastle(纽卡斯尔大学)
医学图像转换(例如,CT到MR)是一项具有挑战性的任务,因为它需要I)域不变特征(例如,解剖结构的形状信息)的忠实转换和II)目标域特征(例如,MR中的组织外观)的真实合成。在这项工作中,我们提出了流形解纠缠生成对抗网络(MDGAN),一种新的图像翻译框架,明确地模拟这两种类型的功能。它采用完全卷积生成器来建模域不变特征,并使用样式代码将目标域特征单独建模为流形。这种设计的目的是明确地解开领域不变的功能和领域特定的功能,同时获得个人控制。图像翻译过程被公式化为风格化任务,其中输入被“风格化”(翻译)成不同的目标域图像的基础上,从学习流形采样的风格代码。我们测试MDGAN的多模态医学图像翻译,其中我们创建两个特定领域的流形上的流形集群,分别将分割图转换为伪CT和伪MR图像。我们表明,通过遍历MR流形集群的路径,可以操纵目标输出,同时仍然保留输入的形状信息。
2020-11-27 cs.AI cs.CV
Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement
UC San Diego(加州大学圣迭戈分校);Adobe Research(Adobe研究院)
我们提出了一种方法来提高低质量的视觉真实感,合成图像,例如OpenGL渲染。在图像空间中训练不成对的合成到真实的转换网络是严重的约束不足,并产生可见的伪影。相反,我们提出了一个半监督的方法,操作上的解开阴影和图像的层。我们的两阶段流水线首先学习以监督的方式使用基于物理的渲染作为目标来预测准确的着色,并使用改进的CycleGAN网络进一步提高纹理和着色的真实感。对SUCG室内场景数据集的广泛评估表明,与其他最先进的方法相比,我们的方法可以产生更逼真的图像。此外,在我们生成的“真实”图像上训练的网络比领域自适应方法更准确地预测深度和法线,这表明提高图像的视觉真实感可能比强加特定任务的损失更有效。
2020-03-27 cs.CV
Physics-informed Guided Disentanglement in Generative Networks
Inria(法国国家信息与自动化研究所);Vislab Ambarella(安霸视觉实验室)
针对图像到图像翻译中物理现象导致的特征纠缠问题,提出由可微或不可微物理模型及神经网络引导的通用解耦框架,显著提升多场景翻译质量与可控性。
2023-04-27 cs.AI cs.CV cs.LG
Image Disentanglement and Uncooperative Re-Entanglement for High-Fidelity Image-to-Image Translation
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs(Facebook现实实验室)
跨域图像到图像的翻译应该满足两个要求:(1)保留两个域共有的信息,以及(2)生成令人信服的图像,覆盖目标域中出现的变化。这是具有挑战性的,特别是当没有示例翻译可作为监督时。对抗循环一致性最近被提出作为一种解决方案,具有美丽和创造性的结果,产生了许多后续工作。然而,增强现实应用不能容易地使用这样的技术来向用户提供真实场景的令人信服的翻译,因为翻译不具有高保真度约束。换句话说,当前的模型倾向于改变应该被保留的细节:当重新纹理化一张脸时,它们可能会以一种不可预测的方式改变脸的表情。在本文中,我们介绍了高保真图像到图像翻译的问题,并提出了一种解决它的方法。我们的主要观点是,低保真度的翻译通常逃脱了周期一致性惩罚,因为后翻译器学习补偿前翻译器的错误。因此,我们引入了一种防止网络合作的优化技术:仅当每个网络的输入数据是真实的时,才对其进行训练。相比之下,以前的工作,训练每个网络的混合真实和生成的数据。实验结果表明,我们的方法准确地解开分离域的因素,并收敛到语义保持翻译,以前的方法错过。
2019-10-20 cs.CV
Exploring Explicit Domain Supervision for Latent Space Disentanglement in Unpaired Image-to-Image Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);University of Rochester(罗切斯特大学)
图像到图像的翻译任务已经被生成对抗网络(GANs)广泛研究。然而,现有的方法大多是设计在一个无监督的方式,而很少注意到未配对数据中的域信息。在本文中,我们把领域信息作为显式监督,并设计了一个不成对的图像到图像的翻译框架,域监督GAN(DosGAN),这迈出了第一步,探索显式域监督。与使用不同的生成器或域代码表示域特征相比,我们预先训练分类网络来显式地对图像的域进行分类。在预训练之后,该网络用于提取每幅图像的特定领域特征。这些特征与由另一个编码器提取的域独立特征(跨不同域共享)一起用于生成目标域中的图像。在多个人脸属性翻译、多个身份翻译、多个季节翻译和条件边缘到鞋/手袋的翻译上的大量实验证明了该方法的有效性。此外,我们可以将在Facescrub数据集上获得的特定于域的特征提取器与域监督信息转移到看不见的域,例如CelebA数据集中的人脸。我们还成功地实现了CelebA中任意两个图像的条件翻译,而像StarGAN这样的以前的模型无法处理这个任务。
2019-10-22 cs.CV
A Joint Learning Model with Variational Interaction for Multilingual Program Translation
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);School of Artificial Intelligence(人工智能学院);Nanjing University(南京大学)
针对多语言程序翻译中平行数据稀缺、语义分布偏移的问题,提出基于解耦的VIM-PT模型,通过变分交互解耦代码特征,实现多语言联合翻译,提升翻译质量并降低部署复杂度。
2024-09-13 cs.AI cs.LG cs.PL
A Unified Conditional Disentanglement Framework for Multimodal Brain MR Image Translation
Massachusetts General Hospital(马萨诸塞总医院);Harvard Medical School(哈佛医学院)
多模态MRI提供了互补的和临床相关的信息,以探测组织状况和表征各种疾病。然而,由于研究计划的限制,通常难以从同一受试者获得足够多的模态,同时仍然需要定量分析。在这项工作中,我们提出了一个统一的条件去纠缠框架,从输入模态合成任意模态。我们的框架取决于一个周期约束的条件对抗训练方法,它可以用一个模态不可知的编码器提取一个模态不变的解剖特征,并用一个条件解码器生成一个目标模态。我们在四种MRI模式上验证了我们的框架,包括T1加权,T1对比增强,T2加权和FLAIR MRI,来自BraTS'18数据库,显示出优于比较方法的合成质量性能。此外,我们报告的结果进行了合成数据的肿瘤分割任务的实验。
2021-06-05 cs.CV eess.IV
Semi-supervised Hand Appearance Recovery via Structure Disentanglement and Dual Adversarial Discrimination
Southeast University(东南大学)
通过基于标记的MoCap收集具有可靠注释的巨大手部图像。然而,标记物引起的退化限制了其在手部外观重建中的应用。一个清晰的外观恢复洞察是用未配对数据训练的图像到图像的翻译。然而,大多数框架失败,因为存在从退化的手到裸手的结构不一致。我们的方法的核心是首先从这些退化的图像中解开裸露的手结构,然后用双对抗性鉴别(DAD)方案将外观包裹到这个结构中。这两个模块都充分利用了半监督学习范式:结构解纠缠得益于ViT的建模能力,译者通过对翻译过程和翻译结果的双重辨别能力得到增强。已经进行了全面的评估,以证明我们的框架可以鲁棒地恢复逼真的手的外观从不同的标记包含,甚至对象遮挡的数据集。它为其他下游学习问题提供了一种获取裸手外观数据的新途径。https://www.yangangwang.com
2023-03-11 cs.CV
Learning Multi-Modal Brain Tumor Segmentation from Privileged Semi-Paired MRI Images with Curriculum Disentanglement Learning
South China University of Technology(华南理工大学);Rochester Institute of Technology(罗切斯特理工学院)
由于在临床实践中难以获得多模态配对图像,最近的研究提出了用非配对图像训练脑肿瘤分割模型,并通过模态转换捕获互补信息。然而,这些模型不能充分利用来自不同模态的互补信息。因此,在这项工作中,我们提出了一种新的两步(模态内和模态间)课程分解学习框架,以有效地利用特权半配对图像,即仅在训练中可用的有限配对图像,用于脑肿瘤分割。具体来说,在第一步中,我们建议进行重建和分割与增强模态内风格一致的图像。在第二步中,该模型联合执行重建,无监督/有监督的翻译,和分割的非配对和配对的模态间图像。在这一步中,提出了内容一致性损失和监督翻译损失,以利用来自不同模态的互补信息。通过这两个步骤,我们的方法有效地提取模态特定的风格代码描述的衰减的组织特征和图像对比度,模态不变的内容代码包含解剖和功能信息的输入图像。三个脑肿瘤分割任务的实验表明,我们的模型优于竞争的分割模型的基础上不成对的图像。
2022-08-26 cs.CV
Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators?
Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
具有基于样式的生成器(例如StyleGAN)的生成对抗网络(GANs)成功地实现了对图像合成的语义控制,最近的研究还表明,可以通过修改潜在代码来获得可解释的图像翻译。然而,在低级图像内容方面,在潜在空间中行进将导致对应图像中的“空间纠缠变化”,这在需要本地编辑的许多现实世界应用中是不期望的。为了解决这个问题,我们分析了“风格空间”的属性,并探索了使用预训练的基于风格的生成器控制本地翻译的可能性。具体地说,我们提出了“风格干预”,一个轻量级的优化算法,可以适应任意输入图像和灵活的目标下,自然的翻译效果。我们验证了所提出的框架在高分辨率图像上的面部属性编辑中的性能,其中需要照片真实感和一致性。大量的定性结果证明了我们的方法的有效性,定量测量也表明,该算法优于国家的最先进的基准在各个方面。
2020-11-19 cs.CV
Rethinking Content and Style: Exploring Bias for Unsupervised Disentanglement
HKUST(香港科技大学);Microsoft Research Asia(微软亚洲研究院)
内容与风格(C-S)解纠缠的目的是将对象的潜在解释因素分解为两个独立的子空间。从无监督解纠缠的角度来看,我们重新思考的内容和风格,并提出了一个公式的无监督C-S解纠缠的基础上,我们假设不同的因素是不同的重要性和流行性的图像重建,这作为一个数据偏差。我们提出的C-S解纠缠模块(C-S DisMo)引入了相应的模型归纳偏差,在逼近真实数据分布时,为内容和风格分配了不同且独立的角色。具体地,假设从数据集嵌入的每个内容(其编码用于图像重建的最主要因素)是从跨数据集的共享分布中采样的。特定图像的样式嵌入(对剩余因子进行编码)用于通过仿射变换定制共享分布。在几个流行的数据集上的实验表明,我们的方法实现了最先进的无监督C-S解纠缠,这是可比的,甚至更好的监督方法。我们通过下游任务:域转换和单视图3D重建来验证我们方法的有效性。项目页面https://github.com/xrenaa/CS-DisMo。
2021-09-03 cs.AI cs.CV cs.LG
Scaling Transformer-Based Novel View Synthesis Models with Token Disentanglement and Synthetic Data
Johns Hopkins University(约翰霍普金斯大学);Google(谷歌公司)
针对稀疏视图新视角合成模型受限于真实场景数据多样性不足的问题,提出结合扩散模型合成数据与令牌解耦机制,提升跨域泛化与重建质量,在多个基准上达到最先进性能并降低计算成本。
2025-09-08 cs.CV cs.GR
A$^3$DSegNet: Anatomy-aware artifact disentanglement and segmentation network for unpaired segmentation, artifact reduction, and modality translation
Z 2 Sky Technologies Inc.(Z 2 天工科技公司);University of Rochester(罗切斯特大学);Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所 中国科学院智能信息处理重点实验室);University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advance Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
脊柱手术计划需要在锥束计算机断层扫描(CBCT)中自动分割椎骨,CBCT是一种广泛用于介入的术中成像模式。然而,CBCT图像由于噪声、较差的组织对比度和金属物体的存在而具有低质量和伪影,导致椎骨分割,即使是手动分割,也是一项要求很高的任务。相比之下,存在丰富的无伪影、高质量的CT图像和椎骨注释。这促使我们使用带有注释的未配对CT图像构建CBCT椎骨分割模型。为了克服CBCT和CT之间的域和伪影差距,必须同时解决椎骨分割、伪影减少和模态转换这三个异构任务。为此,我们提出了一种新的解剖感知的工件解开和分割网络(一个$^3$ DSegNet),集中利用这三个任务的知识共享,以促进学习。具体而言,它将CBCT和CT图像的随机对作为输入,并通过来自解开的潜在层的不同解码组合来操纵合成和分割。然后,通过提出合成图像之间和分割的椎骨之间的各种形式的一致性,在没有配对(即,解剖学上相同的)数据。最后,我们将2D切片堆叠在一起,并在上面构建3D网络,以获得最终的3D分割结果。大量的临床CBCT(21,364)和CT(17,089)图像上的广泛实验表明,所提出的A $^3$ DSegNet的性能明显优于为每个任务独立训练的最先进的竞争方法,值得注意的是,它实现了0.926的平均Dice系数为未配对的3D CBCT椎骨分割。
2021-03-09 cs.CV eess.IV
Disentangling A Single MR Modality
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins School of Medicine(约翰斯·霍普金斯大学医学院);National Institute on Aging, National Institute of Health(美国国立卫生研究院国家老龄化研究所)
从医学图像中分离解剖和对比信息最近引起了人们的关注,证明了各种图像分析任务的好处。当前方法使用具有相同基础解剖结构或辅助标签(例如,手动描绘)以提供用于解开的感应偏置。然而,这些要求可能会大大增加数据收集的时间和成本,并在无法获得此类数据时限制这些方法的适用性。此外,这些方法通常不能保证解缠。在本文中,我们提出了一个新的框架,学习理论和实践上优越的解纠缠单模态磁共振图像。此外,我们提出了一个新的基于信息的度量来定量评估解纠缠。与现有的解纠缠方法的比较表明,该方法在解纠缠和跨域图像到图像的翻译任务中取得了优异的性能。
2022-05-10 cs.CV cs.LG eess.IV
Emerging Disentanglement in Auto-Encoder Based Unsupervised Image Content Transfer
Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
我们研究学习映射的问题,在一个无监督的方式,域A和B之间,这样的样本b在B中包含所有的信息,存在于样本a在A和一些额外的信息。例如,忽略遮挡,B可以是戴眼镜的人,A可以是不戴眼镜的人,而戴眼镜的人则是添加的信息。当将样本a从第一域映射到另一域时,缺失的信息从B中的独立参考样本b复制。因此,在上面的例子中,我们可以为每个不戴眼镜的人创建一个在任何面部图像中观察到的眼镜版本。我们的解决方案采用了一个单一的双通道编码器和一个单一的解码器的两个域。两个域的公共部分和分离部分被编码为两个向量,并且对于域A,分离部分被固定为零。损失项是最小的,涉及两个域的重建损失和一个域混淆项。我们的分析表明,在温和的假设下,这种架构,这是比文献中的引导翻译方法简单得多,是足以确保解开两个域之间的纠缠。我们在一些视觉领域,如无眼镜眼镜,添加面部毛发的基础上参考图像,等令人信服的结果。
2020-01-14 cs.CV cs.LG
Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement
Shanghai Jiao Tong University(上海交通大学)
基于草图的图像检索(SBIR)的目标是使用手绘草图从自然图像库中检索相同类别的图像。然而,SBIR要求在训练期间看到所有测试类别,这在现实世界的应用中无法保证。因此,我们研究更具挑战性的零镜头SBIR(ZERO-SBIR),其中测试类别不出现在训练阶段。在认识到草图主要包含结构信息,而图像包含额外的外观信息的基础上,尝试通过非对称解缠实现结构感知的检索,提出了结构感知的非对称解缠(STRAD)方法,将图像特征解缠为结构特征和外观特征,而草图特征只投影到结构空间。通过对结构和外观空间的分离,实现了草图域和图像域之间的双向域转换。大量的实验表明,我们的STRAD方法显着优于国家的最先进的方法在三个大规模的基准数据集。
2020-09-18 cs.CV
Measuring the Biases and Effectiveness of Content-Style Disentanglement
University of Edinburgh(爱丁堡大学);IMT School for Advanced Studies Lucca(卢卡高等研究院);Canon Medical Research Europe Ltd.(佳能医疗欧洲研究有限公司);The Alan Turing Institute(艾伦·图灵研究所)
最近一系列最先进的半监督和无监督解决方案将图像“内容”分解并编码为空间张量,并将图像外观或“风格”编码为向量,以在空间等变任务(例如,图像到图像的翻译)中实现良好的性能。为了实现这一目标,他们采用不同的模型设计,学习目标和数据偏差。虽然已经做出了相当大的努力来测量矢量表示中的解纠缠,并评估其对任务性能的影响,但缺乏对(空间)内容风格解纠缠的这种分析。本文通过一项实证研究,考察了不同偏向在内容风格解纠缠情境中的作用,并揭示了解纠缠程度与任务绩效之间的关系。特别是,我们考虑的设置,我们:(一)确定关键的设计选择和学习约束三个流行的内容风格的解纠缠模型;(二)放松或删除这种约束的消融方式;和(三)使用两个指标来衡量解纠缠的程度,并评估其对每个任务的性能。我们的实验表明,有一个“甜蜜点”之间的解纠缠,任务性能和-令人惊讶的-内容的可解释性,这表明,盲目地强迫更高的解纠缠会伤害模型的性能和内容因素的语义。我们的研究结果,以及所使用的任务无关的指标,可以用来指导设计和选择的新模型的任务,内容风格的表示是有用的。
2021-09-15 cs.CV
Image-to-Image Translation with Disentangled Latent Vectors for Face Editing
Virginia Tech(弗吉尼亚理工大学);MPI(马克斯·普朗克学会);ETH(苏黎世联邦理工学院);TUM(慕尼黑工业大学);Bilkent University(比尔肯特大学)
提出一种基于解耦隐向量的图像到图像转换框架,通过隐空间分解和正交约束学习解耦属性方向,结合注意力跳跃连接的编码器-解码器架构,显著提升了人脸属性编辑的精确性与保真度。
2025-03-28 cs.CV
Volumetric Disentanglement for 3D Scene Manipulation
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
近年来,差分体绘制技术的发展使复杂三维场景的真实感重建和细节重建取得了重大突破,这是许多虚拟现实应用的关键。然而,在增强现实的上下文中,人们还可能希望实现场景内的对象的语义操纵或增强。为此,我们提出了一个体积框架(i)解开或分离,一个给定的前景对象从背景的体积表示,以及(ii)语义操纵的前景对象,以及背景。我们的框架作为输入的一组2D面具指定所需的前景对象的训练视图,连同相关的2D视图和姿势,并产生一个前景背景解开,尊重周围的照明,反射和部分遮挡,这可以应用于训练和新的视图。我们的方法能够单独控制像素颜色和深度以及前景和背景对象的3D相似性变换。随后,我们证明了我们的框架上的下游操作任务,包括对象伪装,非负的3D对象修复,3D对象翻译,3D对象修复和3D基于文本的对象操作的适用性。完整的结果在我们的项目网页https://sagiebenaim.github.io/volumetric-disentanglement/中给出
2022-06-06 cs.CV
Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation
National Taiwan University(台湾大学);Northwestern University(西北大学);National Chiao Tung University(台湾交通大学)
虽然表示学习的目的是获得用于描述视觉数据的可解释的特征,表示解纠缠进一步导致这样的特征,使得特定的图像属性可以被识别和操纵。然而,如果不观察训练数据的地面实况注释,就不能容易地解决这个任务。为了解决这个问题,我们提出了一种新的跨域表示分解器(CDRD)的深度学习模型。通过观察完整注释的源域数据和未标记的目标域数据,我们的模型跨越数据域的信息,并相应地传输属性信息。因此,可以联合执行跨域联合特征解纠缠和自适应。在实验中,我们提供了定性的结果来验证我们的解纠缠能力。此外,我们进一步证实,我们的模型可以应用于解决分类任务的无监督领域自适应,并表现出良好的国家的最先进的图像解缠和翻译方法。
2018-05-01 cs.CV
Content-Preserving Unpaired Translation from Simulated to Realistic Ultrasound Images
ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学)
超声成像的交互式模拟极大地促进了超声成像训练。虽然基于光线跟踪的方法已经显示出有希望的结果,获得逼真的图像需要大量的建模工作和手动参数调整。此外,当前技术仍然导致模拟图像和真实临床扫描之间的显著外观差距。在这里,我们引入了一种新的内容保持图像翻译框架(ConPres)来弥合这种外观差距,同时保持模拟的解剖布局。我们通过利用具有语义分割的模拟图像和未配对的体内超声扫描来实现这一目标。我们的框架是基于最近的对比不成对翻译技术,我们提出了一种正则化方法,通过学习一个辅助分割到真实图像的翻译任务,鼓励内容和风格的解开。此外,我们将生成器扩展为类条件,这使得能够合并额外的损失,特别是循环一致性损失,以进一步提高翻译质量。定性和定量的比较对国家的最先进的不成对的翻译方法证明了我们提出的框架的优越性。
2021-09-30 cs.CV cs.LG eess.IV
Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction
University of Rochester(罗切斯特大学);University of Maryland, College Park(马里兰大学帕克分校);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
当前用于计算机断层扫描(CT)金属伪影减少(MAR)的基于深度神经网络的方法是监督方法,其严重依赖于用于训练的合成数据。然而,由于合成数据可能无法完美地模拟CT成像的潜在物理机制,因此监督方法通常难以推广到临床应用。为了解决这个问题,我们提出,据我们所知,第一个无监督学习方法的MAR。具体来说,我们引入了一种新的工件解开网络,使不同形式的代和正则化之间的伪影影响和伪影免费的图像域,以支持无监督学习。大量的实验表明,我们的方法显着优于现有的无监督模型的图像到图像的翻译问题,并实现了与现有的监督模型在合成数据集上的性能相当。当应用于临床数据集时,我们的方法在监督模型上取得了相当大的改进。本文的源代码可在https://github.com/liaohaofu/adn上公开获取。
2019-11-28 cs.CV eess.IV
Encouraging Disentangled and Convex Representation with Controllable Interpolation Regularization
University of Southern California(南加州大学)
我们专注于可控解纠缠表示学习(C-Dis-RL),其中用户可以控制解纠缠潜在空间的分区,以分解下游任务的数据集属性(概念)。目前的方法存在两个普遍问题:(1)缺乏全面的解纠缠约束,特别是缺少对不同属性间的互信息的最小化。(2)它们缺乏凸性约束,这对于有意义地操纵下游任务的特定属性非常重要。为了同时鼓励全面的C-Dis-RL和凸性,我们提出了一种简单而有效的方法:可控插值正则化(CIR),它创建了一个正循环,其中解纠缠和凸性可以相互帮助。具体来说,我们在训练过程中在潜在空间中进行受控插值,并重用编码器来帮助形成“完美的解纠缠”正则化。在这种情况下,(a)解纠缠损失隐含地扩大了潜在的可理解的分布,以鼓励凸性;(b)凸性反过来可以提高鲁棒性和精确的解纠缠。CIR是一个通用的模块,我们将CIR与三种不同的算法:ELEGANT,I2 I-Dis和Gander-Net合并,以显示兼容性和有效性。定性和定量的实验表明,改善C-Dis-RL和潜在的凸CIR。这进一步改进了下游任务:可控图像合成、跨模态图像平移和zero-shot合成。
2022-03-23 cs.CV
Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution
Yonsei University(延世大学)
在过去的几年中,已经提出了图像到图像(I2I)翻译方法来将给定图像翻译成不同的输出。尽管取得了令人印象深刻的成果,但他们主要集中在两个域之间的I2I翻译,因此多域I2I翻译仍然是一个挑战。为了解决这个问题,我们提出了一种新的多域无监督图像到图像翻译(MDUIT)框架,该框架利用分解的内容特征和外观自适应卷积将图像转换为目标外观,同时保留给定的几何内容。我们还开发了一个对比度学习目标,它提高了解纠缠能力,并通过配对语义相似的图像,有效地利用多域图像数据在训练过程中。这使得我们的方法可以只用一个框架来学习多个视觉域之间的不同映射。我们表明,所提出的方法在多个领域产生视觉多样性和合理的结果相比,国家的最先进的方法。
2022-02-06 cs.CV
Explicitly disentangling image content from translation and rotation with spatial-VAE
Massachusetts Institute of Technology(麻省理工学院);New York Structural Biology Center(纽约结构生物学中心)
给定一个图像数据集,我们通常有兴趣找到数据生成因素,这些因素独立于姿态变量(如旋转和平移)来编码语义内容。然而,目前的解纠缠方法并没有对学习到的潜在表征施加任何特定的结构。我们提出了一种方法,明确解开图像旋转和平移从其他非结构化的潜在因素中的变分自编码器(VAE)的框架。通过将生成模型制定为空间坐标的函数,我们使重建误差相对于潜在的平移和旋转参数可微。这个公式允许我们训练一个神经网络来对这些潜在变量进行近似推理,同时显式地将它们约束为仅表示旋转和平移。我们证明,这个框架,称为空间VAE,有效地学习潜在的表示,解开图像旋转和翻译的内容,并提高重建标准VAE在几个基准数据集,包括应用程序建模连续的2-D视图的蛋白质从单粒子电子显微镜和星系的天文图像。
2019-09-25 cs.CV cs.LG q-bio.QM
Multi-Domain Brain Vessel Segmentation Through Feature Disentanglement
Data Science Department, EURECOM(EURECOM数据科学部门);Department of Medicine, Surgery and Neuroscience, University of Siena(锡耶纳大学医学、外科与神经科学系);e-Health Center, Universitat Oberta de Catalunya(加泰罗尼亚开放大学e-健康中心);Centre for Medical Image Computing (CMIC), Department of Medical Physics and Biomedical Engineering, University College London(伦敦大学学院医学影像计算中心);Queen Square MS Centre, Department of Neuroinflammation, UCL Queen Square Institute of Neurology, Faculty of Brain Sciences, University College London(伦敦大学学院Queen Square多发性硬化中心);Sorbonne Université, Paris Brain Institute, CNRS, Inria, Inserm, AP-HP, Hôpital de la Pitié Salpêtrière(巴黎大学巴黎脑研究所);School of Biomedical Engineering & Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与成像科学学院)
针对现有脑血管分割模型多依赖单模态、跨域适配难的问题,提出基于特征解耦的图像转换框架,保留空间信息同时适配血管外观,实现多域血管精准分割,验证了方法鲁棒性与通用性。
2025-10-02 cs.CV cs.LG
ADN: Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction
University of Rochester(罗切斯特大学);University of Maryland, College Park(马里兰大学帕克分校);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室)
当前基于深度神经网络的计算机断层扫描(CT)金属伪影减少(MAR)方法是依赖于合成金属伪影进行训练的监督方法。然而,由于合成数据可能无法准确模拟CT成像的潜在物理机制,因此监督方法通常难以推广到临床应用。为了解决这个问题,我们提出,据我们所知,第一个无监督学习方法MAR。具体来说,我们引入了一种新的工件解开网络,解开金属工件从CT图像中的潜在空间。它支持不同形式的生成(伪影减少,伪影转移和自重建等)。具有专门的损失函数,以利用合成数据来满足监督的需要。大量的实验表明,当应用于合成数据集时,我们的方法解决金属伪影显着优于现有的无监督模型设计的自然图像到图像的翻译问题,并实现了与现有的监督模型MAR的性能相当。当应用于临床数据集,我们的方法表现出更好的泛化能力的监督模型。本文的源代码可在https://github.com/liaohaofu/adn上公开获取。
2019-11-28 cs.CV eess.IV
Latent Filter Scaling for Multimodal Unsupervised Image-to-Image Translation
King Abdullah University for Science and Technology (KAUST)(阿卜杜拉国王科技大学)
在多模态无监督图像到图像翻译任务中,目标是将图像从源域翻译为目标域中的许多图像。我们提出了一种简单的方法,产生更高质量的图像比当前国家的最先进的,同时保持相同数量的多模态多样性。以前的方法遵循尝试将潜在代码直接映射到全尺寸图像的无条件方法。这导致了复杂的网络架构,其中引入了几个超参数进行调整。通过将潜在代码视为卷积滤波器的修改器,我们产生多模态输出,同时保持传统的生成对抗网络(GAN)损失,并且没有额外的超参数。我们的方法所需的唯一调整控制生成的图像的可变性和质量之间的权衡。此外,我们实现了源域内容和目标域风格之间的免费解纠缠作为我们制定的副产品。我们进行了定性和定量实验,显示了我们的方法与多个基准图像到图像翻译数据集上的最新技术相比的优势。
2019-04-07 cs.CV
Cyclically Disentangled Feature Translation for Face Anti-spoofing
Baidu Inc.(百度公司)
当前用于人脸反欺骗的领域自适应方法利用标记的源域数据和未标记的目标域数据来获得有希望的可推广的决策边界。然而,这通常是困难的,这些方法来实现一个完美的域不变的活性特征解纠缠,这可能会降低最终的分类性能域的差异,在照明,人脸类别,欺骗类型等,在这项工作中,我们解决跨场景的脸反欺骗提出了一种新的领域自适应方法称为循环解纠缠特征翻译网络(CDFTN)。具体来说,CDFTN生成伪标记样本,这些样本具有:1)源域不变的活性特征和2)目标域特定的内容特征,这些特征通过域对抗训练来分解。在源域标签的监督下,基于合成的伪标记图像训练鲁棒分类器。我们进一步扩展CDFTN的多目标领域自适应,利用更多的未标记的目标域的数据。在几个公共数据集上的大量实验表明,我们提出的方法显着优于最先进的。
2022-12-07 cs.CV
Modality Translation and Registration of MR and Ultrasound Images Using Diffusion Models
Visual Information Laboratory, University of Bristol(布里斯托大学视觉信息实验室);Southmead Hospital, North Bristol NHS Trust(北布里斯托国家健康服务信托南梅德医院)
本文提出基于层次化特征解耦的解剖一致性模态翻译网络ACMT,通过引入中间伪模态同时翻译MR和US图像,在保留关键解剖边界的同时缓解模态差异,显著提升多模态前列腺图像配准精度。
2025-06-01 cs.CV
Unsupervised Structure-Consistent Image-to-Image Translation
Concordia University(康考迪亚大学)
交换自动编码器在深度图像处理和图像到图像转换方面实现了最先进的性能。我们通过引入一个简单而有效的基于梯度反转层的辅助模块来改进这项工作。辅助模块的丢失迫使生成器学习用全零纹理代码重建图像,从而促进结构和纹理信息之间更好的解纠缠。所提出的基于属性的传输方法,使精细控制的风格转移,同时保留结构信息,而不使用语义掩码。为了操作图像,我们将对象的几何形状和输入图像的一般风格编码成两个潜码,并附加一个约束来强制执行结构一致性。此外,由于辅助损失,训练时间显著减少。所提出的模型的优越性证明了在复杂的领域,如卫星图像的国家的最先进的是已知的失败。最后,我们表明,我们的模型提高了各种数据集的质量指标,同时实现了与多模态图像生成技术相当的结果。
2022-08-24 cs.CV
Scaling Sign Language Translation
Google DeepMind(谷歌DeepMind);Google(谷歌公司)
本文通过扩展预训练数据、模型规模和翻译方向,利用编码器-解码器架构和T5初始化,显著提升手语翻译在开放域基准上的性能,超越现有最先进水平。
2024-07-16 cs.CL cs.CV cs.LG
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University(浙江大学);Kwai Inc.(快手公司)
多模态图像到图像翻译(I2 IT)旨在学习一种条件分布,该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络(cGAN)来对这种条件分布进行建模。然而,cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布,这也被称为GANs的模式坍塌问题。为了解决这个问题,我们提出了一种简单而有效的方法,该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性,这防止了生成器忽略潜在代码,并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角,而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Efficient Rotation-Scaling-Translation Parameters Estimation Based on Fractal Image Model
National Aerospace University(国立航空航天大学);University of Rennes 1(雷恩第一大学)
研究了基于旋转-等距缩放-平移变换假设的亚像素图像配准问题。我们的方法是基于几何变换纹理图像片段的参数化建模和它们之间的变换向量的最大似然估计。由于基于局部碎片纹理的分数布朗运动建模的参数化方法,所提出的估计MLfBm(ML代表“最大似然”,fBm代表“分形布朗运动”)与依赖于通用相似性度量如互信息或归一化相关性的其他方法相比具有更好地适应真实图像纹理内容的能力。当fBm模型的基本假设完全满足时,例如对于具有固定增量的各向同性正态分布纹理,观察到主要益处。仿真和真实图像以及注册图像之间的高相关性和弱相关性的实验表明,与其他最先进的方法相比,MLfBm估计器提供了显着的改进。它将平移矢量、旋转角度和比例因子估计误差减少了约1.75倍。2,它降低了高达5倍的错误匹配的概率。此外,MLfBm估计的准确的置信区间可以得到的Cramer-Rao下界的旋转-缩放-平移参数估计误差。这个界限取决于纹理粗糙度,参考和模板图像中的噪声水平,这些图像和几何变换参数之间的相关性。
2015-07-04 cs.CV
Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN
恶劣天气图像翻译属于无监督图像到图像(I2 I)翻译任务,其目的是将恶劣天气域(如雨夜)转换到标准域(如白天)。这是一个具有挑战性的任务,因为图像从不利领域有一些文物和信息不足。最近,许多采用生成对抗网络(GANs)的研究在I2 I翻译方面取得了显着的成功,但将其应用于恶劣天气增强仍然存在局限性。采用基于双向循环一致性损失的对称结构作为无监督域转移方法的标准框架。然而,如果两个域的信息不平衡,则会导致较差的翻译结果。为了解决这个问题,我们提出了一种新的GAN模型,即,AU-GAN,它具有用于反向域翻译的非对称架构。我们只在一个普通域生成器中插入一个建议的特征转移网络(${T}$ -net)(即,雨夜->白天)来增强逆域图像的编码特征。此外,我们引入非对称特征匹配的编码功能的解纠缠。最后,我们提出了不确定性感知的循环一致性损失,以解决区域的不确定性的循环重建图像。我们证明了我们的方法的有效性与国家的最先进的模型的定性和定量比较。代码可在https://github.com/jgkwak95/AU-GAN上获得。
2022-02-15 cs.CV cs.GR
Attribute Guided Unpaired Image-to-Image Translation with Semi-supervised Learning
Xiamen University(厦门大学);Xi’an Jiaotong University(西安交通大学);University of Chinese Academy of Sciences(中国科学院大学)
不成对图像到图像翻译(UIT)是利用不成对数据在不同领域之间进行图像翻译的一种方法,由于其实际应用而受到越来越多的研究关注。然而,现有的UIT方案的缺陷,需要监督训练,以及缺乏编码域信息。在本文中,我们提出了一个属性引导的UIT模型称为AGUIT来解决这两个挑战。AGUIT结合了UIT的多模态和多领域任务,采用了一种新的半监督设置,这也有利于表示解纠缠和输出的精细控制。特别是,AGUIT从两个方面受益:(1)它采用了一种新的半监督学习过程,通过将标记数据的属性转换为未标记数据,然后通过循环一致性操作重建未标记数据。(2)它将图像表示分解为领域不变的内容代码和领域特定的风格代码。重新设计的风格代码将图像风格嵌入到标准高斯分布和域标签分布的两个变量中,由于两个变量的连续性,便于对翻译进行精细控制。最后,我们提出了一个新的挑战,即,解纠缠传输,用于UIT模型,它采用解纠缠表示来翻译与训练集相关性较低的数据。大量的实验证明了AGUIT在现有的最先进的模型的能力。
2019-04-29 cs.CV
Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation
Huazhong University of Science and Technology(华中科技大学);Peng Cheng Laboratory(鹏城实验室)
现有的基于深度学习的图像去伪方法对于合成的雨天图像已经取得了很好的性能,通常依赖于成对的清晰图像和模拟的雨天图像。然而,这些方法遭受显着的性能下降时,面对真实的雨,因为简化的合成雨和复杂的真实雨之间的巨大差距。在这项工作中,我们认为,降雨的产生和删除是同一枚硬币的两面,应该是紧密耦合的。为了关闭循环,我们建议在统一的解纠缠图像翻译框架内共同学习真实的雨生成和去除过程。具体来说,我们提出了一个双向解纠缠的翻译网络,其中每个单向网络包含两个循环的联合雨生成和删除的真实和合成雨图像,分别。同时,我们通过将雨天图像分解为干净的背景和雨水层(雨水去除)来执行解纠缠策略,以便通过循环一致性损失和对抗性损失更好地保留身份背景,并简化真实和合成雨天图像之间的雨水层转换。一个对应的组合物与纠缠策略对称地应用于雨的产生。在人工降雨和真实降雨数据集上的大量实验表明了该方法的优越性。
2021-03-25 cs.CV eess.IV
FaceCook: Face Generation Based on Linear Scaling Factors
School of Information Technology
由于最先进的生成模型具有良好的解纠缠特性,图像编辑已经成为控制合成人脸图像属性的主要方法。然而,这些编辑的结果经常遭受伪影或不正确的特征渲染,特别是当要编辑的图像和期望的特征集之间存在较大差异时。因此,我们提出了一种新的方法,通过求解一组多元线性方程组来映射生成模型的特征向量到缩放因子。方程的系数是预训练模型的权重参数的特征向量,其形成超坐标系的基础。定性和定量的结果都表明,该方法优于基线的图像多样性。此外,该方法更省时,因为您可以直接从潜向量中获得具有所需特征的合成图像,而不是之前编辑随机生成的图像需要许多处理步骤的过程。
2021-09-08 cs.CV
Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse
University of Surrey(萨里大学);Meta Reality Labs(Meta现实实验室)
本文提出融合视频、手势识别与上下文编码器的多模态 transformer,利用历史序列上下文增强神经手语翻译,并在 BOBSL 和 SRF 上显著提升 BLEU-4。
2023-08-18 cs.CV
Rotation, Scaling and Translation Analysis of Biometric Signature Templates
Thadomal Shahani Engineering College(塔多马尔·沙阿哈尼工程学院)
使用签名验证方法的生物鉴别认证系统通常仅在有限和受限的条件下才能提供最佳性能。这种方法利用几个训练样本,以便实现高精度。此外,对最终用户施加了若干限制,以便系统可以按预期最佳地工作。例如,用户被要求在一个小框内签名,以便将他们的签名限制在一组预定义的维度上,从而消除缩放。此外,相对于参考签名的角旋转将作为人为错误被无意地引入,这阻碍了生物特征签名验证系统的性能。为了消除这种情况,传统上,要求用户在参考线的顶部准确签名。在本文中,我们提出了一个鲁棒的系统,该系统针对旋转-缩放-平移(RST)的大范围变化优化从用户获得的签名,并根据数据库中存储的参考签名解决用户签名中的这些错误参数。
2011-10-06 cs.CR cs.CV cs.IT
Stylized Neural Painting
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Beihang University(北京航空航天大学)
本文提出了一种图像到绘画的翻译方法,生成生动逼真的绘画艺术作品,风格可控。不同于以往的图像到图像的翻译方法,制定的翻译像素的预测,我们处理这样一个艺术创作过程中的矢量化环境,并产生一个序列的物理意义的笔画参数,可以进一步用于渲染。由于一个典型的矢量渲染是不可区分的,我们设计了一种新的神经渲染器,它模仿矢量渲染器的行为,然后帧的笔画预测作为一个参数搜索过程,最大限度地提高输入和渲染输出之间的相似性。我们探讨了零梯度问题的参数搜索,并提出解决这个问题的最佳运输的角度来看。我们还表明,以前的神经渲染器有一个参数耦合问题,我们重新设计了渲染网络与光栅化网络和着色网络,更好地处理形状和颜色的解纠缠。实验表明,我们的方法生成的绘画具有较高的保真度,在全球的外观和局部纹理。我们的方法也可以与神经风格转移联合优化,进一步从其他图像转移视觉风格。我们的代码和动画结果可在\url{https://jiupinjia.github.io/neuralpainter/}上获得。
2020-11-16 cs.CV
Latent Multi-Relation Reasoning for GAN-Prior based Image Super-Resolution
Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Wenzhou University(温州大学)
最近,通过引入预训练的生成对抗网络(GANs)作为先验,大缩放因子下的单图像超分辨率(SR)取得了令人印象深刻的进展。然而,大多数基于GAN-Priors的SR方法受到反向潜码中属性解纠缠问题的约束,这直接导致生成器层中视觉属性的不匹配和进一步退化的重建。此外,随机噪声馈送到发生器被用于无条件的细节生成,这往往会产生不忠实的细节,损害所生成的SR图像的保真度。我们设计了LAREN,一个潜在的多关系rEasoNing技术,通过基于图的多关系推理在潜在空间中实现卓越的大因子SR。LAREN由两个创新设计组成。第一种是基于图的解纠缠,通过层次多关系推理构造一个优越的解纠缠潜在空间。第二种是基于图形的代码生成,通过递归关系推理逐步生成图像特定的代码,使先前的GANs能够生成所需的图像细节。大量的实验表明,LAREN实现了卓越的大因子图像SR,并在多个基准测试中始终优于最先进的技术。
2022-08-04 cs.CV
FedGS: Federated Gradient Scaling for Heterogeneous Medical Image Segmentation
University of Amsterdam(阿姆斯特丹大学);The Netherlands Cancer Institute(荷兰癌症研究所);Utrecht University(乌得勒支大学);Maastricht University Medical Center(马斯特里赫特大学医学中心)
针对联邦医学图像分割中数据异构性及现有解耦表示学习忽略病灶内容变异的问题,提出FL聚合方法FedGS,在保持整体有效性的同时显著提升小病灶分割性能。
2024-08-21 cs.CV eess.IV
Vision Bridge Transformer at Scale
National University of Singapore(新加坡国立大学);The Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学)
ViBT 是一种大规模 Bridge 模型,通过 Transformer 架构和方差稳定的速度匹配目标,实现高效图像和视频翻译任务。
2025-11-28 cs.AI cs.CV