Latent Space Disentanglement in Diffusion Transformers Enables Precise Zero-shot Semantic Editing
University of Michigan（密歇根大学）
本文揭示DiT潜在空间具有语义解耦特性，提出EIM框架和HSDS方法实现零样本细粒度图像编辑，并构建新基准验证有效性。
2024-11-12 cs.CV
Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling
Devol-ONE提出一种Transformer混合体架构，在单一自回归框架内统一视觉语言理解、潜在世界动态预测和动作生成，通过跨流联合预测和逐层注意力，在LIBERO等基准及真实机器人上验证了有效性。
2026-10-02 cs.CV
StyleDiT: A Unified Framework for Diverse Child and Partner Faces Synthesis with Style Latent Diffusion Transformer
Research Center for Information Technology Innovation, Academia Sinica（中央研究院資訊科技創新研究中心）
针对亲属人脸合成中多样性与保真度难以兼顾的问题，提出融合StyleGAN与扩散模型的StyleDiT框架，并引入关系特征引导机制，实现高质量多样化亲属及伴侣人脸合成。
2024-12-14 cs.CV
Latent Spaces Enable Transformer-Based Dose Prediction in Complex Radiotherapy Plans
Western University（西安大略大学）；London Health Sciences Centre（伦敦健康科学中心）
针对多病灶肺部SABR放疗计划制定复杂耗时的问题，提出两阶段潜在Transformer框架LDFormer，通过潜在空间编码与改进的因果注意力实现剂量预测，性能优于现有方法且推理速度快，可辅助临床决策并加速计划制定。
2024-07-11 cs.CV physics.med-ph
Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer
DreamTech（梦工厂）；Nanjing University（南京大学）；University of Oxford（牛津大学）
本文提出原生3D生成模型Direct3D，包含D3D-VAE和D3D-DiT，通过半连续表面采样和融合三平面位置信息，实现无需多视角扩散或SDS优化的高质量图像到3D生成，确立了新的SOTA。
2024-06-01 cs.CV
PixelDiT2: Representation-Grounded Pixel Diffusion Transformers
NVIDIA（英伟达）；University of Rochester（罗切斯特大学）
PixelDiT2通过冻结的视觉基础模型提供显式逐块表示指导，解耦表示学习与像素生成，在ImageNet上以更少周期达到更优FID。
2026-10-01 cs.CV
CardioDiT: Latent Diffusion Transformers for 4D Cardiac MRI Synthesis
Institute for Artificial Intelligence in Cardiovascular Medicine, Medical Faculty of Heidelberg University, Heidelberg University（海德堡大学医学院心血管医学人工智能研究所，海德堡大学）；Department of Cardiology, Angiology, Pneumology, Heidelberg University Hospital（海德堡大学医院心脏病学、血管学、肺病学系）；DZHK (German Centre for Cardiovascular Research), Partner Site Heidelberg/Mannheim（德国心血管研究中心（DZHK），海德堡/曼海姆合作站点）；Department of Radiology and Nuclear Medicine, University Medical Center Mannheim（曼海姆大学医学中心放射学与核医学系）；Section for Invasive Cardiology and Electrophysiology, I. Medical Department, Cardiology, Hemostasiology and Intensive Care, University Medical Centre Mannheim（曼海姆大学医学中心第一内科（心脏病学、止血学与重症监护）介入心脏病学与电生理学科）；University Medical Center of the Johannes Gutenberg-University Mainz（美因茨约翰内斯·古腾堡大学医学中心）；Department of Cardiology, Angiology, Hemostasis, and Medical Intensive Care, University Medical Centre Mannheim, Medical Faculty Mannheim, University of Heidelberg（海德堡大学曼海姆医学院曼海姆大学医学中心心脏病学、血管学、止血学与内科重症监护系）
本文提出CardioDiT，一种基于扩散变换器的4D潜在扩散模型，用于合成短轴 cine CMR，通过联合建模空间和时间实现连续心脏动态生成。
2026-03-26 cs.CV
Latent Video Transformer
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；New York University（纽约大学）
视频生成任务可以被公式化为给定一些过去帧的未来视频帧的预测。最近的视频生成模型面临着高计算要求的问题。某些模型需要多达512个张量处理单元进行并行训练。在这项工作中，我们解决这个问题，通过建模的动态在一个潜在的空间。在将帧转换为潜在空间之后，我们的模型以自回归的方式预测下一帧的潜在表示。我们展示了我们的方法在BAIR机器人推和动力学-600数据集上的性能。该方法倾向于将训练模型的要求减少到8个图形处理单元，同时保持相当的生成质量。
2020-06-18 cs.CV cs.LG eess.IV
Adaptive 1D Video Diffusion Autoencoder
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）；CUHK（香港中文大学）；Nanjing University（南京大学）
本文提出了一种自适应一维视频扩散自编码器，通过改进的编码和解码机制实现更高效的视频压缩与重建。
2026-02-04 cs.CV
LaTtE-Flow: Layerwise Timestep-Expert Flow-based Transformer
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Maryland（马里兰大学）；Nvidia（英伟达）；Salesforce AI Research（Salesforce AI研究）；Intuit AI Research（Intuit AI研究）
提出LaTtE-Flow，一种基于预训练视觉语言模型的高效统一架构，通过层间时间步专家流和条件残差注意力机制，实现图像理解与生成，生成速度提升约6倍。
2026-06-19 cs.CV
FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers
Pika Labs（皮卡实验室）；POSTECH（浦项科技大学）
研究针对实时视频生成中潜视频扩散模型解码慢、内存占用大的问题，提出FlashDecoder，一种基于Transformer的纯视频解码器，通过滚动KV缓存和顺序处理帧实现快速解码，在重建质量匹配卷积解码器的同时大幅提升速度并减少内存占用。
2026-07-17 cs.AI cs.CV
Accurate and Efficient World Modeling with Masked Latent Transformers
Computer Vision Lab, CAIDAS \& IFI, University of Würzburg, Germany
EMERALD通过高效掩码潜在变换器实现精准高效的世界建模，首次在1000万环境步骤内超越人类专家性能。
2026-02-03 cs.AI cs.CV cs.LG
Towards Photonic Band Diagram Generation with Transformer-Latent Diffusion Models
University of Namur, Faculty of Computer Science（努尔大学计算机科学学院）；NaDI a & NaXys b institutes（NaDI机构及NaXys机构）；University of Namur, Department of Physics（努尔大学物理系）；NaXys a & NISM b institutes（NaXys机构及NISM机构）；Cenaero（Cenaero机构）
针对光子能带图数值计算成本高的问题，提出首个结合Transformer编码器与潜扩散模型的能带图生成方法，可泛化至三维结构，为光子学代理建模提供新思路。
2025-10-02 cs.CV physics.optics
SlotDiT: Object-Centric Representations for Diffusion Transformers
University of Bonn（波恩大学）
SlotDiT提出以对象为中心的槽作为扩散Transformer的潜在表示，用于文本引导的机器人视频生成，在保持生成质量的同时提升任务完成率并降低计算成本。
2026-09-16 cs.CV cs.RO
Two-in-One: Unified Multi-Person Interactive Motion Generation by Latent Diffusion Transformer
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
提出一种基于潜在扩散Transformer的统一方法，在单一潜在空间内建模多人动作及其交互，通过VAE压缩和扩散过程提升生成质量与效率。
2024-12-21 cs.CV cs.GR
Latent Space Editing in Transformer-Based Flow Matching
University of Amsterdam（阿姆斯特丹大学）；LMU Munich（慕尼黑大学）；University of California, Merced（加利福尼亚大学默塞德分校）；Alibaba Group（阿里巴巴集团）
该研究针对基于Transformer骨干的流匹配模型隐空间编辑能力未知的问题，提出$u$-空间编辑空间、定制化自适应步长ODE采样方案及文本提示细粒度编辑方法，实现高效且保留原内容核心的图像编辑。
2023-12-17 cs.CV cs.LG
Diffusion Transformers with Representation Autoencoders
New York University（纽约大学）
本文提出用预训练表示编码器搭配训练好的解码器组成表示自编码器（RAE）替代VAE，解决了高维潜在空间扩散难题，在ImageNet上实现更快的收敛与更优的图像生成质量。
2025-10-13 cs.CV cs.LG
REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers
Australian National University（澳大利亚国立大学）；Data61 CSIRO（Data61澳大利亚联邦科学与工业研究组织）；New York University（纽约大学）
针对潜在扩散Transformer与VAE端到端训练效果差的问题，提出基于REPA损失的REPA-E训练方案，大幅提升训练速度，同时优化VAE性能，在ImageNet 256×256上刷新生成任务SOTA。
2025-10-22 cs.CV cs.LG
Scalable Diffusion Models with Transformers
UC Berkeley（加州大学伯克利分校）；New York University（纽约大学）
我们探索一类新的扩散模型的基础上的Transformer架构。我们训练图像的潜空间扩散模型，用一个在潜在补丁上运行的Transformer代替常用的U-Net主干。我们分析了我们的扩散Transformer（DiTs）的可扩展性，通过镜头的前向通过复杂性测量的Gflops。我们发现，具有更高Gflops的DiT-通过增加Transformer深度/宽度或增加输入令牌的数量-始终具有较低的FID。除了具有良好的可扩展性外，我们最大的DiT-XL/2模型在类条件ImageNet 512 x512和256 x256基准测试中的表现优于所有先前的扩散模型，后者达到了最先进的FID 2.27。
2023-03-02 cs.CV cs.LG
Sign Language Production with Latent Motion Transformer
Beihang University（北京航空航天大学）
提出一种基于潜在运动变换器的手语生成方法，通过改进的3D VQ-GAN和序列到序列注意力，无需人体姿态即可生成高质量手语视频，在WLASL和NMFs-CSL数据集上优于现有方法。
2023-12-20 cs.AI cs.CV
Panoptic Scene Program Diffusion Transformer
提出PSP-DiT，一种将全景场景程序作为潜在变量联合去噪的扩散Transformer，在多个基准上显著提升组合提示生成能力，尤其改善计数、属性绑定和角色敏感关系。
2026-09-29 cs.CV cs.LG
3D-LATTE: Latent Space 3D Editing from Textual Instructions
University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）；Google Zurich（谷歌瑞士总部）
3D-LATTE通过在潜在空间中直接操控3D几何，实现高质量的文本指令驱动3D编辑。
2025-12-12 cs.CV cs.GR
E-MD3C: Taming Masked Diffusion Transformers for Efficient Zero-Shot Object Customization
KAIST（韩国科学技术院）；School of Electrical Engineering（电气工程学院）
提出高效零样本目标图像定制框架E-MD3C，采用轻量级掩码扩散Transformer处理潜补丁，结合解耦条件设计与紧凑收集器，在VITON-HD数据集上指标更优且参数少、推理快、内存效率高。
2025-02-13 cs.CV cs.LG
WorldDynCache: Risk-Controlled Latent Dynamics Approximation for Diffusion World Model
本文提出WorldDynCache框架，通过风险估计器和提升隐式代理解决扩散世界模型推理慢的问题，在两个数据集上实现加速并取得最优生成质量。
2026-08-04 cs.CV cs.LG
MALT Diffusion: Memory-Augmented Latent Transformers for Any-Length Video Generation
KAIST（韩国科学技术院）；Google DeepMind（谷歌DeepMind）；Georgia Tech（佐治亚理工学院）；Luma AI；Google Research（谷歌研究）
提出MALT Diffusion，通过记忆增强潜在变换器和片段级自回归生成，实现长视频生成，在UCF-101上FVD达220.4，优于先前最优。
2025-07-08 cs.CV cs.LG
Scalable GANs with Transformers
KAIST（韩国科学技术院）
本文通过紧凑变分自编码器潜在空间和纯Transformer架构，研究了生成对抗网络的可扩展性，并提出了轻量级中间监督和宽度自适应学习率调整来解决缩放时的失败模式，在ImageNet-256上以40个epoch达到2.96的FID。
2026-06-05 cs.AI cs.CV cs.LG
LATTE: LAnguage Trajectory TransformEr
Technische Universität München（慕尼黑工业大学）；Microsoft（微软）
自然语言是表达人类意图的最直观的方式之一。然而，将指令和命令转换为机器人运动生成和部署在现实世界中远非一件容易的任务。传统上，将机器人固有的低级几何和运动力学约束与人类的高级语义指令相结合的挑战是使用特定于任务的解决方案来解决的，这些解决方案在硬件平台之间几乎没有通用性，通常使用静态的目标动作和命令集。这项工作提出了一个灵活的基于语言的框架，允许用户修改通用的机器人轨迹。我们的方法利用预先训练的语言模型（BERT和CLIP）直接从自由形式的文本输入和场景图像中编码用户的意图和目标对象，融合由Transformer编码器网络生成的几何特征，并最终使用Transformer解码器输出轨迹，而不需要与任务或机器人信息相关的先验知识。通过将轨迹参数化空间扩展到3D和速度，而不仅仅是XY运动，我们显着扩展了Bucker等人之前的工作。此外，我们现在训练模型使用场景中对象的实际图像作为上下文（而不是文本描述），并且我们在操纵之外的各种场景中评估系统，例如空中和足式机器人。我们的模拟和现实生活中的实验表明，我们的Transformer模型可以成功地遵循人类的意图，在多个环境中修改轨迹的形状和速度。代码库网址：https://github.com/arthurfenderbucker/LaTTe-Language-Trajectory-TransformEr.git
2022-09-16 cs.AI cs.CL cs.CV
LatentPrintFormer: A Hybrid CNN-Transformer with Spatial Attention for Latent Fingerprint identification
Ramakrishna Mission Vidyamandira（拉马克里希纳使命学院）；Indian Institute of Information Technology (IIIT)（印度信息与技术学院）；Norwegian University of Science and Technology (NTNU)（挪威科学与技术大学）
针对潜指纹识别的挑战，提出LatentPrintFormer混合模型，结合CNN与Transformer提取局部和全局特征，通过空间注意力优化特征，在闭集识别中实现更高Rank-10识别率，优于现有技术。
2025-11-11 cs.CV
Learning Generative Vision Transformer with Energy-Based Latent Space for Saliency Prediction
Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；The Australian National University（澳大利亚国立大学）
视觉Transformer网络在许多计算机视觉任务中显示出优越性。在本文中，我们进一步提出了一种新的生成视觉Transformer的潜变量以下的信息能量为基础的显着目标检测的先验。视觉Transformer网络和基于能量的先验模型通过基于马尔可夫链蒙特卡洛的最大似然估计进行联合训练，其中从潜在变量的难处理的后验和先验分布的采样由Langevin动力学执行。此外，利用生成式视觉Transformer，我们可以很容易地从图像中获得逐像素的不确定性图，这表明了从图像中预测显著性的模型置信度。与现有的生成模型不同，该模型将潜在变量的先验分布定义为简单的各向同性高斯分布，我们的模型使用基于能量的信息先验，可以更有表现力地捕获数据的潜在空间。我们提出的框架，RGB和RGB-D显着的目标检测任务。大量的实验结果表明，我们的框架不仅可以实现准确的显着性预测，而且有意义的不确定性地图，是符合人类的感知。
2021-12-27 cs.CV
POC-SLT: Partial Object Completion with SDF Latent Transformers
University of Tübingen（蒂宾根大学）
提出POC-SLT，利用SDF潜空间变换器对部分观测的三维形状进行补全，通过VAE编码和掩码自编码器在潜空间完成序列，在ShapeNet和ABC数据集上显著优于基线方法。
2024-11-08 cs.CV
One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers
Rice University（里士大学）；Snap Inc.（Snap公司）
ELIT通过引入弹性潜在接口，解耦输入图像大小与计算资源，优化生成质量与计算效率的平衡，实现多场景下的性能提升。
2026-03-12 cs.CV
DiffInk: Glyph- and Style-Aware Latent Diffusion Transformer for Text to Online Handwriting Generation
South China University of Technology（华南理工大学）
DiffInk通过结合字形和风格的潜在扩散变换器，实现了高效且准确的完整文本行手写生成。
2026-03-01 cs.CV
ZipIR: Latent Pyramid Diffusion Transformer for High-Resolution Image Restoration
University of Rochester（罗切斯特大学）；Adobe Research（奥多比研究院）
ZipIR通过32倍隐式压缩与隐式金字塔VAE子带结构，使扩散Transformer可高效处理高分辨率图像复原，在2K分辨率上兼顾速度与质量。
2025-04-11 cs.CV
GLDiTalker: Speech-Driven 3D Facial Animation with Graph Latent Diffusion Transformer
South China University of Technology（南方科技大学）；Beihang University（北航）；Huawei Cloud（华为云）；Nanjing University（南京大学）
GLDiTalker通过图潜在扩散变换器解决语音驱动3D面部动画中的模态不一致问题，提升唇形同步精度和运动多样性。
2025-12-05 cs.CV
Latent Dirichlet Transformer VAE for Hyperspectral Unmixing with Bundled Endmembers
Ontario Tech University（安大略技术大学）
本文提出LDVAE-T模型，通过结合变换器和狄利特雷先验，改进超光谱解混中成分估计和端成员提取的性能。
2025-11-21 cs.CV
Generative Transformer for Accurate and Reliable Salient Object Detection
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Nankai University（南开大学）
源自机器翻译的Transformer在建模远程依赖关系方面特别强大。目前，Transformer在各种视觉任务中取得了革命性的进展，与基于卷积神经网络（CNN）的框架相比，性能得到了显著的提高。在本文中，我们进行了广泛的研究，利用Transformers的贡献，准确和可靠的显着目标检测。对于前者，我们将Transformer应用于确定性模型，并解释了与基于CNN的框架相比，有效的结构建模和全局上下文建模能力导致其优越的性能。对于后者，我们观察到基于CNN和Transformer的框架都严重受到过度自信问题的影响，其中模型往往会生成具有高置信度的错误预测。为了评估基于CNN和基于transformer的框架的可靠性程度，我们进一步提出了一种基于生成对抗网络（GAN）的潜变量模型，即推理生成对抗网络（iGAN）。潜变量的随机属性使得预测不确定性的估计变得方便，可以作为辅助输出来评估模型预测的可靠性。与传统的GAN将潜变量的分布定义为固定的标准正态分布$\mathcal{N}(0,\mathbf{I})$不同，本文提出的iGAN通过基于梯度的马尔可夫链蒙特卡罗（MCMC）方法（Langevin dynamics）来推断潜变量，从而得到一个依赖于输入的潜变量模型.我们将我们提出的iGAN应用于完全和弱监督的显着对象检测，并解释了Transformer框架内的iGAN可以实现准确和可靠的显着…
2022-12-30 cs.CV
Disentangled Latent Transformer for Interpretable Monocular Height Estimation
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）
基于遥感影像的单目高程估计（MHE）在快速响应自然灾害的快速生成三维城市模型方面具有很大的潜力。大多数现有的作品追求更高的性能。然而，很少有研究探讨MHE网络的可解释性。在本文中，我们的目标是探索深度神经网络如何从单个单目图像预测高度。为了全面理解MHE网络，我们建议从多个层次来解释它们：1）神经元：单元级解剖。探索学习的内部深层表征的语义和高度选择性; 2）深度：对象级解释。研究不同语义类别、尺度和空间背景对身高估计的影响; 3）归因：像素级分析。了解哪些输入像素对于高度估计是重要的。基于多层次解译，提出了一种解纠缠的潜在Transformer网络，旨在为单目高度估计提供更紧凑、可靠和可解释的深度模型。此外，一个新的无监督语义分割任务的基础上高度估计首次在这项工作中介绍。此外，我们还构建了一个新的数据集联合语义分割和高度估计。我们的工作为理解和设计MHE模型提供了新的见解。
2022-02-02 cs.CV
A Universal Latent Fingerprint Enhancer Using Transformers
Michigan State University（密歇根州立大学）
本文提出 ULPrint，一种结合 UNet、MiT SegFormer-B5、空洞卷积与引导融合的两步潜在指纹增强方法，显著提升多个数据库上的闭集识别准确率。
2023-05-31 cs.CV
Flow and Depth Assisted Video Prediction with Latent Transformer
本文提出基于流和深度的视频预测方法，通过整合点流和深度信息提升遮挡场景下的预测性能和背景运动准确性。
2025-11-20 cs.CV
Fus3D: Decoding Consolidated 3D Geometry from Feed-forward Geometry Transformer Latents
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）；Inria, Université Côte d'Azur（法国国家信息与自动化研究所，蔚蓝海岸大学）；Google DeepMind（谷歌DeepMind）
本文提出一种前馈方法，在三秒内从无结构图像集合中回归密集的Signed Distance Field，无需相机校准或后期融合。通过学习体素嵌入提取几何变换器特征，实现结构化体素潜在网格，从而生成完整的SDF。
2026-03-26 cs.CV
Combined CNN Transformer Encoder for Enhanced Fine-grained Human Action Recognition
Nanyang Technological University（南洋理工大学）
细粒度动作识别是计算机视觉中一个具有挑战性的课题。由于细粒度数据集在空间和时间上的类间差异很小，因此细粒度动作识别模型需要良好的时态推理和属性动作语义的区分。利用CNN在捕获高级时空特征表示方面的能力和Transformer在捕获潜在语义和全局依赖关系方面的建模效率，我们研究了两个结合CNN视觉主干和Transformer Encoder以增强细粒度动作识别的框架：1）用于学习潜在时间语义的基于视觉的编码器，以及2）多模态视频-文本交叉编码器，以利用附加文本输入并学习视觉语义和文本语义之间的交叉关联。我们的实验结果表明，我们的Transformer编码器框架有效地学习潜在的时间语义和跨模态关联，与CNN视觉模型相比，具有更好的识别性能。我们在FineGym基准数据集上为这两种架构实现了新的最先进的性能。
2022-08-03 cs.CV
DiffMath: Symbol- and Graph-Aware Latent Diffusion Transformer for Handwritten Mathematical Expression Generation
South China University of Technology（华南理工大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出DiffMath框架，利用LaTeX层次结构作为先验，通过关系抽象语法树、结构保持潜在表示和条件去噪，无需位置监督即可生成结构一致的手写数学表达式。
2026-09-29 cs.CV
Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings
University College London（伦敦大学学院）；Harbin Institute of Technology（哈尔滨工业大学）
提出自监督掩码骨架序列建模方法，结合Transformer-CNN架构（SSTFormer）捕获幼体斑马鱼游动的时空关节相关性，有效提取行为潜在嵌入并提升相似行为区分度。
2024-03-23 cs.CV
VTAE: Variational Transformer Autoencoder with Manifolds Learning
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；University of Leicester（莱斯特大学）；The University of Sydney（悉尼大学）；Northwestern Polytechnical University（西北工业大学）
针对生成器非线性导致潜在空间投影不佳的问题，提出VTAE模型，通过在黎曼流形上最小化测地线并设计测地线插值网络，有效提升了表征学习及图像插值等视觉任务的性能。
2023-04-03 cs.CV
Spline-based Transformers
DisneyResearch|Studios（迪士尼研究工作室）；Disney Research（迪士尼研究中心）；ETH Zurich（苏黎世联邦理工学院）
提出 Spline-based Transformers，利用样条将输入序列嵌入为潜在空间平滑轨迹以取代位置编码，克服序列长度外推缺陷并支持通过控制点交互生成新序列，在多种数据集上性能优于传统方法。
2025-04-03 cs.CV cs.LG
Masked Latent Transformer with the Random Masking Ratio to Advance the Diagnosis of Dental Fluorosis
State Key Laboratory of Public Big Data, Guizhou University（贵州大学公共大数据国家重点实验室）；College of Computer Science and Technology, Guizhou University（贵州大学计算机科学与技术学院）
针对氟斑牙诊断的研究空白，构建首个开源数据集DFID，并提出深度学习模型MLTrMR，通过引入掩码潜在建模方案与辅助损失函数增强病变特征学习，在DFID上达到SOTA。
2024-04-21 cs.AI cs.CV
MRT: Learning Compact Representations with Mixed RWKV-Transformer for Extreme Image Compression
针对现有极端图像压缩方法二维潜空间冗余度高的问题，本文提出混合RWKV-Transformer架构MRT及配套RCM模块，学习一维紧凑潜表示，在低码率下重建质量显著优于现有最优方法。
2025-11-14 cs.CV
PartCrafter: Structured 3D Mesh Generation via Compositional Latent Diffusion Transformers
Peking University（北京大学）；ByteDance（字节跳动）；Carnegie Mellon University（卡内基梅隆大学）
PartCrafter提出首个从单张RGB图像端到端生成多部件结构化3D网格的组合式潜在扩散Transformer模型，通过解耦潜在token和层次化注意力实现部件级生成，无需预分割输入，并在可分解3D网格生成任务上优于现有方法。
2025-06-05 cs.CV
Anatomical Token Uncertainty for Transformer-Guided Active MRI Acquisition
Tel Aviv University（特拉维夫大学）；University of Cambridge（剑桥大学）
本文提出了一种利用预训练医学图像标记器和潜在变换器的主动采样框架，通过量化视觉标记字典表示解剖结构，利用潜在空间的概率分布进行不确定性测量，指导主动采样过程。
2026-03-29 cs.CV
Training-free Mixed-Resolution Latent Upsampling for Spatially Accelerated Diffusion Transformers
Dept. of Electrical and Computer Engineering（电气与计算机工程系）；INMC & IPAI（INMC与IPAI）；Seoul National University（首尔国立大学）
本文提出无需训练的混合分辨率潜在上采样方法RALU，通过优化空间加速实现DiTs的高效生成，可在不同模型上实现高达15.9倍的加速。
2026-02-25 cs.CV eess.IV
ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation
Sharif University of Technology（谢里夫理工大学）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
ULTra通过自监督学习提升无监督语义分割性能，并揭示变换器中潜在令牌的语义模式。
2026-01-05 cs.AI cs.CV cs.LG
MorphGANFormer: Transformer-based Face Morphing and De-Morphing
近年来，语义人脸图像处理受到越来越多的关注。基于StyleGAN的人脸变形方法是领先的技术之一;然而，由于潜在特征空间中的统一注意力，它们经常会出现明显的模糊和伪影。在本文中，我们提出开发一种基于transformer的人脸变形替代方案，并证明其优于基于StyleGAN的方法。我们的贡献是三方面的。首先，受GANformer的启发，我们引入了一个二分结构来利用人脸图像中的长距离交互，将信息从潜在变量迭代传播到显著的面部特征。设计了特殊的损失函数来支持人脸变形的优化。其次，我们扩展了基于变换器的人脸变形的研究，提出了一种有效的防御策略，使用相同的MorphGANFormer生成器访问参考图像。这种去变形在概念上类似于高光谱图像的解混，但在潜在（而不是像素）空间中操作。第三，第一次，我们解决了一个基本的问题，可检测性权衡人脸变形研究。有人认为，无论是doppelganger norrandom对选择是最佳的，和拉格朗日乘子为基础的方法，应用来实现识别脆弱性和攻击可检测性之间的改进的权衡。
2023-02-18 cs.CV
Multi-Scale Implicit Transformer with Re-parameterize for Arbitrary-Scale Super-Resolution
Anhui University（安徽大学）
针对隐式神经表示难以适配不同放大因子的问题，提出由 MSNO 与 MSSA 构成的 MSIT，并结合 RIM 和累积训练策略，在 ASSR 任务上达到最先进性能。
2024-03-11 cs.CV
hZACH-ViT: Curved Latent Geometry for Compact Vision Transformers in Low-Data Medical Imaging
BioML Lab, Research Institute CODE, UniBw, Munich, Germany（BioML实验室，CODE研究机构，UniBw，慕尼黑，德国）；Department of Epidemiology and Data Science, Amsterdam UMC, Amsterdam, Netherlands（流行病学与数据科学系，阿姆斯特丹大学医学中心，阿姆斯特丹，荷兰）
提出hZACH-ViT，通过扩展ZACH-ViT的潜在空间为双曲或球形几何，在低数据医学成像中提升紧凑视觉Transformer的性能，并在MedMNIST数据集上平均提升+0.021。
2026-05-30 cs.CV
