TinyFusion: Diffusion Transformers Learned Shallow
National University of Singapore(新加坡国立大学)
本文提出 TinyFusion 可学习深度剪枝框架,通过可微采样与模拟微调的协同优化参数,高效获得浅层扩散 Transformer,并在多种架构上以低成本实现优异生成性能。
2024-12-02 cs.AI cs.CV cs.LG
Exploring Transformer Backbones for Image Diffusion Models
George Brown College(乔治布朗学院)
提出了一种基于端到端Transformer的潜空间扩散模型的图像合成方法。在ImageNet类条件生成任务中,我们证明了基于Transformer的潜空间扩散模型达到了14.1FID,与基于UNet的架构的13.1FID得分相当。除了展示Transformer模型在基于扩散的图像合成中的应用之外,这种架构上的简化允许文本和图像数据的容易融合和建模。Transformers的多头注意力机制使得图像和文本特征之间的交互简化,从而消除了基于UNet的扩散模型中对交叉注意机制的要求。
2022-12-27 cs.CV
DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing
HSE University(高等经济学院);FusionBrain Lab(FusionBrain实验室)
本文扩展了基于转码器的电路追踪方法到多模态扩散Transformer,通过训练时间步条件转码器近似MLP子层,实现精确的特征级归因并恢复可解释电路,揭示了属性绑定和跨流语义传播机制。
2026-10-28 cs.AI cs.CV
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
Johns Hopkins University(约翰霍普金斯大学)
研究利用表示编码器进行生成建模时标准扩散变压器收敛失败的问题,指出根本原因是几何干扰,提出黎曼流匹配与雅可比正则化方法,使标准扩散变压器无需宽度缩放就能收敛。
2026-07-07 cs.CV cs.LG
TerDiT: Ternary Diffusion Models with Transformers
针对大规模扩散Transformer模型部署成本高的问题,提出首个极低位量化感知训练与高效部署方案TerDiT,实现600M至4.2B规模模型的三值化,在保持图像生成竞争力的同时证明了从头训练极低位DiT模型的可行性。
2025-04-06 cs.CV cs.LG
Making Time Editable in Video Diffusion Transformers
Kandinsky Lab(坎迪斯基实验室)
提出一种时间控制方法,通过轻量级时间模块扩展预训练DiT,实现运动速度和时序结构的编辑,无需重新设计骨干网络。
2026-06-08 cs.AI cs.CV cs.MM
Remix-DiT: Mixing Diffusion Transformers for Multi-Expert Denoising
National University of Singapore(新加坡国立大学)
针对大型扩散Transformer训练推理成本高的问题,提出Remix-DiT方法,通过少量基模型加可学习混合系数构建多时间步去噪专家,在ImageNet上以相当的效率实现了更优的生成质量。
2024-12-07 cs.AI cs.CV
DiffSpeaker: Speech-Driven 3D Facial Animation with Diffusion Transformer
The Hong Kong Polytechnic University(香港理工大学);Center for Artificial Intelligence and Robotics, HKISI CAS(香港中文大学(深圳)人工智能与机器人中心(香港中文大学(深圳)与中国科学院深圳先进技术研究院共建));State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);OPPO Research(OPPO研究院);SenseTime Research(商汤科技研究院)
DiffSpeaker提出有偏条件注意力模块的Transformer网络,解决语音驱动3D面部动画中数据不足问题,实现高精度唇形同步与快速推理。
2024-02-08 cs.AI cs.CV
Panoptic Scene Program Diffusion Transformer
提出PSP-DiT,一种将全景场景程序作为潜在变量联合去噪的扩散Transformer,在多个基准上显著提升组合提示生成能力,尤其改善计数、属性绑定和角色敏感关系。
2026-11-09 cs.CV cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University(纽约大学)
本文提出SiT生成模型,基于DiT骨干网络,利用灵活的插值框架模块化研究动态传输生成模型的设计选择,在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
Dolfin: Diffusion Layout Transformers without Autoencoder
University of California, San Diego(加利福尼亚大学圣迭戈分校);Tsinghua University(清华大学)
本文提出新型生成模型Dolfin,采用基于Transformer的扩散过程建模布局生成,并提出Dolfin-AR捕捉相邻对象语义相关性,在多项指标上显著提升性能且适用于建模几何结构。
2023-10-25 cs.CV cs.LG
E-MD3C: Taming Masked Diffusion Transformers for Efficient Zero-Shot Object Customization
KAIST(韩国科学技术院);School of Electrical Engineering(电气工程学院)
提出高效零样本目标图像定制框架E-MD3C,采用轻量级掩码扩散Transformer处理潜补丁,结合解耦条件设计与紧凑收集器,在VITON-HD数据集上指标更优且参数少、推理快、内存效率高。
2025-02-13 cs.CV cs.LG
AdaCorrection: Adaptive Offset Cache Correction for Accurate Diffusion Transformers
Columbia University(哥伦比亚大学)
本文提出AdaCorrection框架,通过自适应偏移缓存校正提升扩散变换器的生成质量与缓存复用效率,减少计算开销并保持高保真度。
2026-08-06 cs.AI cs.CV
EDT: An Efficient Diffusion Transformer Framework Inspired by Human-like Sketching
Midea Group(美的集团);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心)
针对基于Transformer的扩散概率模型计算量大的问题,研究提出受类人素描启发的EDT框架,结合轻量化架构、免训练注意力调制矩阵及专属掩码训练策略,实现了训练与推理的显著加速及更优的图像合成性能。
2024-10-31 cs.AI cs.CV
EDiT: Efficient Diffusion Transformers with Linear Compressed Attention
Samsung, AI Center Cambridge(三星人工智能中心剑桥)
本文提出高效扩散Transformer(EDiT)及多模态MM-EDiT架构,通过引入线性压缩注意力与混合注意力方案,在保持图像质量的同时实现高达2.2倍的加速。
2025-08-11 cs.CV cs.LG
SpotEdit: Selective Region Editing in Diffusion Transformers
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
SpotEdit提出了一种无需训练的差分编辑框架,通过选择性更新修改区域,实现高效且精确的图像编辑。
2025-12-26 cs.AI cs.CV
Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers
Kim Jaechul Graduate School of AI, KAIST, Daejeon, South Korea(韩国科学技术院金载哲人工智能研究生院,大田,韩国);School of Computing, KAIST, Daejeon, South Korea(韩国科学技术院计算学院,大田,韩国)
针对固定压缩比限制扩散模型质量-计算权衡的问题,提出基于可学习全局合并的可变长度分词器,通过合并令牌实现跨长度表示对齐,在ImageNet 256×256生成中实现更优的gFID-计算权衡。
2026-06-19 cs.AI cs.CV
TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
本文提出TIDE框架,通过时间感知稀疏自编码器提取Diffusion Transformers跨时间步的稀疏可解释特征,揭示其分层语义学习能力,在保持生成质量的同时增强了可解释性与可控性,支持安全图像编辑等应用。
2025-08-12 cs.AI cs.CV cs.MM
Generative Pre-trained Autoregressive Diffusion Transformer
University of Science and Technology of China(中国科学技术大学);StepFun, China(StepFun)
本文提出GPDiT,一种在连续潜在空间内结合扩散与自回归的生成式预训练Transformer,通过扩散损失预测未来帧,实现高质量长程视频合成,并提升表示与少样本学习能力。
2025-10-08 cs.AI cs.CV
Diffusion Transformers with Representation Autoencoders
New York University(纽约大学)
本文提出用预训练表示编码器搭配训练好的解码器组成表示自编码器(RAE)替代VAE,解决了高维潜在空间扩散难题,在ImageNet上实现更快的收敛与更优的图像生成质量。
2025-10-13 cs.CV cs.LG
MonoFormer: One Transformer for Both Diffusion and Autoregression
Baidu VIS(百度VIS);University of Technology Sydney(悉尼科技大学)
提出MonoFormer,通过共享一个Transformer同时处理自回归和扩散任务,在保持文本生成能力的同时实现与当前最先进方法相当的图像生成性能。
2024-09-24 cs.CV
Diffscaler: Enhancing the Generative Prowess of Diffusion Transformers
Johns Hopkins University(约翰斯·霍普金斯大学);Stanford University(斯坦福大学)
针对扩散Transformer跨数据集生成能力拓展不足的问题,提出高效缩放策略DiffScaler,通过训练少量任务特定参数实现单模型多任务适配,性能接近全量微调且优于CNN类扩散模型。
2024-04-15 cs.CV
FORA: Fast-Forward Caching in Diffusion Transformer Acceleration
UMass Amherst(马萨诸塞大学阿默斯特分校);Microsoft(微软公司)
FORA提出一种无需重训练的快进缓存机制,通过跨去噪步骤重用注意力层和MLP层中间输出,在几乎不影响IS Score和FID的情况下将扩散Transformer加速数倍,显著提升实时部署可行性。
2024-07-01 cs.CV
LayoutDM: Transformer-based Diffusion Model for Layout Generation
University of Science and Technology of China(中国科学技术大学);Tianjin University(天津大学)
针对现有布局生成模型质量与多样性不足的问题,本文提出基于Transformer的布局扩散模型LayoutDM,通过纯Transformer架构的条件布局去噪器学习反向扩散过程,在质量和多样性上均优于当前最优生成模型。
2023-05-04 cs.CV
VolDiT: Controllable Volumetric Medical Image Synthesis with Diffusion Transformers
Institute for Artificial Intelligence in Cardiovascular Medicine, Medical Faculty of Heidelberg University, Heidelberg University(海德堡大学医学院心血管医学人工智能研究所);Department of Cardiology, Angiology, Pneumology, Heidelberg University Hospital(海德堡大学医院心脏病学、血管学、肺病学系);DZHK (German Centre for Cardiovascular Research), Partner Site Heidelberg/Mannheim(德国心血管研究中心(DZHK)海德堡/曼海姆合作站点);University Medical Center of the Johannes Gutenberg-University Mainz(美因茨约翰内斯·古腾堡大学医学中心)
本文提出VolDiT,首个纯变压器架构的3D扩散模型,通过体积块嵌入和全局自注意力实现3D数据处理,引入时间步门控控制适配器提升生成可控性,实验证明其在医学图像合成中具有更高的全局一致性与生成保真度。
2026-03-26 cs.CV
RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers
RelaCtrl通过相关性引导的方法优化扩散变换器的控制信号整合,减少参数和计算开销,提升生成效率。
2026-02-26 cs.CV
MDT-A2G: Exploring Masked Diffusion Transformers for Co-Speech Gesture Generation
Fudan University(复旦大学);Tencent Youtu Lab(腾讯优图实验室);Zhejiang University(浙江大学);Vivo Communication Technology Co. Ltd(维沃移动通信有限公司)
本文提出MDT-A2G,一种用于协同语音手势生成的掩码扩散Transformer,通过掩码建模强化手势序列时间关系,并融合音频、文本、情感和身份等多模态信息,同时利用高效推理策略实现显著加速,在保证生成质量的同时将学习和推理速度分别提升6倍和5.7倍以上。
2024-08-06 cs.CV
MPDiT: Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model
Rutgers University(罗格斯大学)
MPDiT通过多块变换器架构在扩散和流匹配模型中实现高效计算,减少50%的GFLOPs消耗同时保持生成性能,改进时间与类别嵌入设计加速训练收敛。
2026-04-04 cs.CV
DiT4Edit: Diffusion Transformer for Image Editing
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出首个基于扩散Transformer的图像编辑框架DiT4Edit,利用DPM-Solver反演和统一注意力控制,实现高分辨率图像中更高质量、更快速的形状感知编辑。
2024-11-07 cs.CV
DuSPiT: Dual-Branch Sub-Patch Pixel Diffusion Transformer
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Reve(瑞夫)
研究针对像素空间扩散中单一表示兼顾全局与细节的问题,提出双分支子补丁像素扩散变换器DuSPiT。通过分离全局与局部处理,利用两分支交互,实现更丰富细节和更好质量效率权衡,优于此前的像素空间扩散变换器。
2026-07-22 cs.CV
Dimba: Transformer-Mamba Diffusion Models
Kunlun Inc.(昆仑公司)
本文提出Dimba,一种结合Transformer和Mamba层的混合架构文本到图像扩散模型,通过交替堆叠和交叉注意力整合条件信息,在图像质量、艺术渲染和语义控制上与基准相当,同时显著提升吞吐量并降低内存占用。
2024-06-03 cs.CV
DanceFusion: A Spatio-Temporal Skeleton Diffusion Transformer for Audio-Driven Dance Motion Reconstruction
Tsinghua University(清华大学)
DanceFusion提出一种时空骨架扩散Transformer框架,结合层级VAE与扩散模型,处理短视频中不完整噪声骨架数据,实现与音乐同步的高保真舞蹈动作重建与生成,性能超越现有方法。
2024-11-07 cs.CV
DiTPainter: Efficient Video Inpainting with Diffusion Transformers
ByteDance(字节跳动)
针对现有视频修复算法易模糊不一致、预训练DiT模型参数量大耗时久的问题,提出从头训练的高效DiT端到端视频修复模型DiTPainter,可处理任意长度视频,在质量和时空一致性上优于现有算法。
2025-05-19 cs.CV
Exploring Vision Transformers as Diffusion Learners
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));The Hong Kong University of Science and Technology(香港科技大学)
基于分数的扩散模型已经引起了广泛的关注,并资助了最近的视觉生成任务的快速进展。本文主要研究了以前被忽视的扩散模型主干。我们系统地探讨了视觉Transformer作为扩散学习器的各种生成任务。通过我们的改进,基于vanilla ViT的骨干网(IU-ViT)的性能被提升到与传统的基于U-Net的方法相当。我们进一步提供了一个假设的含义解开生成骨干作为编码器-解码器结构,并显示验证的概念验证实验的有效性,一个更强大的编码器生成任务与AsymmetriC编码器解码器(ASCEND)。我们的改进在CIFAR-10、CelebA、LSUN、CUB Bird和大分辨率文本到图像任务上取得了有竞争力的结果。据我们所知,我们是第一个成功地训练一个单一的扩散模型的文本到图像的任务超过64 x64分辨率。我们希望这将激励人们重新思考基于扩散的生成模型的建模选择和训练管道。
2022-12-28 cs.CV
Dynamic Diffusion Transformer
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Tsinghua University(清华大学)
针对扩散Transformer(DiT)静态推理带来的高计算成本问题,提出动态扩散Transformer(DyDiT),通过时间步动态宽度和空间动态令牌策略降本提效,在ImageNet上以极少微调实现FLOPs减半、速度提升且FID表现优异。
2024-10-09 cs.CV
GenTron: Diffusion Transformers for Image and Video Generation
The University of Hong Kong(香港大学);Meta
本文提出基于Transformer扩散的生成模型家族GenTron,将其从类条件扩展至文本条件,并扩展至文本到视频生成,引入无运动引导提升质量,在人工评估及基准测试中表现优异。
2024-06-02 cs.CV
Causal Diffusion Transformers for Generative Modeling
ByteDance Research(字节跳动研究院)
本文提出因果扩散框架及CausalFusion模型,通过序列与噪声双重分解,在ImageNet生成上达到最优,支持多模态与零样本上下文操作。
2024-12-17 cs.CV
Mechanistic Interpretability of Diffusion Models: Circuit-Level Analysis and Causal Validation
Computer Science and Engineering, Indian Institute of Technology, Patna, India(计算机科学与工程,印度理工学院,帕坦,印度)
研究通过系统干预实验揭示扩散模型在合成与自然数据处理中的算法差异,发现真实人脸处理需更高计算复杂度的电路,识别出八种功能不同的注意力机制。
2026-03-17 cs.CV
DiffSurf: A Transformer-based Diffusion Model for Generating and Reconstructing 3D Surfaces in Pose
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
本文提出基于Transformer的去噪扩散模型DiffSurf,通过预测含噪3D表面顶点与法线来生成和重建多姿态3D表面,并能处理变形、体型变化及2D关键点拟合等下游任务,在3D人体基准上实现了更优的生成质量与近实时恢复精度。
2024-08-27 cs.CV
Switch Diffusion Transformer: Synergizing Denoising Tasks with Sparse Mixture-of-Experts
KAIST(韩国科学技术院);Twelve Labs
针对现有扩散模型多任务架构的缺陷,提出Switch-DiT,通过稀疏混合专家与扩散先验损失协同不同噪声水平的去噪任务,提升了图像生成质量与收敛速度。
2024-07-10 cs.CV
fMRI-Diffusion: Generating fMRI Time Series Via a Temporal Transformer Diffusion Model for Major Depressive Disorder Diagnosis
School of Information and Communication Technology, Griffith University(信息与通信技术学院,格里菲斯大学)
提出fMRI-Diffusion框架,通过时间Transformer扩散模型合成ROI级fMRI时间序列而非功能连接矩阵,以保留时间信息并提升小样本下MDD诊断准确率。
2026-05-22 cs.CV
An Analysis on Quantizing Diffusion Transformers
Meta GenAI
本文首次针对仅Transformer结构的扩散模型提出无需优化的高效训练后量化方法,通过单步采样校准激活和分组权重量化实现低位量化,并在条件图像生成实验中验证其有效性。
2024-06-16 cs.CV
ViFeEdit: A Video-Free Tuner of Your Video Diffusion Transformer
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
本文提出ViFeEdit框架,通过2D图像实现视频生成与编辑,无需视频训练数据,采用架构重参数化解耦空间独立性与全3D注意力,实现高质量视频编辑与生成。
2026-03-16 cs.CV
PixelDiT2: Representation-Grounded Pixel Diffusion Transformers
NVIDIA(英伟达);University of Rochester(罗切斯特大学)
PixelDiT2通过冻结的视觉基础模型提供显式逐块表示指导,解耦表示学习与像素生成,在ImageNet上以更少周期达到更优FID。
2026-10-01 cs.CV
Diffusion Transformer-to-Mamba Distillation for High-Resolution Image Generation
University of Rochester(罗切斯特大学);Adobe Research(Adobe研究)
本文提出扩散Transformer到Mamba蒸馏(T2MD),通过混合模型和知识蒸馏,实现从DiT到Mamba的高效训练,支持高分辨率图像生成,验证了因果Mamba用于非因果视觉任务的可行性。
2025-06-23 cs.CV
VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Snap Inc.(斯纳普公司);SFU(西蒙菲莎大学)
针对现有基于Transformer的视频扩散模型缺乏相机控制能力的问题,提出融入基于Plücker坐标时空相机嵌入的类ControlNet条件机制,首次实现该类模型的3D相机控制,在RealEstate10K数据集上取得SOTA性能。
2025-03-22 cs.CV
CircuitProbe: Predicting Reasoning Circuits in Transformers via Stability Zone Detection
Independent Researcher(独立研究员)
CircuitProbe通过激活统计预测Transformer中的推理电路,利用稳定性区和幅度区检测,提升推理效率,验证了其在多种模型上的有效性。
2026-04-01 cs.AI cs.LG
Inference-Path Optimization via Circuit Duplication in Frozen Visual Transformers for Marine Species Classification
本文通过在冻结视觉变换器中应用电路复制方法,提升海洋物种分类的推理性能,无需微调模型权重,在类不平衡数据集上实现宏F1值提升。
2026-04-03 cs.AI cs.CV cs.LG
Transformer Circuits Can Realize Clustering Algorithms
IBM Research(IBM研究院);MIT(麻省理工学院)
研究表明Transformer电路可实现Lloyd算法等精确聚类算法,提出的k均值Transformer聚类算法泛化性强且质量优于Lloyd算法,改动后可衍生多种新型聚类算法。
2026-08-11 cs.AI cs.LG
Uncovering Graph Reasoning in Decoder-only Transformers with Circuit Tracing
Michigan State University(密歇根州立大学);Northeastern University(东北大学);Florida International University(佛罗里达国际大学)
本研究利用电路追踪框架,以统一视角揭示仅解码器Transformer在图推理中的内部机制,识别出令牌合并与结构记忆两大核心机制,并量化了图密度和模型规模的影响,为结构推理提供了统一解释框架。
2025-09-24 cs.AI cs.LG
Explaining the Explainer: Understanding the Inner Workings of Transformer-based Symbolic Regression Models
University of Amsterdam(阿姆斯特丹大学)
本文提出PATCHES算法用于发现符号回归模型中的电路,通过因果评估验证了其有效性,并展示了机理可解释性在SR中的应用潜力。
2026-02-03 cs.AI cs.LG
Circuits, Features, and Heuristics in Molecular Transformers
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文通过分析分子变换器的计算结构,揭示了其在生成化学结构中的机制,通过特征提取和下游任务验证,展示了机理洞察对预测性能的提升。
2025-12-10 cs.AI cs.LG
Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers
Rice University(里士大学);University of Central Florida(中央佛罗里达大学)
本文分析了层次化先决条件传播的电路复杂性,揭示了变换器在深层概念层次上的计算能力,通过证明递归多数掌握传播属于NC^1,并探讨了单调性限制下的深度层次结构,以及经验结果表明变换器在递归多数树上收敛于排列不变的捷径。
2026-03-25 cs.AI cs.LG
Inside the Visual Mind: Neuroscience-Motivated Concept Circuits for Interpreting and Steering Vision Transformers
University of Science and Technology of China(中国科学技术大学)
提出ViSAE工具箱,通过神经科学启发的概念电路解释视觉变换器内部机制,包含高效概念集、自动电路追踪算法和概念编辑应用,在WaterBirds上最差组准确率提升48.2%。
2026-06-04 cs.AI cs.CV cs.LG