Less is Enough: Training-Free Video Diffusion Acceleration via Runtime-Adaptive Caching
Huazhong University of Science and Technology(华中科技大学);MEGVII Technology(美科七科技);University of Hong Kong(香港大学)
本文提出免训练视频扩散加速框架EasyCache,通过运行时自适应缓存重用变换向量,在OpenSora、Wan2.1和HunyuanVideo上实现最高2.1-3.3倍加速,并较先前SOTA方法提升最高36% PSNR。
2025-07-03 cs.CV
SAGA: Stable Acceleration Guidance for Autoregressive Video Generation
University of Science, VNU-HCM(越南胡志明市国家大学);Vietnam National University(越南国家大学);University of Dayton(Dayton 大学)
研究自回归视频生成中因重复使用潜在变量致时间误差问题,提出SAGA方法,它整合加速域频谱引导目标与初始化策略,无需训练可直接用于现有模型,能提升时间质量、减少时间不稳定性并保持视觉保真度。
2026-10-02 cs.CV
Astraea: A Token-wise Acceleration Framework for Video Diffusion Transformers
Shanghai Jiao Tong University(上海交通大学);Shanghai Qizhi Institute(上海启智研究院);Huawei Technologies Co.,Ltd(华为技术有限公司)
Astraea提出令牌选择与稀疏注意力机制,结合进化算法搜索最优配置,在单GPU上实现2.4倍、8 GPU上13.2倍的推理加速,同时保持视频质量。
2025-09-26 cs.CV
Higher Order of Motion Magnification for Vessel Localisation in Surgical Video
Wellcome / EPSRC Centre for Interventional and Surgical Sciences, University College London(伦敦大学学院Wellcome / EPSRC介入与外科科学中心);University College London(伦敦大学学院)
在手术过程中定位血管对于避免意外损伤至关重要,但脉管系统可能难以识别。视频运动放大可以通过放大视频中嵌入的细微运动来突出显示血管,从而使外科医生能够感知。在本文中,我们探讨了动脉扩张的生理模型,以扩展运动放大,以纳入更高的运动阶数,利用脉动运动中的加速度随时间的差异(加加速度)来突出血管脉搏波。我们的方法相比,第一和第二阶运动的欧拉视频放大算法。使用从手术视频检索在机器人切除术的数据,我们表明,我们的方法可以强调心脏生理功能,并产生一个更简洁,更清晰的视频运动放大,在没有运动的区域更相似的源视频在大放大倍数。我们验证的方法与结构相似性(SSIM)和峰值信噪比(PSNR)评估的三个视频在增加工作距离,使用三个不同级别的光学放大。时空横截面显示我们的建议和视频样本提供定性证明我们的结果的有效性。
2018-06-13 cs.CV
PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache
Institute of Artificial Intelligence, University of Central Florida(人工智能学院,中央佛罗里达大学)
PackCache通过动态压缩KV缓存提升统一自回归视频生成效率,显著加速长序列生成。
2026-01-07 cs.CV
RhymeFlow: Training-Free Acceleration for Video Generation with Asynchronous Denoising Flow Scheduling
Tsinghua University(清华大学);GigaAI(极佳科技)
针对DiT视频生成模型推理慢的问题,提出无训练框架RhymeFlow,通过识别关键帧并仅对其密集去噪,非关键帧逐步跳过步骤,同时引入潜在轨迹投影模块保持时序一致性,实现加速并提升质量。
2026-06-04 cs.CV
UnStep: Training-Free Acceleration of Causal Video Diffusion with Fewer Steps Than Distillation
提出无需训练的UnStep包装器,通过减少DiT步数、限制KV缓存窗口及截断SVD等推理机制,显著加速因果视频扩散,在H100和GB200上分别达到50和77 FPS且无质量损失。
2026-11-20 cs.CV
Multi-point Vibration Measurement for Mode Identification of Bridge Structures using Video-based Motion Magnification
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
基于图像的振动模态识别在土木和建筑界得到了越来越多的关注。近年来发展了一种基于视频的运动放大方法来测量和可视化微小结构的运动。这种新的方法提出了一种低成本的振动测量和模态识别的潜力。报告了使用这种方法对简单刚体结构进行的试点研究。其有效性复杂的室外结构还没有调查。目的是研究基于视频的运动放大方法在复杂钢桥模态频率测量和振型可视化中的应用能力。介绍了一种新的方法,提高了当前的运动放大的性能,有效的结构模态分析。在室内和室外环境中对该方法进行了测试以进行验证。研究结果表明,运动放大法可以作为复杂桥梁结构模态分析的有效工具。利用该方法,可以同时测量多个结构的模态频率,并自动显示每个结构的振型。
2017-12-18 cs.CV
Efficient Audio-Visual Generation via Synchrony-Aware Cross-Modal Sparse Attention
Alibaba Group(阿里巴巴集团);Alibaba Cloud Computing(阿里巴巴云计算);Shanghai Jiao Tong University(上海交通大学)
本文提出同步感知加速框架,通过受保护的稀疏注意力策略在保留视听生成质量与同步性的同时提升推理效率。
2026-08-18 cs.CV
Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation
NVIDIA Research, Efficient AI Team & Singapore Lab(英伟达研究院高效AI团队及新加坡实验室);NVIDIA SANA Team(英伟达SANA团队);Codex;GPT-Image2
提出Sol视频推理引擎,通过智能体驱动的缓存、稀疏注意力、令牌剪枝、量化和内核融合五种技术组合,针对具体模型、硬件和配置自动优化,实现视频扩散模型2倍以上加速且保持质量。
2026-06-25 cs.AI cs.CV cs.LG
VORTA: Efficient Video Diffusion via Routing Sparse Attention
College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
针对视频扩散Transformer长程注意力计算成本高的问题,提出加速框架VORTA,通过稀疏注意力机制和自适应路由策略替换全3D注意力,实现1.76倍端到端加速且无质量损失,并可与其他方法结合达到14.41倍加速。
2025-10-12 cs.CV
Sparse Attention for Video Generation Acceleration via Growing Sparsity and Reduced Search
South China University of Technology(华南理工大学)
本研究针对扩散Transformer视频生成推理成本高的问题,提出无需训练的GSRS框架,通过随去噪增长的稀疏率与复用早期搜索结果缩减开销,在HunyuanVideo等数据集上实现1.55×-2.21×加速且保持生成质量。
2026-10-16 cs.CV
AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data
Avolution AI;SenseTime Research(商汤科技研究院)
本文提出AnimateLCM方法,通过双层解耦学习策略,在无需个性化视频数据的情况下,将视频扩散模型的生成时间从25秒降至约1秒,同时保持性能并提升训练效率。
2024-10-16 cs.CV cs.LG
LightCache: Memory-Efficient, Training-Free Acceleration for Video Generation
University of Tulsa(塔尔萨大学);Clemson University(克莱姆斯大学);The University of Arizona(亚利桑那大学);Northeastern University(东北大学);Microsoft Research(微软研究院)
针对视频生成中缓存加速导致的内存激增问题,提出分阶段策略(异步缓存交换、特征分块、切片解码),实现更快推理和更低内存,质量损失可控。
2025-10-06 cs.CV cs.LG
Light Interaction: Training-Free Inference Acceleration for Interactive Video World Models
Zhejiang University(浙江大学);NVIDIA
针对交互式视频世界模型推理成本高的问题,提出免训练加速框架Light Interaction,通过自适应上下文管理、去噪缓存加速和3D块稀疏注意力实现最高2.59倍加速。
2026-06-19 cs.CV cs.LG
Can We See Photosynthesis? Magnifying the Tiny Color Changes of Plant Green Leaves Using Eulerian Video Magnification
Assiut University(艾斯尤特大学);York University(约克大学);University of London(伦敦大学);San Francisco State University(旧金山州立大学)
植物的生命力是通过实验室实验和特殊的科学仪器来证明的。在本文中,我们的目的是检测程度的动画的植物的基础上,使用欧拉视频放大率的植物的绿叶中的小的颜色变化的放大。在受控环境下捕获视频,例如,使用三脚架和直流(DC)光源,减少相机移动并最大限度地减少光线波动;我们的目标是尽可能减少外部因素。然后稳定所获取的视频,并使用所提出的算法来减少照明变化。最后,利用欧拉放大来放大光不变视频上的颜色变化。所提出的系统不需要任何专用仪器,因为它使用具有规则帧速率的数码相机。对自然叶片和塑料叶片的放大颜色变化的结果表明,与塑料叶片相比,活绿叶具有颜色变化。因此,我们可以认为,叶子的颜色变化是由于生物操作,如光合作用。到目前为止,这可能是第一个专注于视觉解释的工作,没有任何特殊用途的仪器的植物的一些生物操作。
2017-08-29 cs.CV
Self-Supervised Motion Magnification by Backpropagating Through Optical Flow
University of Michigan(密歇根大学)
本文提出一种自监督视频运动放大方法,通过光流反向传播训练模型,无需合成放大数据集,并支持测试时自适应和用户选定对象的运动放大。
2023-11-28 cs.CV
Memory-Efficient Training-Free Acceleration of Diffusion Transformers with BaryCache
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院)
本研究提出无训练加速方法BaryCache,采用重心外推器缓解扩散Transformer采样的振荡伪影,在图像与视频生成中实现最高3.30倍采样加速,兼顾内存与感知质量。
2026-09-01 cs.CV
Block Cascading: Training Free Acceleration of Block-Causal Video Models
Stability AI;SketchX, University of Surrey(SketchX, Surrey大学)
块级级联通过无训练并行化技术,显著提升块因果视频模型的推理速度,同时保持生成质量。
2025-11-25 cs.AI cs.CV
Heuristics are Not Enough: Calibrated and Corrected Caching for Video Diffusion Acceleration
The Chinese University of Hong Kong(香港中文大学);Huawei Technology Co. Ltd(华为技术有限公司)
针对现有视频扩散模型缓存方法的缺陷,提出闭环缓存框架AlignCache,通过三个耦合组件实现调度自校正,在主流视频生成模型上达成更优加速-质量权衡。
2026-10-14 cs.AI cs.CV
Training-free Diffusion Acceleration with Bottleneck Sampling
Peking University(北京大学);Bytedance(字节跳动)
提出无训练瓶颈采样框架,利用低分辨率先验加速扩散模型推理,在图像和视频生成中分别实现高达3倍和2.5倍加速,同时保持输出质量。
2025-03-27 cs.CV
GeoMag: Geometric-Aware Video Motion Magnification via State Space Model
School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院);Xi'an Jiaotong University(西安交通大学)
提出GeoMag框架,利用状态空间模型实现全局一致的运动放大,并构建Geo-200K数据集提升训练多样性,在视觉保真度和计算效率上优于现有方法。
2026-05-28 cs.CV
Phased One-Step Adversarial Equilibrium for Video Diffusion Models
V-PAE通过相位单步对抗均衡方法提升大规模视频模型的生成质量与效率,实现高质量视频生成并显著降低扩散延迟。
2025-12-25 cs.CV
F3-Pruning: A Training-Free and Generalized Pruning Strategy towards Faster and Finer Text-to-Video Synthesis
University of Electronic Science and Technology of China (UESTC)(电子科技大学)
针对文本到视频模型推理成本高的问题,提出免训练通用剪枝策略F3-Pruning,通过剪除冗余时间注意力权重,在CogVideo和Tune-A-Video上实现加速且保持质量。
2023-12-06 cs.CV
STB-VMM: Swin Transformer Based Video Motion Magnification
IQS School of Engineering(IQS工程学院);Universitat Ramon Llull(拉蒙·柳利大学)
视频运动放大技术的目标是放大视频中的小运动,以揭示先前不可见或不可见的运动。它的用途从生物医学应用和deepfake检测扩展到结构模态分析和预测性维护。然而,从噪声中辨别小的运动是一项复杂的任务,特别是当试图放大非常细微的、通常是亚像素的运动时。结果,运动放大技术通常遭受噪声和模糊输出。这项工作提出了一个新的国家的最先进的模型的基础上Swin的Transformer,它提供了更好的容忍噪声输入以及更高质量的输出,表现出更少的噪音,模糊,和文物比现有技术的输出图像质量的改进将使更精确的测量任何应用依赖于放大的视频序列,并且可以在新的技术领域中实现视频运动放大技术的进一步发展。
2023-03-27 cs.AI cs.CV
USV: Unified Sparsification for Accelerating Video Diffusion Models
University of Chinese Academy of Sciences(中国科学院大学);Tencent Hunyuan(腾讯文元)
USV通过统一稀疏化策略提升视频扩散模型的效率,实现去噪速度提升83.3%和端到端加速22.7%。
2025-12-05 cs.CV
RainFusion: Adaptive Video Generation Acceleration via Multi-Dimensional Visual Redundancy
Huawei Technologies Co., Ltd(华为技术有限公司)
针对 DiT 视频生成中 3D 注意力计算开销过大的问题,提出免训练、即插即用的 RainFusion 稀疏注意力方法,通过 ARM 在线识别空间、时间和纹理稀疏模式,在多个开源模型上实现超 2 倍加速且几乎不损失 VBench 质量。
2025-06-09 cs.AI cs.CV
QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation
Shanghai Jiao Tong University(上海交通大学);MGTV;Shanhai Academy(山海学院)
本文提出无训练推理加速框架QuantCache,通过联合优化分层潜在缓存、自适应重要性引导量化和结构冗余感知剪枝,在Open-Sora上实现6.72倍端到端加速并保持生成质量。
2025-03-09 cs.CV
What about gravity in video generation? Post-Training Newton's Laws with Verifiable Rewards
Stony Brook University(石溪大学);LIX, École Polytechnique, CNRS, IPP(巴黎政治学院LIX研究所、法国国家科学研究中心、IPPP)
NewtonRewards通过可验证奖励机制提升视频生成的物理合理性与运动流畅度。
2025-11-29 cs.CV
Ride the Wave: Precision-Allocated Sparse Attention for Smooth Video Generation
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
本文提出PASA框架,通过动态预算分配、硬件对齐分组近似和随机选择偏置,实现高效且时间平滑的视频生成,减少视觉闪烁。
2026-04-14 cs.AI cs.CV
Compact Attention: Exploiting Structured Spatio-Temporal Sparsity for Fast Video Generation
College of Computer Science & Technology, Zhejiang University(计算机科学与技术学院,浙江大学);Huawei Technologies(华为技术)
针对视频生成中自注意力计算开销大的问题,本文提出Compact Attention框架,通过自适应分块、时变窗口和自动配置搜索利用结构化时空稀疏性,在单GPU上实现1.6至2.5倍加速并保持视觉质量。
2026-11-04 cs.CV
Tikhonov-Stabilized Bezier Representation Forecasting for Training-free Diffusion Acceleration
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);School of Informatics, Xiamen University(厦门大学信息学院);BNRist, Tsinghua University(清华大学BNRist)
该研究针对扩散模型推理成本高的问题,提出无训练的BeziCast框架,通过Tikhonov正则化贝塞尔轨迹预测实现加速,可将FLUX.1、HunyuanVideo分别最高加速4.79倍、4.11倍,且生成质量优于竞争基线。
2026-10-14 cs.CV
Adaptive Hybrid Caching for Efficient Text-to-Video Diffusion Model Acceleration
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
本文提出MixCache,一种基于缓存的训练自由框架,通过自适应混合缓存策略提升视频DiT模型的生成效率和质量。
2026-02-26 cs.CV cs.GR cs.LG
Surgical Video Motion Magnification with Suppression of Instrument Artefacts
Wellcome/EPSRC Centre for Interventional and Surgical Sciences, University College London(伦敦大学学院威康/EPSRC介入与外科科学中心);Department of Neurosurgery, The National Hospital for Neurology and Neurosurgery(国立神经病学与神经外科医院神经外科)
视频运动放大可以在内窥镜视频中直接突出亚表面血管,以防止意外损伤和出血。然而,将运动滤波器应用于完整的手术图像对来自手术器械的残余运动敏感,并且由于像差运动伪影而可能阻碍实际应用。通过在工具引入到场景之前存储来自单个心血管周期的局部空间频率信息的时间滤波器响应,滤波器可以用于确定运动放大对于手术图像的空间区域是否应该是活动的。在本文中,我们提出了一种策略,以减少像差由于非生理运动的手术视频运动放大。我们提出了有前途的结果内窥镜经鼻经蝶垂体手术与最近的方法使用结构相似性(SSIM)的定量比较,以及定性分析,通过比较时空横截面的视频和单个帧。
2020-09-16 cs.CV eess.IV
Fast3Dcache: Training-free 3D Geometry Synthesis Acceleration
AGI Lab, Westlake University(西溪大学AGI实验室);University of Electronic Science and Technology of China(电子科学与技术大学);Nanyang Technological University(南洋理工大学)
本文提出Fast3Dcache,一种无训练的几何感知缓存框架,通过动态缓存调度和时空稳定性准则,显著加速3D扩散模型推理,同时保持几何精度。
2026-03-25 cs.CV
RotateAttention: RoPE-Aware Rotation and Range Rectification for INT4 Quantized Attention in Video Generation
The Hong Kong University of Science and Technology(香港科技大学);Independent Researcher(独立研究员)
针对基于DiT的视频生成模型中注意力机制的计算瓶颈,提出RotateAttention框架,采用选择性FP16回退,引入RoPE感知旋转和范围优化P量化技术,提升速度并保持生成质量。
2026-07-14 cs.CV
Deep Pulse-Signal Magnification for remote Heart Rate Estimation in Compressed Videos
Pompeu Fabra University(庞培法布拉大学);Seedtag
提出脉冲信号放大变换方法,将压缩视频适配到未压缩数据域以放大rPPG信号,在多个数据集上验证了该方法在压缩视频心率估计中的有效性和鲁棒性。
2024-06-25 cs.AI cs.CV
Revisiting Learning-based Video Motion Magnification for Real-time Processing
Pohang University of Science and Technology(浦项科技大学);Kyung Hee University(庆熙大学);Yonsei University(延世大学)
本文针对全高清视频运动放大难以实时运行的问题,逐模块分析非均匀网络结构,提出轻量化实时模型,在质量相当的前提下将 FLOPs 降至 1/4.2、速度提升 2.7 倍。
2024-03-04 cs.CV eess.IV
iCATS: Fast Video Generation via Interaction-Aware Sparse Attention and Timestep-Adaptive Sparsity
Hangzhou Normal University(杭州师范大学);T-Head Semiconductor Co., Ltd.(平头哥半导体有限公司);Alibaba Group(阿里巴巴集团)
iCATS通过交互感知的重要性估计、SNR引导的动态稀疏性调度及尾部合并策略,在HunyuanVideo-T2V-13B和Wan2.1-T2V-14B上分别实现2.03倍、1.55倍加速,达成最优效率-质量权衡。
2026-11-11 cs.CV
VDE: Training-Free Accelerating Rectified Flow Model via Velocity Decomposition and Estimation
South China University of Technology(华南理工大学)
提出速度分解与估计(VDE)方法,通过将模型速度分解为平行和正交分量并利用其时间可预测性和方向稳定性进行输入自适应估计,无需训练即可加速整流流模型,在图像和视频生成任务中实现显著加速且视觉质量损失极小。
2026-05-22 cs.CV
Detecting Deepfake Videos Using Euler Video Magnification
Dublin City University(都柏林城市大学)
人工智能的最新进展使得区分真正和伪造的媒体越来越困难,特别是图像和视频。最近的一个发展是deepfake视频的兴起,基于使用先进的机器学习技术操纵视频。这涉及在目标视频中用第二个人的面部替换源视频中的个人的面部。随着deepfakes越来越无缝,计算也越来越简单,这个想法正在逐渐完善。结合社交媒体的传播和速度,当描绘某人说从未发生过的事情时,Deepfakes可以很容易地欺骗个人,从而说服人们相信虚构的场景,制造痛苦和传播假新闻。在本文中,我们研究了一种可能识别deepfake视频的技术。我们使用欧拉视频放大技术,对视频数据进行空间分解和时间滤波,以突出和放大隐藏的特征,如皮肤脉动和细微运动。我们的方法使用从欧拉技术提取的特征训练三个模型来分类伪造和未经更改的视频,并将结果与现有技术进行比较。
2021-01-27 cs.AI cs.CV cs.MM
TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times
Tsinghua University(清华大学);Shengshu Technology(盛舒科技);UC Berkeley(加州大学伯克利分校)
TurboDiffusion通过低比特注意力、步骤蒸馏和W8A8量化等技术,实现视频扩散模型100-200倍加速并保持视频质量。
2025-12-18 cs.AI cs.CV cs.LG
Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep
Nanyang Technological University(南洋理工大学);Shanghai Jiao Tong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出HetCache框架,通过利用扩散基于掩码视频到视频生成中的异构性,减少冗余注意力运算,提升视频编辑效率与质量。
2026-03-25 cs.AI cs.CV
StreamingEffect: Real-Time Human-Centric Video Effect Generation
Show Lab, National University of Singapore(新加坡国立大学Show实验室)
本文提出StreamingEffect框架,通过实时视频到视频编辑技术,在保持人类身份、背景内容和时间一致性的同时添加表现性效果,并构建了最大的以人为中心的视频效果数据集VideoEffect-130K,实现了单块H200 GPU上的实时高质量720p视频编辑。
2026-05-16 cs.CV
Learning-based Axial Video Motion Magnification
POSTECH(浦项科技大学);Yonsei University(延世大学)
本文提出轴向运动放大的新概念及Motion Separation Module,沿用户指定方向解耦并放大微小运动,构建了合成数据集,提升了运动可读性与用户可控性,且可适配通用运动放大任务。
2026-11-03 cs.CV eess.IV
LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration
提出LearniBridge,一种基于低秩共享子空间的可学习校准机制,通过轻量LoRA更新实现特征缓存的多时间步校准,仅需3-5个训练样本即可在图像和视频生成中实现高达5.87倍加速。
2026-06-26 cs.CV cs.LG
Learning-based Video Motion Magnification
MIT(麻省理工学院);HBKU QCRI(哈马德·本·哈利法大学卡塔尔计算研究所);Google Research(谷歌研究院)
视频运动放大技术使我们能够看到以前肉眼看不到的微小运动,例如振动的飞机机翼或受风影响的摇摆建筑物。因为运动很小,所以放大结果容易出现噪声或过度模糊。现有技术依赖于手工设计的过滤器来提取可能不是最佳的表示。在本文中,我们试图使用深度卷积神经网络直接从示例中学习滤波器。为了使训练易于处理,我们精心设计了一个能够很好地捕捉小运动的合成数据集,并使用两帧输入进行训练。我们表明,学习的滤波器在真实视频上实现了高质量的结果,比以前的方法具有更少的振铃伪影和更好的噪声特性。虽然我们的模型没有使用时间滤波器进行训练,但我们发现时间滤波器可以与我们提取的表示一起使用,放大倍数高达中等,从而实现基于频率的运动选择。最后,我们分析了学习的过滤器,并表明它们的行为类似于以前的作品中使用的衍生过滤器。我们的代码,训练模型和数据集将在线提供。
2018-08-01 cs.CV cs.GR
DeepMag: Source Specific Motion Magnification Using Gradient Ascent
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
许多重要的物理现象都涉及到肉眼难以观察到的微妙信号,但将它们可视化可以提供非常丰富的信息。当前的运动放大技术可以揭示视频中的这些小的时间变化,但需要关于目标信号的精确先验知识,并且不能处理类似频率的干扰运动。DeepMag是一个基于梯度上升的端到端深度神经视频处理框架,即使在存在各种速度的大运动的情况下,也可以自动放大来自特定来源的细微颜色和运动信号。虽然该方法是可推广的,但DeepMag的优势通过基于视频的生理可视化任务突出显示。通过系统的定量和定性评价的方法对视频与不同层次的头部运动,我们比较了现有的最先进的方法的脉搏和呼吸的放大。我们的方法产生放大的视频,具有更少的伪影和模糊,同时以类似的程度放大生理变化。
2018-08-09 cs.CV cs.GR cs.HC
Grouping First, Attending Smartly: Training-Free Acceleration for Diffusion Transformers
Johns Hopkins University(约翰霍普金斯大学)
针对扩散Transformer计算成本高的问题,提出免训练注意力加速策略GRAT,通过分组共享注意力键值、限制结构化注意力区域实现大幅加速,在图像和视频生成任务上保持全注意力性能。
2025-05-20 cs.CV
Streaming Video Editing with Easy Adaptation
Shanghai Jiao Tong University(上海交通大学)
提出SVEET框架,通过骨干特征解耦与条件帧独立性原则及解耦训练,实现仅训练预训练双向扩散模型即可进行高质量实时流式视频编辑,在H100上达15 FPS。
2026-09-22 cs.CV
Spectral Progressive Diffusion for Efficient Image and Video Generation
Stanford University(斯坦福大学)
本文提出了一种频域渐进扩散框架,通过在预训练扩散模型的去噪轨迹中逐步提高分辨率,实现高效的图像和视频生成,同时改进了效率和质量。
2026-08-18 cs.CV
DiffBench Meets DiffAgent: End-to-End LLM-Driven Diffusion Acceleration Code Generation
本文提出DiffBench和DiffAgent,通过LLM驱动的闭环流程,实现端到端的扩散模型加速代码生成,显著提升生成策略的有效性。
2026-01-06 cs.CV
SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video
NVIDIA(英伟达)
针对高分辨率视频生成成本高的问题,提出SoL-Refiner单步细化器,通过持续训练、强化学习和蒸馏,实现4K视频单步细化,在2K和4K下均优于现有方法,延迟加速8.91倍。
2026-11-05 cs.CV
FastSTAR: Spatiotemporal Token Pruning for Efficient Autoregressive Video Synthesis
Korea Advanced Institute of Science and Technology(韩国科学技术院)
FastSTAR通过时空令牌修剪和部分更新机制,实现高效视频生成,在保持质量的同时提升处理速度。
2026-03-07 cs.CV