Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);LIGHTSPEED;UCSD(加利福尼亚大学圣地亚哥分校);CUHK(SZ)(香港中文大学(深圳));NUS(新加坡国立大学)
针对自回归视频扩散蒸馏中的模式坍缩问题,提出双噪声掩码展开策略,通过随机掩码注入干净信号扰动学生自展开,提升多种蒸馏方法的视觉质量。
2026-09-09 cs.CV
Mimir: Improving Video Diffusion Models for Precise Text Understanding
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
针对视频扩散模型文本理解有限的问题,提出Mimir框架,通过token融合器协调文本编码器与大语言模型(LLMs)输出,利用LLMs优势提升文本理解,生成高质量视频,尤其在短字幕和动态变化场景表现出色。
2024-12-04 cs.CV
Characterizing and Improving Stability in Neural Style Transfer
Stanford University(斯坦福大学)
图像风格转换的最新进展集中在提高风格化图像的质量和方法的速度上。然而,实时方法非常不稳定,导致应用于视频时出现可见闪烁。在这项工作中,我们的特点是这些方法的不稳定性,通过检查的解决方案集的风格转移目标。我们表明,Gram矩阵表示风格的轨迹是负相关的方法的稳定性。然后,我们提出了一种用于实时视频风格传输的递归卷积网络,该网络包含时间一致性损失,并克服了先前方法的不稳定性。我们的网络可以应用于任何分辨率,在测试时不需要光流,并实时生成高质量,时间一致的风格化视频。
2017-05-05 cs.CV
CamPilot: Improving Camera Control in Video Diffusion Model with Efficient Camera Reward Feedback
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
CamPilot通过高效的3D解码器和奖励机制提升视频扩散模型的相机控制能力
2026-01-22 cs.CV
Improving Joint Audio-Video Generation with Cross-Modal Context Learning
Vivix Group Limited(维维克斯集团有限公司)
本文提出跨模态上下文学习方法,解决双流Transformer生成中模态交互不一致、训练不稳定等问题,提升生成质量与效率。
2026-03-19 cs.CV
Improving Video Diffusion Transformer Training by Multi-Feature Fusion and Alignment from Self-Supervised Vision Encoders
提出Align4Gen,通过多特征融合与对齐自监督视觉编码器特征,改进视频扩散Transformer训练,提升视频生成质量。
2025-09-11 cs.AI cs.CV
AutoRefiner: Improving Autoregressive Video Diffusion Models via Reflective Refinement Over the Stochastic Sampling Path
Australian National University(澳大利亚国立大学);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
AutoRefiner通过路径噪声细化和反射式KV缓存改进AR-VDMs的样本保真度
2025-12-15 cs.CV
Do View-Consistent Representations Matter for Camera-Controlled Video Generation?
University of Edinburgh(爱丁堡大学);University of Bristol(布里斯托大学)
ViCoDR通过学习多视图一致的扩散表示,提升视频生成的3D一致性,适用于图像到视频、文本到视频和多视图生成任务。
2026-10-27 cs.CV
AesRM: Improving Video Aesthetics with Expert-Level Feedback
The University of Hong Kong(香港大学);Fudan University(复旦大学);Zhejiang University(浙江大学);Hong Kong University of Science and Technology(香港科学与技术大学);University of Sydney(悉尼大学);Alibaba Group(阿里巴巴集团)
本文提出AesRM框架,通过分解视频美学为视觉美学、视觉保真度和视觉合理性三个维度,构建了专家标注的AesVideo-Bench基准,并开发了AesRM-Base和AesRM-CoT模型,提升了视频美学评估的准确性和可解释性。
2026-04-30 cs.CV
We'll Fix it in Post: Improving Text-to-Video Generation with Neuro-Symbolic Feedback
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出NeuS-E框架,通过神经符号反馈提升文本到视频生成的语义和时间一致性,实验显示其在多种提示下提升了40%的对齐度。
2026-04-03 cs.AI cs.CV
InstanceCap: Improving Text-to-Video Generation via Instance-aware Structured Caption
Nanjing University(南京大学);ByteDance(字节跳动);Nankai University(南开大学)
针对现有视频字幕细节不足、存在幻觉等影响文本到视频生成质量的问题,研究提出实例感知结构化字幕框架InstanceCap,构建InstanceVid数据集,实验证明其性能优于以往模型,提升了字幕与视频的保真度并减少幻觉。
2024-12-12 cs.AI cs.CV
MoGAN: Improving Motion Quality in Video Diffusion via Few-Step Motion Adversarial Post-Training
Adobe(Adobe公司);Georgia Tech(佐治亚理工学院)
MoGAN通过运动对抗性后训练提升视频扩散模型的运动质量,无需奖励模型或人类偏好数据,在多个基准测试中显著提高了运动真实感。
2025-11-26 cs.CV
Koala-36M: A Large-scale Video Dataset Improving Consistency between Fine-grained Conditions and Video Content
Shenzhen University(深圳大学);Tsinghua University(清华大学);Kuaishou Technology(快手科技)
为解决现有视频数据集在时间分割、字幕和质量过滤上的局限,本文提出大规模高质量数据集 Koala-36M,通过线性分类器优化时间分割、提供200词结构化字幕并开发VTSS评分筛选高质量视频,有效提升了细粒度条件与视频内容的一致性。
2025-04-26 cs.AI cs.CV
Improving Generative Adversarial Networks for Video Super-Resolution
本研究针对视频超分辨率任务,从单图像超分辨率GAN基础模型出发探索改进技术,发现时间平滑、LSTM层和时间损失函数效果最佳,整合后PSNR和SSIM较基线分别提升11.97%和8%,为优化现有SOTA模型提供了方向。
2024-06-24 cs.CV eess.IV
OD-VAE: An Omni-dimensional Video Compressor for Improving Latent Video Diffusion Model
Peking University(北京大学);Rabbitpre Intelligence(睿兔智联科技);Peng Cheng Laboratory(鹏城实验室)
针对现有二维图像VAE缺乏时间压缩的问题,提出可同时进行时空压缩的OD-VAE,并通过四种变体、尾部初始化和任意长视频推理策略,在保证重建质量的同时提升LVDM生成效率。
2024-09-09 cs.CV eess.IV
VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide
Kim Jaechul Graduate School of AI, KAIST(KAIST 金在哲人工智能研究生院)
针对文本到视频生成时序一致性难保障、现有改进方法存在画质下降等权衡问题,该研究提出无需训练的VideoGuide框架,通过推理早期引入引导模型的去噪样本插值,显著提升时序一致性与图像保真度,还可实现先验蒸馏增强文本连贯性。
2024-12-08 cs.AI cs.CV cs.LG
Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation
本文提出Reg-DPO方法,通过GT-Pair自动构建偏好对并将SFT损失正则化引入DPO,结合FSDP与内存优化技术,在I2V和T2V任务上显著提升视频生成质量与训练稳定性。
2025-11-10 cs.AI cs.CV
Improving the Physics of Video Generation with VJEPA-2 Reward Signal
FAIR, Meta Superintelligence Labs(FAIR、Meta超智能实验室);University of Oxford(牛津大学);Mila - Québec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Columbia University(哥伦比亚大学);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本报告提出将自监督视频世界模型VJEPA-2作为奖励信号,与视频生成模型MAGI-1结合,以提升生成视频的物理合理性,在PhysicsIQ基准上实现约6%的改进。
2025-10-22 cs.CV cs.GR
LaMo: Self-Supervised Latent Motion Priors for Physical Realism in Video Generation
Applied Intuition;University of California, Berkeley(加州大学伯克利分校)
提出LaMo,通过自监督方式从无标签视频中提取运动先验,包括宏运动漂移损失和微运动场引导,无需外部监督即可提升视频扩散模型的物理一致性。
2026-05-22 cs.CV
When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation
Santa Clara University(圣克拉拉大学)
提出MAVEN多智能体提示优化框架,通过并行或串行分解提示为人物、动作、地点维度,提升单文化和跨文化文本到视频生成的文化保真度,并构建包含243个文化提示和972个视频的基准进行评估。
2026-07-21 cs.AI cs.CV
Improving Human Image Animation via Semantic Representation Alignment
School of Artificial Intelligence, Shanghai Jiao Tong University, China(上海交通大学人工智能学院,中国);Alibaba Group, China(阿里巴巴集团,中国)
本文提出SemanticREPA方法,通过结构和ID对齐提升人类动画质量,增强动作连续性和一致性。
2026-05-11 cs.CV
WorldWeaver: Generating Long-Horizon Video Worlds via Rich Perception
The University of Hong Kong(香港大学);ByteDance Seed(字节跳动种子)
WorldWeaver提出联合建模RGB帧与深度等感知条件的长时程视频生成框架,通过统一表示预测、深度记忆库和分段噪声调度减少时间漂移,提升生成视频的时间一致性与保真度。
2025-08-21 cs.CV
Improving Tropical Cyclone Forecasting With Video Diffusion Models
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
本文提出用于热带气旋预报的视频扩散模型,通过时间层和两阶段训练同时生成多帧,显著提升预测精度并将可靠预报时效延长至50小时。
2025-05-12 cs.CV physics.ao-ph
Synthesizing Audio from Silent Video using Sequence to Sequence Modeling
Milwaukee School of Engineering(密尔沃基工程学院)
本文提出基于序列到序列模型和3D VQ-VAE从无声视频合成音频的方法,以提升声音多样性并应用于CCTV分析、无声电影修复等场景。
2024-04-25 cs.AI cs.CV cs.LG
CineForge: Self-Improving Agents for Long-Horizon Video Generation
Tongji University(同济大学);Kuaishou Technology(快手科技);Fudan University(复旦大学)
本研究提出CineForge框架,结合CineForge-Produce与CineForge-Evolve,通过CPPE策略演进机制提升长时序故事驱动视频生成效果,在CineScope指标及基准测试中表现优于现有方法,减少了审查LLM调用量。
2026-09-01 cs.AI cs.CV
Improving Video Generation with Human Feedback
MMLab, CUHK(CUHK媒体实验室);Tsinghua University(清华大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出利用人类反馈改进视频生成,构建偏好数据集与VideoReward奖励模型,并引入Flow-DPO等对齐算法,显著提升视频质量与对齐效果。
2025-10-27 cs.AI cs.CV cs.GR
RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction
Nanyang Technological University(南洋理工大学);College of Computing and Data Science(计算与数据科学学院);Zhejiang University(浙江大学);College of Computer Science and Technology(计算机科学与技术学院);Alibaba Group(阿里巴巴集团)
针对人机物体交接数据集稀缺及现实-模拟差距问题,提出Hand2Bot数据集与PassGen生成流水线,实现高意图识别准确率与低误触发率,支持机器人稳健零样本迁移与早期意图预测。
2026-09-02 cs.CV cs.RO
Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback
Google DeepMind(谷歌DeepMind);The University of Tokyo(东京大学);Stanford University(斯坦福大学)
本文研究如何利用反馈提升文本到视频模型中动态物体交互的质量,提出利用视觉语言模型提供针对性反馈,实验表明该方法在视频交互场景质量上有显著提升。
2026-04-17 cs.AI cs.CV cs.LG
FrameBridge: Improving Image-to-Video Generation with Bridge Models
Tsinghua University(清华大学)
针对扩散模型噪声到数据生成过程与图像到视频任务不匹配的问题,提出FrameBridge桥接框架及SAF微调、神经先验两项技术,实验证明其生成质量显著优于同类扩散模型。
2025-06-16 cs.AI cs.CV cs.LG
StableFace: Analyzing and Improving Motion Stability for Talking Face Generation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Microsoft Azure Speech(微软Azure语音)
虽然以前的语音驱动的说话人脸生成方法在提高合成视频的视觉质量和唇同步质量方面取得了显着进展,但它们很少关注唇运动抖动,这大大破坏了说话人脸视频的真实性。是什么原因导致运动抖动,以及如何减轻这个问题?在本文中,我们进行了系统的分析运动抖动问题的基础上,一个国家的最先进的管道,使用3D人脸表示的桥梁输入音频和输出视频,并提高了运动稳定性与一系列有效的设计。我们发现有几个问题会导致合成的说话人脸视频中的抖动:1)来自输入3D人脸表示的抖动; 2)训练-推理不匹配; 3)缺乏视频帧之间的依赖建模。因此,我们提出了三种有效的解决方案来解决这个问题:1)我们提出了一个基于高斯的自适应平滑模块来平滑3D人脸表示,以消除输入中的抖动; 2)我们在训练中对神经渲染器的输入数据添加增强侵蚀,以模拟推理中的失真,以减少失配; 3)我们开发了一个音频融合的Transformer生成器来对视频帧之间的依赖性进行建模。此外,考虑到没有现成的度量标准来衡量运动抖动在说话的脸视频,我们设计了一个客观的度量(运动稳定性指数,MSI),定量测量运动抖动通过计算方差加速度的倒数。大量的实验结果表明,我们的方法的运动稳定的人脸视频生成的优越性,具有更好的质量比以前的系统。
2022-08-29 cs.AI cs.CV cs.LG
Conditional Residual Prediction: Improving Autoregressive Video Diffusion without a Bidirectional Teacher
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent Hunyuan(腾讯混元)
本文提出条件残差预测(CRP)方案,无需双向教师模型,训练出20亿参数的因果视频模型Optica,大幅缩小与双向模型的质量差距,仅用约1500万训练视频便生成高质量5秒480p视频。
2026-10-09 cs.AI cs.CV cs.LG
HAIC: Improving Human Action Understanding and Generation with Better Captions for Multi-modal Large Language Models
Kuaishou Technology(快手科技);Shandong University(山东省大学)
本文提出两阶段人类动作视频标注流程,构建 HAICTrain 与 HAICBench,证明高质量描述数据可同时提升 MLLM 的动作理解和文本到视频生成能力。
2025-06-08 cs.CL cs.CV cs.MM
CanvasMAR: Improving Masked Autoregressive Video Prediction With Canvas
Institute for Artificial Intelligence, Peking University, Beijing, China(人工智能研究院,北京大学,北京,中国);School of Intelligence Science and Technology, Peking University, Beijing, China(智能科学与技术学院,北京大学,北京,中国);State Key Laboratory of General Artificial Intelligence, Peking University, Beijing, China(通用人工智能国家重点实验室,北京大学,北京,中国)
CanvasMAR通过引入canvas机制和运动感知采样顺序,提升视频生成的保真度和效率,实现更高质量的视频生成。
2026-03-06 cs.AI cs.CV cs.LG
Improving Spatial-Temporal Reasoning in Video-Language Models with Structured Video Prompting
Sharif University of Technology(谢里夫理工大学)
该研究提出无需训练的结构化视频提示方法,在推理时通过为视频添加时空结构锚点,提升视频-语言模型在时空推理任务上的性能,为改进视频理解提供了实用方向。
2026-09-09 cs.CV
Improving Keystep Recognition in Ego-Video via Dexterous Focus
University of Minnesota(明尼苏达大学)
本文提出一种与网络架构无关的自视视频关键步骤识别框架,通过将输入稳定为以手部为中心的视频,在Ego-Exo4D细粒度基准上超越现有基线,无需改动底层模型。
2025-06-01 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而,没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中,我们提出了在视频的每一帧中估计3D姿态,并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性,提高了3D姿态估计精度。
2020-11-04 cs.CV
VideoResearcher: Self-Improving Tool Design for Long-Video Understanding
Johns Hopkins University(约翰霍普金斯大学)
VideoResearcher提出无需训练的多智能体框架,通过双重循环自主设计、测试和优化视频理解工具,在自我改进智能体中达到最先进性能,接近人工设计上限。
2026-09-18 cs.CV
Noisy-LSTM: Improving Temporal Awareness for Video Semantic Segmentation
语义视频分割是各种应用的关键挑战。本文提出了一种名为Noisy-LSTM的新模型,它可以端到端的方式进行训练,使用卷积LSTM(ConvLSTM)来利用视频帧中的时间相干性。我们还提出了一个简单而有效的训练策略,它取代了视频序列中的一帧噪声。该策略破坏了训练期间视频帧中的时间相干性,从而使得ConvLSTM中的时间链接不可靠,这因此可以改进从视频帧的特征提取,以及用作正则化器以避免过拟合,而不需要额外的数据注释或计算成本。实验结果表明,该模型在CityScapes和EndoVis 2018数据集上都能达到最先进的性能。
2020-10-19 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Google(谷歌)
我们利用无监督学习的深度,自我运动,和相机的本质,以提高单图像语义分割的性能,通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号,从而显著提高其质量,或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University(南洋理工大学)
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中,我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明,通过增强传播和对齐的经常性框架,可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是,我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB,参数数量相似。除了视频超分辨率之外,BasicVSR++还可以很好地推广到其他视频恢复任务,如压缩视频增强。在NTIRE 2021中,BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Improving Video Compression With Deep Visual-Attention Models
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
深度学习的最新进展显着提高了视觉注意力建模的质量。在这项工作中,我们将这些进展应用到视频压缩。我们提出了一种压缩方法,使用显着性模型,自适应压缩帧区域根据其预测的显着性。我们选择了三个国家的最先进的显着性模型,适用于视频压缩,并分析他们的结果。分析包括模型的客观评价以及压缩视频的客观和主观评价。我们的方法,这是基于x264视频编解码器,可以产生视频与普通x264相同的视觉质量,但它减少了25%的比特率根据客观评价和17%根据主观的。此外,主观和客观的评估表明,显着性模型可以与凝视地图的一个单一的观察者。我们的方法可以扩展到大多数视频比特流格式,并可以提高视频压缩质量,而不需要切换到一个新的视频编码标准。
2019-03-19 cs.CV
Improving Streaming Video Segmentation with Early and Mid-Level Visual Processing
University of California San Diego(加州大学圣地亚哥分校);Korea Electronics Technology Institute(韩国电子技术研究院);Cornell NYC Tech(康奈尔纽约科技学院)
尽管最近在视频分割方面取得了进展,但仍然有许多机会使用各种低级别和中等级别的视觉线索来改进它。我们提出了改进的领先的基于流图的分层视频分割(streamGBH)方法的基础上早期和中期的视觉处理。我们的方法的广泛的实验分析验证了改进的分层超体素表示,将运动和颜色与有效的过滤。我们还提出并阐明了一些开放的问题,对中级视频分析作为进一步扩展streamGBH。我们利用超体素作为对占主导地位的仿射运动区域的估计的初始化,然后合并这样的运动区域,以分层分割的视频在一个新的运动分割框架,其目的是在后续的应用程序,如前景识别。
2014-02-14 cs.CV
Harnessing Meta-Learning for Improving Full-Frame Video Stabilization
Hanyang University(汉阳大学)
本文提出利用测试时适配与元学习技术,通过单步微调将像素级视频稳定模型适配到单个输入视频,从而在真实场景中显著提升多种全帧视频稳定模型的稳定性与质量。
2024-04-09 cs.CV
Use Your Head: Improving Long-Tail Video Recognition
University of Bristol(布里斯托大学)
本文指出现有视频基准缺乏少样本尾部类别,为此提出新基准及Long-Tail Mixed Reconstruction方法,通过重构少样本实例并混合标签学习决策边界,在多个数据集上达到最先进水平。
2023-04-03 cs.CV
Towards Improving Spatiotemporal Action Recognition in Videos
Carnegie Mellon University(卡内基梅隆大学)
时空动作识别处理视频中动作的定位和分类。受最新的实时对象检测器You Only Watch Once(YOWO)的启发,我们的目标是修改其结构,以提高动作检测精度并减少计算时间。具体来说,我们提出了四种新的方法,试图改善YOWO和解决不平衡的类视频的问题,通过修改的损失函数。我们考虑两个中等大小的数据集来应用我们对YOWO的修改-流行的关节注释人体运动数据库(J-HMDB-21)和由卡内基梅隆大学的初创公司Agot. AI提供的餐厅视频片段的私人数据集。后者涉及小对象的快速移动动作以及不平衡的数据类,使得动作本地化任务更具挑战性。我们在GitHub存储库https://github.com/stoneMo/YOWOv2中实现了我们提出的方法。
2020-12-15 cs.CV
MANet: Improving Video Denoising with a Multi-Alignment Network
The University of Hong Kong(香港大学);University of Rochester(罗切斯特大学);ACCESS –- AI Chip Center for Emerging Smart Systems(ACCESS——新兴智能系统人工智能芯片中心)
在视频去噪中,相邻帧通常提供非常有用的信息,但在利用这些信息之前需要精确对齐。在这项工作中,我们提出了一个多对齐网络,它产生多个流的建议,然后基于注意力的平均。它用于模拟非局部机制,通过平均多个观测值来抑制噪声。我们的方法可以应用于各种国家的最先进的模型,是基于流量估计。在大规模视频数据集上的实验表明,该方法使去噪基线模型提高了0.2dB,并通过模型蒸馏进一步减少了47%的参数。代码可在https://github.com/IndigoPurple/MANet上获得。
2022-07-11 cs.CV
GaussFusion: Improving 3D Reconstruction in the Wild with A Geometry-Informed Video Generator
Stanford University(斯坦福大学);Zillow Group(Zillow集团)
GaussFusion通过几何引导的视频生成技术改进3DGS重建,解决常见伪影问题,提供更鲁棒的3D重建方法,实现在新型视图合成中的最佳性能。
2026-03-27 cs.CV
MODNet-V: Improving Portrait Video Matting via Background Restoration
City University of Hong Kong(香港城市大学);Dalian University of Technology(大连理工大学)
为了更精确地解决具有挑战性的人像视频抠图问题,现有的作品通常应用一些抠图先验,需要额外的用户努力来获得,例如带注释的三重图或背景图像。在这项工作中,我们观察到,而不是要求用户显式地提供背景图像,我们可以从输入视频本身恢复它。为此,我们首先提出了一种新的背景恢复模块(BRM)从输入视频动态恢复背景图像。BRM非常轻巧,可以很容易地集成到现有的垫子模型中。通过将BRM与最近的图像抠图模型MODNet相结合,我们提出了用于人像视频抠图的MODNet-V。得益于BRM提供的强背景先验,MODNet-V的参数只有MODNet的1/3,但性能相当甚至更好。我们的设计允许MODNet-V在单个NVIDIA 3090 GPU上以端到端的方式进行训练。最后,我们引入了一个新的补丁细化模块(PRM),使MODNet-V适应高分辨率视频,同时保持MODNet-V的轻量级和快速。
2021-09-24 cs.CV
Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance
KAIST(韩国科学技术院)
本研究提出自适应低通引导方法,通过调整图像频率内容提升图像到视频生成的动态效果,同时保持图像质量和文本对齐度。
2026-02-24 cs.CV
Classification Matters: Improving Video Action Detection with Class-Specific Attention
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH));NAVER Cloud(NAVER云)
针对视频动作检测中分类误差大于定位误差的问题,提出类别特定注意力方法,通过为每个动作类别分配专属查询引导模型关注相关上下文,在三个基准上以更少参数量和计算量取得更优性能。
2024-09-11 cs.CV
AutoQ-VIS: Improving Unsupervised Video Instance Segmentation via Automatic Quality Assessment
Technical University of Denmark(技术大学)
AutoQ-VIS提出质量引导自训练闭环框架,通过自动质量评估弥合合成到真实域差距,在YouTubeVIS-2019上以52.6 AP50超越VideoCutLER 4.4%,实现无监督视频实例分割新SOTA。
2025-08-27 cs.CV
AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers
University of Toronto(多伦多大学);Vector Institute(向量研究所);Snap Inc.(Snap公司)
AC3D通过低频姿态调度、选择性注入相机条件和静态相机动态数据集,在减少参数的同时实现了更精确的三维相机控制和更高的视频生成质量。
2025-05-06 cs.CV
Improving Unsupervised Video Object Segmentation via Fake Flow Generation
Yonsei University(延世大学)
提出通过从单张图像模拟伪造光流来生成大规模训练数据,改进无监督视频对象分割,并在所有公开基准上取得最先进性能。
2024-07-16 cs.CV
Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text
UT Austin(得克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校);Boston University(波士顿大学)
本文研究了如何从大型文本语料库中挖掘语言知识,以帮助生成视频的自然语言描述。具体来说,我们将神经语言模型和分布式语义训练的大型文本语料库到最近的LSTM为基础的架构的视频描述。我们评估我们的方法上收集的Youtube视频,以及两个大型电影描述数据集显示显着改善语法,同时适度提高描述质量。
2016-11-29 cs.CL cs.CV