Temporal Concentration from Rollout Errors: Implicit Preference Optimization for Text-to-Video Diffusion
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）；Sun Yat-sen University（中山大学）
针对文本到视频扩散模型的时间稀疏伪影问题，本文提出集中式隐式偏好优化（cIPO）框架，通过回退误差推导隐式偏好信号，将优化集中于高误差片段，有效提升了视频的真实性与时间连贯性。
2026-07-31 cs.CV
LINR Bridge: Vector Graphic Animation via Neural Implicits and Video Diffusion Priors
Wangxuan Institute of Computer Technology, State Key Laboratory of Multimedia Information Processing, \ University, Beijing, China；Wangxuan Institute of Computer Technology, State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China
本文提出LINR Bridge方法，结合分层隐式神经表示与文本到视频扩散先验，通过视频分数蒸馏采样优化并扭曲矢量图形，实现自动生成平滑自然的矢量图形动画，显著提升灵活性与动画质量。
2025-09-09 cs.CV
MotionFlow:Learning Implicit Motion Flow for Complex Camera Trajectory Control in Video Generation
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Beihang University（北航）；Zhejiang Gongshang University（浙江工商大学）；ShengShu（盛舒）
提出MotionFlow方法，通过将相机与物体运动转化为像素运动并利用稳定扩散网络学习参考运动图，实现复杂相机轨迹下的视频生成，大幅超越现有最优方法。
2025-09-25 cs.CV
AgentHOI: Multi-Agent Reasoning for Human-Object-Interaction Video Generation via Implicit Representation Alignment
University of Chinese Academy of Sciences（中国科学院大学）；Tencent HunYuan（腾讯混元）
研究针对HOI视频生成中现有方法依赖显式运动控制的问题，提出AgentHOI，通过多智能体推理和隐式文本-运动对齐策略，实现文本驱动的HOI视频生成，提升了交互自然性等，改进了复杂场景下的表现。
2026-07-31 cs.CV
IF-MDM: Implicit Face Motion Diffusion Model for High-Fidelity Realtime Talking Head Generation
Yonsei University（延世大学）；Adobe Research（奥多比研究院）
本文提出 IF-MDM，利用外观感知的隐式面部潜变量和运动统计实现高保真、可控的音驱说话头像生成，并支持512×512、最高45 fps实时推理。
2024-12-10 cs.CV
Compression and Retrieval: Implicit Memory Retrieval for Video World Models
Huazhong University of Science and Technology（华中科技大学）；HUJING Digital Media & Entertainment Group（虎鲸数字媒体与娱乐集团）；Sun Yat-sen University（中山大学）
提出注意力驱动的隐式记忆检索机制CaR，通过位置编码注入视角信息实现灵活检索，并引入轻量级上下文压缩网络，在构建的SceneFly数据集上取得SOTA结果并展现强泛化性。
2026-06-23 cs.CV
VideoSSM: Autoregressive Long Video Generation with Hybrid State-Space Memory
HKU（香港大学）；PICO, ByteDance（字节跳动PICO）；SUSTech（南方科技大学）
VideoSSM通过结合自回归扩散与混合状态空间记忆，实现了具有全局一致性和运动稳定性的长视频生成，支持提示自适应交互并提升内容多样性。
2025-12-04 cs.CV
IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kling Team, Kuaishou Technology（快手技术 Kling 团队）；Cardiff University（卡迪夫大学）
IM-Animation通过隐式运动表示和时间一致的遮罩令牌重定向模块，实现身份解耦的角色动画生成，提升动画质量和训练效率。
2026-02-07 cs.CV
Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing
The Hongkong University of Science and Technology（香港科技大学）；Huawei Inc.（华为公司）
针对指令式视频编辑中条件信号未分化及交叉注意力监督不足的问题，提出RVEDiT框架，通过粒度路由令牌条件和参考锚定注意力对齐实现粗到细编辑与内部推理正则化。
2026-05-23 cs.CV
I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation
Monash University（莫纳什大学）；Vertex Lab（Vertex实验室）；Shanghai Jiao Tong University（上海交通大学）
本文提出I3DM，一种隐式3D-aware记忆机制，通过预训练FF-NVS模型的中间特征进行视图相关性评分，提升复杂遮挡下的场景一致性生成效果。
2026-08-03 cs.CV
StoryMem: Multi-shot Long Video Storytelling with Memory
S-Lab, Nanyang Technological University（南洋理工大学S实验室）
StoryMem通过基于记忆的迭代镜头合成，实现了高质量多镜头视频叙事，提升了跨镜头一致性与审美质量。
2025-12-22 cs.CV
Ripple: Real-Time Streaming Audio-Video Generation With Cross-Modal Recurrent Memory
China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（中国电信人工智能技术（北京）有限公司）
本文提出Ripple系统，通过跨模态循环记忆机制及三阶段训练方案，实现480P下约28 FPS的实时流音频-视频生成，性能优于现有方法。
2026-07-30 cs.CV
Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
在深度学习时代，由于视频的时空复杂性和连续性，高质量的长视频生成仍然具有挑战性。现有的现有工作已经尝试通过将视频表示为RGB值的3D网格来对视频分布进行建模，这阻碍了所生成的视频的规模并且忽略了连续动态。在本文中，我们发现，最近出现的模式隐式神经表示（INR），编码一个连续的信号到一个参数化的神经网络有效地缓解了这个问题。通过利用视频的INR，我们提出了动态感知隐式生成对抗网络（DIGAN），一种新的生成对抗网络的视频生成。具体来说，我们介绍了（a）一个基于INR的视频生成器，通过不同地操纵空间和时间坐标来提高运动动态性，以及（b）一个运动跟踪器，可以有效地识别不自然的运动，而无需观察整个长帧序列。我们证明了DIGAN在各种数据集下的优越性，以及多个有趣的属性，例如，长视频合成、视频外推和非自回归视频生成。例如，DIGAN将UCF-101上先前最先进的FVD分数提高了30.7%，并且可以在128 x128分辨率的128帧视频上进行训练，比先前最先进方法的48帧长80帧。
2022-02-21 cs.CV cs.LG
SlotMem: Character-Addressable Internal Memory for Narrative Long Video Generation
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
研究针对叙事长视频生成中保持角色身份的挑战，提出SlotMem框架，通过字符语义探测器定位视觉令牌，记忆编码器压缩记忆，记忆写入器更新记忆，逐角色交叉注意力检索记忆，提升了远程角色一致性与视频质量。
2026-08-25 cs.CV
Context as Memory: Scene-Consistent Interactive Long Video Generation with Memory Retrieval
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
针对交互式长视频生成中的场景一致性问题，提出Context-as-Memory框架，将历史上下文作为记忆，通过帧格式存储与输入端拼接实现条件化，并设计Memory Retrieval模块基于FOV重叠筛选相关上下文帧，在降低计算开销的同时实现了优于SOTA的记忆能力与开放域泛化。
2025-08-12 cs.CV
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Beihang University（北京航空航天大学）；East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Samsung Research America（三星美国研究院）
在本文中，我们提出了一种说话的脸生成方法，以音频信号作为输入和短的目标视频剪辑作为参考，并合成一个逼真的视频的目标脸与自然的嘴唇运动，头部姿势，和眨眼是同步的输入音频信号。我们注意到，合成的面部属性不仅包括诸如与语音具有高相关性的嘴唇运动之类的显式属性，而且包括诸如与输入音频仅具有弱相关性的头部姿势和眨眼之类的隐式属性。为了对不同人脸属性与输入音频之间的复杂关系进行建模，我们提出了一种FACe隐式属性学习生成对抗网络（FACIAL-GAN），它集成了语音感知，上下文感知和身份感知信息，以合成具有嘴唇，头部姿势和眨眼的逼真运动的3D人脸动画。然后，我们的Rendering-to-Video网络将渲染的人脸图像和眨眼的注意力图作为输入，以生成照片级逼真的输出视频帧。实验结果和用户研究表明，我们的方法可以生成逼真的说话人脸视频，不仅同步嘴唇运动，而且自然的头部运动和眨眼，具有更好的质量比国家的最先进的方法的结果。
2021-08-18 cs.CV
3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation
Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Tsinghua University（清华大学）；CASIA
3DiMo通过隐式运动表示和视图丰富监督，提升视频生成中的人体运动保真度和视觉质量。
2026-02-14 cs.CV
MV-TON: Memory-based Video Virtual Try-on network
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；Guangdong University of Technology（广东工业大学）
随着生成对抗网络的发展，基于图像的虚拟试穿方法得到了很大的发展。然而，有限的工作已经探索了基于视频的虚拟试穿的任务，而它在现实世界中的应用是很重要的。现有的基于视频的虚拟试穿方法通常需要服装模板，并且只能生成模糊和低分辨率的结果。为了解决这些挑战，我们提出了一个基于内存的视频虚拟试穿网络（MV-TON），它无缝地传输所需的衣服到一个目标的人，而不使用任何服装模板，并生成高分辨率的逼真的视频。具体来说，MV-TON由两个模块组成：1）试穿模块，其通过姿势对准和像素的逐区域替换将期望的衣服从模型图像转移到帧图像; 2）存储器细化模块，其学习将现有生成的帧嵌入到潜在空间中作为后续帧生成的外部存储器。实验结果表明，我们的方法在视频虚拟试穿任务的有效性和它的优越性比其他现有的方法。
2021-08-17 cs.CV
MemLearner: Learning to Query Context memory for Video World Models
The University of Hong Kong（香港大学）；Fudan University（复旦大学）；Zhejiang University（浙江大学）；Kuaishou Technology（快手科技）
提出基于学习的自适应上下文查询方法MemLearner，利用视频生成模型自身进行上下文记忆查询，解决视频世界模型在遮挡和动态场景下的场景一致性问题。
2026-07-01 cs.CV
VideoMemory: Toward Consistent Video Generation via Memory Integration
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；ByteDance（字节跳动）
VideoMemory通过动态记忆库整合叙事规划与视觉生成，实现多镜头中角色、道具和环境的一致性生成。
2026-01-07 cs.CV
GIViC: Generative Implicit Video Compression
University of Bristol（布里斯托尔大学）
提出GIViC，首个在随机访问配置下超越VTM的基于隐式神经表示的视频编解码器，通过隐式扩散和层级门控线性注意力Transformer，相比VVC VTM、DCVC-FM和NVRC分别节省15.94%、22.46%和8.52%的BD-rate。
2025-03-25 cs.CV eess.IV
Video Signature: Implicit Watermarking for Video Diffusion Models
AI Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）人工智能 thrust）；Hong Kong University of Science and Technology（香港科学与技术大学）；School of Software, BNRist, Tsinghua University（清华大学软件学院）
针对视频生成水印中质量与提取权衡失衡、计算量大的问题，提出隐式水印方法Video Signature（\textsc{VidSig}），通过部分微调潜在解码器并结合扰动感知抑制和时间对齐模块，实现不可感知水印集成，在质量、提取准确率和延迟间取得最佳权衡且鲁棒性强。
2025-11-16 cs.CR cs.CV
WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
Peking University（北京大学）；ARC Lab, Tencent IEG（腾讯互动娱乐事业群 ARC 实验室）
WorldCrafter通过可查询的隐式3D感知记忆，实现从单图或文本提示的流式场景探索，显著提升长时一致性与相机控制精度。
2026-09-22 cs.AI cs.CV cs.GR
Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing
Adobe Research（Adobe研究实验室）；KAIST AI（韩国科学技术院人工智能研究所）；Adobe Internship（Adobe实习）；Project Lead（项目负责人）
Memory-V2V通过引入外部记忆模块，解决多轮视频编辑中的跨轮一致性问题，提升编辑连贯性并保持视觉质量，优于现有基线模型。
2026-08-27 cs.AI cs.CV cs.LG
Spatia: Video Generation with Updatable Spatial Memory
The University of Sydney（悉尼大学）；Microsoft Research（微软研究院）；HKUST（香港科技大学）；University of Waterloo（滑铁卢大学）
Spatia通过可更新的空间记忆机制，实现视频生成中的长期空间与时间一致性，支持动态实体生成和3D交互编辑。
2025-12-17 cs.AI cs.CV
Implicit Identity Representation Conditioned Memory Compensation Network for Talking Head video Generation
HKUST（香港科技大学）
针对复杂运动导致说话人头部视频生成出现遮挡伪影和细节退化的问题，本文提出 MCNet，利用全局面部元记忆库与隐式身份查询补偿源特征，并在 VoxCeleb1 和 CelebV 上取得优于现有方法的结果。
2023-08-18 cs.AI cs.CV
MemCam: Memory-Augmented Camera Control for Consistent Video Generation
Guilin University of Electronic Technology（桂林电子科技大学）
MemCam通过利用先前生成帧作为外部记忆，提升动态摄像机控制下的视频生成一致性，实验表明其在长视频场景中表现优异。
2026-03-27 cs.AI cs.CV
StreamHOI: Interaction-aware Temporal Memory Adaptation for Streaming HOI Video Generation
Kling AI Research（克林人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National Cheng Kung University（国立成功大学）
针对现有HOI视频生成方法不适用于实时交互应用的问题，提出StreamHOI框架。通过分析Transformer块的历史记忆偏好，进行离线分析与偏差引导训练，并引入内存距离缩放模块，实现高效长时HOI视频生成，兼具多种优势且效率高。
2026-07-23 cs.AI cs.CV
MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation
University of California, Los Angeles（加州大学洛杉矶分校）；Nirvana Robotics（涅槃机器人）；University of California, San Diego（加州大学圣迭戈分校）；University of Utah（犹他大学）
提出MemoryVAM，通过Recap-Cue模块将情景记忆注入视频世界模型策略，解决长时域操作中的非马尔可夫性问题，在LIBERO-Mem和真实机器人任务上显著提升成功率。
2026-06-23 cs.AI cs.CV cs.RO
Fast Encoding and Decoding for Implicit Video Representation
University of Maryland, College Park（马里兰大学帕克分校）；New York University（纽约大学）；University of Central Florida（中佛罗里达大学）
本文针对视频隐式神经表示编码时间长的问题，提出基于transformer的超网络NeRV-Enc实现快速编码，及并行解码器NeRV-Dec实现高效视频加载，显著提升了视频编解码速度。
2024-10-15 cs.CV
Internal Video Inpainting by Implicit Long-range Propagation
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一个新的框架，采用内部学习策略的视频修复。与以前的方法不同，使用光流跨帧上下文传播来修补未知区域，我们表明，这可以通过将卷积神经网络拟合到已知区域来隐式实现。此外，为了处理具有模糊背景或长期遮挡的具有挑战性的序列，我们设计了两个正则化项来保留高频细节和长期时间一致性。在DAVIS数据集上的大量实验表明，该方法在定量和定性上都达到了最先进的修复质量。我们进一步将所提出的方法扩展到另一个具有挑战性的任务：学习从视频中移除对象，在4K视频中仅在一帧中给出单个对象掩码。
2021-08-17 cs.CV
Implicit Neural Representation for Video and Image Super-Resolution
Clemson University（克莱姆森大学）
本研究提出基于隐式神经表示的SR-INR方法，仅需低分辨率输入和3D高分辨率网格即可实现图像和视频超分辨率，无需光流或运动估计，在保持时序稳定性的同时降低了计算需求，性能优于现有先进方法。
2025-03-06 cs.CV
Unsupervised Video Anomaly Detection via Normalizing Flows with Implicit Latent Features
Yonsei University（延世大学）；NAVER CLOVA Video
在当代社会，监视异常检测，即，在监控录像中发现犯罪或事故等异常事件是一项重要任务。由于异常很少发生，大多数训练数据由没有异常事件的未标记视频组成，这使得任务具有挑战性。大多数现有的方法使用自动编码器（AE）来学习重建正常的视频，然后根据它们无法重建异常场景的外观来检测异常。然而，由于异常是通过外观和运动来区分的，因此许多以前的方法已经明确地分离了外观和运动信息-例如，使用预先训练的光流模型。这种明确的分离限制了两种类型信息之间的相互表示能力。相比之下，我们提出了一个隐式的双路径AE（ITAE），在这种结构中，两个编码器隐式地对外观和运动特征进行建模，以及一个解码器将它们结合起来学习正常的视频模式。针对正常场景的复杂分布，提出了基于归一化流（NF）的生成模型对ITAE特征进行正态密度估计，学习易处理的似然，并利用分布外检测识别异常。NF模型通过隐式学习特征学习正态性来增强ITAE性能。最后，我们证明了ITAE的有效性和它的特征分布建模的六个基准，包括数据库，包含在现实世界中的各种异常情况。
2022-08-04 cs.CV
Blind Video Super-Resolution based on Implicit Kernels
University of Electronic Science and Technology of China（电子科技大学）；University of Bristol（布里斯托大学）
提出基于隐式核的盲视频超分辨率模型BVSR-IK，利用隐式神经表示构建多尺度核字典并结合循环Transformer进行精确滤波，在三个数据集上PSNR最多比次优方法高0.59 dB。
2025-10-11 cs.CV
Implicit Neural Representation for Video Restoration
Clemson University, School of Computing（克莱姆森大学计算机学院）
提出基于隐式神经表示的 VR-INR，仅用 ×4 尺度训练即可泛化到任意超分辨率尺度，并对含噪视频实现零样本去噪，重建质量优于现有方法。
2025-06-05 cs.CV
Implicit Stacked Autoregressive Model for Video Prediction
SI Analytics（SI分析公司）
未来帧预测已经通过两种主要方法来处理：自回归和非自回归。自回归方法依赖于马尔可夫假设，并且可以在误差尚未累积的预测的早期阶段实现高精度。然而，随着时间步数的增加，它们的性能往往会下降。相比之下，非自回归方法可以实现相对较高的性能，但在每个时间步长的预测之间缺乏相关性。在本文中，我们提出了一个隐式堆叠自回归模型的视频预测（IAM4VP），这是一个隐式的视频预测模型，应用堆叠自回归方法。与非自回归方法一样，堆叠自回归方法使用相同的观测帧来估计所有未来帧。然而，它们使用自己的预测作为输入，类似于自回归方法。随着时间步数的增加，预测将依次堆叠在队列中。为了评估IAM4VP的有效性，我们在三个常见的未来框架预测基准数据集和天气气候预测基准数据集上进行了实验。结果表明，我们提出的模型达到了最先进的性能。
2023-03-14 cs.CV
Looking Beyond Visible Cues: Implicit Video Question Answering via Dual-Clue Reasoning
Shanghai Jiao Tong University（上海交通大学）；ZhongguanCun Academy（中关村学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai University（上海大学）；City University of Hong Kong（香港城市大学）；Wuhan University（武汉大学）
本文提出隐式视频问答任务和IRM模型，通过双线索推理提升隐式问答性能，优于现有模型。
2025-12-11 cs.CV
XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出XMem，一个视频对象分割架构的长视频统一的功能内存存储的灵感来自阿特金森-Shiffrin内存模型。视频对象分割的先前工作通常仅使用一种类型的特征存储器。对于超过一分钟的视频，单个特征记忆模型将内存消耗和准确性紧密联系起来。与此相反，阿特金森-希夫林模型，我们开发了一个架构，其中包括多个独立的，但深度连接的功能记忆存储：一个快速更新的感觉记忆，高分辨率的工作记忆，并因此持续的长期记忆紧凑。最重要的是，我们开发了一种记忆增强算法，该算法定期将活跃使用的工作记忆元素整合到长期记忆中，从而避免记忆爆炸并最大限度地减少长期预测的性能衰减。结合新的内存读取机制，XMem大大超过了长视频数据集上的最先进性能，同时与短视频数据集上的最先进方法（不适用于长视频）不相上下。代码可在https://hkchengrex.github.io/XMem上获得
2022-07-18 cs.CV
NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling
University of Maryland（马里兰大学）；Snap Inc（Snap公司）
隐式神经表示（INR）最近被证明是高质量视频压缩的强大工具。然而，现有的作品是有限的，因为它们没有明确地利用视频中的时间冗余，导致编码时间长。此外，这些方法具有固定的架构，不能扩展到更长的视频或更高的分辨率。为了解决这些问题，我们提出了NIRVANA，它将视频视为一组帧，并将单独的网络适配到每个组，执行分片预测。这种设计在空间和时间维度上在每个组内共享计算，从而减少视频的编码时间。视频表示是自回归建模的，网络适合使用来自前一组模型的权重初始化的当前组。为了进一步提高效率，我们在训练过程中对网络参数进行量化，不需要事后修剪或量化。与以前在基准UVG数据集上的工作相比，NIRVANA将编码质量从37.36提高到37.70（就PSNR而言），编码速度提高了12倍，同时保持相同的压缩率。与之前的视频INR作品相比，这些作品需要更大的分辨率和更长的视频，我们表明我们的算法非常灵活，并且由于其补丁和自回归设计而自然扩展。此外，我们的方法实现可变比特率的压缩，通过适应不同的帧间运动的视频。NIRVANA实现了6倍的解码速度，并可与更多GPU进行良好的扩展，使其适用于各种部署场景。
2022-12-30 cs.CV
Generalizable Implicit Motion Modeling for Video Frame Interpolation
Nanyang Technological University（南洋理工大学）；S-Lab
针对现有视频帧插值运动建模缺乏有效时空动态建模能力的问题，提出可泛化隐式运动建模方法，通过运动编码流水线和自适应坐标神经网络实现精确运动建模，在标准基准上优于现有技术。
2025-02-10 cs.CV
Enhancing Video Super-Resolution via Implicit Resampling-based Alignment
针对视频超分辨率对齐中双线性重采样损失高频信息的问题，提出由位置编码、坐标网络和窗口交叉注意力构成的隐式重采样对齐，显著提升现有框架性能且几乎不增加计算与参数。
2024-01-18 cs.CV
End-To-End Trainable Video Super-Resolution Based on a New Mechanism for Implicit Motion Estimation and Compensation
McMaster University（麦克马斯特大学）；University of Ottawa（渥太华大学）
视频超分辨率旨在从其低分辨率对应物生成高分辨率视频。随着深度学习的迅速兴起，许多最近提出的视频超分辨率方法使用卷积神经网络结合显式运动补偿来利用低分辨率帧内和跨低分辨率帧的统计依赖性。这种方法有两个共同的问题值得注意。首先，最终重建的HR视频的质量通常对运动估计的准确性非常敏感。其次，运动补偿所需的扭曲网格，这是由两个流图划定像素位移在水平和垂直方向，往往会引入额外的错误，并危及跨视频帧的时间一致性。为了解决这些问题，我们提出了一种新的动态局部滤波器网络来执行隐式运动估计和补偿，通过局部连接层，样本特定的和位置特定的动态局部滤波器，定制的目标像素。我们还提出了一个基于ResBlock和自动编码器结构的全局细化网络，以利用非局部相关性并增强超分辨率帧的空间一致性。实验结果表明，该方法优于国家的最先进的，并验证了其实力方面的局部变换处理，时间一致性以及边缘清晰度。
2020-01-05 cs.CV
Bias for Action: Video Implicit Neural Representations with Bias Modulation
University of California Riverside（加州大学河滨分校）；Rice University（Rice大学）；Neal Cancer Center, Houston Methodist Hospital（休斯顿 Methodist医院 Neal癌症中心）
本文提出 ActINR 视频连续建模框架，通过跨帧共享 INR 权重并用时间条件 INR 生成逐帧偏置来建模运动，在慢动作、超分、去噪和修复等任务上取得显著性能提升。
2025-06-06 cs.CV
Implicit Neural Video Compression
Qualcomm AI Research（高通人工智能研究院）
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入，这使得帧之间的有效运动补偿。与一个小的残差网络一起，这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法，我们称之为隐式像素流（IPF），在已建立的神经视频编解码器上提供了几个简化：它不需要接收器访问预训练的神经网络，不使用昂贵的基于插值的扭曲操作，并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
I M Avatar: Implicit Morphable Head Avatars from Videos
ETH Zürich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传统的3D可变形人脸模型（3DMM）提供了对表情的细粒度控制，但无法轻松捕获几何和外观细节。神经体积表示接近照片写实主义，但很难动画，也不能很好地推广到看不见的表情。为了解决这个问题，我们提出了IMavatar（隐式可变形头像），一种新的方法，用于从单目视频中学习隐式头部头像。受传统3DMM提供的细粒度控制机制的启发，我们通过学习混合变形和蒙皮场来表示与表情和姿势相关的变形。这些属性是姿态独立的，并且可以用于在给定新颖的表达式和姿态参数的情况下变形规范的几何和纹理场。我们采用射线推进和迭代寻根定位的规范表面的每个像素的交点。一个关键的贡献是我们新颖的分析梯度公式，它可以从视频中对IMavatars进行端到端的训练。我们定量和定性地表明，我们的方法改进了几何形状，并覆盖了更完整的表达空间相比，国家的最先进的方法。
2022-11-04 cs.CV
tcnerv:dual-domain temporal context modeling for implicit neural video compression
Harbin Engineering University（哈尔滨工程大学）；Key Laboratory of Advanced Marine Communication and Information Technology（先进海洋通信与信息技术重点实验室）；University of Toronto（多伦多大学）；Kanagawa University（神奈川大学）
TCNeRV通过特征域多尺度门控融合与嵌入域残差编码，在约3M参数下实现UVG数据集36.08dB的PSNR，显著优于现有方法。
2026-09-16 cs.CV
ImpliHateVid: A Benchmark Dataset and Two-stage Contrastive Learning Framework for Implicit Hate Speech Detection in Videos
Indian Institute of Technology Indore（印度理工学院印地尔分校）；Chaitanya Bharathi Institute of Technology（恰伊坦亚·巴哈蒂技术学院）
本文提出视频隐式仇恨检测数据集 ImpliHateVid 及两阶段多模态对比学习框架，通过融合音频、文本、图像及情感特征，在隐式和一般仇恨检测任务中验证了有效性。
2025-08-15 cs.CV cs.LG
Video Individual Counting With Implicit One-to-Many Matching
National Key Laboratory of Multispectral Information Intelligent Processing Technology School of AIA, Huazhong University of Science
针对现有视频个体计数一对一匹配易受外观变化、检测缺失影响的问题，提出带隐式上下文生成器和一对多成对匹配器的OMAN模型，在两个基准上取得SOTA性能。
2025-06-16 cs.CV
Implicit Neural Representation for Videos Based on Residual Connection
Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究院）
针对视频隐式神经表示的帧细节重建不足问题，提出将低分辨率帧作为残差连接的方法，在49个视频的46个样本上PSNR优于现有方法HNeRV。
2024-06-15 cs.CV eess.IV
Memory Efficient Temporal & Visual Graph Model for Unsupervised Video Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；eBay Inc.（易贝公司）；Temple University（天普大学）
现有的视频域自适应（video domain adaptation，DA）方法需要存储视频帧的所有时间组合或将源视频和目标视频配对，这不仅存储成本高，而且不能扩展到长视频。为了解决这些限制，我们提出了一个内存高效的基于图形的视频DA方法如下。首先，我们的方法模型的每个源或目标视频的图：节点表示视频帧和边缘表示帧之间的时间或视觉相似性关系。我们使用图注意力网络来学习单个帧的权重，并同时将源和目标视频对齐到域不变的图特征空间中。该方法不需要存储大量的子视频，而是只为一个视频构建一个具有图注意力机制的图，大大降低了存储开销。大量的实验表明，与最先进的方法相比，我们取得了优越的性能，同时降低了内存成本显着。
2022-08-13 cs.CV
Neural Implicit Representations for Physical Parameter Inference from a Single Video
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Bonn（波恩大学）
本文提出将神经隐式表示与神经常微分方程结合，仅从单一视频中推断可解释物理参数，实现高分辨率视频处理、长期状态预测和新场景照片级真实感渲染。
2024-04-02 cs.CV
Long-VMNet: Accelerating Long-Form Video Understanding via Fixed Memory
Samsung Research America（美国三星研究院）
针对长视频理解传统方法算力需求高、GPU内存受限的问题，提出采用固定记忆表示与神经采样器、仅需单次视频扫描的Long-VMNet，在Rest-ADL数据集上实现18-75倍推理提速且性能有竞争力。
2025-03-17 cs.CV
SLVMBench: Skill Learning from Video Memory
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
SLVMBench是首个用于评估视频大语言模型从长视频记忆学习技能并应用于实时任务能力的基准测试，通过特定视频流和人工标注进行测试，发现现有视频LLMs在此方面有局限。
2026-07-14 cs.CV
Implicit Motion Handling for Video Camouflaged Object Detection
Monash University（莫纳什大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；ETH Zurich（苏黎世联邦理工学院）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Airdoc Research Australia（澳大利亚鹰瞳研究院）
我们提出了一个新的视频隐藏目标检测（VCOD）框架，可以利用短期的动态和长期的时间一致性，从视频帧中检测隐藏的对象。图像对象的一个基本属性是它们通常表现出与背景相似的图案，因此很难从静止图像中识别它们。因此，有效地处理视频中的时间动态特性成为VCOD任务的关键，因为当被捕获的对象移动时，它们将是明显的。然而，当前的VCOD方法通常利用单应性或光流来表示运动，其中检测误差可能从运动估计误差和分割误差两者累积。另一方面，我们的方法统一在一个单一的优化框架内的运动估计和对象分割。具体来说，我们建立了一个密集的相关体积隐式捕捉相邻帧之间的运动，并利用最终的分割监督，以优化隐式运动估计和分割联合。此外，为了加强视频序列中的时间一致性，我们共同利用时空Transformer来细化短期预测。VCOD基准上的大量实验证明了我们的方法的架构的有效性。我们还提供了一个名为MoCA-Mask的大规模VCOD数据集，该数据集具有像素级手工制作的地面真实掩模，并使用以前的方法构建了一个全面的VCOD基准，以促进这一方向的研究。数据集链接：https://xueliancheng.github.io/SLT-Net-project。
2022-03-15 cs.CV
