WAIT: Feature Warping for Animation to Illustration video Translation using GANs
Hacettepe University(哈塞特佩大学);Middle East Technical University(中东技术大学)
针对使用无序插画集合给动画视频风格化的新问题,提出带特征扭曲层的GAN生成器网络,无需额外光流等网络即可保证时间连贯性,在三个数据集上验证了有效性。
2025-03-21 cs.CV
Long-Term Temporally Consistent Unpaired Video Translation from Simulated Surgical 3D Data
NCT/UCC Dresden(德累斯顿国家肿瘤疾病中心/大学癌症中心);CeTI, TU Dresden(德累斯顿工业大学触觉互联网卓越中心);University Hospital Dresden(德累斯顿大学医院)
不成对视频翻译的研究主要集中在通过调节相邻帧的短期时间一致性。然而,对于从模拟到真实感序列的转移,关于底层几何结构的可用信息提供了实现跨视图的全局一致性的可能性。我们提出了一种新的方法,它结合了不成对的图像翻译与神经渲染转移模拟到逼真的外科手术腹部场景。通过引入全局可学习的纹理和光照不变的视图一致性损失,我们的方法产生任意视图的一致性翻译,从而实现长期一致的视频合成。我们设计和测试我们的模型,以生成视频序列的微创手术腹部场景。由于标记的数据通常在该域中受到限制,因此保留来自模拟域的地面真实信息的照片级真实感数据尤其相关。通过将现有的基于图像的方法扩展到查看一致的视频,我们的目标是影响模拟训练和评估环境在外科应用中的适用性。代码和数据:http://opencas.dkfz.de/video-sim2real。
2021-08-19 cs.CV
Revealing Microscopic Objects in Fluorescence Live Imaging by Video-to-video Translation Based on A Spatial-temporal Generative Adversarial Network
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);School of Life Sciences(生命科学学院)
针对荧光显微镜因标记有限而难以同时观察多种微观物体的问题,提出基于时空生成对抗网络(STGAN)的视频到视频转换方法,模拟物体发育过程以揭示时空关系,实验证明其能有效缓解光谱冲突,实现多物体同时可视化。
2025-02-22 cs.CV eess.IV
I2V-GAN: Unpaired Infrared-to-Visible Video Translation
Beijing Institute of Technology(北京理工大学);Yantai IRay Technologies Lt. Co.(烟台艾睿光电科技有限公司)
人类的视力经常受到复杂环境因素的不利影响,特别是在夜视场景中。因此,红外摄像机通常通过检测周围环境中的红外辐射来帮助增强视觉效果,但由于缺乏详细的语义信息,红外视频是不受欢迎的。在这种情况下,通过克服红外和可见光领域之间固有的巨大差距,强烈需要从红外域到可见光对应物的有效视频到视频转换方法。为了解决这个具有挑战性的问题,我们提出了一个红外到可见光(I2 V)视频转换方法I2 V-GAN生成细粒度和时空一致的可见光视频由给定的未配对的红外视频。从技术上讲,我们的模型利用了三种类型的约束:1)对抗性约束,以生成与真实帧相似的合成帧,2)循环一致性,引入感知损失,以实现有效的内容转换和风格保留,以及3)跨域和域内的相似性约束,以在细粒度级别上增强空间和时间空间中的内容和运动一致性。此外,目前公开可用的红外和可见光数据集主要用于目标检测或跟踪,并且一些由不连续的图像组成,不适合视频任务。因此,我们为I2 V视频翻译提供了一个新的数据集,称为IRVI。具体来说,它有12个连续的车辆和监控场景的视频剪辑,红外和可见光视频可以分为24352帧。综合实验结果表明,I2 V-GAN在翻译流畅度更高、语义细节更精细的I2 V视频时优于SOTA方法。代码和IRVI数据集可在https://github.com/BIT-DA/I2V-GAN上获得。
2021-08-04 cs.CV
Mocycle-GAN: Unpaired Video-to-Video Translation
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院)
无监督图像到图像翻译是在没有任何成对训练样本的情况下将图像从一个域翻译到另一个域的任务,并且倾向于更适用于实际应用。然而,这种合成从图像到图像到视频到视频的扩展并不是微不足道的,特别是在捕获视频中的时空结构时。困难源于这样的方面,即不仅在每个帧中的视觉外观,而且连续帧之间的运动应该是真实的和一致的跨变换。这促使我们探索视频合成中的外观结构和时间连续性。在本文中,我们提出了一个新的运动引导循环GAN,被称为Mocycle-GAN,新颖地将运动估计集成到不成对的视频翻译。从技术上讲,MoCycle-GAN利用了三种类型的约束:区分合成帧和真实帧的对抗性约束,鼓励帧和运动的逆平移的循环一致性,以及验证连续帧之间运动传输的运动平移。视频到标签和标签到视频翻译进行了广泛的实验,并报告了优越的结果相比,国家的最先进的方法。更值得注意的是,我们定性地展示了我们的Moycle-GAN的花到花和环境条件转移。
2019-08-26 cs.CV cs.MM
LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video Translation
Beihang University(北京航空航天大学);Meituan(美团)
本文提出 LatentWarp 框架,通过在潜在空间中对上一帧特征进行光流 warp 来约束 query token 的时间一致性,从而提升零样本视频到视频转换的视觉时间连贯性。
2023-11-01 cs.CV
Controllable Image-to-Video Translation: A Case Study on Facial Expression Generation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Tencent AI Lab(腾讯人工智能实验室)
深度学习的最新进展使得通过使用神经网络生成照片般逼真的图像成为可能,甚至可以从输入视频剪辑中推断视频帧。在本文中,为了进一步的探索和我们自己的兴趣,在现实的应用中,我们研究图像到视频的翻译,特别是专注于面部表情的视频。与图像到图像的转换相比,这个问题通过另一个时间维度对深度神经网络提出了挑战。此外,它的单一输入图像失败了大多数依赖于递归模型的现有视频生成方法。我们提出了一种用户可控的方法,以便从单个人脸图像生成各种长度的视频剪辑。表达式的长度和类型由用户控制。为此,我们设计了一种新的神经网络架构,可以将用户输入到其跳过连接,并提出了几个改进的对抗训练方法的神经网络。实验和用户研究验证了我们的方法的有效性。特别是,我们想强调的是,即使是野生的面部图像(从网络下载和作者自己的照片),我们的模型也可以生成高质量的面部表情视频,其中大约50%被亚马逊土耳其机器人工作人员标记为真实的。
2018-08-09 cs.CV
Learning Stochastic Bridges for Video Object Removal via Video-to-Video Translation
提出基于随机桥接模型的视频到视频翻译框架,利用输入视频的结构先验引导对象移除,并通过自适应掩码调制策略平衡背景保真度与生成灵活性,显著提升视觉质量和时间一致性。
2026-06-29 cs.CV
MeDM: Mediating Image Diffusion Models for Video-to-Video Translation with Temporal Correspondence Guidance
Academia Sinica(中央研究院)
MeDM利用预训练图像扩散模型和光流编码实现视频到视频翻译,通过闭式优化保持时间一致性,无需微调,实验验证其优越性。
2023-12-20 cs.CV
Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Nanyang Technological University(南洋理工大学)
针对现有视频扩散模型因双向注意力无法处理直播流的问题,提出带单向时间注意力的Live2Diff,结合KV缓存与流水线实现高效直播视频翻译,性能优于现有方法。
2024-07-11 cs.CV
Spatial-Temporal Graph Mamba for Music-Guided Dance Video Synthesis
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机科学学院,北京大学);UCAS-Terminus AI Lab, University of Chinese Academy of Sciences(中国科学院大学Terminus AI实验室,中国科学院大学);School of Intelligent Science and Technology, Nanjing University(智能科学与技术学院,南京大学);Department of Information Technology and Electrical Engineering, ETH Zurich(信息科技与电气工程系,苏黎世联邦理工学院);Department of Electrical Engineering, KU Leuven(电气工程系,鲁汶大学);INSAIT, Sofia Un.(INSAIT,索菲亚大学);Department of Information Engineering and Computer Science (DISI), University of Trento(信息工程与计算机科学系(DISI),特伦托大学)
本文提出时空图Mamba(STG-Mamba)用于音乐引导的舞蹈视频合成,通过音乐到骨架和骨架到视频的两阶段转换,并引入自监督正则化网络,在自建数据集上取得显著优于现有方法的效果。
2025-07-09 cs.CV
Zero-Shot Video Translation and Editing with Frame Spatial-Temporal Correspondence
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);S-Lab, Nanyang Technological University(南洋理工大学S实验室)
FRESCO通过整合帧内与帧间对应关系,提升视频翻译与编辑的空间-时间一致性,实现高质量、一致的视频生成。
2025-12-03 cs.CV
ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning
Google(谷歌);National University of Singapore(新加坡国立大学)
本文提出ReCapture,一种从用户提供的单个视频生成新视角视频的方法,通过多视角扩散或点云渲染生成锚定视频,再经掩码视频微调得到干净一致的结果。
2024-11-07 cs.AI cs.CV cs.GR
VideoControlNet: A Motion-Guided Video-to-Video Translation Framework by Using Diffusion Model with ControlNet
Beihang University(北京航空航天大学);University of Hong Kong(香港大学)
提出运动引导的视频到视频转换框架 VideoControlNet,利用带 ControlNet 的扩散模型生成首帧,并通过 MgPG 和 MgBI 模块结合运动信息生成关键帧与插值帧,实现了连续一致的视频生成。
2023-08-03 cs.CV
Translation-based Video-to-Video Synthesis
The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文是一篇关于基于翻译的视频合成(TVS)的综述,梳理了该领域最新进展,分析了各类方法的原理、优缺点、适用场景及未来方向,重点关注帧间闪烁伪影与不一致性的解决策略。
2024-04-03 cs.CV cs.LG eess.IV
Zero-Shot Video Translation via Token Warping
School of Computer Science and Engineering at South China University of Technology(华南理工大学计算机科学与工程学院);School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)智能科学与工程学院);School of Computing and Information Systems, Singapore Management University(新加坡管理学院计算机与信息系)
本文提出TokenWarping框架,通过光流扭曲提升视频翻译的时间一致性与质量。
2025-11-25 cs.CV
Application of Video-to-Video Translation Networks to Computational Fluid Dynamics
近年来,人工智能尤其是深度学习的演进令人瞩目,其对各个领域的应用也在快速增长。在本文中,我报告了生成对抗网络(GANs),特别是视频到视频翻译网络,在计算流体动力学(CFD)模拟中的应用结果。本研究的目的是减少计算流体力学模拟与GANs的计算成本。本研究中的GANs架构是图像到图像翻译网络(所谓的“pix 2 pix”)和长短期记忆(LSTM)的组合。结果表明,高成本和高精度的模拟(高分辨率的计算网格)的结果可以估计从低成本和低精度的模拟(低分辨率的网格)。特别地,通过GANs从低分辨率网格的情况下再现高分辨率网格的情况下的密度分布的时间演化,并且从由GANs生成的图像估计的密度不均匀性以良好的精度恢复了地面实况。定性和定量的比较,所提出的方法与几个超分辨率算法的结果。
2021-09-12 cs.CV cs.LG physics.flu-dyn
Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The University of Hong Kong(香港大学);Stanford University(斯坦福大学)
使用神经网络合成逼真的人类视频由于其高效率而成为传统的基于图形的渲染流水线的流行替代方案。现有的作品通常将此公式化为2D屏幕空间中的图像到图像的转换问题,这会导致诸如过度平滑、丢失身体部位和精细尺度细节的时间不稳定性(诸如服装中的姿势依赖性皱纹)之类的伪像。在本文中,我们提出了一种新的人类视频合成方法,通过明确地将时间相干的精细尺度细节的学习与人类在2D屏幕空间中的嵌入分离开来,来接近这些限制因素。更具体地说,我们的方法依赖于两个卷积神经网络(CNN)的组合。给定姿态信息,第一CNN预测包含时间相干高频细节的动态纹理图,并且第二CNN根据第一CNN的时间相干输出来调节最终视频的生成。我们展示了我们的方法的几个应用,如人类重演和新的单目视频视图合成,在那里我们表现出显着的改进,在定性和定量的最先进的。
2021-07-05 cs.CV cs.GR
FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出FRESCO框架,通过结合帧内与帧间对应关系并显式更新特征,增强时空约束,实现零样本视频翻译的高视觉连贯性,显著优于现有方法。
2024-03-19 cs.CV
TC-PDM: Temporally Consistent Patch Diffusion Models for Infrared-to-Visible Video Translation
Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Safran Electronics and Defense Australasia(赛峰电子与防务澳大拉西亚分公司);Department of Data Science and Artificial Intelligence, Monash University(莫纳什大学数据科学与人工智能系)
本文提出TC-PDM扩散方法,通过语义引导去噪和时间混合模块,实现红外到可见光视频转换,在FVD和AP50指标上显著优于现有方法。
2024-08-26 cs.CV
VHS to HDTV Video Translation using Multi-task Adversarial Learning
Shenzhen University(深圳大学);Guangdong Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与社会机器人研究所)
有大量有价值的视频档案在视频家庭系统(VHS)格式。然而,由于模拟性质,它们的质量往往很差。与高清晰度电视(HDTV)相比,VHS视频不仅颜色暗淡,而且分辨率较低,经常出现模糊。在本文中,我们专注于将VHS视频转换为HDTV视频的问题,并开发了一种基于新的无监督多任务对抗学习模型的解决方案。受生成对抗网络(GAN)和CycleGAN的成功启发,我们将循环一致性损失、对抗性损失和感知损失结合起来学习翻译模型。我们的工作的一个重要创新是将超分辨率模型和颜色迁移模型结合起来,可以解决无监督的多任务问题。据我们所知,这是第一个致力于研究VHS和HDTV之间关系的工作,也是第一个将VHS转换为HDTV的计算解决方案。我们给出了实验结果来定性和定量地证明我们的解决方案的有效性。
2021-01-07 cs.CV eess.IV
GANs N' Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们将展示如何学习一个映射,该映射将从人脸图像派生的内容代码和随机选择的样式代码映射到动漫图像。我们从我们对风格和内容的简单而有效的定义中得出了一个对抗性的损失。这种对抗性的损失保证了地图的多样性--一个单一的内容代码可以产生非常广泛的动画。在合理的假设下,地图不仅是多样的,而且还正确地表示了动画的概率,条件是输入面。相比之下,目前的多模态生成程序不能捕捉动画中出现的复杂风格。大量的定量实验支持了这一观点。大量的定性结果表明,该方法可以产生更多样化的风格比SOTA比较。最后,我们证明了我们的内容和风格的形式化允许我们执行视频到视频的翻译,而无需对视频进行培训。
2021-06-11 cs.CV cs.GR cs.LG
StyleMaster: Stylize Your Video with Artistic Generation and Translation
Hong Kong University of Science and Technology(香港科技大学);KuaiShou Technology(快手科技)
针对现有视频风格生成方法风格偏差大、内容泄露、视频迁移效果差的问题,提出StyleMaster方法,通过优化风格提取、引入对比学习和轻量运动适配器,显著提升风格相似度与时序连贯性,性能优于同类方法。
2024-12-10 cs.CV
AdaFlow: Efficient Long Video Editing via Adaptive Attention Slimming And Keyframe Selection
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
针对文本驱动长视频编辑的内存开销问题,提出无需训练的AdaFlow方法,通过自适应注意力瘦身压缩KV序列、自适应关键帧选择提升质量,实现单GPU超1k帧编辑,长度达对比方法十倍,并构建LongV-EVAL基准。
2025-02-08 cs.CV
Looking Backward: Streaming Video-to-Video Translation with Feature Banks
UT Austin(得克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校)
本文提出实时流式 V2V 扩散模型 StreamV2V,通过持续更新的特征库和扩展自注意力融合历史特征,在无需微调图像扩散模型的情况下实现无限长视频转换,并显著提升速度与时间一致性。
2025-02-16 cs.CV cs.MM
RealWeather: Realistic and Scene-Faithful Weather Translation with Driving World Models
RealWeather是一种驾驶世界模型,通过渐进式逼真度引导和场景忠实度强化学习优化实现逼真且场景忠实的天气转换,在视觉逼真度、结构保留等方面优于现有方法,支持长尾天气场景生成与零样本泛化。
2026-08-11 cs.CV
WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation
Show Lab, National University of Singapore(新加坡国立大学Show实验室)
研究聚焦视频生成中自我中心与外中心世界转换,提出WorldWander框架,基于视频扩散变换器,整合上下文视角对齐与协作位置编码,精心策划数据集,实验证明该框架在视角同步、角色一致性和泛化能力上表现卓越,设定了新基准。
2026-07-17 cs.CV
Vision Bridge Transformer at Scale
National University of Singapore(新加坡国立大学);The Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学)
ViBT 是一种大规模 Bridge 模型,通过 Transformer 架构和方差稳定的速度匹配目标,实现高效图像和视频翻译任务。
2025-11-28 cs.AI cs.CV
CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
HKUST(香港科技大学);Ant Group(蚂蚁集团);ZJU(浙江大学)
该研究提出新型视频表示CoDeF,通过联合优化规范内容场与时序形变场,可将图像算法无训练地迁移到视频处理,实现更优跨帧一致性,还能跟踪非刚性物体。
2024-12-12 cs.CV
Face-Dubbing++: Lip-Synchronous, Voice Preserving Translation of Videos
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学);Istanbul Technical University(伊斯坦布尔理工大学)
在本文中,我们提出了一个神经端到端系统的语音保留,嘴唇同步翻译的视频。该系统被设计为结合多个组件模型,并产生一个视频的原始扬声器说话的目标语言,是唇同步与目标语音,但保持重点的语音,语音特征,面部视频的原始扬声器。流水线从自动语音识别开始,包括强调检测,然后是翻译模型。然后,翻译后的文本由文本到语音模型合成,该模型重新创建从原始句子映射的原始重点。然后使用语音转换模型将所得到的合成语音映射回原始说话者的语音。最后,为了使说话者的嘴唇与翻译的音频同步,基于条件生成对抗网络的模型相对于输入面部图像以及语音转换模型的输出生成适应的嘴唇运动的帧。最后,系统将生成的视频与转换后的音频相结合,以产生最终输出。其结果是一个视频的扬声器说另一种语言,而实际上不知道it. To评估我们的设计,我们提出了一个完整的系统,以及单独的评估的单个组件的用户研究。由于没有可用的数据集来评估我们的整个系统,我们收集了一个测试集,并在这个测试集上评估我们的系统。结果表明,我们的系统是能够产生令人信服的视频的原说话人说目标语言,同时保持原说话人的特点。收集的数据集将被共享。
2022-06-09 cs.CL cs.CV cs.SD
Learning to Forecast and Refine Residual Motion for Image-to-Video Generation
Rutgers University(罗格斯大学);Binghamton University(宾厄姆顿大学)
我们考虑的问题,图像到视频的翻译,其中输入图像被翻译成一个输出视频包含一个单一的对象的运动。最近的方法,这样的问题通常训练转换网络,以产生未来的帧的结构序列的条件。并行工作已经表明,利用来自训练数据的时间知识的时空生成网络可以生成短的高质量运动。我们结合了这两种方法的优点,并提出了一个两阶段的生成框架,其中视频从结构中生成,然后通过时间信号进行细化。为了更有效地建模运动,我们训练网络来学习当前帧和未来帧之间的残余运动,这避免了学习与运动无关的细节。我们对两个图像到视频的翻译任务进行了广泛的实验:面部表情重定位和人体姿势预测。在这两项任务上优于最先进的方法的结果证明了我们方法的有效性。
2018-07-26 cs.CV
Augmenting Ego-Vehicle for Traffic Near-Miss and Accident Classification Dataset using Manipulating Conditional Style Translation
Big Data Integration Research Center(大数据集成研究中心);NICT(日本信息通信研究机构)
为了开发先进的自动驾驶系统,许多研究人员正专注于通过闭路电视(CCTV)和安装在仪表盘上的摄像头提醒所有可能的交通风险情况。这些方法大多集中在识别帧的异常发生,但他们是没有实现的,道路交通参与者可能会导致自车导致碰撞,因为可用的注释数据集只检测异常的交通视频。未遂事故是一种类型的事故,可以定义为勉强避免的事故。然而,在事故发生之前,事故和未遂事故之间没有区别,因此我们的贡献是重新定义事故定义,并重新注释DADA-2000数据集上的事故不一致性和未遂事故。通过延长事故持续时间的开始和结束时间,我们的注释可以精确地覆盖事件期间的所有自我运动,并一致地对所有可能的交通风险事故(包括未遂事故)进行分类,为现实世界的驾驶辅助系统提供更多关键信息。该方法集成了两个不同的组件:条件样式转换(CST)和可分离的三维卷积神经网络(S3 D)。CST架构是由无监督图像到图像翻译网络(UNIT)派生的,用于增强重新标注的DADA-2000数据集,以增加交通风险事故视频的数量,并概括了视频分类模型在不同类型条件下的性能,而S3 D用于视频分类,以证明数据集重新标注的一致性。在评估中,所提出的方法实现了一个显着的改进结果,从基线模型的交叉验证分析的准确性从10.25%的积极利润。
2023-01-06 cs.CV
DiffSLT: Enhancing Diversity in Sign Language Translation via Diffusion Model
Yonsei University(延世大学)
提出DiffSLT无gloss手语翻译框架,利用扩散模型和引导融合模块增强视觉条件,变体DiffSLT-P引入伪gloss减少模态差距,在两个数据集上显著提升多样性和翻译性能。
2024-11-26 cs.CV
SignDATA: Data Pipeline for Sign Language Translation
Computer Science and Information Engineering National Central University(计算机科学与信息工程国家级中央大学);Electrical Engineering National Changhua University Of Education(电气工程国家彰化教育大学)
本文提出SignDATA,一种标准化手语数据集的预处理工具包,支持端到端的姿势和视频处理流程,通过可配置的接口实现统一输出,提升手语研究的可重复性和比较性。
2026-04-22 cs.CL cs.CV
Generative Adversarial Network Applications in Creating a Meta-Universe
The University of Georgia(佐治亚大学)
生成对抗网络(GANs)是机器学习方法,用于许多重要和新颖的应用。例如,在成像科学中,GANs被有效地用于生成图像数据集、人脸照片、图像和视频描述、图像到图像转换、文本到图像转换、视频预测和3D对象生成等。在本文中,我们讨论了如何使用GANs来创建人工世界。更具体地说,我们讨论了GANs如何帮助利用图像/视频描述方法来描述图像,以及如何在我们想要的主题中使用图像到图像转换框架将图像转换为新图像。我们阐述了GANs如何影响创建一个定制的世界。
2022-01-23 cs.CV cs.LG eess.IV
Recycle-GAN: Unsupervised Video Retargeting
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Lab(Facebook现实实验室)
我们介绍了一种用于无监督视频重定向的数据驱动方法,该方法将内容从一个域转换到另一个域,同时保留域的本地风格,即,如果约翰·奥利弗的演讲的内容要被传送给斯蒂芬·科尔伯特,则所生成的内容/演讲应当是斯蒂芬·科尔伯特的风格。我们的方法结合了空间和时间信息以及内容翻译和风格保存的对抗性损失。在这项工作中,我们首先研究的优势,使用时空约束的空间约束有效重定向。然后,我们展示了所提出的方法,在空间和时间的问题,如面对面的翻译,花到花,风和云的合成,日出和日落的信息。
2018-08-15 cs.CV cs.GR cs.LG
MagicEdit: High-Fidelity and Temporally Coherent Video Editing
ByteDance Inc.(字节跳动公司)
本研究提出文本引导视频编辑方法MagicEdit,通过训练时显式解耦内容、结构与运动信号的学习,实现高保真且时间连贯的视频编辑,支持风格化、局部编辑等多种下游任务。
2023-08-28 cs.CV
BronchoGAN: Anatomically consistent and domain-agnostic image-to-image translation for video bronchoscopy
Medical Informatics(医学信息学);University of Lübeck(吕贝克大学);Faculty of Electrical Engineering and Computer Science(电气工程与计算机科学学院)
本文提出BronchoGAN,在条件GAN中引入支气管开口解剖约束,并以基础模型生成的深度图像作为中间表示,实现跨虚拟、体模及活体等支气管镜图像域的鲁棒转换,显著提升FID、SSIM和Dice指标。
2025-07-02 cs.CV eess.IV
MeRoPE: Metric Rotary Position Embedding for Camera-Controlled Video Generation
The Hong Kong University of Science and Technology(香港科技大学);Zhuoyu Technology(卓誉科技)
该研究针对相机控制视频生成中现有位置编码的尺度相关失效问题,提出 MeRoPE 编码,在 nuScenes、PanShot 数据集上实现了更强的相机运动控制一致性。
2026-09-02 cs.CV cs.RO
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);Bosch Research(博世研究)
研究视频重光照问题,提出LightCrafter混合管道,将其重表述为代理视频转换,利用PBR渲染并结合光度先验,在真实世界重光照基准上优于现有技术,还贡献合成基准及相关资源。
2026-10-08 cs.CV cs.GR
Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation
Technical University of Munich(慕尼黑工业大学)
我们的工作探索了基于GAN的视频生成任务的时间自我监督。虽然对抗性训练成功地为各种领域产生了生成模型,但生成数据中的时间关系却很少被探索。自然的时间变化对于顺序生成任务至关重要,例如视频超分辨率和不成对的视频翻译。对于前者,最先进的方法通常倾向于更简单的范数损失,例如$L^2$而不是对抗训练。然而,它们的平均性质容易导致时间上平滑的结果,而不期望地缺乏空间细节。对于不成对的视频翻译,现有的方法修改生成器网络,以形成时空循环映射。相比之下,我们专注于提高学习目标,并提出了一个时间自监督算法。对于这两个任务,我们表明时间对抗学习是在不牺牲空间细节的情况下实现时间连贯解决方案的关键。我们还提出了一种新的乒乓损失,以提高长期的时间一致性。它有效地防止了递归网络在时间上积累伪影,而不会抑制细节特征。此外,我们提出了第一组度量,以定量评估的准确性以及时间演变的感知质量。一系列的用户研究证实了这些指标计算的排名。代码、数据、模型和结果在https://github.com/thunil/TecoGAN上提供。项目页面https://ge.in.tum.de/publications/2019-tecogan-chu/包含补充材料。
2020-05-21 cs.CV cs.LG
RT-GAN: Recurrent Temporal GAN for Adding Lightweight Temporal Consistency to Frame-Based Domain Translation Approaches
Stony Brook University(石溪布鲁克大学);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心)
本文提出轻量级 RT-GAN,通过可调循环时间机制为帧级无监督域转换方法增加时间一致性,训练需求降低5倍,并在结肠镜分割与模拟视频生成上验证。
2025-05-13 cs.CV eess.IV
Robust Pose Transfer with Dynamic Details using Neural Video Rendering
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Xverse;Tencent(腾讯);Cardiff University(卡迪夫大学)
针对人体视频姿态迁移中动态细节丢失和训练数据不足的问题,提出结合神经视频渲染与图像翻译的动态细节生成网络(D2G-Net),利用新颖纹理表示和时间损失,在短单目视频上实现清晰动态细节和鲁棒性能。
2023-05-08 cs.CV cs.GR
DINO: A Conditional Energy-Based GAN for Domain Translation
Imperial College London(帝国理工学院)
域转换是将数据从一个域转换到另一个域的过程,同时保留公共语义。一些最流行的域翻译系统基于条件生成对抗网络,其使用源域数据来驱动生成器并作为到生成器的输入。然而,这种方法并不强制保留共享语义,因为条件输入通常会被编译器忽略。我们提出了一种替代的调节方法,并提出了一个新的框架,其中两个网络同时训练,以监督的方式,在相反的方向上执行域翻译。我们的方法不仅能更好地捕捉两个域之间的共享信息,而且更通用,可以应用于更广泛的问题。所提出的框架表现良好,即使在具有挑战性的跨模态翻译,如视频驱动的语音重建,其他系统的斗争,以保持对应。
2021-02-18 cs.CV cs.LG cs.SD
BigVideo: A Large-scale Video Subtitle Translation Dataset for Multimodal Machine Translation
Xiamen University(厦门大学);Bytedance(字节跳动);Ministry of Culture and Tourism(文化和旅游部);Dalian University of Technology(大连理工大学)
本文提出大规模视频字幕翻译数据集BigVideo,通过在跨模态编码器中引入对比学习方法,实验证明视觉信息能持续提升翻译性能并有效消除歧义。
2023-07-03 cs.AI cs.CV
Shortcut-V2V: Compression Framework for Video-to-Video Translation based on Temporal Redundancy Reduction
KAIST AI(韩国科学技术院人工智能学院);KT Research & Development Center, KT Corporation(KT公司KT研发中心)
针对现有视频到视频翻译模型计算量大、缺乏通用压缩方法的问题,提出Shortcut-V2V通用压缩框架,通过AdaBD模块利用前帧特征近似当前帧特征以减少冗余计算,在性能相当的情况下大幅降低测试时的计算与内存成本。
2023-10-03 cs.CV
Generative deep learning for foundational video translation in ultrasound
Department of Medicine, Division of Cardiology(医学系,心脏病科);Bakar Computational Health Sciences Institute(Bakar计算健康科学研究所);University of California, San Francisco(加州大学旧金山分校);UCSF-UC Berkeley Joint Program in Computational Precision Health(UCSF-伯克利计算精准健康联合项目);Department of Radiology, Center for Intelligent Imaging(放射科,智能成像中心)
本文提出一种生成式方法用于超声波彩色多普勒-灰度视频翻译,通过对抗训练和感知损失提升图像质量,实验证明合成视频在分类和分割任务中表现优异,且被临床专家视为真实视频。
2026-03-25 cs.AI cs.CV
Object Class Aware Video Anomaly Detection through Image Translation
Université Laval(拉瓦尔大学)
半监督视频异常检测(VAD)方法将异常检测的任务表述为检测与学习的正常模式的偏差。该领域的先前工作(基于重建或预测的方法)具有两个缺点:1)它们专注于低级特征,并且它们(特别是整体方法)没有有效地考虑对象类。2)以对象为中心的方法忽略了一些上下文信息(如位置)。为了解决这些挑战,本文提出了一种新的双流对象感知VAD方法,通过图像翻译任务学习正常的外观和运动模式。外观分支将输入图像转换为由Mask-RCNN产生的目标语义分割图,并且运动分支将每个帧与其预期的光流幅度相关联。在推理阶段,任何与预期外观或运动的偏差都表明了潜在异常的程度。我们在ShanghaiTech,UCSD-Ped 1和UCSD-Ped 2数据集上评估了我们提出的方法,结果显示与最先进的作品相比具有竞争力的性能。最重要的是,结果表明,作为对以前方法的重大改进,通过我们的方法进行的检测是完全可解释的,并且在帧中准确地定位异常。
2022-05-03 cs.AI cs.CV
Multimodal Large Language Model-Enabled Video Translation: A Role-Oriented Survey
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
本文通过面向角色的分类法,系统综述了多模态大语言模型在视频翻译中的应用,将其分为语义推理器、表达执行器和视觉合成器三个功能角色,并总结了数据集、基准和评估指标,指出了端到端视频翻译的挑战与未来方向。
2026-06-01 cs.CV
Video-guided Machine Translation with Global Video Context
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学)
本文提出一种全局视频引导的多模态翻译框架,通过预训练语义编码器和向量数据库实现视频片段与字幕的语义关联,结合注意力机制提升翻译效果,在大规模纪录片数据集上验证了其在长视频场景中的有效性。
2026-04-08 cs.CL cs.CV
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University(纽约大学);ETH Zürich(苏黎世联邦理工学院)
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中,我们提出了UVIT,一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容,使用专门的编码器-解码器结构,并通过双向递归神经网络(RNN)单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果,并为模态灵活的翻译提供了一个良好的接口。此外,通过改变我们的翻译中包含的输入帧和样式代码,我们提出了一个视频插值损失,它捕获序列中的时间信息,以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真,时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站:https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
Learning Temporally and Semantically Consistent Unpaired Video-to-video Translation Through Pseudo-Supervision From Synthetic Optical Flow
Honda Research Institute USA, Inc.(美国本田研究所)
非配对视频到视频翻译的目的是在源域和目标域之间翻译视频,而不需要配对的训练数据,使其更适合实际应用。不幸的是,翻译的视频通常遭受时间和语义不一致。为了解决这个问题,许多现有的作品采用时空一致性约束,结合基于运动估计的时间信息。然而,在运动估计的不准确性恶化的质量的指导对时空的一致性,这导致不稳定的翻译。在这项工作中,我们提出了一种新的范式,正则化的时空一致性合成运动在输入视频与生成的光流,而不是估计它们。因此,可以在正则化范例中应用合成运动,以保持跨域的运动一致,而没有运动估计中的错误风险。此后,我们利用我们的无监督的回收和无监督的空间损失,由合成光流提供的伪监督的指导下,准确地执行时空一致性在这两个领域。实验表明,我们的方法是通用的,在各种情况下,并实现了最先进的性能,在生成时间和语义一致的视频。代码可在:https://github.com/wangkaihong/Unsup_Recycle_GAN/.
2022-12-21 cs.CV
Invertible Frowns: Video-to-Video Facial Emotion Translation
Northeastern University(东北大学);Media Lab (MIT)(麻省理工学院媒体实验室)
我们提出了Wav 2Lip-Emotion,一个视频到视频的翻译架构,它可以修改演讲者视频中的面部表情。以前的工作修改了图像中的情感,使用单个图像来生成具有动画情感的视频,或者使用参考视频中的地标在视频中木偶面部表情。然而,许多用例,如修改演员在后期制作中的表演,指导个人成为更生动的演讲者,或在电话会议中润色情感,都需要视频到视频翻译方法。我们探索了一种方法,以保持说话人的嘴唇运动,身份和姿势,同时翻译他们所表达的情感。我们的方法扩展了现有的多模态唇同步架构,使用L1重建和预先训练的情感目标来修改扬声器的情感。我们还提出了一种新的自动情感评估方法,并证实了它与用户研究。这些研究发现,我们成功地修改情绪,同时保持嘴唇同步。视觉质量有所降低,在更大的情感修改和模型变体之间的视觉质量之间进行权衡。然而,我们证明了(1)除了L1重建和预先训练的情感目标之外,面部表情的情感可以被修改;(2)我们的自动情感评估方法与人类的判断一致。
2021-10-22 cs.CV