Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation
Technical University of Munich（慕尼黑工业大学）
我们的工作探索了基于GAN的视频生成任务的时间自我监督。虽然对抗性训练成功地为各种领域产生了生成模型，但生成数据中的时间关系却很少被探索。自然的时间变化对于顺序生成任务至关重要，例如视频超分辨率和不成对的视频翻译。对于前者，最先进的方法通常倾向于更简单的范数损失，例如$L^2$而不是对抗训练。然而，它们的平均性质容易导致时间上平滑的结果，而不期望地缺乏空间细节。对于不成对的视频翻译，现有的方法修改生成器网络，以形成时空循环映射。相比之下，我们专注于提高学习目标，并提出了一个时间自监督算法。对于这两个任务，我们表明时间对抗学习是在不牺牲空间细节的情况下实现时间连贯解决方案的关键。我们还提出了一种新的乒乓损失，以提高长期的时间一致性。它有效地防止了递归网络在时间上积累伪影，而不会抑制细节特征。此外，我们提出了第一组度量，以定量评估的准确性以及时间演变的感知质量。一系列的用户研究证实了这些指标计算的排名。代码、数据、模型和结果在https://github.com/thunil/TecoGAN上提供。项目页面https://ge.in.tum.de/publications/2019-tecogan-chu/包含补充材料。
2020-05-21 cs.CV cs.LG
A Multi-Pass GAN for Fluid Flow Super-Resolution
Technical University of Munich（慕尼黑工业大学）
我们提出了一种新的方法来上采样体积函数与生成神经网络使用几个正交的通行证。我们的方法将笛卡尔场函数的生成问题分解为多个更小的子问题，可以更有效地学习。具体来说，我们利用两个独立的生成对抗网络：第一个向上扩展平行于XY平面的切片，而第二个沿着Z轴细化整个体积，在YZ平面中的切片上工作。通过这种方式，我们获得了3D目标函数的全覆盖，并且可以利用一组鉴别器来利用时空监督。此外，我们证明了我们的方法可以结合课程学习和渐进式成长的方法。我们得到了第一种方法，该方法可以沿着每个维度将体积上采样八倍，即，将自由度的数量增加512。像这样的大容量放大因子以前是无法实现的，因为神经网络中所需的权重数量使得对抗训练运行非常困难。我们通过一系列与以前工作的比较，各种复杂的3D结果以及对所产生性能的分析来展示我们训练的网络的通用性。
2019-06-04 cs.GR cs.LG physics.comp-ph
Creating Temporally Correlated High-Resolution Profiles of Load Injection Using Constrained Generative Adversarial Networks
Eversource Energy（Eversource能源公司）；Arizona State University（亚利桑那州立大学）
本文提出一种仅用智能电表慢时间尺度聚合数据训练的带硬约束GAN，通过凸优化强制时间一致性，从15分钟平均功率生成逐分钟负荷曲线，提升配电系统高速状态估计能力。
2024-09-01 cs.LG eess.SP
3D Topology Transformation with Generative Adversarial Networks
Politecnico di Milano（米兰理工大学）；Northeastern University（东北大学）；IBM AI Research（IBM人工智能研究院）
使用人工智能生成和转换图像和视频在过去几年中蓬勃发展。然而，只有少数作品旨在产生创造性的3D形状，如雕塑。在这里，我们展示了一种新的3D到3D拓扑转换方法，使用生成对抗网络（GAN）。我们使用修改后的pix 2 pix GAN，我们称之为Vox 2 Vox，在保持原始对象形状的同时转换3D对象的体积样式。特别是，我们将展示如何将3D模型转换为两个新的体积拓扑结构-3D网络和Ghirigoro。我们描述了如何使用我们的方法来构建定制的3D表示。我们相信生成的3D形状是新颖和鼓舞人心的。最后，我们比较了我们的方法和直接转换3D形状的基线算法之间的结果，而不使用我们的GAN。
2020-07-07 cs.CV cs.LG eess.IV
Explicit Temporal Embedding in Deep Generative Latent Models for Longitudinal Medical Image Synthesis
University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学国立医院）
医学影像学在现代诊断和治疗中起着至关重要的作用。疾病或治疗进展的时间性质通常导致纵向数据。由于成本和潜在危害，获取深度学习所需的大型医疗数据集可能很困难。医学图像合成可以帮助缓解这个问题。然而，到目前为止，能够合成纵向体积数据的GANs的可用性有限。为了解决这个问题，我们利用基于潜在空间的图像编辑的最新进展，提出了一种新的联合学习方案，以显式地将时间依赖性嵌入到GANs的潜在空间中。与以前的方法相比，这使我们能够在有限的监督下合成连续，平滑和高质量的纵向体积数据。我们展示了我们的方法在三个包含不同纵向依赖关系的数据集上的有效性。也就是说，建模一个简单的图像变换，呼吸运动，肿瘤消退，同时显示最小的解开。该实现可在https://github.com/julschoen/Temp-GAN上在线获得。
2023-01-13 cs.CV cs.LG
Real-time Tropical Cyclone Intensity Estimation by Handling Temporally Heterogeneous Satellite Data
National Taiwan University（台湾大学）
通过对各种卫星平台上的多个先进传感器收集的地球物理观测数据进行分析，促进了我们对地球物理系统的理解。例如，卷积神经网络（CNN）在基于具有固定时间频率的卫星数据（例如，3 h）。然而，为了实现更及时（30分钟以下）和准确的TC强度估计，需要一个深度学习模型来处理时间异构的卫星观测。具体而言，红外（IR 1）和水汽（WV）图像每15分钟可用一次，而被动微波降雨率（PMW）约每3小时可用一次。同时可见光通道受噪声和光照强度的影响较大，难以利用。因此，我们提出了一个新的框架，结合生成对抗网络（GAN）与CNN。该模型在训练阶段利用所有数据，包括VIS和PMW信息，最终仅使用高频IR 1和WV数据在预测阶段提供强度估计。实验结果表明，混合GAN-CNN框架实现了与最先进模型相当的精度，同时具有将最大估计频率从3小时增加到不到15分钟的能力。
2020-10-28 cs.CV cs.LG eess.IV
Stitch it in Time: GAN-Based Facial Editing of Real Videos
The Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）
生成对抗网络在其潜在空间内编码丰富语义的能力已被广泛用于面部图像编辑。然而，事实证明，用视频复制他们的成功具有挑战性。缺乏高质量的面部视频集，并且使用视频引入了一个需要克服的基本障碍-时间一致性。我们认为，这种障碍在很大程度上是人为的。源视频已经是时间相干的，并且与该状态的偏差部分地由于编辑流水线中对各个组件的不小心处理而出现。我们利用StyleGAN的自然对齐和神经网络学习低频函数的趋势，并证明它们提供了强一致的先验。我们借鉴这些见解，并提出了一个框架，在视频中的面部语义编辑，展示了显着的改进，目前的最先进的。我们的方法产生有意义的面部操作，保持更高程度的时间一致性，并可以应用于具有挑战性的，高品质的，说话的头部视频，目前的方法的斗争。
2022-01-21 cs.CV cs.GR cs.LG
Diffusion Video Autoencoders: Toward Temporally Consistent Face Video Editing via Disentangled Video Encoding
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；AITRICS
受到最近人脸图像编辑方法令人印象深刻的性能的启发，自然提出了一些研究来将这些方法扩展到人脸视频编辑任务。这里的主要挑战之一是编辑帧之间的时间一致性，这仍然是未解决的。为此，我们提出了一种新的人脸视频编辑框架的基础上扩散自动编码器，可以成功地提取分解的功能-第一次作为一个人脸视频编辑模型-从一个给定的视频的身份和运动。这种建模允许我们通过简单地将时间不变特征操纵到所需的方向来编辑视频，以实现一致性。我们模型的另一个独特优势是，由于我们的模型基于扩散模型，因此它可以同时满足重建和编辑功能，并且与现有的基于GAN的方法不同，它对野生人脸视频中的角点情况（例如，遮挡人脸）具有鲁棒性。
2023-03-27 cs.AI cs.CV cs.LG
CT-GAN: Malicious Tampering of 3D Medical Imagery using Deep Learning
Ben-Gurion University（本-古里安大学）；Soroka University Medical Center（索罗卡大学医学中心）
2018年，诊所和医院遭受了多次攻击，导致严重的数据泄露和医疗服务中断。访问医疗记录的攻击者可以做的不仅仅是持有数据以获取赎金或在黑市上出售。在本文中，我们展示了攻击者如何使用深度学习来从体积（3D）医学扫描中添加或删除医疗条件的证据。攻击者可以执行此行为以阻止政治候选人，破坏研究，进行保险欺诈，执行恐怖主义行为，甚至谋杀。我们使用3D条件GAN实现了攻击，并展示了框架（CT-GAN）如何自动化。虽然人体很复杂，3D医学扫描非常大，但CT-GAN可以在几毫秒内实现逼真的结果。为了评估这种攻击，我们专注于从CT扫描中注射和移除肺癌。我们展示了三位放射科专家和一个最先进的深度学习AI如何极易受到攻击。我们还探索了现代放射学网络的攻击面，并展示了一个攻击向量：我们通过隐蔽渗透测试在活跃的医院网络中拦截和操纵CT扫描。演示视频：https://youtu.be/_mkRAArj-x0源码：https://github.com/ymirsky/CT-GAN
2019-06-06 cs.CR cs.CV cs.LG
Audio Input Generates Continuous Frames to Synthesize Facial Video Using Generative Adiversarial Networks
School of Information Technology and Electrical Engineering（信息技术与电气工程学院）；The University of Queensland（昆士兰大学）
本文提出了一种基于音频的语音视频生成的简单方法：给定一段音频，我们可以生成一个视频的目标人脸说这个音频。本文提出了一种生成对抗网络（GAN），它以剪切语音音频输入为条件，在生成器和搜索器中使用卷积门递归单元（GRU）。我们的模型通过利用短音频和此持续时间内的帧来训练。为了训练，我们剪切音频并在相应的帧中提取人脸。我们设计了一个简单的编码器，并比较了使用GAN和不使用GRU生成的帧。我们使用GRU的时间相干帧和结果表明，短音频可以产生相对真实的输出结果。
2022-07-18 cs.CV cs.GR cs.LG
Stochastic Super-Resolution for Downscaling Time-Evolving Atmospheric Fields with a Generative Adversarial Network
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；Federal Office of Meteorology and Climatology MeteoSwiss（联邦气象和气候学办公室 MeteoSwiss）
生成对抗网络（GANs）最近已被用于超分辨率，这是一种与大气科学中所谓的“降尺度”密切相关的应用：提高低分辨率图像的空间分辨率。条件GANs为给定输入生成解的集合的能力自然地适合于随机降尺度，但是GANs的随机性质通常在超分辨率应用中不被考虑。在这里，我们介绍了一个经常性的，随机的超分辨率GAN，可以产生合奏的时间演变的高分辨率大气场的输入组成的低分辨率序列的图像相同的字段。我们测试的GAN使用两个数据集，一个由雷达测量的降水从瑞士，其他的云光学厚度来自地球同步观测卫星16（GOES-16）。我们发现，GAN可以为两个数据集生成逼真的，时间上一致的超分辨率序列。使用秩统计，从集合天气预报的方法，这些分析表明，GAN产生接近正确的量的变化，其输出的统计特性进行了分析。由于GAN生成器是完全卷积的，因此它可以在训练后应用于比用于训练它的图像更大的输入图像。它还能够生成比训练序列长得多的时间序列，如将生成器应用于三个月的降水雷达数据集所示。我们的GAN的源代码可以在https://github.com/jleinonen/downscaling-rnn-gan上获得。
2020-10-19 cs.LG eess.IV physics.ao-ph
EpiGRAF: Rethinking training of 3D GANs
KAUST（阿卜杜拉国王科技大学）；Snap Inc.（色拉布公司）
生成式建模的一个最新趋势是从2D图像集合构建3D感知生成器。为了引起3D偏差，这样的模型通常依赖于体积渲染，这在高分辨率下使用是昂贵的。在过去的几个月里，出现了10多个作品，通过训练一个单独的2D解码器来对纯3D生成器生成的低分辨率图像（或特征张量）进行上采样，来解决这个缩放问题。但这种解决方案是有代价的：它不仅破坏了多视图的一致性（即当相机移动时形状和纹理会发生变化），而且还以低保真度学习几何形状。在这项工作中，我们表明，通过遵循完全不同的简单训练模型的路径，可以获得具有SotA图像质量的高分辨率3D生成器。我们从两个方面重新审视和改进了这个优化方案。首先，我们设计了一个位置和规模感知的机器人工作在不同比例和空间位置的补丁。其次，我们修改了基于退火beta分布的补丁采样策略，以稳定训练并加速收敛。由此产生的模型，名为EpiGRAF，是一个高效的，高分辨率的，纯3D生成器，我们测试了四个数据集（两个在这项工作中介绍）在$256^2$和$512^2$的决议。它可获得最先进的图像质量、高保真几何结构，并比基于上采样器的同类产品更快地训练${\approx} 2.5 \times$。项目网址：https://universome.github.io/epigraf。
2022-12-15 cs.AI cs.CV cs.LG
HRVGAN: High Resolution Video Generation using Spatio-Temporal GAN
University of Maryland（马里兰大学）；College Park, Maryland
本文提出HRVGAN，结合WGAN的k-Lipschitz约束和cGAN的类别条件，用于高分辨率视频生成，并在UCF101等数据集上以IS和FID指标显著超越现有无监督方法。
2025-07-06 cs.CV cs.LG eess.IV
Memory-Efficient Super-Resolution of 3D Micro-CT Images Using Octree-Based GANs: Enhancing Resolution and Segmentation Accuracy
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Aramco（沙特阿美公司）
提出基于八叉树GAN的内存高效3D超分辨率方法，实现16倍分辨率提升并纠正微CT分割误差，在Berea砂岩上验证了孔隙表征与矿物区分性能的显著改进。
2025-05-24 cs.CV cs.LG eess.IV
Real-time Locational Marginal Price Forecasting Using Generative Adversarial Network
Arizona State University（亚利桑那州立大学）
本文提出了一种无模型无监督学习方法来预测电力批发市场中的实时的【形】位置边际电价。通过将系统范围内的每小时RTLMP数据组织成由一系列时间索引矩阵组成的3维（3D）张量，我们将RTLMP预测问题表示为给定历史RTLMP张量的预测RTLMP生成下一个矩阵的问题，并提出了生成对抗网络（GAN）模型来预测RTLMP。所提出的配方保留了历史RTLMP张量格式的系统范围RTLMP之间的时空相关性。所提出的GAN模型使用历史RTLMP张量学习时空相关性，并生成与历史RTLMP张量在统计上相似且在时间上相干的RTLMP。该方法仅使用公开的历史价格数据来预测系统范围的RTLMP，而不涉及系统模型的机密信息，例如系统参数、拓扑结构或操作条件。该方法的有效性进行了验证，通过案例研究，使用历史RTLMP数据在西南电力池（SPP）。
2020-11-09 cs.LG eess.SP
Brain MRI super-resolution using 3D generative adversarial networks
Universitat Politècnica de Catalunya - BarcelonaTech（加泰罗尼亚理工大学 - 巴塞罗那理工大学）
在这项工作中，我们提出了一种对抗性学习方法来从低分辨率图像生成高分辨率MRI扫描。该体系结构，基于SRGAN模型，采用三维卷积来利用体积信息。对于训练，对抗性损失使用最小二乘法来稳定训练。对于生成器，损失函数是最小二乘对抗损失和基于均方误差和图像梯度的内容项的组合，以提高生成图像的质量。我们探索上采样阶段的不同解决方案。我们提出了有前途的结果，改善经典插值，显示潜力的三维医学成像超分辨率的方法。源代码可在https://github.com/imatge-upc/3D-GAN-superresolution获得
2018-12-29 cs.CV cs.LG stat.ML
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）；Univ. Lille（里尔大学）；Inserm（法国国家健康与医学研究院）；CHU Lille（里尔大学医院）
通过生成对抗网络（GANs）对三维（3D）医学图像进行图像合成具有巨大的潜力，可以扩展到许多医学应用，例如图像增强和疾病进展建模。然而，当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中，我们扩展了最先进的StyleGAN 2模型，该模型本身适用于二维图像，以实现3D图像合成。除了图像合成之外，我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性，这些风格向量非常适合医学应用：（i）潜在空间投影和重建看不见的真实图像，以及（ii）风格混合。我们使用~ 12，000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性，尽管它可以应用于任何3D体积图像。此外，我们探索了不同的超参数配置，以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得：https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
Robust Temporally Coherent Laplacian Protrusion Segmentation of 3D Articulated Bodies
Oxford Brookes University（牛津布鲁克斯大学）；Technische Universität München（慕尼黑工业大学）；INRIA Grenoble Rhône-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心）
在运动分析和理解中，重要的是能够将合适的模型或结构拟合到观测数据的时间序列，以便以紧凑的方式描述运动模式，并区分它们。在无监督的上下文中，即，没有运动对象的先验模型可用，必须以自底向上的方式从数据中学习这种结构。近年来，体积的方法，其中的运动是从多个摄像机捕捉和体素集表示的身体是建立从摄像机的意见，已经获得地面由于有吸引力的功能，如固有的视图不变性和鲁棒性闭塞。自动的，无监督的分割的移动体沿整个序列，在时间上连贯和鲁棒的方式，有可能提供一种手段，构建一个自下而上的模型的移动体，并跟踪运动线索，可以在以后利用运动分类。诸如局部线性嵌入（LLE）的谱方法在这种情况下可以是有用的，因为它们保留“突出”，即，3D体积的高曲率区域，铰接形状，同时改善它们在低维空间中的分离，使它们以这种方式更容易聚类。因此，在本文中，我们提出了一种光谱方法，无监督和时间相干的身体突起分割沿时间序列。体积形状在嵌入空间中聚集，簇在时间上传播以确保一致性，并合并或分割以适应身体拓扑结构的变化。密集体素集数据的合成和真实序列的实验。这支持了所提出的方法在完全无监督的方式下随着时间的推移对身体部位进行一致聚类的能力，其对采样密度和形状质量的鲁棒性，以及其自底向上模型构建的潜力
2014-05-26 cs.CV cs.GR cs.LG
Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
研究了三维物体的生成问题。我们提出了一个新的框架，即3D生成对抗网络（3D-GAN），它通过利用体积卷积网络和生成对抗网络的最新进展从概率空间生成3D对象。我们的模型的好处有三方面：首先，使用对抗性标准，而不是传统的启发式标准，使生成器能够隐式地捕获对象结构并合成高质量的3D对象;其次，生成器建立从低维概率空间到3D对象空间的映射，使得我们可以在没有参考图像或CAD模型的情况下对对象进行采样，并探索3D对象流形;第三，对抗性学习提供了一个强大的3D形状描述符，无需监督即可学习，在3D对象识别中具有广泛的应用。实验表明，我们的方法生成高质量的3D对象，我们的无监督学习功能实现令人印象深刻的性能上的3D对象识别，与那些监督学习方法。
2017-01-04 cs.CV cs.LG
HUMAN4D: A Human-Centric Multimodal Dataset for Motions and Immersive Media
National Technical University of Athens（雅典国家技术大学）
我们介绍了HUMAN 4D，一个大型的多模式4D数据集，包含了各种人类活动，同时捕获的专业标记为基础的MoCap，体积捕获和音频记录系统。通过捕捉2名女性和$2$男性专业演员表演各种全身动作和表情，HUMAN 4D提供了一组多样化的动作和姿势，这些动作和姿势是单人和多人日常身体和社交活动（跳跃，跳舞等）的一部分，以及多RGBD（mRGBD）、体积和音频数据。尽管存在使用硬件（HW）同步捕获的多视图彩色数据集，但据我们所知，HUMAN 4D是第一个也是唯一一个由于使用传感器内和传感器间HW-SYNC而提供具有高同步精度的体积深度图的公共资源。此外，一个时空对齐的扫描和操纵的3D字符补充了HUMAN 4D，使联合研究时变和高质量的动态网格。我们通过对HUMAN 4D与最先进的人体姿态估计和3D压缩方法进行基准测试来提供评估基准。对于前者，我们应用2D和3D姿态估计算法上的单视图和多视图数据线索。对于后者，我们基准测试开源3D编解码器的体积数据尊重在线体积视频编码和稳定的比特率。此外，在不同质量下重建的基于网格的体积数据之间的定性和定量视觉比较展示了关于4D表示的可用选项。HUMAN 4D被引入到计算机视觉和图形研究社区，以实现对时空对齐的姿态、体积、mRGBD和音频数据线索的联合研究。数据集及其代码可在https://tofis.github.io/myurls/human4d上获得。
2021-10-19 cs.AI cs.CV cs.LG
iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Stanford University（斯坦福大学）；University of Mumbai（孟买大学）
最近，基于学习的模型已经增强了单图像超分辨率（SISR）的性能。然而，连续地将SISR应用于每个视频帧导致缺乏时间相干性。卷积神经网络（CNN）在峰值信噪比（PSNR）和结构相似性（SSIM）等图像质量指标方面优于传统方法。然而，生成对抗网络（GANs）提供了一个竞争优势，因为它能够缓解缺乏更精细纹理细节的问题，这种问题通常在CNN以大的放大因子进行超分辨率时出现。我们提出了iSeeBetter，一种新的基于GAN的时空视频超分辨率（VSR）方法，可以呈现时间一致的超分辨率视频。iSeeBetter使用循环反投影网络的概念作为其生成器，从当前和相邻帧中提取空间和时间信息。此外，为了提高超分辨率图像的“自然度”，同时消除传统算法中的伪影，我们利用了来自超分辨率生成对抗网络（SRGAN）的伪影。虽然均方误差（MSE）作为主要损失最小化目标提高了PSNR/SSIM，但是这些度量可能无法捕获图像中的细节，从而导致感知质量的错误表示。为了解决这个问题，我们使用四重（MSE，感知，对抗和总变差（TV））损失函数。我们的研究结果表明，iSeeBetter提供卓越的VSR保真度和超越国家的最先进的性能。
2020-09-30 cs.AI cs.CV cs.LG
Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations
University of Notre Dame（圣母大学）；Lawrence Livermore National Laboratories（劳伦斯利弗莫尔国家实验室）
缺失数据的插补是一项在许多工程和科学应用中起着至关重要作用的任务。这种缺失的数据通常出现在实验观测中，原因是传感器的限制或后处理转换误差。其他时候，它们来自于计算机模拟中的数值和算法约束。风暴潮的数值模拟就是其中的一个实例，也是本文的应用重点。模拟数据对应于感兴趣的地理域内的多个保存点上的时间序列浪涌预测，从而产生时空插补问题，其中浪涌点在空间和时间上高度相关，并且缺失值区域在结构上随机分布。最近，诸如神经网络方法的机器学习技术已经被开发并用于缺失数据填补任务。生成对抗网络（GANs）和基于GAN的技术作为无监督机器学习方法特别受到关注。在这项研究中，通过应用卷积神经网络而不是完全连接的层来更好地捕获数据的相关性并促进从相邻浪涌点的学习，从而提高了生成对抗性填补网络（GAIN）的性能。对研究数据特别需要的方法的另一个调整是将点的坐标视为附加特征，以通过卷积层为模型提供更多信息。我们将我们提出的方法命名为卷积生成对抗性填补网络（Conv-GAIN）。通过考虑风暴潮数据所需的改进和适应，评估所提出的方法的性能，并与原始GAIN和其他一些技术进行比较。结果表明，Conv-GAIN具有更好的性能比替代方法的研究数据。
2021-11-26 cs.AI cs.CE cs.LG
TempoNet: Learning Realistic Communication and Timing Patterns for Network Traffic Simulation
TempoNet通过结合多任务学习和多标记时序点过程，生成高保真的网络流量模拟，有效解决真实网络时序和通信动态建模的挑战。
2026-01-22 cs.AI cs.CR cs.LG
Head2Head++: Deep Facial Attributes Re-Targeting
Imperial College London（帝国理工学院）；University of Exeter（埃克塞特大学）；Foundation for Research and Technology - Hellas (FORTH)（希腊研究与技术基金会）
人脸视频重定向是一个具有挑战性的问题，旨在通过驾驶单目序列以无缝的方式修改目标主体的面部属性。我们利用面部的3D几何形状和生成对抗网络（GANs）来设计一种新颖的深度学习架构，用于面部和头部的重现任务。我们的方法不同于纯粹的基于3D模型的方法，或最近使用深度卷积神经网络（DCNN）来生成单个帧的基于图像的方法。我们设法捕捉复杂的非刚性面部运动从驾驶单目表演和合成时间一致的视频，与顺序发生器和ad-hoc动态鉴别器网络的帮助。我们进行了一系列全面的定量和定性测试，并通过实验证明，我们提出的方法可以成功地将面部表情，头部姿势和眼睛凝视从源视频转移到目标对象，以照片般逼真和忠实的方式，优于其他最先进的方法。最重要的是，我们的系统以近乎实时的速度（18 fps）执行端到端的重演。
2021-09-28 cs.CV cs.LG eess.IV
Generative Modelling of 3D in-silico Spongiosa with Controllable Micro-Structural Parameters
Consejo Nacional de Investigaciones Científicas y Técnicas（阿根廷国家科学技术研究委员会）；Universidad Tecnológica Nacional, Facultad Regional Buenos Aires（阿根廷国立技术大学布宜诺斯艾利斯地区学院）；Universidad Nacional del Sur（阿根廷国立南方大学）
脊椎骨微结构的研究通常需要昂贵的程序来获得具有正在研究的特定病理的真实骨的物理扫描，因为还没有方法可以在计算机上生成真实的骨结构。在这里，我们建议应用生成对抗网络（GANs）的最新进展来开发这样一种方法。我们采用了风格转移技术，这已被大量用于其他情况下，以转移图像对之间的风格，同时保留其信息内容。在第一步中，我们使用Wasserstein目标和梯度惩罚（PWGAN-GP）以渐进的方式训练了体积生成模型，以在计算机上创建逼真的骨骼结构补丁。训练集包含来自12个人椎骨（T12或L1）的7660个纯脊椎骨样本，各向同性分辨率为164 μ m，并使用高分辨率外周定量CT（ScorioXCT）扫描。在训练之后，我们通过优化学习的潜在空间中的向量z来生成具有定制的微观结构特性的新样本。为了解决这个优化问题，我们制定了一个可微分的目标函数，该函数可以在保证外观（内容）和目标3D属性（样式）的同时获得有效样本。学习的潜在空间的属性有效地匹配了数据分布。此外，我们能够仅基于微观结构参数的预期变化来模拟骨质疏松症治疗的恶化或治疗效果后产生的骨结构。我们的方法允许生成几乎无限数量的真实骨微结构的补丁，从而可能用于开发骨生物标志物并提前模拟骨治疗。
2020-09-23 cs.CV cs.LG eess.IV
RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks
Max Planck Institute for intelligent Systems（马克斯·普朗克智能系统研究所）；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所）
RAVEN提出基于混合显式-隐式三平面表示和单一潜在编码的高效无条件视频生成模型，将计算复杂度降低一半以上，并结合光流模块在256×256分辨率下生成超过5秒的高保真视频。
2024-08-11 cs.CV cs.LG
Data Augmentation using Feature Generation for Volumetric Medical Images
Saarland University（萨尔大学）
医学图像分类是图像识别领域的关键问题之一。这一领域的主要挑战之一是缺乏标记的训练数据。此外，数据集中经常存在类别不平衡，因为某些情况非常罕见。因此，分类任务的准确性通常较低。特别是深度学习模型，在图像分割和分类问题上表现出了很好的效果，但它们需要非常大的数据集进行训练。因此，需要从相同的分布生成更多的合成样本。以前的工作表明，特征生成是更有效的，并导致更好的性能比相应的图像生成。我们将这一想法应用于医学成像领域。我们使用迁移学习来训练小数据集的分割模型，其中黄金标准类注释可用。我们提取了学习的特征，并使用它们来生成基于类标签的合成特征，使用辅助分类器GAN（AC GAN）。我们根据脑肿瘤的严重程度在下游分类任务中测试生成的特征的质量。实验结果表明，这些生成的功能的有效性和他们的整体贡献，平衡数据和提高分类类的准确性方面的一个有希望的结果。
2022-09-28 cs.CV cs.LG eess.IV
Follow the Attention: Combining Partial Pose and Object Motion for Fine-Grained Action Detection
The Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）
长期以来，零售商一直在寻找有效了解客户行为的方法，以提供顺畅愉快的购物体验，从而每天吸引更多客户并最大化其收入。人类可以通过结合从活动到手势和面部表情的不同视觉线索来毫无疑问地理解他人的行为。然而，授权计算机视觉系统这样做仍然是一个悬而未决的问题，因为它的内在挑战以及外在的强制性困难，如缺乏公开可用的数据和独特的环境条件（野生）。在这项工作中，我们强调检测行为分析中的第一个也是迄今为止最关键的线索，即计算机视觉中的人类活动检测。要做到这一点，我们引入了一个框架，用于整合人体姿势和对象运动，以细粒度的方式（非常短和类似的活动）在时间上检测和分类的活动。我们将部分人体姿势和与对象的交互纳入多流神经网络架构中，以指导时空注意力机制，以实现更有效的活动识别。为此，在没有姿势监督的情况下，我们建议使用生成对抗网络（GAN）从噪声概率热图中生成精确的关节位置。此外，基于复杂动作需要多个信息源来识别（即使是人类）的直觉，我们将第二个对象运动流整合到我们的网络中，作为我们定量显示的先验知识，可以提高识别结果。我们通过在MERL购物数据集上实现最先进的结果，实证地展示了我们方法的能力。我们进一步研究了这种方法在我们收集的新购物数据集上的有效性，以解决现有的缺点。
2019-06-26 cs.CV cs.LG
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
本文提出 RL-V2V-GAN，结合策略梯度、ConvLSTM 与细粒度时空 GAN，实现无需成对输入的无监督条件视频到视频合成，并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
Mapping minds not averages: a scalable subject-specific manifold learning framework for neuroimaging data
Electrical and Computer Engineering, Georgia Institute of Technology（电子与计算机工程系，佐治亚理工学院）；(TReNDS) Translational Research in Neuroimaging & Data Science center, Georgia State University, Georgia Institute of Technology, & Emory University（(TReNDS) 神经影像与数据科学转化研究中心，佐治亚州立大学，佐治亚理工学院，及埃默里大学）
提出一种受试者特异性流形学习框架，能处理时间非结构化神经影像数据，在多数据集上优于基线并揭示精神分裂症患者的临床相关脑活动模式。
2025-04-30 cs.LG q-bio.NC
VoloGAN: Adversarial Domain Adaptation for Synthetic Depth Data
UNED - Universidad Nacional de Educación a Distancia（西班牙国立远程教育大学）；Volograms Ltd.（Volograms有限公司）
我们提出了VoloGAN，这是一种对抗性的领域自适应网络，它将一个人的高质量3D模型的合成RGB-D图像转换为可以用消费者深度传感器生成的RGB-D图像。该系统特别适用于为复制真实世界捕获条件的单视图3D重建算法生成大量训练数据，能够模仿不同传感器类型的风格，用于相同的高端3D模型数据库。该网络使用CycleGAN框架，其中生成器采用U-Net架构，并采用SIV-GAN启发的CycleGAN。我们使用不同的优化器和学习率调度来训练生成器和学习器。我们进一步构建了一个损失函数，认为图像通道单独和，除其他指标，评估结构相似性。我们证明了CycleGANs可用于应用合成3D数据的对抗领域自适应来训练只有很少训练样本的体积视频生成器模型。
2022-07-19 cs.CV cs.LG eess.IV
A Differentially Private Multi-Output Deep Generative Networks Approach For Activity Diary Synthesis
Ryerson University（瑞尔森大学）；Concordia University（康考迪亚大学）
在这项工作中，我们开发了一个隐私的设计生成模型，用于使用最先进的深度学习方法合成旅行人群的活动日记。这种方法扩展了人口合成的文献，为合成旅行数据的开发和应用提供了新的深度学习，同时保证了合成人口所基于的样本人口成员的隐私保护。首先，我们展示了一个完整的去泛化的活动日记，以模拟社会经济特征和纵向序列的地理和时间明确的活动。其次，我们引入了一个差分隐私的方法来控制的分辨率披露调查参与者的独特性。最后，我们使用生成对抗网络（GANs）进行实验。我们评估统计分布，成对相关性，并测量不同噪声的模拟数据集上保证的隐私水平。该模型的结果表明，成功地模拟活动日记组成的多个输出，包括结构化的社会经济特征和连续的旅游活动，在一个不同的私人方式。
2020-12-29 cs.CR cs.LG
Physics Aware Neural Networks: Denoising for Magnetic Navigation
Ashoka University（阿什oka大学）
本文提出基于物理约束的神经网络方法，用于磁导航中去除飞机自身引起的磁噪声，通过 divergence-free 和 E(3)-equivariance 约束提升时空性能，实验表明其在预测准确性和物理合理性上优于传统方法。
2026-05-12 cs.LG
Deep learning for temporal super-resolution 4D Flow MRI
Karolinska Institute（卡罗林斯卡学院）；University of Michigan（密歇根大学）；Telkom University（Telkom大学）；University of Auckland（奥克兰大学）；Siemens Healthineers AG（西门子医疗健康股份公司）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；King’s College London（伦敦国王学院）；Karolinska University Hospital（卡罗林斯卡大学医院）；Massachusetts Institute of Technology（麻省理工学院）
本研究针对4D Flow MRI时间分辨率不足的问题，改造4DFlowNet构建时间超分辨率残差网络，经合成与在体数据验证，其性能优于传统插值方法，可在不延长采集时间的前提下实现高帧率血流定量。
2025-01-15 cs.LG
Beyond Visual Fidelity: Benchmarking Super-Resolution Models for Large-Scale Remote Sensing Imagery via Downstream Task Integration
University of Maryland（马里兰大学）；University of Pittsburgh（匹兹堡大学）；Worcester Polytechnic Institute（沃思利技术学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有超分辨率评估依赖PSNR/SSIM等保真度指标而忽略下游任务效用的问题，提出GeoSR-Bench基准数据集，集成土地覆盖分割、基础设施映射等下游任务，评估GAN、Transformer等9种SR模型在270种设置下的性能，发现保真度指标与任务性能弱相关甚至负相关。
2026-06-01 cs.AI cs.CV cs.LG
