Variational Hetero-Encoder Randomized GANs for Joint Image-Text Modeling
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对于双向联合图像-文本建模，我们开发了变分异构编码器（VHE）随机生成对抗网络（GAN），这是一种通用的深度生成模型，将概率文本解码器，概率图像编码器和GAN集成到一个连贯的端到端多模态学习框架中。VHE随机化GAN（VHE-GAN）对图像进行编码以解码其相关联的文本，并且将变分后验作为随机性的源馈送到GAN图像生成器中。我们将三个现成的模块，包括深度主题模型，梯形结构的图像编码器和StackGAN++插入VHE-GAN，它已经达到了具有竞争力的性能。这进一步推动了VHE光栅扫描GAN的发展，VHE光栅扫描GAN不仅以多尺度低到高分辨率的方式生成照片级逼真的图像，而且还以分层语义粗到细的方式生成照片级逼真的图像。通过捕获分层语义和视觉概念并将其与端到端训练相关联，VHE-raster-scan-GAN在各种图像-文本多模态学习和生成任务中实现了最先进的性能。
2020-01-07 cs.CL cs.CV cs.LG
Point Cloud GAN
Carnegie Mellon University（卡内基梅隆大学）
生成对抗网络（GAN）在学习不同类型数据的复杂数据分布方面具有良好的性能。在本文中，我们首先表明现有的GAN算法的一个简单的扩展是不适用于点云，因为所需的约束条件的歧视是未定义的数据集。我们提出了一个双重修改的GAN算法学习生成点云（PC-GAN）。首先，我们通过学习分层和可解释的抽样过程，将分层贝叶斯模型和隐式生成模型的思想结合起来。我们的方法的一个关键组成部分是，我们训练后验推理网络的隐变量。第二，而不是只使用最先进的Wasserstein GAN目标，我们提出了一个目标，这导致更严格的Wasserstein距离估计比常用的对偶形式。因此，PC-GAN定义了一个通用框架，可以合并许多现有的GAN算法。我们在ModelNet 40基准数据集上验证了我们的声明。使用生成的点云与真实网格之间的距离作为度量，我们发现通过夹层目标训练的PC-GAN在测试数据上比现有方法取得了更好的结果。此外，作为副产品，PC- GAN学习点云的通用潜在表示，这可以实现与其他无监督学习算法在对象识别任务上的竞争性能。最后，我们还提供了生成看不见的对象类和将图像转换为点云的研究，这表明了PC-GAN令人信服的泛化能力和潜力。
2018-10-13 cs.LG stat.ML
MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation
University of Science and Technology of China（中国科学技术大学）
现有的大多数用于音乐生成的神经网络模型探索如何生成音乐小节，然后直接将音乐小节拼接成歌曲。但是，这些方法没有探索小节之间的关系，连接的歌曲作为一个整体没有音乐形式结构和音乐方向感。为了解决这个问题，我们提出了一个多模型多任务层次条件VAE-GAN（变分自动编码器生成对抗网络）网络，名为MIDI-Sandwich，它结合了音乐知识，如音乐形式，主音和旋律运动。MIDI-Sandwich有两个子模型：分层条件变分自编码器（HCVAE）和分层条件生成对抗网络（HCGAN）。HCVAE使用分层结构。HCVAE的底层使用局部条件变分自动编码器（L-CVAE）来生成由第一个和最后一个音符（FLN）预先指定的音乐条。HCVAE的上层使用全局变分自编码器（G-VAE）对L-CVAE编码器生成的特征向量序列进行分析，挖掘小节之间的音乐关系，产生由L-CVAE解码器生成的多个音乐小节拼接而成的歌曲，使歌曲既有音乐结构又有方向感。与此同时，HCVAE与HCGAN共享其自身的一部分，以进一步提高所生成音乐的性能。MIDI-Sandwich在Nottingham数据集上进行了验证，能够生成单音轨旋律序列（17 x8拍），这优于大多数生成的模型（8到32拍）的长度。同时，参考多种经典文献的实验方法，对生成的音乐进行了质量评价。以上实验证明了该模型的有效性。
2019-07-04 cs.LG cs.MM cs.SD
Hierarchical Conditional Tabular GAN for Multi-Tabular Synthetic Data Generation
KTH（皇家理工学院）
本文提出 HCTGAN 算法用于从复杂多表数据集高效合成多表数据，实验表明其在深度复杂多表数据集上比概率模型 HMA1 采样更高效且始终保证参照完整性，而 HMA1 更适合侧重数据质量的小数据集。
2024-11-11 cs.DB cs.LG
Top-Down Deep Clustering with Multi-generator GANs
Department of Computer Science, Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学计算机科学系）；ESRI Inc.（环境系统研究所公司）
深度聚类（DC）利用深度架构的表示能力来学习最适合聚类分析的嵌入空间。这种方法过滤掉了与聚类无关的低级信息，并已被证明在高维数据空间中非常成功。一些DC方法采用生成对抗网络（GANs），其动机是这些模型能够隐式学习的强大潜在表示。在这项工作中，我们提出了HC-MGAN，这是一种基于具有多个生成器（MGANs）的GANs的新技术，尚未探索用于聚类。我们的方法的灵感来自于观察，每个生成器的MGAN往往生成的数据，与子区域的真实数据分布。我们使用这个集群生成训练分类器，用于推断给定图像来自哪个生成器，从而为真实分布提供语义上有意义的聚类。此外，据我们所知，我们设计了我们的方法，以便在自上而下的分层聚类树中执行，从而提出了第一个分层DC方法。我们进行了几个实验，以评估所提出的方法对最近的DC方法，获得竞争力的结果。最后，我们进行了探索性分析的层次聚类树，突出如何准确地组织数据的层次结构的语义连贯的模式。
2021-12-24 cs.CV cs.LG
Can GAN Learn Topological Features of a Graph?
University of Electronic Science and Technology of China（电子科技大学）；IBM Watson Research Center（IBM沃森研究中心）；Columbia University（哥伦比亚大学）；Boston University（波士顿大学）
本文是将GANs扩展到图拓扑分析的一线研究。通过利用图的层次连接结构，我们已经证明了生成对抗网络（GANs）可以成功地捕获任何任意图的拓扑特征，并根据它们对拓扑重构的贡献将边集按不同阶段进行排序。此外，除了作为一个指标的图重建，我们发现，这些阶段也可以保持重要的拓扑特征的图。
2017-07-19 cs.LG stat.ML
CHIMLE: Conditional Hierarchical IMLE for Multimodal Conditional Image Synthesis
School of Computing Science（计算科学学院）；Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
条件图像合成中的持续挑战是从相同的输入图像生成不同的输出图像，尽管每个输入图像仅观察到一个输出图像。基于GAN的方法容易发生模式坍塌，这导致低多样性。为了解决这个问题，我们利用隐式最大似然估计（IMLE），它可以从根本上克服模式坍塌。IMLE使用与GANs相同的生成器，但使用不同的非对抗性目标对其进行训练，以确保每个观察到的图像附近都有生成的样本。不幸的是，为了生成高保真图像，现有的基于IMLE的方法需要大量的样本，这是昂贵的。在本文中，我们提出了一种新的方法来绕过这一限制，我们称之为条件分层IMLE（CHIMLE），它可以生成高保真图像，而不需要很多样本。我们表明CHIMLE在四个任务（即夜间到白天，16倍单图像超分辨率，图像着色和图像解压缩）的图像保真度和模式覆盖方面显着优于先前最好的IMLE，GAN和基于扩散的方法。从定量上看，与之前最好的基于IMLE的方法相比，我们的方法将Fréchet Inception Distance（FID）平均提高了36.9%，与最好的非基于IMLE的通用方法相比，平均提高了27.5%。
2023-02-06 cs.CV cs.LG
DSS-GAN: Directional State Space GAN with Mamba backbone for Class-Conditional Image Synthesis
Warsaw University of Technology（华沙技术大学）；National Centre for Nuclear Research（国家核物理研究所）
DSS-GAN引入了定向潜在路由机制，通过分解潜在向量并结合类别嵌入，提升图像合成的FID、KID和精度召回率。
2026-03-18 cs.CV cs.LG
Synthetic Data and Hierarchical Object Detection in Overhead Imagery
Maxar Technologies Inc.（马克萨尔技术公司）
神经网络模型的性能通常受到大数据集可用性的限制。为了解决这个问题，我们调查和开发新的合成数据生成和增强技术，以提高低/零样本学习卫星图像。除了扩展合成数据生成方法之外，我们还提出了一种分层检测方法来提高合成训练样本的效用。我们考虑了现有的合成图像生成技术-3D模型和神经风格转移-以及引入我们自己的对抗训练的重新蒙皮网络GAN-Reskinner来混合3D模型。此外，我们测试的价值合成数据在两个阶段，分层检测/分类模型，我们自己的建设。为了测试合成图像的有效性，我们将其用于检测模型和我们的两阶段模型的训练，并在真实卫星图像上评估所得到的模型。所有形式的合成数据都在实际的地理空间分析问题上进行了广泛的测试。我们的实验表明，使用我们的方法开发的合成数据通常可以提高检测性能，特别是当与一些真实的训练图像相结合时。当唯一的数据源是合成数据时，我们的GAN-Reskinner通常会提高传统渲染3D模型的性能，并且在所有情况下，分层模型的性能都优于基线端到端检测架构。
2021-01-29 cs.CV cs.LG
CatGAN: Category-aware Generative Adversarial Networks with Hierarchical Evolutionary Learning for Category Text Generation
Sun Yat-sen University（中山大学）
生成多类文本是一项具有挑战性的任务，并引起了越来越多的关注。由于生成对抗网络（GANs）在一般文本生成方面表现出了竞争性的结果，因此在以前的一些工作中，它们被扩展到类别文本生成。然而，复杂的模型结构和学习策略限制了它们的性能，加剧了训练的不稳定性。本文提出了一种类别感知的GAN（CatGAN），它由一个有效的类别感知的类别文本生成模型和一个用于训练我们的模型的分层进化学习算法组成。类别感知模型直接测量每个类别上真实样本和生成样本之间的差距，然后缩小这个差距将指导模型生成高质量的类别样本。Gumbel-Softmax松弛进一步将我们的模型从用于在离散数据上更新CatGAN的复杂学习策略中解放出来。此外，仅关注样本质量通常会导致模式坍塌问题，因此引入分层进化学习算法来稳定训练过程，并在训练CatGAN时获得质量和多样性之间的权衡。实验结果表明，CatGAN优于大多数现有的最先进的方法。
2019-11-20 cs.CL cs.LG cs.NE
Source-Filter HiFi-GAN: Fast and Pitch Controllable High-Fidelity Neural Vocoder
Nagoya University（名古屋大学）；Meta Reality Labs Research（Meta现实实验室）
我们之前的工作，统一的源滤波器GAN（uSF GAN）声码器，引入了一种新的架构，基于源滤波器理论的并行波形生成对抗网络，以实现高的语音质量和音高可控性。然而，高时间分辨率输入导致高计算成本。虽然HiFi-GAN声码器由于高效的基于上采样的生成器架构而实现了快速高保真语音生成，但音高可控性受到严重限制。为了实现一个快速和音高可控的高保真神经声码器，我们引入了源滤波器理论HiFi-GAN的分层条件下的谐振滤波网络的源激励信息估计。根据实验结果，我们所提出的方法优于HiFi-GAN和uSFGAN在单个CPU上的声音质量和合成速度的歌唱声音生成。此外，与uSFGAN声码器不同，所提出的方法可以容易地在实时应用和端到端系统中采用/集成。
2023-02-27 cs.LG cs.SD eess.AS
Deep Generative Models for Geometric Design Under Uncertainty
Northwestern University（西北大学）
深度生成模型在学习紧凑和富有表现力的设计表示方面表现出了有效性，这些设计表示显着改善了几何设计优化。然而，这些模型不考虑制造或制造引入的不确定性。过去量化这种不确定性的工作往往对几何变化进行简化假设，而“真实世界”的不确定性及其对设计性能的影响由于高维数而难以量化。为了解决这个问题，我们提出了一个基于生成对抗网络的不确定性框架下的设计（GAN-DUF），它包含一个深度生成模型，可以同时学习标称（理想）设计的紧凑表示和给定任何标称设计的制造设计的条件分布。我们在两个实际的工程设计实例中展示了该框架，并展示了其在制造后找到具有更好性能的解决方案的能力。
2022-03-09 cs.LG
Hierarchical Deep Learning with Generative Adversarial Network for Automatic Cardiac Diagnosis from ECG Signals
The University of Tennessee（田纳西大学）；University of Oklahoma Health Sciences Center（俄克拉荷马大学健康科学中心）
心脏病是美国人死亡的主要原因。准确的心脏病检测对于及时治疗以挽救患者的生命至关重要。常规使用心电图（ECG）是医生评估心脏电活动和检测可能的异常心脏状况的最常用方法。充分利用ECG数据进行可靠的心脏病检测取决于开发有效的分析模型。在本文中，我们提出了一个两级分层深度学习框架与生成对抗网络（GAN）的ECG信号的自动诊断。第一级模型由带GAN的内存增强深度自动编码器（MadeGAN）组成，旨在区分异常信号和正常ECG，以进行异常检测。第二级学习的目标是针对不同心律失常识别的鲁棒多类分类，这是通过将迁移学习技术与多分支结构相结合来实现的，以处理数据缺乏和不平衡的数据问题。我们使用来自MIT-BIH心律失常数据库的真实医疗数据来评估所提出的框架的性能。实验结果表明，我们提出的模型优于现有的方法，通常在当前的实践中使用。
2022-10-19 cs.LG eess.SP
Hyperbolic Generative Adversarial Network
Universidad Técnica Federico Santa María（费德里科·圣玛丽亚技术大学）
最近，非欧深度学习背景下的双曲空间由于其表示分层数据的能力而受到欢迎。我们建议，它是可能的，以利用存在于图像中的分层特性，通过使用双曲神经网络的GAN架构。在这项研究中，不同的配置使用全连接双曲层的GAN，CGAN，和WGAN进行了测试，在我们所谓的HGAN，HCGAN，和HW GAN，分别。使用MNIST数据集上的初始得分（IS）和Fréchet初始距离（FID）测量结果。根据不同的配置和空间曲率，更好的结果实现了每个建议的双曲版本比他们的欧几里得对应。
2021-02-10 cs.CV cs.LG stat.ML
Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application
International School of Information Science & Engineering, DUT（大连理工大学国际信息与软件学院）
在过去的几年中，极大极小型单级优化公式及其变体已被广泛用于解决生成对抗网络（GANs）。然而，这些交替学习策略并不能准确地揭示生成器和训练器之间的内在联系，容易导致模式坍塌、梯度消失和训练阶段振荡等问题。本文从分层优化的角度研究了GANs的基本机制，提出了最佳响应约束（BRC），一个通用的学习框架，可以明确地制定潜在的依赖关系的发电机上的可编程逻辑控制器。而不是采用这些现有的耗时的双层迭代，我们设计了一个隐式梯度计划与外积海森近似作为我们的快速解决方案的战略。\emph{Noteworthy, we demonstrate that even with different motivations and formulations, a variety of existing GANs ALL can be uniformly improved by our flexible BRC methodology.}大量的定量和定性实验结果验证了我们提出的框架的有效性，灵活性和稳定性。
2022-05-20 cs.LG eess.IV
Hierarchical Channel Stacking: A Structured Decision Framework for AI-Generated Image Detection
Missouri University of Science & Technology（密苏里科学技术大学）；University of Houston（休斯顿大学）；Cranium AI, Inc.（颅人工智能公司）
本文提出分层通道堆叠（HCS）框架，将CNN中间激活转为结构化60维表示，在涵盖GAN和扩散生成器的基准测试中获86.7%准确率，可用于AI生成图像检测及相关证据整合机制研究。
2026-09-04 cs.CV cs.LG
Highly-scalable, physics-informed GANs for learning solutions of stochastic PDEs
Brown University（布朗大学）；NVIDIA（英伟达）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Julia Computing（朱莉娅计算公司）；Pacific Northwest National Lab（太平洋西北国家实验室）；Massachusetts Institute of Technology（麻省理工学院）
正问题和反问题的不确定性量化是物理学和生物医学学科的核心挑战。我们解决这一挑战的问题，模拟地下水流在汉福德网站的随机计算模型与观测数据相结合，使用物理信息的GAN模型。汉福德站点的地理范围、空间异质性和多个相关长度尺度要求训练计算密集型GAN模型到数千个维度。我们开发了一个层次化的计划，利用域并行，映射鉴别器和发电机到多个GPU，并采用有效的通信方案，以确保训练的稳定性和收敛性。我们开发了一个高度优化的方案，在Summit超级计算机上扩展到27，500个NVIDIA Volta GPU和4584个节点，扩展效率为93.1%，实现了1228 PF/s和1207 PF/s的峰值和持续半精度速率。
2019-10-29 cs.LG physics.comp-ph stat.ML
Estimating the Effects of Continuous-valued Interventions using Generative Adversarial Networks
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然已经给予了很多关注的问题，估计离散的干预措施的效果，从观察数据，相对较少的工作已经做了设置连续值的干预措施，如治疗与剂量参数。在本文中，我们通过修改生成对抗网络（GANs）框架来解决这个问题。我们的模型，SCIGAN，是灵活的，能够同时估计几个不同的连续干预的反事实的结果。其关键思想是使用经过显著修改的GAN模型来学习生成反事实结果，然后可以使用标准的监督方法来学习推理模型，从而能够为新样本估计这些反事实。为了解决转移到持续干预所带来的挑战，我们提出了一个新的架构，我们的网络-我们建立了一个层次化的网络，利用结构的持续干预设置。此外，我们提供的理论结果，以支持我们使用的GAN框架和层次的神经网络。在实验部分，我们介绍了一种新的半合成数据模拟用于连续干预设置，并证明了现有的基准模型的改进。
2020-11-22 cs.LG stat.ML
FewGAN: Generating from the Joint Distribution of a Few Images
Tel Aviv University（特拉维夫大学）；University of Copenhagen（哥本哈根大学）
我们介绍FewGAN，一种生成模型，用于生成新颖，高质量和多样化的图像，其补丁分布位于少量N>1训练样本的联合补丁分布中。该方法本质上是一种分层的补丁GAN，它以类似于VQ-GAN的方式在第一个粗略尺度上应用量化，然后是在更精细尺度上的残留完全卷积GANs的金字塔。我们的关键思想是首先使用量化来学习训练图像的固定补丁嵌入集合。然后，我们使用一组单独的侧边图像，使用在训练图像的学习补丁嵌入上训练的自回归模型来对生成图像的结构进行建模。在粗尺度上使用量化允许模型生成有条件和无条件的新图像。随后，patch-GAN渲染细节，从而生成高质量的图像。在一组广泛的实验中，结果表明FewGAN在定量和定性方面都优于基线。
2022-07-18 cs.CV cs.LG
Semi-Implicit Generative Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了结合显式和隐式生成模型，我们引入了半隐式生成器（SIG）作为一个灵活的分层模型，可以在极大似然框架中进行训练。理论和实验表明，SIG可以生成高质量的样本，特别是在处理多模态时。通过将SIG作为无偏正则化器引入到生成对抗网络（GAN）中，我们证明了极大似然和对抗学习之间的相互作用可以稳定对抗训练，抵抗GANs臭名昭著的模式崩溃问题，并提高生成的随机样本的多样性。
2019-07-29 cs.LG stat.ML
FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery
University of California, Davis（加州大学戴维斯分校）
我们提出了FineGAN，一种新的无监督GAN框架，它将背景，对象形状和对象外观进行分解，分层生成细粒度对象类别的图像。为了在没有监督的情况下解开这些因素，我们的关键思想是使用信息论将每个因素与潜在代码相关联，并以特定的方式调节代码之间的关系，以诱导所需的层次结构。通过大量的实验，我们证明了FineGAN实现了所需的解纠缠，生成了属于鸟类、狗和汽车等细粒度类别的逼真且多样化的图像。使用FineGAN的自动学习功能，我们还对真实图像进行聚类，作为解决无监督细粒度对象类别发现新问题的第一次尝试。我们的代码/模型/演示可以在https://github.com/kkanshul/finegan上找到
2019-04-09 cs.AI cs.CV cs.GR
Conditional Electrocardiogram Generation Using Hierarchical Variational Autoencoders
Sber AI Lab（Sber AI实验室）
本文提出cNVAE-ECG模型，通过生成多病理心电图提升诊断准确性，在迁移学习中实现AUROC提升2%。
2025-04-28 cs.CV cs.LG eess.SP
Dialectical GAN for SAR Image Translation: From Sentinel-1 to TerraSAR-X
German Aerospace Center (DLR)（德国航空航天中心）；School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院）
与光学图像不同，合成孔径雷达（SAR）图像所处的电磁波谱与人类视觉系统所不熟悉的电磁波谱不同。因此，随着越来越多的SAR应用，对增强的高质量SAR图像的需求已经大大增加。然而，由于当前SAR设备及其图像处理资源的限制，高质量的SAR图像需要高成本。为了提高SAR图像的质量和降低其生成成本，我们提出了一种辩证生成对抗网络（辩证GAN）来生成高质量的SAR图像。该方法基于SAR信息的层次分析和GAN框架的“辩证”结构。作为演示，将示出一个典型示例，其中低分辨率SAR图像（例如，具有大的地面覆盖的Sentinel-1图像）被转换成高分辨率SAR图像（例如，a TerraSAR-X图像）。比较了三种传统算法，在辩证法的指导下，结合条件WGAN-GP（Wasserstein Generative Adversarial Network - Gradient Penalty）损失函数和空间Gram矩阵，提出了一种基于网络框架的新算法。实验结果表明，SAR图像的翻译工作非常好，当我们比较我们提出的方法与所选择的传统方法的结果。
2018-07-20 cs.CV cs.LG eess.IV
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
ExSinGAN: Learning an Explainable Generative Model from a Single Image
从单个样本生成图像作为图像合成领域的一个新兴分支，受到了广泛的关注。在本文中，我们制定了这个问题的采样从一个单一的图像的条件分布，并提出了一个分层的框架，简化了复杂的条件分布的学习，通过连续学习的分布结构，语义和纹理，使学习和生成的过程可以理解。在此基础上，我们设计了由三个级联的GANs组成的ExSinGAN，用于从给定的图像中学习可解释的生成模型，其中级联的GANs依次对结构、语义和纹理的分布进行建模。ExSinGAN不仅像以前的工作那样从给定图像的内部块学习，而且还从通过GAN反演技术获得的外部先验学习。ExSinGAN将内部信息和外部信息进行了合理的结合，使其具有更强的生成能力和较强的泛化能力。
2022-01-06 cs.CV cs.LG
PolyGAN: High-Order Polynomial Generators
Imperial College London（帝国理工学院）；Middlesex University（密德萨斯大学）
生成对抗网络（GANs）已经成为学习高维分布生成模型的黄金标准。自从它们出现以来，GANs的许多变体已经在文献中介绍，主要集中在利用新的损失函数，优化/正则化策略和网络架构。在本文中，我们把我们的注意力转向发电机和调查使用高阶多项式作为替代类的通用函数逼近。具体地说，我们提出了PolyGAN，其中我们通过高阶多项式来建模数据生成器，其未知参数自然由高阶张量表示。我们介绍了两个张量分解，显着减少参数的数量，并显示它们如何可以有效地实现分层神经网络，只采用线性/卷积块。我们展示了第一次，通过使用我们的方法，GAN生成器可以近似的数据分布，而不使用任何激活函数。对合成数据和真实数据（图像和3D点云）的全面实验评估证明了PolyGAN相对于最先进技术的优点。
2019-10-13 cs.LG stat.ML
Classification Accuracy Score for Conditional Generative Models
DeepMind（深度思维）
图像的深度生成模型（DGMs）现在已经足够成熟，它们可以生成近乎真实感的样本，并获得类似于Frechet Inception Distance（FID）等几何学数据分布的分数。这些结果，特别是在ImageNet这样的大规模数据集上，表明DGM正在感知有意义的空间中学习数据分布，并可用于下游任务。为了测试后一个假设，我们使用来自许多模型类的类条件生成模型-变分自编码器，自回归模型和生成对抗网络（GANs）-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能，我们称之为分类准确度得分（CAS），揭示了一些传统指标无法识别的令人惊讶的结果，并构成了我们的贡献。首先，当使用最先进的GAN（BigGAN-deep）时，与原始数据相比，Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型，如矢量量化变分自编码器（VQ-VAE-2）和分层自回归模型（HAM），在此基准测试中的表现大大优于GANs。其次，CAS自动表面生成模型未能捕获数据分布的特定类，并且以前在文献中是未知的。第三，我们发现传统的GAN指标，如初始得分（IS）和FID既不能预测CAS，也不能用于评估非GAN模型。此外，为了便于更好地诊断生成模型，我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
Autoencoding Hyperbolic Representation for Adversarial Generation
Duke Kunshan University（昆山杜克大学）
随着几何深度学习的最新进展，神经网络已被广泛用于非欧几里德域中的数据。特别地，双曲神经网络已经证明在处理数据的分层信息方面是成功的。然而，许多双曲神经网络在训练期间数值上不稳定，这妨碍了使用复杂的架构。这个关键问题使得很难为真实和复杂的数据建立双曲生成模型。在这项工作中，我们提出了一个双曲生成网络，在其中我们设计了新的架构和层，以提高训练的稳定性。我们提出的网络包含三个部分：第一，双曲自编码器（AE），为输入数据生成双曲嵌入;第二，双曲生成对抗网络（GAN），用于从简单噪声中生成AE的双曲潜在嵌入;第三，继承AE解码器和GAN生成器的生成器。我们称这个网络为双曲AE-GAN，简称HAEGAN。HAEGAN的架构促进了双曲空间中的表达，层的特定设计确保了数值稳定性。实验表明，HAEGAN能够生成具有最先进的结构相关性能的复杂数据。
2023-01-23 cs.LG q-bio.BM stat.ML
Divide-and-Conquer Adversarial Learning for High-Resolution Image and Video Enhancement
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文介绍了一种用于照片增强的分治启发对抗学习（DACAL）方法。其核心思想是将照片增强过程分解为层次化的多个子问题，自下而上可以更好地解决。在顶层，我们提出了一个基于感知的划分来学习加法和乘法分量，这是将低质量图像或视频转换为高质量图像或视频所需的。在中间层面，我们使用基于频率的划分与生成对抗网络（GAN）来弱监督照片增强过程。在底层，我们设计了一种基于维度的划分，使GAN模型能够更好地近似多个独立一维数据上的分布距离，以训练GAN模型。在考虑所有三个层次的同时，我们开发了多尺度和循环训练方法，以弱监督的方式优化图像和视频增强过程。定量和定性的结果都清楚地表明，所提出的DACAL实现了高分辨率图像和视频增强的最先进的性能。
2019-10-23 cs.CV cs.LG eess.IV
ForensicFormer: Hierarchical Multi-Scale Reasoning for Cross-Domain Image Forgery Detection
Independent Researcher（独立研究者）
ForensicFormer通过层次多尺度推理框架，实现跨领域图像伪造检测的高准确率与鲁棒性，显著提升对AI生成图像的检测能力。
2026-01-12 cs.AI cs.CV cs.LG
TCGAN: Convolutional Generative Adversarial Network for Time Series Classification and Clustering
Tsinghua University（清华大学）
针对标注时间序列数据获取成本高的问题，提出TCGAN，通过一维CNN生成器和判别器的对抗博弈学习表示并构建编码器，赋能线性分类与聚类，在速度和准确度上优于现有方法且适用于少标签及不平衡场景。
2023-09-09 cs.AI cs.LG
Stacked Generative Adversarial Networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
在本文中，我们提出了一种新的生成模型称为堆叠生成对抗网络（SGAN），它被训练为反转自底向上的判别网络的层次表示。我们的模型由一个自上而下的GANs堆栈组成，每个GAN都学会了以高级表示为条件生成低级表示。在每个特征层次结构中引入一个表示鉴别器，以鼓励生成器的表示流形与自下而上的鉴别网络的表示流形对齐，从而利用强大的鉴别表示来指导生成模型。此外，我们引入了一个条件损失，鼓励使用的条件信息从上面的层，和一个新的熵损失，最大限度地提高了发电机输出的条件熵的变化下限。我们首先独立地训练每个堆栈，然后端到端地训练整个模型。与使用单个噪声向量来表示所有变化的原始GAN不同，我们的SGAN将变化分解为多个级别，并逐步解决自上而下生成过程中的不确定性。基于视觉检查，Inception分数和视觉图灵测试，我们证明了SGAN能够生成比GANs更高质量的图像，而无需堆叠。
2017-04-12 cs.CV cs.LG cs.NE
Megapixel Image Generation with Step-Unrolled Denoising Autoencoders
Durham University（杜伦大学）
生成建模研究的一个持续趋势是提高样本分辨率，同时降低训练和采样的计算要求。我们的目标是通过技术组合进一步推动这一趋势-每个组件都代表了各自领域当前效率的顶峰。其中包括矢量量化GAN（VQ-GAN），一种能够进行高级别有损压缩（但在感知上无关紧要）的矢量量化（VQ）模型;沙漏Transformers，一种高度可扩展的自注意力模型;以及步进展开去噪自动编码器（SUNDAE），一种非自回归（NAR）文本生成模型。出乎意料的是，我们的方法突出了沙漏Transformers的原始配方时，应用到多维数据的弱点。有鉴于此，我们提出了修改的rescovery机制，适用于任何任务应用层次Transformers的多维数据。此外，我们证明了SUNDAE的可扩展性长序列长度-比以前的工作长四倍。我们提出的框架可扩展到高分辨率（$1024 \times 1024$）和快速训练（2-4天）。至关重要的是，经过训练的模型在消费级GPU（GTX 1080Ti）上大约2秒内生成多样化和逼真的百万像素样本。总的来说，该框架是灵活的：支持任意数量的采样步骤，样本自停止，自校正功能，条件生成，以及允许任意修复掩模的NAR公式。我们在FFHQ 256上获得了10.56的FID分数-在不到一半的采样步骤中接近原始VQ-GAN-在FFHQ 1024上仅用了100个采样步骤就获得了21.85。
2022-06-24 cs.CV cs.LG
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
Fast Parallel Algorithms for Euclidean Minimum Spanning Tree and Hierarchical Spatial Clustering
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Riverside（加州大学河滨分校）
本文提出了新的并行算法生成欧氏最小生成树和空间聚类层次（称为HDBSCAN $^*$）。我们的方法是基于生成一个良好分离的对分解，然后使用Kruskal的最小生成树算法和双色最近对计算。我们引入了一个新的概念，良好的分离，以减少工作和空间的HDBSCAN $^*$算法。我们还提出了一个并行近似算法的基础上，最近的顺序算法的GAN和陶。最后，我们给出了一个新的并行分治算法计算的树状图和可达性图，这是用于可视化集群的EMST和HDBSCAN $^*$出现的不同规模。我们表明，我们的算法在理论上是有效的：他们的工作（操作数）相匹配的顺序对应，和polylogarithmic深度（并行时间）。我们实现了我们的算法，并提出了一个内存优化，只需要一个子集的良好分离的对进行计算和物化，从而节省空间（高达10倍）和时间（高达8倍）。我们的实验上的大型现实世界和合成数据集使用48核机器表明，我们的最快的算法优于最好的串行算法的问题的11.13- 55.89倍，和现有的并行算法至少一个数量级。
2021-04-02 cs.DB cs.DC cs.DS
Generative Model for Heterogeneous Inference
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院与工程学院）；Taiyuan University of Technology（太原理工大学）
生成式模型（GM），如生成Advertisement网络（GAN）和变分自动编码器（VAE）近年来蓬勃发展，并在生成新样本方面取得了高质量的结果。特别是在计算机视觉中，几何模型被用于图像修补、去噪和图像修复，可以看作是从观察像素点到受损像素点的推断。然而，图像是分层结构的，这与许多具有非分层特征的真实世界推理场景有很大不同。这些推理场景包含异质随机变量和不规则的相互依赖。传统上，它们是由贝叶斯网络（BN）建模。然而，BN模型的学习和推理是NP难的，因此BN中的随机变量的数量受到高度限制。本文对典型的GM进行了改进，使其能够在多项式时间内进行异构学习和推理，并提出了扩展自回归模型和具有敌手损失的自回归模型，给出了它们的有效性的理论结果。在多个BN数据集上的实验表明，与其他GM模型相比，我们提出的SVM模型在大多数情况下具有最佳性能。除了黑盒分析外，我们还对白盒分析中GM的马尔可夫边界推理进行了一系列的实验，并给出了理论结果。
2018-04-26 cs.CV cs.LG stat.ML
Learning Robust Representations Of Generative Models Using Set-Based Artificial Fingerprints
USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）；USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明尼苏达电子与计算机工程系）
随着深度生成模型的最新进展，识别合成数据并比较其底层生成过程的问题已成为一项紧迫的任务，原因有很多，包括对抗视觉错误信息和来源归属。现有的方法通常通过模型的样本分布来近似模型之间的距离。在本文中，我们的指纹生成模型的问题，通过学习表示编码的残留文物留下的生成模型作为唯一的信号，识别源模型。我们认为这些独特的痕迹（a.k.a.“人工指纹”）作为生成模型的表示，并证明了它们在源归属的区分任务和定义底层模型之间的相似性的无监督任务中的有用性。我们首先将现有的关于GANs指纹的研究扩展到四类代表性的生成模型（VAE，Flows，GANs和基于分数的模型），并证明了它们的存在性和归属性。然后，我们提出了一种新的学习方法，基于集合编码和对比训练的指纹，提高了稳定性和属性。我们的集合编码器，不像现有的方法，对个别图像进行操作，从图像的\textit{set}学习指纹。我们通过与最先进的指纹方法和消融研究的比较，证明了稳定性和可归因性的改善。此外，我们的方法采用对比训练来学习模型之间的隐式相似性。我们发现潜在的家庭的生成模型，使用这个指标在一个标准的层次聚类算法。
2022-06-04 cs.AI cs.LG
Time Series Simulation by Conditional Generative Adversarial Net
Wells Fargo（富国银行）
生成对抗网络（GAN）是一种强大的机器学习工具，可用于图像数据的分析和生成。在本文中，我们提出使用条件生成对抗网络（CGAN）学习和模拟时间序列数据。条件可以是包含不同种类辅助信息的分类变量和连续变量。我们的模拟研究表明，CGAN是能够学习不同类型的正常和重尾分布，以及不同的时间序列的相关结构，它可以进一步生成与训练数据分布一致的条件预测分布。我们还提供了一个深入的讨论的基本原理的GAN和神经网络分层样条绘制一个明确的连接与现有的统计方法的分布生成。在实践中，CGAN在市场风险和交易对手风险分析中有着广泛的应用：它可以用于学习历史数据，生成计算风险价值（VaR）和预期短缺（ES）的情景，并预测市场风险因素的变化。我们提出了一个真实的数据分析，包括回测，以证明CGAN是能够优于历史模拟，一个流行的方法在市场风险分析计算的VaR。CGAN还可以应用于经济时间序列的建模和预测，最后给出了CGAN用于经济模型假设冲击分析和潜在CCAR情景生成的实例。
2019-04-25 cs.LG eess.IV stat.ML
Haar Wavelet based Block Autoregressive Flows for Trajectories
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
预测的轨迹，如行人是至关重要的自主智能体的性能。虽然以前的工作已经利用条件生成模型（如GANs和VAE）来学习可能的未来轨迹，但准确地建模这些多模态分布的依赖结构，特别是在长时间范围内仍然具有挑战性。基于生成模型的规范化流可以对允许精确推理的复杂分布进行建模。这些包括具有分裂耦合可逆变换的变体，与自回归对应物相比，这些变体更容易并行化。为此，我们引入了一种新的基于Haar小波的块自回归模型，利用分裂耦合，条件是从基于Haar小波的变换在不同级别的粒度获得的粗轨迹。这产生了一个精确的推理方法，模型的轨迹在不同的时空分辨率在一个层次的方式。我们说明了我们的方法在两个真实世界的数据集-斯坦福无人机和交叉无人机上生成多样化和准确的轨迹的优势。
2020-09-21 cs.CV cs.LG
Semantic Pyramid for Image Generation
Weizmann Institute of Science（魏茨曼科学研究所）；Google Research（谷歌研究院）
我们提出了一种新的基于GAN的模型，该模型利用了通过预训练分类模型学习的深度特征空间。受经典图像金字塔表示的启发，我们将我们的模型构建为语义生成金字塔-一个分层框架，该框架利用封装在这种深层特征中的语义信息的连续体;其范围从精细特征中包含的低级信息到更深层次特征中包含的高级语义信息。更具体地说，给定从参考图像中提取的一组特征，我们的模型生成不同的图像样本，每个样本在分类模型的每个语义级别上都具有匹配的特征。我们证明，我们的模型结果在一个通用的和灵活的框架，可用于各种经典和新颖的图像生成任务。其中包括：生成与参考图像具有可控程度的语义相似性的图像，以及不同的操作任务，如语义控制的修复和合成;所有这些都是用相同的模型实现的，无需进一步的训练。
2020-03-16 cs.CV cs.LG
Assembling Semantically-Disentangled Representations for Predictive-Generative Models via Adaptation from Synthetic Domain
Mythic Inc.（Mythic公司）；Freeus, LLC.（Freeus有限责任公司）；University of Rochester（罗切斯特大学）
深度神经网络可以形成输入数据的高级分层表示。各种研究人员已经证明，这些表示可以用于实现各种有用的应用。然而，这样的表示通常基于数据内的统计，并且可能不符合应用可能需要的语义表示。条件模型通常用于克服这一挑战，但它们需要大量带注释的数据集，这些数据集很难获得，创建成本也很高。在本文中，我们表明，语义对齐表示可以生成，而不是与基于物理的引擎的帮助。这是通过创建具有解耦属性的合成数据集，学习合成数据集的编码器，以及用来自真实域的属性来扩充来自合成域的规定属性来实现的。结果表明，所提出的（SYNTH-VAE-GAN）方法可以构建一个条件预测生成模型的人脸属性，而不依赖于真实的数据标签。
2020-02-23 cs.CV cs.LG eess.IV
Unconditional Audio Generation with Generative Adversarial Networks and Cycle Regularization
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
在最近的一篇论文中，我们提出了一种基于生成对抗网络（GAN）的模型，用于无条件生成歌声的梅尔谱图。由于该模型的生成器被设计为以可变长度的噪声向量序列作为输入，因此它可以生成可变长度的梅尔谱图。然而，我们之前的听力测试表明，生成的音频质量还有改进的空间。本论文在以下几个方面对前人的工作进行了扩展。首先，我们在生成器中采用了一个层次结构来诱导时间维度中的一些结构。其次，我们引入了一个周期正则化机制的发生器，以避免模式崩溃。第三，我们评估的新模型的性能，不仅为产生歌声，但也为产生语音。评价结果表明，新模型在客观和主观方面均优于原模型。我们还采用该模型来无条件地生成钢琴和小提琴音乐序列，并发现结果很有希望。音频示例以及实现我们模型的代码将在纸质出版物上在线公开。
2020-05-18 cs.LG cs.SD eess.AS
The applicability of transperceptual and deep learning approaches to the study and mimicry of complex cartilaginous tissues
Oxford Brookes University（牛津布鲁克斯大学）；University of Glasgow（格拉斯哥大学）；University of Luxembourg（卢森堡大学）；University of Oxford（牛津大学）
复杂的软组织，例如膝关节半月板，在活动性和关节健康方面起着至关重要的作用，但当受损时，修复和更换非常困难。这是由于其高度分层和多孔性，这反过来又导致其独特的机械性能。为了设计组织替代物，需要理解和复制天然组织的内部结构。在这里，我们探索一种结合视听的方法-所谓的transperceptual -生成模仿本地的人工架构。所提出的方法使用传统的图像和从每个图像生成的声音作为快速比较和对比样品内的孔隙度和孔径的方法。我们已经在2D图像堆栈上训练和测试了生成对抗网络（GAN）。通过分析两个样本来评估图像的训练集对人工与原始数据集的相似性的影响。第一个由n=478对音频和图像文件组成，其中图像被下采样为64 $\times$ 64像素，第二个由n=7640对音频和图像文件组成，其中保留全分辨率256 $\times$ 256像素，但每个图像被分成16个正方形，以保持GAN所需的64 $\times$ 64像素的限制。我们将人工生成的数据集的2D堆栈重建为3D对象，并运行图像分析算法来统计表征结构参数-孔径，曲折度和孔隙连通性-并将其与原始数据集进行比较。结果表明，经过下采样的人工生成的数据集在参数匹配方面表现更好。我们的视听方法有可能扩展到更大的数据集，以探索如何在多个样本中以可听方式识别相似性和差异性。
2022-11-21 cs.CV cs.LG cs.SD
Understanding the Role of Individual Units in a Deep Neural Network
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Adobe Research, Adobe Inc.（Adobe公司研究院）；Massachusetts Institute of Technology–International Business Machines (IBM) Watson Artificial Intelligence Laboratory（麻省理工学院-IBM沃森人工智能实验室）；Media Lab, Massachusetts Institute of Technology（麻省理工学院媒体实验室）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络擅长于寻找解决大型数据集上复杂任务的分层表示。我们人类如何理解这些习得的表征？在这项工作中，我们提出了网络解剖，一个分析框架，系统地识别单个隐藏单元内的语义图像分类和图像生成网络。首先，我们分析了一个在场景分类上训练的卷积神经网络（CNN），并发现了与一组不同的对象概念相匹配的单元。我们发现有证据表明，网络已经学习了许多对象类，这些对象类在对场景类进行分类时起着至关重要的作用。其次，我们使用类似的分析方法来分析生成对抗网络（GAN）模型训练生成场景。通过分析当一小部分单元被激活或停用时所做的更改，我们发现可以在适应上下文的同时从输出场景中添加和删除对象。最后，我们将我们的分析框架应用于理解对抗攻击和语义图像编辑。
2020-09-12 cs.CV cs.LG cs.NE
