Analyzing the Components of Distributed Coevolutionary GAN Training
Massachusetts Institute of Technology（麻省理工学院）
分布式协同进化生成对抗网络（GAN）训练在克服GAN训练病态方面已经取得了经验性的成功。这主要是由于在培训过程中的发电机和歧视的人口多样性的维护。这里研究的方法coevolves子种群的每个单元格的空间网格组织成重叠的摩尔邻里。我们调查的两个算法组件，影响协同进化过程中的多样性的性能的影响：基于性能的选择/更换内每个子种群和通信通过迁移的解决方案（网络）之间重叠的邻居。在MNIST数据集上的实验中，我们发现这两个组件的组合提供了最好的生成模型。此外，在子群体中不应用选择的迁移解决方案实现了竞争结果，而在细胞之间没有通信的选择降低了性能。
2020-08-03 cs.DC cs.LG cs.NE
Provable Lipschitz Certification for Generative Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个可扩展的技术上界生成模型的Lipschitz常数。我们将这个量与给定生成模型的可达到的向量-雅可比乘积集的最大范数相关联。我们使用zonotopes逐层凸逼近近似这一套。我们的方法推广和改进以前的工作，使用zonotope Transformers，我们扩展到Lipschitz估计的神经网络具有大的输出尺寸。这为小型网络提供了有效和紧密的边界，并且可以扩展到VAE和DCGAN架构上的生成模型。
2021-07-06 cs.LG stat.ML
Solving a class of non-convex min-max games using adaptive momentum methods
Splunk；University of Florida（佛罗里达大学）
自适应动量方法最近在深度神经网络的训练中引起了很多关注。它们使用目标函数的过去梯度的指数移动平均来更新搜索方向和学习速率。然而，这些方法不适合解决在训练生成对抗网络中出现的最小-最大最优化问题。在本文中，我们提出了一个自适应动量最小-最大算法，推广自适应动量方法的非凸最小-最大制度。此外，我们建立了非渐近收敛速度的算法时，在一个合理的广泛的类非凸最小最大最优化问题。实验结果表明，它的优越性能与基准方法解决此类问题。
2021-04-26 cs.LG math.OC stat.ML
Fast and Provable ADMM for Learning with Generative Priors
EPFL（洛桑联邦理工学院）
在这项工作中，我们提出了一个（线性化）交替方向乘法（ADMM）算法最小化凸函数的非凸约束。我们专注于特殊的情况下，这种约束产生的规格，一个变量应该位于一个神经网络的范围。这是由于最近生成对抗网络（GANs）在压缩感知、去噪和对抗对抗示例的鲁棒性等任务中的成功应用。我们的算法的衍生率的特征在于某些几何性质的发电机网络，我们持有前馈架构，在温和的假设。与梯度下降（GD）不同，它可以有效地处理非光滑目标，以及利用有效的部分最小化过程，因此在许多实际情况下更快。
2019-07-07 cs.LG math.OC stat.ML
Privacy-Preserving Generative Models: A Comprehensive Survey
De Montfort University（德蒙福特大学）；University of Basel（巴塞尔大学）
本文通过分析100篇文献，系统综述了隐私保护生成模型，提出GANs和VAEs的隐私与效用指标新分类体系，并指出当前挑战与未来研究方向。
2025-02-05 cs.CR cs.LG
Radon Sobolev Variational Auto-Encoders
Université Paris Dauphine - PSL Research University（巴黎第九大学-巴黎文理研究大学）；CEREMADE（CEREMADE（巴黎第九大学应用数学研究中心））
生成模型（如生成对抗网络和变分自动编码器）的质量在很大程度上取决于选择良好的概率距离。然而，一些常用的度量如Wasserstein距离、Sliced Wasserstein距离、Jensen-Shannon散度、Kullback-Leibler散度等缺乏方便的性质，如（测地线）凸性、快速求值等，为了解决这些缺点，我们引入了一类具有内建凸性的距离.我们调查的关系与一些已知的范例（切片距离-拉东距离的同义词-，再生核希尔伯特空间，能量距离）。的距离被证明具有快速的实现，并包括在一个适应变分自动编码器称为拉东Sobolev变分自动编码器（RS-VAE），产生高质量的结果标准生成数据集。关键词：变分自动编码器;生成模型; Sobolev空间; Radon Sobolev变分自动编码器;
2021-04-14 cs.AI cs.CV cs.LG
Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN
Northwestern University（西北大学）；Google Inc.（谷歌公司）
我们将生成对抗网络（GANs）的极大极小博弈与寻找凸优化问题的拉格朗日函数的鞍点联系起来，其中生成器输出和生成器输出的分布分别扮演原始变量和对偶变量的角色。该公式显示了标准GAN训练过程和凸优化的原始-对偶次梯度方法之间的联系。这种内在联系不仅为在函数空间中训练GANs提供了理论上的收敛性证明，而且还启发了一种新的训练目标函数。修正后的目标函数迫使发电机输出的分布根据原始-对偶次梯度方法沿方向更新。一个玩具的例子表明，所提出的方法是能够解决模式坍塌，在这种情况下，不能避免的标准GAN或Wasserstein GAN。在高斯混合合成数据和真实图像数据集上的实验证明了该方法在生成不同样本时的性能。
2018-02-06 cs.LG stat.ML
Algorithmic Aspects of Inverse Problems Using Generative Models
Iowa State University（爱荷华州立大学）
传统的手工制作先验（如稀疏性）来解决逆问题的方法正在慢慢被使用更丰富的学习先验（如生成对抗网络（GANs）建模的先验）所取代。在这项工作中，我们从理论的角度研究了这种基于学习的方法的算法方面。对于某些生成网络架构，我们建立了一种简单的非凸算法方法，该方法（a）在理论上可以保证某些逆问题的线性收敛，（b）在经验上改进了传统技术，如反向传播。我们还提出了一个扩展我们的方法，可以处理模型失配（即，生成网络先验并不完全适用的情况）。总之，我们的贡献作为构建模块对反问题中生成模型的更完整的算法理解。
2018-10-08 cs.LG stat.ML
Learning in Non-convex Games with an Optimization Oracle
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们认为在线学习在一个敌对的，非凸设置的假设下，学习者有一个离线的优化预言。在专家建议的一般预测设置中，Hazan et al.（2016）确定，在优化-预言模型中，在线学习需要比统计学习更多的计算。在本文中，我们表明，通过稍微加强预言机模型，在线和统计学习模型在计算上变得等价。我们的结果适用于任何Lipschitz和有界（但不一定是凸）函数。作为一个应用程序，我们演示了离线预言机如何在非凸博弈中实现均衡的有效计算，其中包括GAN（生成对抗网络）作为特例。
2019-05-29 cs.LG stat.ML
Understanding Overparameterization in Generative Adversarial Networks
University of Maryland, College Park（马里兰大学学院公园分校）；University of Southern California（南加州大学）
生成对抗网络（GANs）等广泛的无监督深度学习方法涉及训练过参数化模型，其中模型的参数数量超过某个阈值。监督学习中的大量工作表明了模型过参数化在梯度下降（GD）收敛到全局最优解中的重要性。相比之下，无监督设置和GANs特别涉及非凸凹最小-最大优化问题，这些问题通常使用梯度下降/上升（GDA）进行训练。在非凸-凹问题中，模型超参数化在GDA收敛到全局鞍点中的作用和好处远未被理解。在这项工作中，我们提出了一个全面的分析模型overparameterization的重要性，在GANs的理论和经验。我们从理论上证明了在具有$1$层神经网络生成器和线性规划器的过参数化GAN模型中，GDA收敛到底层非凸凹min-max问题的全局鞍点。据我们所知，这是GDA在这种情况下的全球收敛的第一个结果。我们的理论是基于一个更一般的结果，适用于更广泛的一类非线性发电机和判别器，服从某些假设（包括更深的发电机和随机特征判别器）。我们还使用CIFAR-10和Celeb-A数据集上的几个大规模实验来实证研究模型过度参数化在GANs中的作用。我们的实验表明，overparameterization提高了在各种模型架构和数据集上生成的样本的质量。值得注意的是，我们观察到，overparameterization导致更快，更稳定的收敛行为的GDA全线。
2021-04-12 cs.LG stat.ML
Anomalies by Synthesis: Anomaly Detection using Generative Diffusion Models for Off-Road Navigation
MIT CSAIL（麻省理工学院CSAIL）；DEVCOM Army Research Laboratory（国防部陆军研究实验室）
本文提出一种基于分析-合成的纯测试时逐像素异常检测方法，利用生成式扩散模型合成移除异常的图像，并结合视觉-语言基础模型在特征空间中检测语义编辑，实现准确的越野导航异常检测。
2025-05-28 cs.CV cs.LG cs.RO
Data-driven discovery of novel 2D materials by deep generative models
Technical University of Denmark（丹麦技术大学）
生成具有良好稳定性的候选晶体结构的有效算法可以在数据驱动的材料发现中发挥关键作用。在这里，我们表明，晶体扩散变分自动编码器（CDVAE）是能够产生高的化学和结构多样性和形成能反映训练结构的二维（2D）材料。具体而言，我们在能量高于凸包$ΔH_{\mathrm{hull}}< 0.3$ eV/原子的2615种2D材料上训练CDVAE，并生成5003种材料，我们使用密度泛函理论（DFT）松弛这些材料。通过对训练结构进行系统的元素替换，我们还生成了14192个新晶体。我们发现，生成模型和晶格装饰方法是互补的，并产生具有相似的稳定性，但非常不同的晶体结构和化学组成的材料。我们总共找到了11630种预测的新的二维材料，其中8599种具有$ΔH_{\mathrm{hull}}< 0.3$ eV/原子作为种子结构，而2004年在50 meV的凸包内，并且可能被合成。所有材料的弛豫原子结构可在开放的计算2D材料数据库（C2 DB）中获得。我们的工作使CDVAE成为一种高效可靠的晶体生成机，并显着扩展了2D材料的空间。
2022-06-24 cond-mat.mtrl-sci cs.LG physics.comp-ph
Unfolding Time: Generative Modeling for Turbulent Flows in 4D
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）
本研究提出4D生成式扩散模型与物理信息引导技术，解决了以往模型无法生成湍流序列的问题，能够采样真实的流态子序列，为分析湍流时间演化提供新途径。
2024-07-29 cs.LG physics.flu-dyn
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Constrained Synthesis with Projected Diffusion Models
University of Virginia（弗吉尼亚大学）
本研究提出将扩散模型采样重构为约束优化的投影扩散方法，可在凸、非凸约束及物理场景下生成合规数据，适用于材料合成、运动生成等多领域。
2024-11-01 cs.AI cs.LG
Learning a Generative Meta-Model of LLM Activations
本研究通过训练扩散模型学习大语言模型激活的分布，提出生成元模型以提升干预保真度和可解释性。
2026-02-06 cs.AI cs.CL cs.LG
Indeterminacy in Generative Models: Characterization and Strong Identifiability
University of British Columbia（不列颠哥伦比亚大学）
大多数现代概率生成模型，如变分自动编码器（VAE），具有某些不确定性，即使有无限数量的数据也无法解决。不同的任务容忍不同的不确定性，但最近的应用表明，需要强可识别的模型，其中的观察对应于一个独特的潜在代码。在保持灵活性的同时减少模型的不确定性方面取得了进展，最近的工作排除了许多-但不是所有-不确定性。在这项工作中，我们激励模型的可识别性方面的任务可识别性，然后构建一个理论框架来分析潜变量模型的不确定性，这使得他们的准确表征的生成函数和先验分布空间。我们发现，强可识别性是可能的，即使是高度灵活的非线性发电机，并给出两个这样的例子。一个是iVAE的直接修改（arXiv：1907.04809 [stat.ML]）;另一个使用三角单调映射，导致最佳传输和可识别性之间的新联系。
2023-03-03 cs.LG stat.ML
Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基于得分的生成模型在图像生成和音频合成等各种应用中表现出显著的经验性能。然而，基于分数的扩散模型的理论理解仍然是不完整的。最近，Song等人表明，基于得分的生成模型的训练目标相当于最小化生成分布与数据分布的Kullback-Leibler散度。在这项工作中，我们表明，基于分数的模型也最小化它们之间的Wasserstein距离在适当的假设下的模型。具体地说，我们证明了Wasserstein距离的上界由目标函数的平方根乘法常数和一个固定的常数偏移。我们的证明是基于最优运输理论的一个新的应用，它可以独立的社会利益。我们的数值实验支持我们的研究结果。通过分析我们的上界，我们提供了一些技术，以获得更严格的上界。
2022-12-13 cs.AI cs.LG cs.NA
Fast Approximate Geodesics for Deep Generative Models
Volkswagen Group（大众汽车集团）；Autonomous Intelligent Driving GmbH（Autonomous Intelligent Driving有限公司）
沿着黎曼流形的两个数据点之间的测地线的长度，由深生成模型引起，产生相似性的原则性度量。由于求解非凸优化问题的计算复杂性，目前的方法仅限于低维潜在空间。我们建议从聚合近似后验样本的有限图中找到最短路径，可以精确地解决，大大减少运行时间，并且没有显着的质量损失。因此，我们的方法适用于高维问题，例如，在视觉领域。我们验证了我们的方法经验上的一系列实验，使用变分自动编码器应用于图像数据，包括椅子，FashionMNIST，和人体运动数据集。
2019-05-23 cs.LG stat.ML
On Analyzing Generative and Denoising Capabilities of Diffusion-based Deep Generative Models
Warsaw University of Technology（华沙理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于扩散的深度生成模型（DDGM）在生成建模中提供最先进的性能。他们的主要优势来自于他们独特的设置，其中一个模型（后向扩散过程）被训练来逆转前向扩散过程，这会逐渐将噪声添加到输入信号中。虽然DDGM得到了很好的研究，但仍然不清楚少量的噪声在反向扩散过程中是如何转化的。在这里，我们专注于分析这个问题，以更深入地了解DDGM的行为及其去噪和生成能力。我们观察到一个流体过渡点，该点改变了反向扩散过程的功能，从生成一个（损坏的）图像，从噪声到去噪损坏的图像到最终的样本。基于这一观察，我们假设将DDGM分为两个部分：去噪器和生成器。去噪器可以通过去噪自动编码器来参数化，而生成器是具有其自己的参数集的基于扩散的模型。我们实验验证我们的主张，显示其优点和缺点。
2022-05-31 cs.LG
Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints
生成对抗网络（GANs）的最新进展表明，在生成逼真图像方面取得了越来越大的成功。但它们也对视觉取证和模型归属提出了挑战。我们提出了学习GAN指纹对图像属性的第一项研究，并使用它们将图像分类为真实或GAN生成的。对于GAN生成的图像，我们进一步识别它们的来源。我们的实验表明：（1）GANs携带不同的模型指纹，并在其生成的图像中留下稳定的指纹，这支持图像属性;（2）即使GAN训练中的微小差异也会导致不同的指纹，这使得能够进行细粒度的模型认证;（3）指纹在不同的图像频率和补丁中持续存在，并且不会受到GAN伪影的影响;（4）指纹微调可以有效地免疫五种类型的对抗性图像扰动;（5）比较还显示，我们学习的指纹在各种设置中始终优于几个基线。
2019-08-16 cs.CR cs.CV cs.CY
Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks
Stanford University（斯坦福大学）
本文提出一种基于深度生成网络训练的元启发式算法，通过定制损失函数和渐进式网络架构在超高维连续空间中高效寻优，在高达一千维的标准问题上以更少函数评估次数超越现有基准。
2023-07-09 cs.LG math.OC
A Non-generative Framework and Convex Relaxations for Unsupervised Learning
我们给了一个新的正式的理论框架无监督学习有两个鲜明的特点。首先，它不假设任何生成模型，并基于最坏情况下的性能指标。第二，它是比较性的，即绩效是相对于给定的假设类来衡量的。这允许避免已知的计算硬度结果和基于凸松弛的不适当算法。我们展示了几个家庭的无监督学习模型，这是以前只分析概率假设下，否则证明是棘手的，可以有效地学习在我们的框架凸优化。
2016-12-27 cs.DS cs.LG stat.ML
A bi-partite generative model framework for analyzing and simulating large scale multiple discrete-continuous travel behaviour data
Ryerson University（瑞尔森大学）
数据驱动的需求分析的出现导致越来越多地使用生成建模来学习随机变量之间的概率依赖关系。虽然近年来它们的明显用途主要限于图像识别和分类，但生成机器学习算法可以通过数据结构的底层属性复制旅行行为，成为旅行行为研究的强大工具。在本文中，我们研究使用生成机器学习方法来分析多个离散连续（MDC）的旅行行为数据。我们提供了一个合理的角度来看，我们如何利用机器学习技术来解释数据中的潜在异质性。我们表明，生成模型在概念上类似的选择选择行为过程中，通过信息熵和变分贝叶斯推断。不失一般性，我们认为一个限制玻尔兹曼机（RBM）的算法与多个离散连续层，制定为变分贝叶斯推断优化问题。我们系统地描述了所提出的机器学习算法，并开发了一个从生成学习的角度分析旅行行为数据的过程。我们在一个开放数据集上进行了模型分析和模拟测试，从293，330个观测的数据大小中获得了多个离散-连续维度的参数稳定性。为了便于解释，我们推导出条件概率、弹性，并对潜在变量进行统计分析。我们表明，我们的模型可以生成统计上相似的数据分布，用于旅行预测和预测，并且在验证中比纯粹的判别方法表现得更好。我们的研究结果表明，生成模型中的潜在结构可以准确地表示联合分布一致的MDC数据。
2020-05-08 cs.LG stat.ML
ConvGeN: Convex space learning improves deep-generative oversampling for tabular imbalanced classification on smaller datasets
University of Rostock（罗斯托克大学）；Leibniz-Institute for Food Systems Biology（莱布尼茨食品系统生物学研究所）；Technical University of Munich（慕尼黑工业大学）；Technische Universität Dresden（德累斯顿工业大学）
数据通常以表格格式存储。一些研究领域倾向于使用不平衡的表格数据。由于类别不平衡，对此类数据进行监督机器学习通常很困难。合成数据生成，即，过采样是用于提高分类器性能的常用补救措施。最先进的线性插值方法，如LoRAS和ProWRAS，可用于从少数类的凸空间生成合成样本，以提高此类情况下的分类器性能。深度生成网络是用于合成样本生成的常见深度学习方法，广泛用于合成图像生成。然而，它们在不平衡分类背景下生成综合表格数据的范围没有得到充分探讨。在这篇文章中，我们表明，与基于线性插值的方法相比，现有的深度生成模型在较小的表格数据集上的不平衡分类问题上表现不佳。为了克服这个问题，我们提出了一个深度生成模型ConvGeN，它将凸空间学习的思想与深度生成模型相结合。ConvGeN学习少数类样本的凸组合的系数，使得合成数据与多数类足够不同。我们的基准测试实验表明，与现有的深度生成模型相比，我们提出的模型ConvGeN改善了这种小数据集上的不平衡分类，同时与现有的线性插值方法相当。此外，我们还讨论了我们的模型如何用于一般的合成表格数据生成，即使在数据不平衡的范围之外，也可以提高凸空间学习的整体适用性。
2022-07-13 cs.LG
ManiFPT: Defining and Analyzing Fingerprints of Generative Models
USC Information Sciences Institute（南加州大学信息科学研究所）；USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明赫氏电气与计算机工程系）
本文形式化生成模型伪影与指纹定义并提出计算算法，用于区分多种生成模型和模型归因，且指纹结构可预测设计选择影响。
2024-02-29 cs.CV cs.LG
Analyzing Multimodal Objectives Through the Lens of Generative Diffusion Guidance
Seoul National University（首尔国立大学）
近年来，多模态表示学习领域取得了惊人的进展，其中对比学习是重大突破的基石。最新的作品通过将不同的目标（如掩码建模和字幕）纳入框架中，提供了进一步的改进，但我们对这些目标如何促进学习的理解仍然非常不完整。在本文中，我们利用分类器引导的扩散模型生成反映分类器提供的语义信号的图像来研究多模态学习目标的特征。具体来说，我们比较对比，匹配和字幕损失方面的语义信号，并引入一个简单的基线，不仅支持我们的分析，但也提高了生成指导的质量在一个简单的方式。
2023-02-10 cs.AI cs.CV cs.LG
Sig-Splines: universal approximation and convex calibration of time series generative models
University of Kaiserlautern（凯泽斯劳滕大学）；Imperial College London（伦敦帝国理工学院）
本研究提出名为Sig-Splines的多变量离散时间序列生成模型，以线性变换和签名变换替代传统神经网络，兼具通用逼近能力与参数凸性优势。
2023-07-19 cs.AI cs.LG q-fin.CP
Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions
Stanford University（斯坦福大学）
生成对抗网络（GANs）通常用于对复杂的数据分布进行建模。GANs的生成器和鉴别器通常都是由神经网络建模的，这就提出了一个非透明的优化问题，该问题在生成器和鉴别器上分别是非凸和非凹的。这类网络通常用梯度下降-上升（GDA）进行启发式优化，但目前还不清楚优化问题是否包含任何鞍点，或者探试法是否能在实践中找到它们。在这项工作中，我们通过凸对偶的镜头分析了Wasserstein GANs与双层神经网络鉴别器的训练，并针对各种生成器揭示了Wasserstein GANs可以用凸优化方法精确求解的条件，或者可以表示为凹凸游戏。使用这种凸对偶解释，我们进一步证明了不同的激活函数的影响。我们的观察结果进行了验证，数值结果表明凸解释的力量，与对应于CelebA图像生成的线性生成器和二次激活鉴别器的凸架构的渐进训练中的应用。我们的实验代码可以在https://github.com/ardasahiner/ProCoGAN上找到。
2022-03-21 cs.CV cs.LG eess.IV
Generative adversarial interpolative autoencoding: adversarial training on latent space interpolations encourage convex latent distributions
UC San Diego（加州大学圣地亚哥分校）；SPAWAR（SPAWAR（太空与海战系统司令部））
我们提出了一种基于自动编码器（AE）和生成对抗网络（GAN）的神经网络架构，通过对潜在空间插值进行对抗训练来促进凸潜在分布。通过使用AE作为GAN的生成器和消隐器，我们在消隐器上传递逐像素误差函数，产生一个AE，它产生与原始图像的高级和低级特征相匹配的非模糊样本。在这个空间中的图像之间的插值保持在真实图像的潜空间分布内，如由神经网络训练的，并且因此保持对网络输入的现实不对称性。代码可在https://github.com/timsainb/GAIA获得
2019-04-22 cs.LG stat.ML
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Robustness Certification of Generative Models
ETH Zurich（苏黎世联邦理工学院）
生成神经网络可用于通过潜在空间插值指定图像之间的连续变换。然而，证明由图像流形中的结果路径捕获的所有图像满足给定属性可能非常具有挑战性。这是因为这个集合是高度非凸的，阻碍了现有的可扩展鲁棒性分析方法，这些方法通常基于凸松弛。我们提出了一种可扩展的认证方法，它成功地验证了涉及生成模型和分类器的非平凡规范。ApproxLine可以通过捕获神经网络激活向量的无限非凸集合或这些集合上的分布来提供可靠的确定性和概率性保证。我们表明，近似线是实际有用的，可以验证有趣的插值网络的潜在空间。
2020-04-30 cs.CR cs.LG cs.PL
Learning Gradients of Convex Functions with Monotone Gradient Networks
Carnegie Mellon University（卡内基梅隆大学）
虽然很多努力一直致力于推导和分析信号处理问题的有效凸公式，凸函数的梯度也有关键的应用，从基于梯度的优化，以最佳的运输。最近的工作已经探索了数据驱动的方法来学习凸目标函数，但学习其单调梯度的研究很少。在这项工作中，我们提出了C-MGN和M-MGN，两个单调梯度神经网络结构，直接学习凸函数的梯度。我们表明，与最先进的方法相比，我们的网络更容易训练，更准确地学习单调梯度场，并使用更少的参数。我们进一步展示了他们学习最佳传输映射以增强驾驶图像数据的能力。
2023-03-17 cs.LG math.OC
Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Chicago（芝加哥大学伊利诺伊分校）
本文提出并分析直接、逆和混合三种判别提示，利用LLMs的判别能力减少生成不确定性，实现自我改进，并在两个基准数据集上验证其效果。
2024-06-27 cs.AI cs.CL cs.LG
Convex Smoothed Autoencoder-Optimal Transport model
Columbia University（哥伦比亚大学）
生成式建模是无监督机器学习中的一个关键工具，近年来取得了巨大的成功。尽管取得了巨大的成功，但即使是最好的生成模型，如生成对抗网络（GANs）和变分自动编码器（VAE）也有自己的缺点，模式崩溃和模式混合是两个最突出的问题。在本文中，我们开发了一个新的生成模型，能够生成类似于观测数据的样本，是免费的模式崩溃和模式混合。我们的模型受到最近提出的自动编码器-最优传输（AE-OT）模型的启发，并试图通过解决AE-OT模型本身所面临的问题来改进它，特别是在样本生成算法方面。本文还建立了用非光滑Brenier势的光滑估计逼近非光滑Brenier势和用光滑最优迁移映射逼近不连续最优迁移映射的误差界的理论结果。
2021-01-14 cs.LG stat.ML
Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）
Wasserstein Barycenter是一种原则性的方法来表示给定的一组概率分布的加权平均值，利用由最佳运输引起的几何形状。针对机器学习中的高维应用，提出了一种新的可扩展的Wasserstein重心近似算法。我们提出的算法是基于Kantorovich对偶公式的Wasserstein-2距离以及最近的神经网络架构，输入凸神经网络，这是已知的参数化凸函数。我们的方法的显着特点是：i）它只需要来自边缘分布的样本; ii）与现有方法不同，它用生成模型表示重心，因此可以从重心生成无限个样本，而无需查询边缘分布; iii）它在一个边缘情况下类似于生成对抗模型。我们证明了我们的算法的有效性，通过比较它与国家的最先进的方法在多个实验。
2021-11-27 cs.LG math.OC stat.ML
Learning Brenier Potentials with Convex Generative Adversarial Neural Networks
University of Wuppertal, School of Mathematics and Natural Sciences, IMACM & IZMD（乌珀塔尔大学数学与自然科学学院，IMACM与IZMD）；Faculty II - Mathematics and Naural Sciences, Technical University Berlin & Math+（柏林技术大学第二学院——数学与自然科学学院，Math+）
本文研究了学习Brenier势函数的生成对抗神经网络理论，提出使用ReCU网络并结合对抗训练程序与凸性惩罚项保证网络严格凸性，证明了学习过程的一致性，并在高斯混合和图像数据等测试中验证了理论。
2025-04-28 cs.CV cs.LG
Neural Operators Which Certifiably Simultaneously Solve Infinitely Many Convex Programs using Logarithmic Rank and Linear Complexity
Department of Mathematics, McMaster University and the Vector Institute, Canada（麦master大学数学系和Vector Institute）；Division of Mathematical Sciences, Nanyang Technological University, Singapore（南洋理工大学数学科学学院）
本文提出生成式均衡算子（GEOs），证明其在求解无穷维凸优化问题族时，参数规模仅随精度倒数呈对数增长，并在非线性PDE、随机最优控制和金融对冲三个应用中验证了理论与可训练性。
2026-10-19 cs.LG cs.NA math.NA
EmoXpt: Analyzing Emotional Variances in Human Comments and LLM-Generated Responses
SUNY Polytechnic Institute（纽约州立大学理工学院）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本研究提出EmoXpt情感分析框架，分析人类关于生成式AI的推文及ChatGPT的对应回复，发现大语言模型生成的回复比人类回复更高效、连贯且情绪更积极。
2026-10-14 cs.AI cs.CL cs.HC
Zeroth-Order Methods for Convex-Concave Minmax Problems: Applications to Decision-Dependent Risk Minimization
University of California, Berkeley（加州大学伯克利分校）；University of Washington, Seattle（西雅图华盛顿大学）
最小最大优化正在成为一个关键的框架，用于分析问题的鲁棒性，以战略和对抗性生成的数据。提出了一种基于随机重排的无梯度乐观梯度下降-上升算法，用于求解具有有限和结构的凹凸极大极小问题。证明了该算法具有与求解凸极小化问题的零阶算法相同的收敛速度。我们进一步专门的算法来解决分布鲁棒性，决策相关的学习问题，梯度信息是不容易获得的。通过说明性的模拟，我们观察到，我们提出的方法学习的模型，同时对敌对的分布变化和战略决策的数据源，并优于现有的方法从战略分类文献。
2022-02-19 cs.LG math.OC
Generative Adversarial Minority Oversampling
Indian Statistical Institute（印度统计研究所）；Duke University（杜克大学）
类不平衡是一个长期存在的问题，与深度学习的许多实际应用有关。过采样技术在经典学习系统中对处理类不平衡是有效的，但不能直接应用于端到端的深度学习系统。我们提出了一个凸生成器，多类分类器网络和真/假分类器之间的三人对抗游戏，以在深度学习系统中执行过采样。凸生成器从少数类中生成新的样本作为现有实例的凸组合，旨在欺骗分类器和分类器对生成的样本进行错误分类。因此，在类的外围附近的关键位置处生成人工样本。这反过来又以更有可能减少来自少数类的误分类的方式调整分类器引起的边界。在多类不平衡图像数据集上进行的大量实验证实了该方法的有效性。
2020-08-26 cs.CV cs.LG
Archetypal Graph Generative Models: Explainable and Identifiable Communities via Anchor-Dominant Convex Hulls
Yale Institute for Network Science, Yale University, USA（耶鲁网络科学研究所，耶鲁大学，美国）；Université Paris Saclay, Université Paris Cité, ENS Paris Saclay, CNRS, SSA, INSERM, Centre Borelli, France（巴黎萨克雷大学，巴黎城市大学，巴黎萨克雷高等学院，法国国家科学研究中心，SSA，INSERM，Borelli中心，法国）；École Polytechnique, Paris, France（巴黎高等理工学院，巴黎，法国）；Department of Informatics and Telecommunications, University of Peloponnese, Greece（信息与电信系，希腊皮埃利翁大学）
GraphHull通过双层凸包生成模型，实现了图数据的可解释社区发现和链接预测。
2026-02-24 cs.LG stat.ML
Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics
本文通过Hadamard初始化对角化softmax操作符，揭示了交叉熵训练动态的全局收敛性，并首次证明梯度流在CE下收敛至神经崩溃几何。
2025-12-03 cs.LG math.OC stat.ML
Towards Weaker Variance Assumptions for Stochastic Optimization
University of British Columbia（不列颠哥伦比亚大学）；University of Vienna（维也纳大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文重新审视随机梯度算法分析中的经典方差假设，允许随机次梯度平方范数随优化变量平方范数增长，并建立与Halpern迭代的联系，为凸非光滑随机优化提供无界可行集下的最优性度量收敛率。
2026-09-29 cs.LG math.OC stat.ML
Global Guarantees for Enforcing Deep Generative Priors by Empirical Risk
Northeastern University（东北大学）
我们通过经验风险最小化研究了生成式深度神经网络提供的执行先验的理论特性。特别是，我们考虑两个模型，其中一个的任务是反转生成神经网络访问其最后一层，另一个的任务是反转生成神经网络只压缩线性观察其最后一层。我们建立，在这两种情况下，在适当的制度的网络层的大小和网络权重的随机性假设，由经验风险最小化给出的非凸目标函数没有任何虚假的固定点。也就是说，我们建立了高概率，在任何一点远离小邻域周围的两个标量倍的所需的解决方案，有一个下降方向。因此，在这些邻域之外没有局部极小值、鞍点或其他稳定点。这些结果构成了建立这些非凸优化问题的有利全局几何的第一个理论保证，并且它们弥合了实施深度生成先验的经验成功与对非线性逆问题的严格理解之间的差距。
2018-12-26 cs.IT cs.LG math.IT
Analyzing and Improving Optimal-Transport-based Adversarial Networks
Seoul National University（首尔大学）；Korea Institute for Advanced Study（韩国高等研究院）
本研究统一了基于最优传输的对抗生成模型框架，分析了各组件训练作用，提出逐步细化生成分布的改进方法，在CIFAR-10等数据集上取得更优FID表现。
2024-03-07 cs.CV cs.LG
Accelerated Cyclic Coordinate Dual Averaging with Extrapolation for Composite Convex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
以循环的方式利用部分一阶信息可以说是获得可扩展的一阶方法的最自然的策略。然而，尽管它们在实践中广泛使用，但从理论角度来看，循环方案远不如它们的随机对应方案那么容易理解。最近成功地分析了广义变分不等式的外推循环方案的启发，我们提出了一个加速循环坐标对偶平均与外推（A-CODER）方法的复合凸优化，其中目标函数可以表示为一个光滑的凸函数可通过梯度预言和一个凸的，可能是非光滑的，通过一个接近预言的功能。我们表明，A-编码器达到最佳的收敛速度与改进的依赖于块的数量相比，以前的工作。此外，对于目标函数的平滑分量可以用有限和形式表示的设置，我们引入了具有最先进的复杂性保证的方差减小的A-编码器，VR-A-编码器变体。最后，我们通过数值实验证明了我们的算法的有效性。
2023-03-28 cs.LG math.OC
Physics Informed Convex Artificial Neural Networks (PICANNs) for Optimal Transport based Density Estimation
University of Utah（犹他大学）；Florida State University（佛罗里达州立大学）
最优质量输运（OMT）是一个研究得很好的问题，在从物理到计算机视觉，特别是统计学和数据科学的各种领域中具有各种应用。自1781年蒙日提出最优运输映射以来，人们在最优运输映射的存在性、唯一性和性质方面取得了重大理论进展。运输地图的实际数值计算，特别是在高维，仍然是一个具有挑战性的问题。利用Brenier定理，连续OMT问题可归结为求解一个解为凸函数的Monge-Ampere型非线性偏微分方程。在本文中，基于最近的发展，输入凸神经网络和物理通知神经网络解决偏微分方程的，我们提出了一个深度学习方法来解决连续OMT问题。为了证明我们的框架的通用性，我们专注于无处不在的密度估计和生成建模任务的统计和机器学习。最后，作为一个例子，我们展示了我们的框架可以与自动编码器结合，以估计一个有效的概率生成模型。
2021-10-22 cs.LG
Learning Gaussian-Bernoulli RBMs using Difference of Convex Functions Optimization
Indian Institute of Science（印度科学学院）
高斯-伯努利限制玻尔兹曼机（GB-RBM）是一种有用的生成模型，它从给定的$n$维连续数据中捕获有意义的特征。与学习GB-RBM相关的困难在早期的研究中被广泛报道。他们指出，使用当前的标准算法，即对比发散（CD）和持续对比发散（PCD）的GB-RBM的训练，需要精心选择的小学习率，以避免发散，这反过来又会导致缓慢的学习。在这项工作中，我们减轻了这样的困难，表明负对数似然GB-RBM可以表示为凸函数的差异，如果我们保持可见单位的条件分布的方差（给定隐藏单位状态）和可见单位的偏差，常数。利用这一点，我们提出了一个随机{ \em凸函数差}（DC）规划（S-DCP）算法学习GB-RBM。我们提出了广泛的实证研究几个基准数据集，以验证该S-DCP算法的性能。可以看出，S-DCP是优于CD和PCD算法的学习速度和学习的生成模型的质量。
2021-02-11 cs.LG
GenLabel: Mixup Relabeling using Generative Models
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
混合是一种数据增强方法，通过混合一对输入数据来生成新的数据点。虽然混淆通常会提高预测性能，但有时会降低性能。本文首先通过对混淆算法的理论分析和实证分析，找出了产生这种现象的主要原因。为了解决这个问题，我们提出了GenLabel，一个简单而有效的重新标记算法，专为混淆。特别是，GenLabel通过使用生成模型学习类条件数据分布，帮助混合算法正确标记混合样本。通过大量的理论和实证分析，我们表明，mixup，当与GenLabel一起使用时，可以有效地解决上述现象，提高泛化性能和对抗鲁棒性。
2022-01-07 cs.LG
Pushing the Limits of Inverse Lithography with Generative Reinforcement Learning
NVIDIA Corp.（NVIDIA公司）
本文提出一种混合框架，利用生成强化学习改进逆光刻，减少EPE违规并提升效率。
2026-02-22 cs.AI cs.LG
Size-Noise Tradeoffs in Generative Networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了生成网络将其输入噪声分布转换为其他分布的能力。首先，我们展示了一种构造，允许ReLU网络通过基于迭代帐篷映射实现“空间填充”函数来增加其噪声分布的维度。我们通过分析多变量ReLU网络计算的函数中仿射片段的数量来证明这种构造是最优的。其次，我们提供了有效的方法（使用polylog $(1/ε)$节点）网络之间传递单变量均匀和正态分布，使用泰勒级数近似和二叉搜索小工具计算函数逆。最后，我们指出了如何将高维分布有效地转换为低维分布。
2018-10-26 cs.LG stat.ML
On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator
Northwestern University（西北大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）
研究了线性二次型调节器的生成对抗模仿学习的全局收敛性，该问题被描述为极小极大优化问题。为了解决非凹凸几何所带来的挑战，我们分析了交替梯度算法，并建立了其Q-线性收敛到一个唯一的鞍点，同时恢复全局最优的策略和奖励函数。我们希望我们的结果可以作为理解和驯服模仿学习中的不稳定性的一小步，以及来自强化学习和生成对抗学习的更一般的非凸-凹交替极大极小优化。
2019-01-11 cs.AI cs.LG math.OC
Generative Learning for Simulation of Vehicle Faults
Duke University（杜克大学）；Stanford University（斯坦福大学）
本文提出一种基于实际运营考量的生成式模型，利用美国陆军Predictive Logistics项目数据模拟车辆健康并提前预测故障以支持预测性维护，能高精度预测首次故障时间且训练成功。
2024-07-30 cs.LG stat.ML
