GM Score: Incorporating inter-class and intra-class generator diversity, discriminability of disentangled representation, and sample fidelity for evaluating GANs
School of Computer Engineering, KIIT Deemed to be University（KIIT 大学计算机工程学院）
虽然生成对抗网络（GAN）因其更高的样本质量而受到欢迎，但与其他生成模型（如变分自编码器（VAE）和玻尔兹曼机）相反，它们也面临着对生成样本进行评估的困难。必须考虑到各个方面，例如生成的样本的质量、类的多样性（类内和类间）、使用解纠缠的潜在空间、所述评价度量与人类感知的一致性等。在本文中，我们提出了一种新的评分，即GM评分，它考虑了各种因素，如样本质量、解纠缠表示、类内和类间多样性，采用查准率、查全率和F1得分等指标对深度信念网络（DBN）和受限玻尔兹曼机（RBM）的潜在空间进行区分。评估是针对在基准MNIST数据集上训练的不同GANs（GAN、DCGAN、BiGAN、CGAN、耦合GAN、LSGAN、SGAN、WGAN和WGAN Improved）进行的。
2021-12-16 cs.AI cs.LG stat.ML
Reconstruction Bottlenecks in Object-Centric Generative Models
University of Oxford（牛津大学）
存在一系列具有适当归纳偏差的方法来在没有监督的情况下学习可解释的以对象为中心的图像表示。然而，这些在很大程度上仅限于视觉上简单的图像;在现实世界的感官数据集中，鲁棒的对象发现仍然是难以捉摸的。为了增加对这种归纳偏差的理解，我们实证研究了GENESIS（一个最近的基于VAE的模型）中场景分解的“重建瓶颈”的作用。我们表明，这样的瓶颈决定重建和分割质量和严重影响模型的行为。
2020-11-24 cs.LG stat.ML
Stackelberg GAN: Towards Provable Minimax Equilibrium via Multi-Generator Architectures
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Petuum Inc.（Petuum公司）
我们研究了通过新的架构设计来缓解GAN训练过程中的不稳定问题。minimax和maximin目标值之间的差异可以作为交替梯度下降在GANs优化中遇到的困难的代理。在这项工作中，我们给出了关于GANs的多生成器架构的好处的新结果。我们表明，极小极大间隙缩小到$ε$的发电机的数量增加率$\widetilde{O}(1/ε)$。这比$\widetilde{O}(1/ε^2)$最著名的结果有所改进。在我们的技术的核心是一个新的应用Shapley-Folkman引理的通用极大极小问题，在文献中，该技术是唯一已知的工作时，目标函数被限制为拉格朗日函数的约束优化问题。我们提出的Stackelberg GAN在合成和真实世界的数据集上都表现良好，通过$14.61\%$在基准数据集上提高了Fréchet Inception Distance。
2018-11-19 cs.LG stat.ML
Lipschitz Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Stanford University（斯坦福大学）
在本文中，我们从最佳判别函数的梯度信息量的角度研究了生成对抗网络（GANs）的收敛性。我们表明，GANs在判别函数空间上没有限制，通常会遇到这样的问题，即由卷积产生的梯度没有信息来指导生成器。相比之下，Wasserstein GAN（WGAN），其中判别函数被限制为1-Lipschitz，不遭受这样的梯度无信息性问题。我们在论文中进一步表明，具有紧致对偶形式的Wasserstein距离的模型，其中Lipschitz条件被放松，理论上也可能受到这个问题的影响。这暗示了Lipschitz条件的重要性，并促使我们研究具有Lipschitz约束的GANs的一般公式，这导致了一个新的GANs家族，我们称之为Lipschitz GANs（LGANs）。我们证明了LGANs保证了最优判别函数的存在性和唯一性以及唯一的纳什均衡的存在性。我们证明了LGAN通常能够消除梯度不信息性问题。根据我们的实证分析，与WGAN相比，LGAN更稳定，并且始终生成更高质量的样本。
2019-06-24 cs.CV cs.LG stat.ML
Topology-Guided Quantum GANs for Constrained Graph Generation
LMU Munich（慕尼黑大学）
本文提出利用拓扑引导的量子GANs生成受几何约束的K4图，通过任务特定的几何先验提升性能，展示结构化量子电路设计对几何一致性与分布准确性的平衡作用。
2025-12-11 cs.LG quant-ph
NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions
ETH Zürich（苏黎世联邦理工学院）；CSEM（瑞士电子与微技术中心）；Google Zürich（谷歌苏黎世）
针对姿态条件卷积生成模型3D先验不足的问题，提出从预训练NeRF-GAN蒸馏3D知识的方法，复用其解耦潜空间实现高效3D一致图像生成，效果与体渲染相当且计算更优。
2023-07-24 cs.CV cs.GR cs.LG
Risk Management with Feature-Enriched Generative Adversarial Networks (FE-GAN)
University College London（伦敦大学学院）
本文研究FE-GAN在金融风险管理中的应用，通过纳入前期数据衍生的额外输入序列增强GAN架构，评估WGAN和Tail-GAN，结果显示其显著提升VaR和ES估计性能，Tail-GAN在ES估计中更优。
2024-11-23 cs.LG q-fin.RM stat.ML
$α$-GAN: Convergence and Estimation Guarantees
Arizona State University（亚利桑那州立大学）
我们证明了一般CPE损失函数GANs的最小-最大优化与相关$f$ -发散最小化之间的双向对应关系。然后，我们专注于$α$ -GAN，通过$α$ -loss定义，它插值几个GANs（Hellinger，vanilla，Total Variation），并对应于Arimoto发散的最小化。我们证明了对于所有的$α\in \mathbb{R}_{>0}\cup\{\infty\}$，$α$ -GAN引起的Arimoto发散等价收敛.然而，在受限学习模型和有限样本下，我们提供了估计界，其指示作为$α$的函数的不同GAN行为。最后，我们提出了一个玩具数据集的实证结果，突出了调整的$α$超参数的实际效用。
2022-05-12 cs.IT cs.LG math.IT
On Characterizing GAN Convergence Through Proximal Duality Gap
Indian Institute of Technology, Ropar（印度理工学院罗巴尔分校）
尽管生成对抗网络（GANs）在建模数据分布方面取得了成就，但训练它们仍然是一项具有挑战性的任务。造成这种困难的一个因素是GAN损失曲线的非直观性质，这需要对生成的输出进行主观评估以推断训练进度。最近，受博弈论的启发，对偶间隙被提出作为一个领域不可知的措施来监测GAN的训练。然而，它仅限于当GAN收敛到纳什均衡时的设置。但是GANs并不总是需要收敛到纳什均衡来对数据分布进行建模。在这项工作中，我们将对偶间隙的概念扩展到适用于训练GANs的一般背景的邻近对偶间隙，其中可能不存在纳什均衡。我们从理论上表明，近端的二元性差距能够监测GANs收敛到包含纳什均衡的更广泛的均衡。我们还从理论上建立了不同GAN公式的近端对偶间隙和真实数据分布与生成数据分布之间的分歧之间的关系。我们的研究结果提供了新的见解GAN收敛的性质。最后，我们通过实验验证了近端二元间隙对于监测和影响GAN训练的有用性。
2021-06-19 cs.AI cs.LG
Boltzmann Encoded Adversarial Machines
Unlearn.AI, Inc.（Unlearn.AI公司）
受限玻尔兹曼机（RBM）是一类生成神经网络，其通常被训练以最大化对数似然目标函数。我们认为，基于似然的训练策略可能会失败，因为目标没有充分惩罚那些在训练数据分布概率较低的区域中放置高概率的模型。为了克服这个问题，我们引入了玻尔兹曼编码对抗机器（BEAM）。BEAM是针对对手训练的RBM，对手使用RBM的隐藏层激活来区分训练数据和模型生成的概率分布。我们提出的实验表明，BEAM在多个基准测试中优于RBM和GANs。
2018-04-23 cs.LG stat.ML
Synthesis of Realistic ECG using Generative Adversarial Networks
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（Insight数据分析中心）
由于医疗数据的敏感性，其访问受到高度限制，阻止社区将这些数据用于研究或临床培训。为实现数据共享而实施的通用去身份化方法有时不足以保护数据中所包含的个人。在我们的研究中，我们研究了生成对抗网络（GANs）产生真实医疗时间序列数据的能力，这些数据可以在不考虑隐私的情况下使用。目的是生成代表正常ECG波形的合成ECG信号。GANs已成功用于生成高质量的合成时间序列，并已被证明可以防止重新识别单个记录。在这项工作中，开发了一系列GAN架构来生成合成正弦波和合成ECG。然后使用两个评估指标来定量评估合成数据是否适合现实世界的应用，如临床培训和数据分析。最后，我们讨论了与共享GANs产生的合成数据相关的隐私问题，并测试了它们抵御简单成员推断攻击的能力。我们第一次定量和定性地证明了GAN架构可以成功地生成时间序列信号，这些信号不仅在结构上与训练集相似，而且在生成的样本中具有多样性。我们还报告了它们抵御简单成员推断攻击的能力，保护了训练集的隐私。
2019-09-19 cs.LG eess.SP stat.ML
Winning Lottery Tickets in Deep Generative Models
University of Maryland - College Park（马里兰大学学院市分校）
彩票假设表明，如果正确初始化，给定神经网络的稀疏子网络可以被训练以达到与原始网络相当甚至更好的性能。彩票中的先前工作主要集中在监督学习设置上，有几篇论文提出了在分类问题中找到“中奖彩票”的有效方法。在本文中，我们证实了在深度生成模型（如GANs和VAE）中存在中奖彩票。我们表明，流行的迭代幅度修剪方法（后期倒带）可以用于生成损失找到中奖彩票。这种方法有效地产生了CIFAR和Celeb-A数据集上AutoEncoders的稀疏度高达99%，VAE为93%，GANs为89%的票。我们还证明了中奖票在共享相同架构的不同生成模型（GANs和VAE）之间的可转移性，这表明中奖票具有归纳偏差，可以帮助训练广泛的深度生成模型。此外，我们通过在训练的早期阶段（称为“早鸟票”）检测彩票，展示了彩票在生成模型中的实际好处。通过早鸟票，我们可以实现高达88%的浮点运算（FLOPs）减少和54%的训练时间减少，使之有可能训练大规模的生成模型在严格的资源限制。这些结果优于现有的早期修剪方法，如SNIP（Lee，Ajanthan和Torr 2019）和GraSP（Wang，Zhang和Grosse 2020）。我们的研究结果揭示了存在适当的网络初始化，可以提高生成模型的收敛性和稳定性。
2021-01-29 cs.CV cs.LG
Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）；Tsinghua University（清华大学）
用有限的真实图像数据训练生成对抗网络（GANs）通常会导致性能恶化和模型崩溃。为了克服这一挑战，我们受到最新观察的启发，人们可以发现独立可训练和高度稀疏的子网络（又名，彩票）。将其视为归纳先验，我们提出了一个全新的角度来进行数据高效的GAN训练：首先使用真实图像的小训练集从原始GAN中识别彩票;然后通过重用相同的集合来专注于训练稀疏子网络。我们发现我们的协调框架提供正交增益现有的真实图像数据增强方法，我们还提出了一个新的特征级增强，可以与他们一起应用。综合实验证实了我们提出的框架的有效性，在各种GAN架构（SNGAN，BigGAN和StyleGAN-V2）和不同的数据集（CIFAR-10，CIFAR-100，Tiny-ImageNet，ImageNet和多个Few-Shot生成数据集）。代码可在https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training上获得。
2021-10-22 cs.AI cs.CV cs.LG
Cross-GAN Auditing: Unsupervised Identification of Attribute Level Similarities and Differences between Pretrained Generative Models
Oregon State University（俄勒冈州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对现有GAN审计工具仅支持粗粒度比较的局限，提出跨GAN审计（xGA）方法，可无监督识别预训练GAN间属性级的相似与差异，定量定性实验均验证其优于基线方法。
2023-05-02 cs.CV cs.LG
Learning from Label Proportions with Generative Adversarial Networks
University of Chinese Academy of Sciences（中国科学院大学）；University of International Business and Economics（对外经济贸易大学）
在本文中，我们利用生成对抗网络（GANs）来推导一个有效的算法LLP-GAN，用于从标签比例（LLP）中学习，其中只有标签中的袋级比例信息可用。LLP-GAN具有端到端的结构，根据对抗学习机制进行近似，而不会对分布进行限制性假设。因此，我们可以直接在实例级分类器上进行归纳。在适度的假设下，我们给出了显式的生成表示，并证明了LLP-GAN的全局最优性。此外，与现有的方法相比，我们的工作赋予LLP求解器从深层模型继承能力的可扩展性。基准数据集上的几个实验证明了所提出的方法的生动的优势。
2019-12-02 cs.LG stat.ML
Statistical Guarantees in Synthetic Data through Conformal Adversarial Generation
WorkOnward Inc WOW AI Labs California（WorkOnward公司WOW AI实验室加州）；Department of Computer Science California State University Long Beach（计算机科学系加州州立大学长滩分校）；Department of Computer Science Emory University（计算机科学系埃默里大学）
本文提出Conformalized GAN（cGAN）框架，将多种保形预测方法融入GAN，为合成数据提供无分布不确定性量化、有限样本有效性与渐近效率保证。
2025-05-11 cs.AI cs.LG
Multiscale Metamorphic VAE for 3D Brain MRI Synthesis
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
三维脑MRI的生成建模在实现高视觉保真度的同时确保数据分布的充分覆盖方面存在困难。在这项工作中，我们建议解决这一挑战与组合，多尺度形态变换的变分自动编码器（VAE）的框架。这些变换被应用于所选择的参考脑图像以生成MRI体积，从而使模型具有强解剖学诱导偏差。我们构造VAE潜在空间的方式，使模型覆盖数据分布足够好。与基于VAE和生成对抗网络（GANs）的先前工作相比，我们在FID中显示了实质性的性能改进，同时保留了相当或更高的重建质量。
2023-01-11 cs.LG eess.IV
Sharing Generative Models Instead of Private Data: A Simulation Study on Mammography Patch Classification
University of Barcelona（巴塞罗那大学）
通过基于深度学习的计算机辅助检测系统在乳房X线摄影筛查中早期检测乳腺癌，在提高乳腺癌的可治愈性和死亡率方面显示出很大的潜力。然而，许多临床中心受限于可用数据的量和异质性，以训练这样的模型，以（i）实现有希望的性能和（ii）在采集协议和域之间很好地推广。由于患者隐私问题，中心之间的数据共享受到限制，我们提出了一个潜在的解决方案：在中心之间共享训练的生成模型作为真实患者数据的替代品。在这项工作中，我们使用三个众所周知的乳房X光摄影数据集来模拟三个不同的中心，其中一个中心从其余两个中心接收生成对抗网络（GANs）的训练生成器，以增加其训练数据集的大小和异质性。我们使用两种不同的分类模型，（a）卷积神经网络和（b）Transformer神经网络，在GAN接收中心的测试集上评估这种方法在乳房X光片分类上的实用性。我们的实验表明，共享的GANs显着提高了Transformer和卷积分类模型的性能，并强调这种方法是中心间数据共享的可行替代方案。
2022-04-15 cs.AI cs.CV cs.LG
FakeNews: GAN-based generation of realistic 3D volumetric data -- A systematic review and taxonomy
University of Minho（米尼奥大学）；Graz University of Technology（格拉茨工业大学）；University Medicine Essen（埃森大学医学中心）；Cancer Research Center Cologne Essen (CCCE)（科隆-埃森癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联盟）；TU Dortmund University（多特蒙德工业大学）；University Hospital RWTH Aachen（亚琛工业大学附属大学医院）
本文系统综述了使用GAN生成逼真3D体积合成数据的方法，提出了新的分类法，并总结了常见架构、损失函数、评估指标及优缺点，为该领域研究提供全面概览。
2024-02-14 cs.CV cs.DB cs.LG
Generating Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对极低数据量下GAN训练易过拟合的问题，提出双分支判别器架构的SIV-GAN，可从单图或单视频少量帧生成多样高质量的新颖场景构图。
2023-12-13 cs.CV cs.LG
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Microsoft AI & Research（微软人工智能与研究）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
基于生成对抗网络（GANs）的最新技术，如周期一致性GANs，能够通过生成器和判别器之间的最小-最大优化游戏，学习从未配对数据集构建的不同域之间的映射。然而，它仍然具有挑战性，以稳定的训练过程，从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题，我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础，通过对潜在变量进行采样，探索循环模型的全后验，并利用最大后验概率（MAP）估计对模型进行优化。因此，我们将其命名为Bayesian CycleGAN。此外，原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN，包括Cityscapes，Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%，在所提出的集成框架内提高了20%，表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Sobolev GAN
IBM Research AI（IBM研究院人工智能）；Carnegie Mellon University（卡内基梅隆大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一个新的分布之间的积分概率度量（IPM）：Sobolev IPM。Sobolev IPM比较两个函数（critic）分布的平均差异，这两个函数（critic）限制在相对于主导测度$μ$定义的Sobolev球上。我们发现，Sobolev IPM比较两个分布在高维的基础上加权条件累积分布函数（CDF）的每个坐标留一出的基础上。显性度量$μ$起着至关重要的作用，因为它定义了比较条件CDF的支持度。Sobolev IPM可以看作是一维Von-Mises Cramér统计量到高维分布的扩展。我们展示了如何使用Sobolev IPM来训练生成对抗网络（GANs）。然后，我们利用Sobolev IPM在文本生成中隐含的内在条件。最后，我们证明了Sobolev GAN的一个变体在CIFAR-10上的半监督学习中取得了有竞争力的结果，这要归功于Sobolev GAN对批评者的平滑性，这与拉普拉斯正则化有关。
2017-11-14 cs.LG stat.ML
The Bid Picture: Auction-Inspired Multi-player Generative Adversarial Networks Training
Korea University（高丽大学）
本文提出受拍卖启发的多人生成对抗网络训练方法，将GANs的两人博弈扩展为多人博弈，通过拍卖机制确定模型价值，有效缓解模式崩溃问题。
2024-03-20 cs.AI cs.LG
Maximum-Likelihood Augmented Discrete Generative Adversarial Networks
Montreal Institute for Learning Algorithms, Université de Montréal（蒙特利尔学习算法研究所，蒙特利尔大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；IVADO
尽管在捕获连续分布方面取得了成功，但生成对抗网络（GANs）在离散环境（如自然语言任务）中的应用相当有限。其根本原因是通过离散随机变量进行反向传播的困难，以及GAN训练目标的固有不稳定性。为了解决这些问题，我们提出了最大似然增强离散生成对抗网络。而不是直接优化的GAN目标，我们得到一个新的和低方差的目标，使用下面的输出对应于对数似然。通过与原目标的比较，证明了新目标在理论上是一致的，在实践中是有益的。在不同离散数据集上的实验结果表明了该方法的有效性。
2017-02-26 cs.AI cs.CL cs.LG
Generating Natural Language Adversarial Examples on a Large Scale with Generative Models
Ant Financial Services Group（蚂蚁金融服务集团）；Zhejiang University（浙江大学）；University of Southern California（南加利福尼亚大学）
目前文本分类模型已经得到了广泛的应用。然而，这些分类器被发现很容易被对抗性的例子所欺骗。幸运的是，标准的攻击方法以成对的方式生成对抗性文本，也就是说，对抗性文本只能通过替换几个单词来从真实世界的文本中创建。在许多应用中，这些文本的数量有限，因此它们对应的对抗性示例往往不够多样，有时难以阅读，因此可以很容易地被人类检测到，并且不能大规模地制造混乱。在本文中，我们提出了一个端到端的解决方案，使用生成模型从头开始有效地生成对抗性文本，而不限于干扰给定的文本。我们称之为无限制的对抗性文本生成。具体来说，我们训练一个条件变分自编码器（VAE）与一个额外的对抗性损失，以指导生成对抗性的例子。此外，为了提高对抗文本的有效性，我们利用判别器和生成对抗网络（GANs）的训练框架，使对抗文本与真实数据一致。在情感分析上的实验结果证明了该方法的可扩展性和有效性。它可以以比现有方法更高的成功率攻击文本分类模型，同时为人类提供可接受的质量。
2020-03-10 cs.CL cs.LG stat.ML
FSP-Laplace: Function-Space Priors for the Laplace Approximation in Bayesian Deep Learning
Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；Helmholtz AI, TU Munich（慕尼黑工业大学亥姆霍兹人工智能研究所）
针对贝叶斯深度学习中拉普拉斯近似常用的各向同性高斯权重先验随深度增加出现病态的问题，提出FSP-Laplace方法，在函数空间设置GP先验并结合无矩阵线性代数实现可扩展拉普拉斯近似，在科学推断任务上效果更优且在黑盒监督学习中保持竞争力。
2024-10-31 cs.AI cs.LG
Re-purposing Heterogeneous Generative Ensembles with Evolutionary Computation
Massachusetts Institute of Technology, CSAIL（麻省理工学院计算机科学与人工智能实验室）
生成对抗网络（GANs）是生成建模的流行工具。他们对抗性学习的动力学在训练过程中引起了收敛病态，如模式和模式崩溃。在机器学习中，预测器的集合在许多任务中表现出比单个预测器更好的结果。在这项研究中，我们应用两种进化算法（EA）来创建集成以重新使用生成模型，即，给定针对一个目标优化的一组异构发生器（例如，最小化Frechet起始距离），创建它们的集合以优化不同的目标（例如，最大化所生成的样本的多样性）。第一种方法受系综的确切大小的限制，第二种方法仅限制系综大小的上界。在MNIST图像基准测试上的实验分析表明，这两种EA集成创建方法都可以重新使用模型，而不会减少其原始功能。基于EA的表现出显着更好的性能相比，其他基于几何的方法。当比较两种进化时，只有一个集合大小上限的一种是最好的。
2020-08-03 cs.AI cs.LG cs.NE
A Unifying View of Variational Generative Wasserstein Flows
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris, Palaiseau, France（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute、Palaiseau，法国）
本文提出生成式Wasserstein流（GWF）的统一理论框架，将多种现有生成模型视为f-散度目标的参数化JKO方案实例，并扩展至积分概率度量与最大均值差异，推导新算法并阐明与GAN的联系。
2026-05-29 cs.CV cs.LG
Discrete Object Generation with Reversible Inductive Construction
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
连续域生成式建模的成功使得人们对生成分子、源代码和图形等离散数据的兴趣激增。然而，这些离散对象的构造历史通常不是唯一的，因此生成模型必须推理难以处理的大空间才能进行学习。此外，结构化离散域的特征通常是对构成有效对象的严格约束，生成模型必须尊重这些要求，以便生成有用的新样本。在这里，我们提出了一个生成模型，离散对象采用马尔可夫链的过渡被限制到一组本地操作，保持有效性。在去噪自动编码器的生成解释的基础上，马尔可夫链在产生1）有效但不是来自数据分布的损坏对象序列和2）尝试修复损坏同时也保持有效性的学习重建分布之间交替。这种方法限制生成模型只产生有效的对象，要求学习者只发现对对象的局部修改，并避免在未知的和潜在的大空间的构造历史上边缘化。我们评估所提出的方法在两个高度结构化的离散域，分子和拉曼图，并发现它相比有利的替代方法在捕捉分布统计的主机语义相关的指标。
2019-10-31 cs.LG stat.ML
Rethinking Inductive Bias in Geographically Neural Network Weighted Regression
本文重新审视GNNWR的归纳偏置，提出融合CNN、RNN和Transformer思想以增强空间回归建模能力，并通过合成数据实验证明其优势及模型性能对数据特征的依赖性。
2025-07-21 cs.LG
Geometry Preserving Loss Functions Promote Improved Adaptation of Blackbox Generative Model
Geometric Media Lab（几何媒体实验室）；Arizona State University（亚利桑那州立大学）；Department of Statistics（统计学系）；Florida State University（佛罗里达州立大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Seoul National University of Science and Technology（首尔科学技术大学）；Amazon（亚马逊）；Apple Inc.（苹果公司）
本文提出基于几何保持损失函数的端到端管道，用于改进黑盒生成模型的领域适应，通过重新上下文化GAN反向过程来获得准确的潜在空间表示。
2026-04-26 cs.AI cs.LG
Transduce: learning transduction grammars for string transformation
针对示例驱动的字符串变换程序合成问题，本文提出 Transduce 算法，通过构建并泛化抽象转导文法，在无归纳偏置条件下仅凭一两个正例即可高效学习位置变换，成功率超过现有方法。
2023-12-14 cs.LG
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization
MIT（麻省理工学院）；Stanford University（斯坦福大学）；Google（谷歌）
本研究证明在深度矩阵分解中，满足RIP条件下最小化Hessian迹近似等价于最小化端到端矩阵的Schatten 1-范数，从而解释了平坦性正则化提升泛化的原因。
2023-06-22 cs.LG
The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning
ETH Zürich（苏黎世联邦理工学院）
本文通过测度论框架形式化对比学习中的多样性条件，提出支持校正的InfoNCE变体，并实验验证了采样多样性与编码器归纳偏置的相互作用。
2026-06-02 cs.AI cs.IR cs.LG
FairGen: Fair Synthetic Data Generation
Mastercard（万事达卡）；Credgenics；GoTo Group（GoTo集团）
随着机器学习在银行、制药、教育技术等领域的日益普及，采用负责任的人工智能方法来确保模型不会不公平地歧视任何群体变得至关重要。由于缺乏干净的训练数据，生成对抗技术更适合生成合成数据，这些数据具有几种最先进的架构，这些架构在各个领域都很容易获得，从非结构化数据（如文本，图像）到结构化数据集建模欺诈检测等等。这些技术克服了诸如类不平衡、有限的训练数据、由于隐私问题而限制对数据的访问的若干挑战。专注于生成公平数据的现有工作要么适用于特定的GAN架构，要么很难在GANs之间进行调整。在本文中，我们提出了一个管道，以产生更公平的合成数据独立的GAN架构。本文提出了一种预处理算法，以识别和删除偏差诱导样本。特别是，我们声称，在生成合成数据时，大多数GANs会放大训练数据中存在的偏差，但通过删除这些偏差诱导样本，GANs本质上更关注真实的信息样本。我们在两个开源数据集上的实验评估展示了所提出的管道如何生成公平的数据，以及在某些情况下如何提高性能。
2022-12-01 cs.AI cs.CY cs.LG
Do Quantum Neural Networks have Simplicity Bias?
University of Oxford（牛津大学）
本文通过比较量子神经网络与深度神经网络的归纳偏置和表达能力，发现QNN存在偏置-表达能力权衡，通常无法在泛化性能上优于DNN。
2024-07-03 cs.AI cs.LG physics.app-ph
Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias
Jozef Stefan Institute（约瑟夫·斯特凡研究所）
提出MKAN，通过指数重参数化B样条系数、正边权和单调基激活实现硬单调性，理论证明任何特征提取器可被单调化且编码器规模有界，实验表明MKAN在单调性基准上达到最优并保持KAN的逐边功能透明性。
2026-09-09 cs.LG
Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks
Neuromatch Academy, Neuromatch, Inc., USA（Neuromatch学院，Neuromatch公司，美国）；McGovern Institute for Brain Research, Massachusetts Institute of Technology (MIT)（麦戈文脑科学研究所，麻省理工学院（MIT））
本研究利用MICrONS项目数据，通过神经元空间坐标、解剖连接和功能关系初始化循环权重并施加空间约束，构建生物基础循环神经网络，在认知决策任务中优于基线模型，并发展出低熵、模块化和小世界组织。
2026-06-16 cs.AI cs.LG cs.NE
Deep kernel hedging
University of Amsterdam（阿姆斯特丹大学）；ETH Zurich（苏黎世联邦理工学院）；Université Catholique de Louvain（鲁汶大学）
本文提出深度核套期保值框架，结合深度学习灵活性与核方法归纳偏置，通过神经网络参数化核并采用随机傅里叶近似降低计算成本，在低数据场景下实现稳健的套期保值性能。
2026-10-15 cs.LG math.FA q-fin.CP
Generative Adversarial Symmetry Discovery
University of California San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）；IBM Research（IBM研究院）
提出LieGAN框架，通过生成对抗训练自动从数据中发现对称性，表示为可解释的李代数基，并提升现有等变神经网络的准确性和泛化能力。
2023-06-18 cs.LG
Learning Probabilistic Logic Programs in Continuous Domains
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
统计关系学习领域的目标是统一逻辑和概率，从数据中推理和学习。也许该领域最成功的范例是概率逻辑编程：在逻辑编程中启用随机原语，现在越来越多地看到为复杂的机器学习应用提供声明性背景。虽然许多系统提供推理能力，但更重要的挑战是从数据中学习有意义和可解释的符号表示。在这方面，归纳逻辑程序设计和相关技术在过去的几十年里已经铺平了道路。不幸的是，这一令人兴奋的景观的一个主要限制是，大部分工作仅限于有限域离散概率分布。最近，一些系统已经扩展到表示和执行连续分布的推理。当然，问题在于，用于推理的经典解决方案要么局限于众所周知的参数族（例如，高斯）或采取抽样策略，提供正确的答案，只有在极限。此外，当涉及到学习时，诱导表示仍然是完全开放的，而不是“数据拟合”解决方案，即强制拟合指向上述参数族。在本文中，我们采取的第一个步骤，诱导概率逻辑程序连续和混合离散连续数据，而不被归类到一个固定的分布族。我们的关键见解是利用分段多项式函数逼近理论的技术，产生一个原则性的方法来学习和构造密度函数。我们测试的框架，并讨论了学习表示。
2018-09-19 cs.AI cs.LG stat.ML
Sampling-free Inference for Ab-Initio Potential Energy Surface Networks
Technical University of Munich（慕尼黑工业大学）
最近的研究表明，神经网络不仅可以很好地逼近单个分子系统的基态波函数，而且可以推广到多种几何结构。虽然这种泛化显著加快了训练速度，但每个能量评估仍然需要Monte Carlo积分，这将评估限制在几个几何形状上。在这项工作中，我们提出了从从头算网络（PlaNet）的框架，其中我们同时训练一个代理模型，除了神经波函数的潜在学习解决推理的缺点。在推理时，代理通过直接估计能量来避免昂贵的蒙特卡罗积分，将过程从数小时加速到毫秒。通过这种方式，我们可以精确地为更大的系统建模高分辨率的多维能量表面，这在以前是无法通过神经波函数获得的。最后，我们探讨了一个额外的归纳偏见，通过引入物理动机的限制神经波函数模型。我们在新的PESNet++模型中实现了这样一个功能，并进行了一些额外的改进。在我们的实验评估中，PlaNet将乙醇等较大分子的推理速度提高了7个数量级，同时保持了准确性。与以前的能量表面网络相比，PESNet++将能量误差减少了74%。
2023-03-06 cs.LG physics.chem-ph physics.comp-ph
