Analytically Tractable Inference in Deep Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
自诞生以来，深度学习一直非常依赖于反向传播和基于梯度的优化算法，以学习权重和偏置参数值。可处理近似高斯推理（TAGI）算法被证明是一种可行的和可扩展的替代反向传播的浅全连接神经网络。在本文中，我们演示了TAGI如何匹配或超过反向传播的性能，用于训练经典的深度神经网络架构。虽然TAGI的计算效率仍然低于依赖于反向传播的确定性方法，但它在分类任务上优于它们，并且在使用较少时期训练的较小架构的同时，与信息最大化生成对抗网络的性能相匹配。
2021-03-09 cs.LG
Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With Trainable Masked Layers
The University of Hong Kong（香港大学）；City University of Hong Kong（香港城市大学）
我们提出了一种新的网络剪枝算法称为动态稀疏训练，可以共同找到最佳的网络参数和稀疏网络结构在一个统一的优化过程中与可训练的修剪阈值。这些阈值可以通过反向传播动态地进行细粒度的逐层调整。我们证明了我们的动态稀疏训练算法可以很容易地训练非常稀疏的神经网络模型，使用相同数量的训练时期的密集模型的性能损失很小。与其他稀疏训练算法相比，动态稀疏训练在各种网络架构上实现了最先进的性能。此外，我们有几个令人惊讶的观察结果，为我们的算法的有效性和效率提供了强有力的证据。这些观察揭示了传统的三阶段剪枝算法的根本问题，并提出了潜在的指导，我们的算法提供更紧凑的网络架构的设计。
2020-05-14 cs.LG stat.ML
Nonlinear Markov Random Fields Learned via Backpropagation
The Wellcome Centre for Human Neuroimaging, UCL（伦敦大学学院惠康人类神经影像中心）
虽然卷积神经网络（CNN）目前在图像分割方面的竞争中占据主导地位，但对于神经成像分析任务，基于混合模型的更经典的生成方法在实践中仍然被用于分割大脑。为了弥合两者之间的差距，在本文中，我们提出了一个概率生成模型，这已被证明是强大的磁共振（MR）图像之间的变化，通过不同的成像协议，和一个CNN之间的婚姻。该链接是在未知组织类别上的先验分布中，其使用马尔可夫随机场进行经典建模。在这项工作中，我们通过一种经常性的CNN来模拟相邻像素之间的相互作用，这种CNN可以编码更复杂的空间相互作用。我们验证了我们提出的模型公开可用的MR数据，从不同的中心，并表明它概括了整个成像协议。这个结果证明了在生成模型中成功且有原则地包含CNN，这反过来可以通过任何概率生成方法进行图像分割。
2019-03-08 cs.CV cs.LG stat.ML
Trainable Compound Activation Functions for Machine Learning
Fraunhofer FKIE（弗劳恩霍夫高频物理与雷达技术研究所）
激活函数（AF）是神经网络的必要组成部分，它允许函数的近似，但目前使用的AF通常是简单的单调递增函数。在本文中，我们提出了可训练的复合AF（TCA）组成的一个移动和缩放的简单AF的总和。与增加层相比，TCA提高了具有较少参数的网络的有效性。TCA在生成网络中具有特殊的解释，因为它们使用混合分布有效地估计数据的每个维度的边缘分布，减少模态并使线性降维更有效。当用于限制玻尔兹曼机（RBM），它们导致一种新型的RBM与基于混合的随机单元。在使用RBM、深度信念网络（DBN）、投影信念网络（PBN）和变分自动编码器（VAE）的实验中证明了改进的性能。
2022-04-25 cs.LG
Backprop KF: Learning Discriminative Deterministic State Estimators
University of California, Berkeley（加州大学伯克利分校）
基于概率滤波器和平滑器的生成式状态估计器是机器人和自动驾驶汽车最流行的状态估计器之一。然而，生成模型在处理丰富的感官观察（如相机图像）方面的能力有限，因为它们必须对传感器读数的整个分布进行建模。判别模型不受此限制，但作为用于状态估计的潜在变量模型，其训练通常更复杂。我们提出了一种替代方法，其中的参数的潜在状态分布直接优化作为一个确定性的计算图，从而在一个简单而有效的梯度下降算法训练判别状态估计。我们表明，这个过程可以用来训练状态估计，使用复杂的输入，如原始相机图像，必须使用表达非线性函数逼近器，如卷积神经网络处理。我们的模型可以被看作是一种递归神经网络，与概率滤波的连接使我们能够设计一种特别适合于状态估计的网络架构。我们评估我们的方法在合成跟踪任务与原始图像输入和视觉里程计任务中的KITTI数据集。结果表明，与标准生成方法和常规递归神经网络相比，都有显着的改进。
2017-10-01 cs.AI cs.LG
Weightless Neural Networks for Continuously Trainable Personalized Recommendation Systems
nimo Omnis Labs
本文提出使用无权神经网络构建逐用户的小型个性化推荐模型，实现持续学习并提升透明度，在MovieLens子集上取得与经典加权系统和协同过滤相当的准确率。
2025-09-15 cs.AI cs.IR cs.LG
Sequential learning on a Tensor Network Born machine with Trainable Token Embedding
Department of Physics, University of California, San Diego, CA 92093, USA（加州大学圣地亚哥分校物理系）；School of Physics, Zhejiang University, Hangzhou 310027, China（浙江大学物理学院）；Department of Physics, Georgia Institute of Technology, Atlanta, GA 30332, USA（佐治亚理工学院物理系）
本文提出基于可训练POVM嵌入的Born机器，通过改进张量网络结构，提升量子启发序列建模中复杂数据相关性的建模能力。
2025-12-28 cs.LG quant-ph
RewriteNets: End-to-End Trainable String-Rewriting for Generative Sequence Modeling
Rutgers University-New Brunswick（罗格斯大学新不伦瑞克分校）
RewriteNets通过显式字符串重写机制，在生成序列建模中实现端到端训练，展现优异的系统泛化能力和计算效率。
2026-01-10 cs.AI cs.LG
Forward-Forward Training of an Optical Neural Network
EPFL（洛桑联邦理工学院）；Google Research（谷歌研究院）
本文实验验证了利用光纤中多模非线性波传播实现前向-前向算法训练光学神经网络的可行性，证明在多层架构中引入光学变换可在可训练权重较少时提升性能。
2023-08-10 cs.LG physics.optics
Generative-Discriminative Variational Model for Visual Recognition
Carnegie Mellon University（卡内基梅隆大学）
从具有手工制作特征的浅层分类器到端到端可训练的深度学习模型的范式转变已经显示出监督学习任务的显着改进。尽管深度神经网络（DNN）具有很好的潜力，但如何减轻训练过程中的过拟合一直是人们感兴趣的研究课题。在本文中，我们提出了一个生成判别变分模型（GDVM）的视觉分类，在其中，我们引入了一个潜在的变量推断，从输入表现出生成能力的预测。换句话说，我们的GDVM将监督学习任务转换为生成学习过程，并将数据区分用于改进分类。在我们的实验中，我们考虑多类分类，多标签分类，和零样本学习的任务。我们表明，我们的GDVM与基线或最近的生成DNN模型相比表现良好。
2017-06-07 cs.LG
Calibrating Energy-based Generative Adversarial Networks
Carnegie Mellon University（卡内基梅隆大学）；Maluuba Research（Maluuba研究院）；Université de Montréal（蒙特利尔大学）
在本文中，我们提出了一种新的生成对抗网络（生成对抗网络），使其具有直接估计样本能量的能力，并提出了一种灵活的对抗训练框架，证明了该框架不仅能保证生成器收敛到真实的数据分布，而且能使生成器保持全局最优的密度信息。导出了诱导解的解析形式，并分析了其性质。为了使所提出的框架在实践中可训练，我们引入了两个有效的近似技术。实验结果与理论分析吻合较好，验证了该算法能够有效地恢复数据分布的能量。
2017-02-24 cs.LG
Fully Trainable Deep Differentiable Logic Gate Networks and Lookup Table Networks
imec
该研究提出新方法优化深度可微逻辑门网络和查找表网络连接，利用概率分布选最优连接，并行学习门类型等。在多个基准测试中表现优于固定连接网络，减少门数量，确保多层训练稳定，还提出LUT神经元描述，提升模型性能。
2026-07-13 cs.AI cs.LG
Trainable Fixed-Point Quantization for Deep Learning Acceleration on FPGAs
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
本文提出可训练定点量化方法QFX，训练中自动学习小数点位置并支持无乘数量化以减少DSP占用，基于PyTorch实现且兼容FPGA HLS部署，在CIFAR-10、ImageNet上精度优于训练后量化，还在嵌入式FPGA加速器上验证了有效性。
2024-01-31 cs.CV cs.LG
Deep Network Trainability via Persistent Subspace Orthogonality
Department of Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学）
本研究通过持久子空间正交性方法，设计出能够有效训练深层网络的架构，解决了梯度消失和爆炸问题。
2026-02-11 cs.LG cs.NA math.NA
QuasiNet: a neural network with trainable product layers
Faculty of Mathematics, Physics and Informatics Comenius University in Bratislava（布拉迪斯拉发夸美纽斯大学数学、物理与信息学院）
本文提出QuasiNet，通过引入可训练的乘积神经元层改进经典反向传播，有效解决异或、奇偶校验和双螺旋等困难问题，实验表明其成功率显著优于经典多层感知器。
2024-02-26 cs.AI cs.LG cs.NE
Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis
Korea Advanced Institute of Science Technology（韩国科学技术院）；I-BRICKS
本文提出TESGAN，通过GAN生成连续文本嵌入空间并进行无监督学习，解决文本生成中的梯度反向传播与训练数据记忆问题。
2023-10-17 cs.CL cs.LG
T-SKM-Net: Trainable Neural Network Framework for Linear Constraint Satisfaction via Sampling Kaczmarz-Motzkin Method
本文提出T-SKM-Net框架，通过将混合约束问题转化为纯不等式问题，并结合采样Kaczmarz-Motzkin方法进行迭代求解，实现神经网络在约束满足中的高效处理，同时保证了端到端的可训练性。
2025-12-11 cs.AI cs.LG math.OC
GSNs : Generative Stochastic Networks
University of Montreal（蒙特利尔大学）；Cornell University（康奈尔大学）
我们引入了一种新的概率模型训练原理，它是最大似然的替代方案。提出的生成随机网络（GSN）框架是基于学习马尔可夫链的转移算子，其平稳分布估计数据分布。由于过渡分布是一个条件分布，通常涉及一个小的移动，它有较少的主导模式，是单峰的限制小的移动。因此，它更容易学习，更像是学习执行监督函数逼近，梯度可以通过反向传播获得。这里提供的定理概括了最近关于去噪自动编码器的概率解释的工作，并为依赖网络和广义伪随机性提供了一个有趣的理由（以及定义适当的联合分布和采样机制，即使条件不一致）。我们研究了如何GSN可以与丢失的输入，并可以用来抽样的变量子集，其余的。在两个图像数据集上进行了成功的实验，验证了这些理论结果，并采用了一种特定的架构，该架构模仿了深度玻尔兹曼机吉布斯采样器，但允许训练进行反向传播，而不需要分层预训练。
2015-03-23 cs.LG
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN), Multi Class Scenarios
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
条件生成器学习多类场景中每个类的数据分布，并在给定潜在空间的正确输入的情况下为特定类生成样本。在这项工作中，被称为“多功能辅助分类器与生成对抗网络“的多类场景的方法。在这种技术中，生成对抗网络（GAN）的生成器通过将多类分类器与PNN网络并行放置并通过生成器反向传播分类错误而变成条件生成器。这种技术是通用的，足以应用于任何GAN实现。在两个数据库上的结果以及与其他方法的比较。
2018-06-19 cs.LG eess.IV stat.ML
Generative Actor-Critic with Soft Bridge Policies
Guangzhou University（广州大学）；Zhejiang University（浙江大学）；Southeast University（东南大学）
本文提出SoftGAC，通过构建可解析的MaxEnt目标，实现高效的生成性策略，仅需单次演员前向传递即可生成动作，提升了连续控制任务的性能与效率。
2026-10-15 cs.IT cs.LG math.IT
Finding Solutions to Generative Adversarial Privacy
Stanford University（斯坦福大学）
我们提出了解决线性和卷积神经网络（CNN）对手的生成对抗隐私设置引起的最大最小问题的算法。在线性对手设置，我们提出了一个贪心算法的私有化，表现更好的情况下，增加的数量接近最优解。我们还提供了对该算法的分析，以表明它不仅首先删除了与私有标签最相关的特征，而且还保留了与私有标签相关的特征充分独立的公共标签的预测准确性。在CNN对手设置，我们提出了一种方法，隐藏选定的信息从对手，同时保留其他通过交替优化私有化和对手的目标，使用神经网络反向传播。我们的实验表明，我们的方法成功地对一个固定的对手。
2018-10-04 cs.LG stat.ML
Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors
USTC（中国科学技术大学）；Tencent Hunyuan（腾讯混元）；BUPT（北京邮电大学）
本文通过向量转向揭示RLVR在LLM中的低维几何特性，提出Alpha-Stabler框架稳定训练并提升RL增益，实验验证于5个LLM和6个任务。
2026-09-29 cs.AI cs.LG
Near-Equilibrium Propagation training in nonlinear wave systems
本文提出了一种适用于连续和离散复值波系统的非平衡传播训练方法，适用于弱耗散 regime，展示了在物理系统中实现原地学习的可行性。
2026-08-18 cond-mat.quant-gas cs.LG math-ph
Generative Moment Matching Networks
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们考虑从数据中学习深度生成模型的问题。我们制定了一种方法，该方法通过多层感知器的单次前馈来生成独立样本，如最近提出的生成对抗网络（Goodfellow et al.，2014年）。然而，训练一个生成对抗网络需要仔细优化一个困难的极小极大程序。相反，我们利用了一种被称为最大平均差异（MMD）的统计假设检验技术，这导致了一个简单的目标，可以被解释为匹配数据集和模型样本之间的所有统计阶数，并且可以通过反向传播进行训练。我们通过将我们的生成网络与自动编码器网络相结合，使用MMD来学习生成代码，然后可以解码生成样本，从而进一步提高了这种方法的性能。我们表明，这些技术的组合产生优秀的生成模型相比，MNIST和多伦多人脸数据库上测量的基线方法。
2015-02-10 cs.AI cs.LG stat.ML
Multi-Timescale Conductance Spiking Networks: A Sparse, Gradient-Trainable Framework with Rich Firing Dynamics for Enhanced Temporal Processing
Department of Neurobiology, University of California Los Angeles (UCLA)（加州大学洛杉矶分校神经生物学系）；Instituto de Física Corpuscular (IFIC, CSIC–UV)（Corpuscular物理研究所（IFIC，CSIC–UV））
本文提出多时间尺度传导突触网络，通过调节快、慢和超慢电导来控制神经动力学，实现高效训练和稀疏活动，提升时间处理能力。
2026-05-12 cs.AI cs.LG cs.NE
Hacking Generative Models with Differentiable Network Bending
University of Amsterdam（阿姆斯特丹大学）；IST Austria（奥地利科学技术研究所）
本研究提出一种通过在生成模型中间层注入小型可训练模块、冻结其余网络并少量迭代训练的“黑入”方法，可将模型输出偏离原分布推向新目标，生成的带诡异质感的图像可用于艺术创作。
2023-12-12 cs.AI cs.CV cs.LG
Generative Adversarial Networks
Université de Montréal（蒙特利尔大学）；Indian Institute of Technology Delhi（德里印度理工学院）；Ecole Polytechnique（巴黎综合理工学院）
我们提出了一个通过对抗过程来估计生成模型的新框架，在这个框架中，我们同时训练两个模型：一个是捕获数据分布的生成模型G，另一个是估计样本来自训练数据而不是G的概率的判别模型D。G的训练过程是最大化D犯错误的概率。这个框架对应于一个极大极小两人博弈。在任意函数G和D的空间中，存在唯一解，其中G恢复训练数据分布，并且D处处等于1/2。在G和D由多层感知器定义的情况下，整个系统可以用反向传播来训练。在样本的训练或生成期间，不需要任何马尔可夫链或展开的近似推理网络。实验表明，通过生成的样本的定性和定量评价的框架的潜力。
2014-06-10 cs.LG stat.ML
Simulator-based training of generative models for the inverse design of metasurfaces
Stanford University（斯坦福大学）
超表面是一种亚波长结构的人工介质，它可以以独特的方式塑造和定位电磁波。这些器件的逆设计是高维空间中的非凸优化问题，使得全局优化成为一个主要挑战。我们提出了一种新型的基于种群的全局优化算法的元表面，是通过生成神经网络的训练。用于反向传播的损失函数取决于所生成的图案布局、其效率和效率梯度，其通过使用正向和伴随电磁模拟的伴随变量方法来计算。我们观察到，在优化过程中，网络生成的设备分布不断向高性能设计空间区域转移。在训练完成时，最佳生成的设备具有与使用标准拓扑优化设计的最佳设备相当或超过其的效率。我们提出的全局优化算法可以普遍适用于光学，机械和电子学中的其他基于梯度的优化问题。
2019-11-13 cs.LG physics.comp-ph
Limits of quantum generative models with classical sampling hardness
Institute of Computer Engineering, TU Wien（计算机工程系，维也纳技术大学）；Institute for Theoretical Physics, ETH Zürich（理论物理研究所，苏黎世联邦理工学院）
本文研究了量子生成模型的极限，发现抗集中模型无法训练，而稀疏分布模型可被训练，揭示了量子优势的来源与经典模拟的权衡。
2025-12-31 cs.LG quant-ph
XConv: Low-memory stochastic backpropagation for convolutional layers
University of Central Florida（中央佛罗里达大学）；Rice University（里士满大学）；DevitoCodes Ltd（DevitoCodes有限公司）；Michigan State University（密歇根州立大学）；Georgia Institute of Technology（佐治亚理工学院）
提出XConv方法，通过存储激活的压缩投影并利用多通道随机迹估计近似梯度，在不增加计算、不约束架构、不大量修改代码的情况下，大幅降低卷积层反向传播的内存需求。
2026-06-24 cs.LG cs.NA math.NA
Metis: A Foundation Speech Generation Model with Masked Generative Pre-training
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
Metis 通过在大规模无标注语音数据上进行掩码生成预训练并结合任务特定微调，构建了一个统一语音生成基础模型，在五个语音生成任务上以更少参数和数据超越现有最先进系统。
2025-02-05 cs.AI cs.LG cs.SD
Generative quantum advantage for classical and quantum problems
Google Quantum AI（谷歌量子AI）；Department of Physics, California Institute of Technology（加州理工学院物理系）；Department of Physics（物理系）；Astronomy, Purdue University（天文学，普渡大学）
本研究提出可高效训练且无贫瘠高原的生成式量子模型，在68量子比特处理器上证明其能学习经典难处理的分布和量子电路，实现生成式量子优势。
2025-09-10 cs.LG quant-ph
SHA-256 Infused Embedding-Driven Generative Modeling of High-Energy Molecules in Low-Data Regimes
Department of Mechanical Engineering（机械工程系）；Center for Machine Intelligence and Data Science (CMInDS)（机器智能与数据科学中心）
高能材料（HEMs）对于推进和防御领域至关重要，但它们的发现仍然受到实验数据和测试设施的限制。这项工作通过结合用于分子生成的长短期记忆（LSTM）网络和用于性质预测的注意力图神经网络（GNN），提出了一种针对高能分子的新方法。我们提出了一种变革性的嵌入空间构建策略，将固定的SHA-256嵌入与部分可训练的表示相结合。与传统的正则化技术不同，这改变了表征基础本身，在学习开始之前重塑了分子输入空间。在不依赖预训练的情况下，生成器实现了67.5%的有效性和37.5%的新颖性。所产生的文库表现出相对于训练集的平均Tanimoto系数为0.214，表明框架产生多样化化学空间的能力。我们确定了37个新的超级炸药高于9公里/秒的预测爆炸速度。
2025-10-28 cond-mat.mtrl-sci cs.LG
Deep Information Propagation
Google Brain（谷歌大脑）；Stanford University（斯坦福大学）
我们研究了未经训练的神经网络的行为，其权重和偏差是随机分布的平均场理论。我们表明存在的深度尺度，自然限制通过这些随机网络的信号传播的最大深度。我们的主要实践结果表明，随机网络可以精确地训练时，信息可以通过他们。因此，我们确定的深度尺度提供了针对特定超参数选择的网络训练深度的界限。作为一个推论，我们认为，在混沌的边缘网络，这些深度尺度之一发散。因此，任意深度的网络只能在足够接近临界的情况下进行训练。我们发现，dropout的存在破坏了有序到混沌的临界点，因此强烈限制了随机网络的最大可训练深度。最后，我们开发了一个平均场理论的反向传播，我们表明，有序和混沌相对应的区域消失和爆炸梯度分别。
2017-04-04 cs.LG stat.ML
Exploring Biological Neuronal Correlations with Quantum Generative Models
QuTech（QuTech研究所）；Kavli Institute of Nanoscience（卡夫利纳米科学研究所）；Delft University of Technology（代尔夫特理工大学）
针对经典神经元活动建模参数多、可解释性差的问题，本研究提出量子生成模型框架，可生成捕捉生物神经元时空相关性的合成数据，以更少参数实现可靠结果，为神经科学研究提供新工具。
2024-09-13 cs.LG cs.NE q-bio.NC
Application of Quantum Annealing to Training of Deep Neural Networks
Lockheed Martin Information Systems & Global Solutions（洛克希德·马丁信息系统与全球解决方案）
在深度学习中，一种众所周知的训练深度神经网络的方法是首先训练一个生成的深度信念网络模型，通常使用对比发散（CD），然后使用反向传播或其他判别技术微调权重。然而，由于吉布斯采样的缓慢混合，生成训练可能是耗时的。我们研究了一种替代方法，该方法使用来自D-Wave量子退火机的样本来估计受限玻尔兹曼机的模型期望。我们测试了这种方法的粗粒度版本的MNIST数据集。在我们的测试中，我们发现基于量子采样的训练方法实现了与传统的基于CD的训练相比相当或更好的准确性，并且生成训练的迭代次数显著减少。还需要进一步研究，以确定是否可以为其他数据集实现类似的改进，以及这些改进在多大程度上可以归因于量子效应。
2015-10-21 cs.LG quant-ph stat.ML
PETRA: Parallel End-to-end Training with Reversible Architectures
Flatiron Institute（熨斗研究所）；Mila（米拉研究所）
本研究提出基于可逆架构的并行训练方法PETRA，通过解耦前后向传播、消除权重暂存实现高效模型并行，在多个图像数据集上取得与反向传播相当的精度。
2025-05-19 cs.LG stat.ML
Training a Hopfield Variational Autoencoder with Equilibrium Propagation
IDLab, Ghent University – imec（根特大学-IDLab（校际微电子中心））
本文提出使用平衡传播训练 Hopfield 变分自编码器进行生成建模，利用网络对称性实现编码器与解码器共享单一模型，可将芯片尺寸减半，为高效模拟硬件配置提供新方案。
2023-11-25 cs.LG cs.NE
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems
Graz University of Technology（格拉茨技术大学）；Czech Technical University in Prague（布拉格捷克技术大学）
许多研究人员提出，将深度神经网络与图形模型相结合，可以创建更高效、更好的正则化复合模型。在实践中实现这一点的主要困难是与合适的学习目标的差异，以及与推理的近似的必要性。在这项工作中，我们采用最简单的推理方法之一，截断的最大乘积置信传播，并添加必要的内容，使其成为深度学习模型的适当组件：我们将其连接到边缘损失的学习公式，并计算反向传播操作。该BP层可以用作卷积神经网络（CNN）中的最终或中间块，允许我们设计一个由BP推理和不同尺度的CNN组成的分层模型。该模型适用于一系列密集的预测问题，是很好的训练，并提供立体，光流和语义分割的参数有效和强大的解决方案。
2020-03-13 cs.CV cs.LG
Global optimization of dielectric metasurfaces using a physics-driven neural network
Stanford University（斯坦福大学）
我们提出了一个全局优化器，基于条件生成神经网络，它可以输出集合的高效拓扑优化的元表面在一系列参数的操作。该网络的一个关键特征是，它最初生成对设计空间进行广泛采样的器件分布，然后在优化过程中将该分布向有利的设计空间区域转移和细化。通过计算输出设备的前向和伴随电磁模拟并使用随后的效率梯度进行反向传播来执行训练。随着metagratings在一系列波长和角度作为一个模型系统，我们表明，从训练的生成网络产生的设备具有效率可比或优于基于伴随的拓扑优化产生的最佳设备，同时需要更少的计算成本。我们对生成神经网络训练的基于伴随的优化的重构通常适用于可以利用梯度来提高性能的物理系统。
2019-07-05 cs.LG physics.comp-ph physics.optics
Spike-based computation using classical recurrent neural networks
Montefiore Institute, University of Liege（列日大学蒙泰菲奥雷研究所）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
本文提出一种可微的脉冲循环单元Spiking Recurrent Cell，通过修改经典RNN动力学实现基于事件的通信，使普通反向传播可训练深度脉冲网络，并在MNIST等基准上取得与其他脉冲网络相当的性能。
2024-05-06 cs.LG cs.NE
Quantum Generative Diffusion Model for Real-World Time Series
Kingston University London（伦敦金斯顿大学）；University of Florence（佛罗伦萨大学）；Brunel University of London（伦敦布鲁内尔大学）
提出首个量子生成扩散模型QDiffusion-TS，通过量子神经网络替换去噪Transformer中的前馈组件，在IQM量子处理器上验证，在金融时间序列合成中Wasserstein距离降低44%，下游预测RMSE提升71%。
2026-06-29 cs.LG quant-ph
Quantum Scrambling Born Machine
Qilimanjaro Quantum Tech（基拉曼焦量子科技）
本文提出了一种量子混乱生机机，利用固定纠缠单元ary生成多量子比特纠缠，通过优化单量子比特旋转学习目标分布，并将生成任务转化为变分哈密顿问题，性能与经典生成模型相当。
2026-08-27 cs.LG quant-ph
Non-parallel Emotion Conversion using a Deep-Generative Hybrid Network and an Adversarial Pair Discriminator
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍了一种新的方法，在语音中的情感转换，不需要并行训练数据。我们的方法松散地依赖于cycle-GAN模式，以最大限度地减少情感对之间来回转换的重建误差。然而，与传统的cycle-GAN不同，我们的神经网络对一对输入的真实和生成的样本是否对应于期望的情感转换（例如，A到B）或其逆（B到A）。我们将表明，这种设置，我们称之为变分循环GAN（VC-GAN），相当于最小化源功能和它们的循环对应之间的经验KL分歧。此外，我们的生成器将一个可训练的深度网络与一个固定的生成块相结合，对输入特征（在我们的例子中是基频（F0）轮廓）实现平滑和可逆的变换。这种混合架构规范了我们的对抗训练过程。我们使用众包来评估情感显着性和合成语音的质量。最后，我们证明了我们的模型通过修改Wavenet产生的语音来推广到新的说话者。
2020-08-10 cs.LG cs.SD eess.AS
Gradual DropIn of Layers to Train Very Deep Neural Networks
Naval Research Laboratory（海军研究实验室）；University of Maryland（马里兰大学）
我们引入了在训练过程中动态增长神经网络的概念。特别是，不可训练的深度网络从可训练的浅网络开始，新添加的层在训练过程中缓慢、有机地添加，从而增加了网络的深度。这是通过一个新的层来完成的，我们称之为DropIn。DropIn层通过传递来自前一层的输出（有效地跳过新添加的层）开始，然后越来越多地包括来自新层的单元用于前馈和反向传播。我们表明，传统方法无法训练的深度网络将与散布在架构中的DropIn层融合。此外，我们证明了DropIn在训练过程中以类似于dropout的方式提供正则化。实验描述了MNIST数据集和各种扩展的LeNet架构，CIFAR-10数据集的架构从3层扩展到11层，以及AlexNet架构扩展到13层和VGG 16层架构的ImageNet数据集。
2015-11-22 cs.CV cs.LG cs.NE
Belted Engression: Sufficient Dimension Reduction for Generative Distributional Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
针对条件生成模型学习复杂协变量依赖的挑战，提出Belted Engression框架，通过嵌入结构瓶颈实现端到端压缩-生成，理论上证明SDR等价性并给出更优收敛速率，实验表明以更少参数取得更优分布预测与降维恢复。
2026-09-22 cs.AI cs.LG math.ST
Parameter-Transferred Wasserstein Generative Adversarial Network (PT-WGAN) for Low-Dose PET Image Denoising
Northeastern University（东北大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
由于正电子发射断层扫描（PET）在临床实践中的广泛使用，需要最大限度地降低PET相关辐射剂量对患者的潜在风险。然而，随着辐射剂量的减少，所得到的图像可能遭受损害诊断性能的噪声和伪影。在本文中，我们提出了一个参数转移Wasserstein生成对抗网络（PT-WGAN）的低剂量PET图像去噪。本文的贡献是双重的：i）PT-WGAN框架被设计成在不损害结构细节的情况下对低剂量PET图像进行去噪，以及ii）基于迁移学习的任务特定初始化被开发成使用从预训练模型转移的可训练参数来训练PT-WGAN，这显著地提高了PT-WGAN的训练效率。临床数据的实验结果表明，该网络可以更有效地抑制图像噪声，同时保持更好的图像保真度比最近发表的国家的最先进的方法。我们在https://github.com/90n9-yu/PT-WGAN上提供我们的代码。
2020-08-26 cs.LG eess.IV stat.ML
HumanACGAN: conditional generative adversarial network with human-based auxiliary classifier and its evaluation in phoneme perception
The University of Tokyo（东京大学）；National Institute of Technology, Tokuyama College（德山工业高等专门学校）；University of Tsukuba（筑波大学）
我们提出了一个条件生成对抗网络（GAN），结合人类的感知评价。基于深度神经网络（DNN）的GAN生成器可以准确地表示真实数据分布，但永远无法表示人类可接受的分布，这些分布是人类接受自然性的数据范围，而不管数据是否真实。提出了一个HumanGAN来模拟人类可接受的分布。基于DNN的生成器使用基于人类的训练器来训练，即，人类的感知评估，而不是GAN的基于DNN的评估。但是，HumanGAN不能表示条件分布。本文提出了HumanACGAN，HumanGAN的理论扩展，处理条件人类可接受的分布。我们的HumanACGAN通过将人类不仅视为机器人，而且还视为辅助分类器来训练基于DNN的条件生成器。该生成器通过欺骗基于人类的分类器和基于人类的分类器来训练，其中基于人类的分类器对无条件自然性进行评分，基于人类的分类器对类条件感知可接受性进行评分。训练可以使用涉及人类感知评估的反向传播算法来执行。我们在音素感知上的实验结果表明，我们的HumanACGAN可以成功地训练这个条件生成器。
2021-02-08 cs.HC cs.LG cs.SD
Generative AI for O-RAN Slicing: A Semi-Supervised Approach with VAE and Contrastive Learning
School of Electrical and Computer Engineering, College of Engineering, University of Tehran（电气与计算机工程学院，工程学院，德黑兰大学）
本文提出一种结合VAE与对比学习的半监督生成式AI架构，通过专用xApp优化O-RAN中的网络切片与资源分配，在动态网络中实现了更高的资源管理精度与模型泛化能力。
2025-06-27 cs.LG cs.NA cs.NI
Generative Learning of Continuous Data by Tensor Networks
Zapata AI（扎帕塔人工智能公司）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；Institute for Quantum Computing, University of Waterloo（滑铁卢大学量子计算研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）；CIFAR AI（加拿大高级研究所人工智能项目）
提出一种用于连续数据的张量网络生成模型，基于矩阵乘积态框架推导了普适表达性定理，并在合成与真实数据集上验证了其良好的学习与泛化能力。
2024-07-25 cond-mat.stat-mech cs.LG quant-ph
