Deep Learning of Compositional Targets with Hierarchical Spectral Methods
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出基于分层频谱方法的深度学习框架,通过分阶段学习组合目标函数,实现比浅层方法更高效的样本复杂度
2026-11-04 cs.LG stat.ML
On the interplay of network structure and gradient convergence in deep learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
用于学习深度网络的dropout和逐层预训练的正则化和输出一致性行为已经得到了相当好的研究。然而,我们对深度架构中反向传播的渐近收敛如何与网络的结构属性和其他设计选择(如去噪和辍学率)相关的理解目前尚不清楚。人们可能会问一个有趣的问题是,网络架构和输入数据统计是否可以指导学习参数的选择,反之亦然。在这项工作中,我们探讨了这些结构,分布和学习方面与参数收敛速度的相互作用之间的关联。我们提出了一个框架来解决这些问题的基础上收敛的反向传播一般非凸目标使用一阶信息。该分析表明了特征去噪和丢弃之间的有趣关系。在这些结果的基础上,我们获得了一个设置,该设置提供了关于学习参数和网络大小的选择的系统指导,这些参数和网络大小通常由输入的统计属性介导,以实现一定程度的收敛(在优化意义上)。我们的研究结果得到了一组实验评估以及其他小组报告的独立经验观察的支持。
2017-02-22 cs.LG stat.ML
On architectural choices in deep learning: From network structure to gradient convergence and parameter estimation
University of Wisconsin Madison(威斯康星大学麦迪逊分校)
我们研究了一些机制来表征深度架构中反向传播的渐近收敛如何与网络结构相关,以及它如何受到其他设计选择的影响,包括激活类型,去噪和辍学率。我们试图分析网络结构和输入数据统计是否可以指导学习参数的选择,反之亦然。考虑到深度架构的广泛适用性,这个问题从理论和实践的角度来看都很有趣。利用一般非凸目标的性质(一阶信息),我们首先建立网络的结构,分布和可学习性方面与它们与参数收敛速率的相互作用之间的关联。我们确定了特征去噪和辍学之间的良好关系,并构建了实现相同收敛水平的网络家族。然后,我们推导出一个工作流程,该工作流程提供有关网络大小和学习参数选择的系统指导,这些参数通常由输入统计数据介导4。我们的技术结果证实了一套广泛的评估,本文以及独立的经验观察报告的其他团体。我们还进行了实验,展示了我们的框架为给定问题选择最佳全连接设计的实际意义。
2017-02-28 cs.LG math.OC stat.ML
Distribution-Specific Hardness of Learning Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
虽然神经网络在实践中使用简单的基于梯度的方法进行常规且成功的训练,但大多数现有的理论结果是否定的,表明学习这样的网络是困难的,在所有数据分布的最坏情况下。在本文中,我们采取更细致的观点,并考虑是否对输入分布的“niceness”或目标函数的“niceness”(例如,在平滑性,非退化性,不相干性,参数的随机选择等方面)的特定假设,足以保证使用基于梯度的方法的可学习性。我们提供的证据表明,这两类假设是不够的:一方面,对于任何成员的一类“好”的目标函数,有困难的输入分布。另一方面,我们确定了一个家庭的简单的目标函数,这是很难学习,即使输入分布是“不错”。为了证明我们的研究结果,我们开发了一些工具,这可能是独立的利益,如扩展傅立叶为基础的硬度技术的背景下开发的统计查询\cite{blum1994weakly},从布尔立方体到欧氏空间和更一般的功能类。
2017-03-09 cs.LG cs.NE stat.ML
Policy Search by Target Distribution Learning for Continuous Control
Tsinghua University(清华大学)
我们观察到,当当前策略接近确定性时(即使在一些非常简单的环境中),几种现有的策略梯度方法(例如香草策略梯度,PPO,A2C)可能会遭受过大的梯度,导致不稳定的训练过程。为了解决这个问题,我们提出了一种新的方法,称为\emph{target distribution learning}(TDL),在强化学习的政策改善。TDL在建议目标分布和训练策略网络以接近目标分布之间交替。TDL在约束更新策略之间的KL分歧方面更有效,因此导致迭代过程中更稳定的策略改进。我们的实验表明,对于MuJoCo环境中的大多数连续控制任务,TDL算法的性能与最先进的算法相当(或更好),同时在训练中更加稳定。
2019-11-18 cs.LG stat.ML
Stochastic Multiple Target Sampling Gradient Descent
VinAI Research(VinAI研究院);Monash University(莫纳什大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
从非标准化目标分布中采样是概率推理中的一个重要问题。Stein变分梯度下降(SVGD)已被证明是一个强大的方法,迭代更新一组粒子,以近似感兴趣的分布。此外,当分析其渐近性质时,SVGD完全简化为单目标优化问题,并且可以被视为该单目标优化问题的概率版本。一个自然的问题随之而来:“我们能推导出多目标优化的概率版本吗?".为了回答这个问题,我们提出了随机多目标采样梯度下降(MT-SGD),使我们能够从多个未归一化的目标分布进行采样。具体来说,我们的MT-SGD进行中间分布流逐渐定向到多个目标分布,这允许采样粒子移动到目标分布的联合高似然区域。有趣的是,渐近分析表明,我们的方法完全减少到多目标优化的多梯度下降算法,正如预期的那样。最后,我们进行了全面的实验,以证明我们的多任务学习方法的优点。
2023-02-10 cs.AI cs.LG stat.ML
MAZE: Data-Free Model Stealing Attack Using Zeroth-Order Gradient Estimation
Georgia Institute of Technology(佐治亚理工学院);University of Michigan(密歇根大学)
模型窃取(MS)攻击允许具有对机器学习模型的黑盒访问的攻击者复制其功能,从而损害模型的机密性。这样的攻击通过使用针对不同输入的目标模型的预测来训练克隆模型。这种攻击的有效性在很大程度上依赖于查询目标模型所需数据的可用性。现有的攻击要么假设部分访问目标模型的数据集,要么假设具有语义相似性的替代数据集的可用性。提出了一种基于零阶梯度估计的无数据模型窃取攻击MAZE。与之前的作品相比,MAZE不需要任何数据,而是使用生成模型创建合成数据。受最近无数据知识蒸馏(KD)工作的启发,我们使用分歧目标训练生成模型,以产生最大化克隆和目标模型之间分歧的输入。然而,与KD的白盒设置不同,在白盒设置中,梯度信息是可用的,训练生成器进行模型窃取需要执行黑盒优化,因为它涉及访问受到攻击的目标模型。MAZE依赖于零阶梯度估计来执行这种优化,并实现高度精确的MS攻击。我们对四个数据集的评估表明,MAZE提供了0.91 x至0.99 x范围内的归一化克隆准确度,甚至优于依赖部分数据(JBDA,克隆准确度0.13 x至0.69 x)和替代数据(KnockoffNets,克隆准确度0.52 x至0.97 x)的最近攻击。我们还研究了部分数据设置中的MAZE扩展,并开发了MAZE-PD,它生成更接近目标分布的合成数据。MAZE-PD进一步提高了克隆准确性(0.97倍至1.0倍),并将攻击所需的查询减少了2倍至24倍。
2022-10-28 cs.LG stat.ML
Scalable Derivative Gaussian Processes via Exact Gradient Reduction
Department of Statistics University of Wisconsin–Madison(统计学系威斯康星大学麦迪逊分校)
提出TERA方法,利用精确梯度约简将导数高斯过程的计算复杂度从O(n^3 d^3)降至O(d m^2 + m^6),实现高维空间中的可扩展推理。
2026-06-01 cs.LG stat.ML
Natural Gradient Deep Q-learning
Stanford Cognitive & Systems Neuroscience Lab(斯坦福认知与系统神经科学实验室);The Nueva School(努埃瓦学校)
我们提出了一种使用自然梯度技术训练深度Q学习代理的新算法。我们将原始的深度Q网络(DQN)算法与其自然梯度对应算法(我们称之为NGDQN)在一系列经典控制域上进行比较。在不使用目标网络的情况下,NGDQN的性能明显优于没有目标网络的DQN,并且在使用目标网络的情况下,NGDQN的性能并不比DQN差,这表明NGDQN可以稳定训练,并有助于减少对额外超参数调整的需求。我们还发现,NGDQN是不太敏感的超参数优化相对于DQN。这些结果表明,自然梯度技术可以改善深度强化学习中的值函数优化。
2018-11-13 cs.AI cs.LG stat.ML
Hierarchical Policy-Gradient Reinforcement Learning for Multi-Agent Shepherding Control of Non-Cohesive Targets
Scuola Superiore Meridionale(南方高等学院);University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出一种基于策略梯度的分散式强化学习框架,通过Proximal Policy Optimization整合目标选择与驱动,克服了传统DQN的离散动作限制,在无先验动力学知识下有效解决了非内聚目标的多智能体牧羊问题,并验证了其可扩展性。
2025-04-03 cs.AI cs.LG cs.MA
Are Perceptually-Aligned Gradients a General Property of Robust Classifiers?
Carnegie Mellon University(卡内基梅隆大学)
对于标准的卷积神经网络,优化输入像素以最大化某些目标类别的得分通常会产生原始图像的颗粒状版本。然而,Santurkar等人(2019)证明,对于经过逆向训练的神经网络,这种优化会产生与目标类惊人相似的图像。在本文中,我们表明,这些“感知对齐梯度”也发生在随机平滑,另一种手段,构建对抗强大的分类。我们的研究结果支持的假设,感知对齐的梯度可能是一个强大的分类器的一般属性。我们希望我们的研究结果将激发旨在解释感知对齐梯度和对抗鲁棒性之间联系的研究。
2019-10-23 cs.CV cs.LG stat.ML
Learning to Draw Samples with Amortized Stein Variational Gradient Descent
我们提出了一个简单的算法来训练随机神经网络从给定的目标分布中抽取样本进行概率推理。我们的方法基于迭代调整神经网络参数,使得输出沿着Stein变分梯度方向变化(Liu & Wang,2016),该方向最大限度地降低了目标分布的库尔贝克-莱布勒散度。我们的方法适用于任何由其非归一化密度函数指定的目标分布,并且可以训练任何黑盒架构,这些架构在我们想要适应的参数方面是可微的。我们展示了我们的方法与一些应用程序,包括变分自动编码器(VAE)与表达编码器来模拟复杂的潜在空间结构,和超参数学习的MCMC采样器,允许贝叶斯推断,以自适应地提高自己看到更多的数据。
2017-10-30 stat.ML
Relative Entropy Gradient Sampler for Unnormalized Distributions
Shanghai University of Finance and Economics(上海财经大学);University of Iowa(爱荷华大学);Wuhan University(武汉大学)
我们提出了一个相对熵梯度采样器(REGS)的采样从非归一化分布。REGS是一种粒子方法,它寻求一系列简单的非线性变换,迭代地将初始样本从参考分布推到来自未归一化目标分布的样本中。为了确定每次迭代的非线性变换,我们考虑了相对熵的Wasserstein梯度流。该梯度流确定内插参考分布和目标分布的概率分布的路径。它的特点是一个常微分方程系统的速度场取决于密度比的发展粒子的密度和非归一化的目标密度。为了使用REGS进行采样,我们需要估计密度比并模拟具有粒子演化的ODE系统。我们提出了一种新的非参数方法估计对数密度比使用神经网络。对具有挑战性的多模态1D和2D混合分布和贝叶斯逻辑斯谛回归在真实数据集上的广泛模拟研究表明,REGS优于比较中包含的最先进的采样方法。
2021-10-06 cs.LG math.ST stat.ML
Towards understanding Accelerated Stein Variational Gradient Flow -- Analysis of Generalized Bilinear Kernels for Gaussian target distributions
University of South Carolina(南卡罗来纳大学)
针对SVGD采样速度慢的问题,提出结合Nesterov加速梯度流与Wasserstein正则化的ASVGD算法,分析了高斯目标下双线性核的最优收敛参数,并通过数值与贝叶斯神经网络实验验证其优越性。
2025-10-01 math.OC stat.ML
Synthetic Data for any Differentiable Target
Stanford University(斯坦福大学)
本文提出Dataset Policy Gradient方法,通过合成数据生成器优化生成针对性示例,使目标模型在可微度量上表现优异,展示了通过合成数据改变模型属性的潜力。
2026-04-09 cs.AI cs.CL cs.LG
Quantitative Local Convergence of Mean-Field Stein Variational Gradient Flow
Lénaïc Chizat(独立研究者);Maria Colombo(独立研究者);Roberto Colombo(独立研究者);Xavier Fernández-Real(独立研究者)
本文研究均场连续时间极限下Stein变分梯度下降法的定量局部收敛性,通过Riesz型交互核在$ d $维环上获得$ L^2 $范数下的多项式收敛速率,并在某些情况下证明收敛率的最优性。
2026-05-10 cs.LG math.AP math.OC
Properties and limitations of geometric tempering for gradient flow dynamics
ESOMAS, University of Turin, Italy(ESOMAS,都灵大学,意大利);Collegio Carlo Alberto, Turin, Italy(卡尔罗阿尔贝托学院,都灵,意大利);School of Mathematics & Statistics, UNSW Sydney, Australia(数学与统计学学院,悉尼大学,澳大利亚)
本文研究了几何退火对梯度流动力学的影响,分析了连续时间和离散时间下的收敛性,并提出了自适应退火方案。
2026-04-22 cs.LG stat.CO stat.ME
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);National Technical University of Athens(雅典国立技术大学)
在这篇文章中,我们考虑从Hamilton设置的对数凹分布采样,而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形(驯服)欧拉计划,从目标措施的样本,并提供非渐近2-Wasserstein距离界限之间的法律的过程中,每个算法和目标措施。最后,我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
Kernel Sequential Monte Carlo
我们提出了内核序贯蒙特卡罗(KSMC),从静态目标密度采样的框架。KSMC是一系列序贯蒙特卡罗算法,其基于在再生核希尔伯特空间中构建当前粒子系统的仿真器模型。我们在这里重点关注目标的非线性协方差结构和梯度建模。仿真器的几何形状自适应更新,随后用于通知本地建议。与自适应马尔可夫链蒙特卡罗不同,连续自适应不会损害采样器的收敛性。KSMC结合了序贯蒙特卡罗和核方法的优点:与马尔可夫链蒙特卡罗相比,多模态目标的性能优越,能够估计模型证据,仿真器能够表示表现出高度非线性的目标。由于KSMC不需要访问目标梯度,因此它特别适用于梯度未知或过于昂贵的目标。我们描述了必要的调整细节,并展示了一系列具有挑战性的合成和现实世界的例子所提出的方法的好处。
2017-07-25 stat.CO stat.ML