Convergence and finite sample approximations of entropic regularized Wasserstein distances in Gaussian and RKHS settings
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文研究了Hilbert空间中熵正则化瓦瑟斯坦距离的收敛性和有限样本逼近。我们的第一个主要结果是，对于无限维Hilbert空间上的高斯测度，在2-Sinkhorn发散下的收敛比在精确的2-瓦瑟斯坦距离下的收敛{ \it严格弱}.具体地说，如果相应的协方差算子收敛于希尔伯特-施密特范数，则中心高斯测度序列收敛于2-Sinkhorn发散。这与先前已知的结果形成对比，该结果是：当且仅当协方差算子在迹类范数中收敛时，中心高斯测度序列在精确的2-瓦瑟斯坦距离中收敛。在再生核希尔伯特空间（RKHS）设置中，{ \it核高斯-辛霍恩发散}是在RKHS上定义的高斯测度之间的辛霍恩发散，它定义了波兰空间上的波莱尔概率测度集合上的半度量，给定该空间上的特征核。在Hilbert-Schmidt范数收敛的条件下，得到了核Gaussian-Sinkhorn发散的有限样本近似的{ \it维数无关}收敛速度，其阶数与最大均值离散的阶数相同.这些收敛速度特别适用于Sinkhorn发散高斯措施之间的欧几里得和无限维希尔伯特空间。在欧氏空间上的高斯测度之间的2-瓦瑟斯坦距离的样本复杂度，虽然依赖于维度并且大于Sinkhorn发散，但比文献中的最坏情况要快。
2021-02-15 cs.LG stat.ML
Computational Guarantees for Doubly Entropic Wasserstein Barycenters via Damped Sinkhorn Iterations
EPFL（洛桑联邦理工学院）
本文提出一种基于阻尼Sinkhorn迭代的算法，用于计算双重正则化Wasserstein重心，保证任意参数下收敛，并首次为非精确变体提供离散点云间逼近的非渐近收敛保证。
2023-07-25 cs.LG math.OC stat.ML
Debiased Sinkhorn barycenters
CREST-ENSAE；Inria Saclay（法国国家信息与自动化研究所萨克莱分院）；Google Research（谷歌研究院）
最优传输（OT）中的熵正则化是最近机器学习中Wasserstein度量和重心的许多兴趣的驱动力。它允许保持非正则化瓦瑟斯坦距离的吸引人的几何特性，同时由于Sinkhorn的算法而具有显著较低的复杂度。然而，熵带来一些固有的平滑偏差，例如导致模糊的重心。这种副作用促使社区越来越倾向于采用较慢的算法，例如对数域稳定的Sinkhorn，它打破了可以在GPU上利用的并行结构，甚至回到非正则化OT。在这里，我们展示了这种偏见是如何紧密联系在一起的参考措施，定义的熵正则化，并提出debiased Wasserstein重心，保持最好的两个世界：快速Sinkhorn样迭代没有熵平滑。从理论上证明了一元高斯分布的熵OT重心是高斯分布，并量化了其方差偏差。这个结果是通过将熵OT的可微性和凸性推广到具有无界支撑的次高斯测度而得到的。从经验上讲，我们说明了减少模糊和各种应用程序的计算优势。
2020-06-03 cs.LG stat.ML
Stronger and Faster Wasserstein Adversarial Attacks
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
深度模型虽然非常灵活和准确，但令人惊讶的是，它很容易受到被称为对抗攻击的“微小的、难以察觉的”扰动。虽然大多数现有的攻击集中在测量扰动下的$\ell_p$度量，Wasserstein距离，它考虑了像素空间中的几何形状，长期以来一直被认为是一个合适的度量用于测量图像质量，最近上升为对抗攻击中的$\ell_p$度量的一个令人信服的替代品。然而，在Wasserstein度量下构造有效的攻击在计算上更具挑战性，并且需要更好的优化算法。我们以两种方式解决这一差距：（a）我们开发了一个精确而有效的投影算子，以实现更强的投影梯度攻击;（b）我们证明了配备合适的线性最小化预言机的Frank-Wolfe方法在Wasserstein约束下工作得非常快。我们的算法不仅收敛速度更快，而且还会产生更强的攻击。例如，我们将CIFAR-10上的残差网络的准确性降低到$3.4\%$，在半径为$0.005$的Wasserstein扰动球内，与使用先前基于\emph{approximate}投影算子的Wasserstein攻击的$65.6\%$相反。此外，在对抗性训练中使用我们更强的攻击可以显着提高对抗性训练模型的鲁棒性。
2020-08-06 cs.LG stat.ML
Sinkhorn AutoEncoders
University of Amsterdam（阿姆斯特丹大学）；Deeptrace；Google Brain（谷歌大脑）；DeepMind（深度思考）；École Polytechnique（巴黎综合理工学院）；Sony CSL（索尼计算机科学实验室）
最优传输为学习生成式自动编码模型提供了最大似然的替代方案。我们表明，最小化生成器和真实数据分布之间的p-Wasserstein距离相当于编码器聚合后验和潜在空间中的先验之间的p-Wasserstein距离的无约束最小-最小优化，加上重建误差。我们还确定了其权衡超参数的作用作为发电机的容量：它的Lipschitz常数。此外，我们证明，优化编码器在任何类的通用逼近器，如确定性神经网络，是足以来任意接近最佳。因此，我们宣传这个框架，它适用于任何度量空间和先验，作为当前生成式自动编码目标的最佳点。然后，我们介绍了Sinkhorn自动编码器（SAE），它近似和最小化的p-Wasserstein距离在潜在的空间通过反向传播通过Sinkhorn算法。SAE直接作用于样本，即它将聚合后验建模为隐式分布，无需重新参数化梯度估计技巧。因此，SAE能够以最小的适应性与不同的度量空间和先验一起工作。我们展示了SAE的灵活性潜在的空间与不同的几何形状和先验，并与其他方法的基准数据集进行比较。
2019-07-16 cs.CV cs.LG stat.ML
A Framework for Verification of Wasserstein Adversarial Robustness
University of Göttingen（哥廷根大学）；neurocat GmbH（neurocat有限公司）
机器学习图像分类器容易受到对抗性和破坏性扰动的影响。向图像中添加难以察觉的噪声会导致机器学习模型的严重错误分类。使用$L_p$ -范数来测量噪声的大小无法捕获人类的相似性感知，这就是为什么基于最佳传输的距离度量（如Wasserstein度量）越来越多地用于对抗鲁棒性领域。使用Wasserstein度量的分类器的鲁棒性可以通过证明不存在对抗性示例（认证）或证明它们的存在（攻击）来实现。在这项工作中，我们提出了一个框架的基础上，Levine和Feizi的工作，它允许我们转移现有的认证方法凸多面体或$L_1$ -球的Wasserstein威胁模型。结果证明可以是完整的或不完整的，这取决于选择的是凸多面体还是$L_1$ -球。此外，我们提出了一个新的Wasserstein对抗攻击，预计梯度下降的基础上，并已显着减少计算负担相比，现有的攻击方法。
2021-10-13 cs.CV cs.LG
Neural Sinkhorn Gradient Flow
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出 NSGF，用神经网络参数化关于 Sinkhorn 散度的 Wasserstein 梯度流速度场，并通过速度场匹配仅依赖源、目标样本训练；理论证明其平均场收敛性，且两阶段 NSGF++ 在高维任务中更高效。
2024-01-25 cs.LG
Projected Wasserstein gradient descent for high-dimensional Bayesian inference
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
提出了一种求解高维贝叶斯推理问题的投影Wasserstein梯度下降方法（pWGD）。WGD的粒子系统的底层密度函数近似的核密度估计（KDE），它面临着长期存在的灾难的维数。我们克服了这一挑战，利用内在的低秩结构之间的差异后验分布和先验分布。将参数投影到一个低维子空间，以减轻KDE在高维空间的近似误差。我们制定了一个投影Wasserstein梯度流，并分析其收敛性在温和的假设。几个数值实验说明的准确性，收敛性和复杂性的可扩展性pWGD相对于参数尺寸，样本大小和处理器内核。
2021-02-15 cs.LG stat.ML
Optimal Transport-inspired Deep Learning Framework for Slow-Decaying Kolmogorov n-width Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel
SISSA（国际高等研究学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
提出融合最优传输与神经网络的 ROM 框架，以 Wasserstein 核 kPOD 和 Sinkhorn 损失提升慢衰减 Kolmogorov n-width 问题的精度、效率与鲁棒性。
2025-01-10 cs.LG cs.NA math.NA
Two-sample Test using Projected Wasserstein Distance
Georgia Institute of Technology（佐治亚理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出投影Wasserstein距离以缓解高维两样本检验中的维数灾难，通过最优低维线性投影最大化分布间距离，并给出理论收敛性质与实用算法。
2024-03-29 cs.LG stat.ML
Low-Rank Sinkhorn Factorization
CREST, ENSAE（CREST、ENSAE）；Google Brain；Ecole Normale Supérieure, PSL University（巴黎高等师范学院、PSL大学）；CNRS（法国国家科学研究中心）
最优传输（OT）理论在机器学习中的几个最新应用依赖于正则化，特别是熵和Sinkhorn算法。由于矩阵向量积在Sinkhorn算法中很普遍，因此有几项工作提出了使用低秩因子来处理出现在其迭代中的\textit{approximate}核矩阵。另一种途径在于，而不是强加低秩约束的可行的OT问题中考虑的耦合集，没有近似的成本也没有内核矩阵。该途径首先由Forrow等人探索，2018年，他提出了一种为平方欧几里德地面成本量身定制的算法，使用代理目标，可以通过正则化2-Wasserstein重心的机器来解决。在此基础上，我们在这项工作中介绍了一种通用的方法，旨在解决，在充分的一般性，OT问题下的低秩约束与任意成本。我们的算法依赖于一个显式的因式分解低秩耦合作为一个产品的\textit{sub-coupling}因素由一个共同的边际;类似的NMF方法，我们交替更新这些因素。我们证明了该算法的非渐近平稳收敛性，并通过基准实验说明了它的有效性。
2021-03-08 cs.LG stat.ML
Unbalanced W-Flow: Unbalanced Wasserstein Drifting under Finite-Batch Marginal Fluctuations
Yonsei University（延世大学）；KAIST（韩国科学技术院）
该研究针对W-Flow在有限批量波动下的缺陷，提出UW-Flow模型，用非平衡Sinkhorn散度替代平衡Sinkhorn能量，经理论分析与实验验证，在多数据集生成任务中提升了性能。
2026-10-14 cs.CV cs.LG
Straight-Through Estimator as Projected Wasserstein Gradient Flow
Duke University（杜克大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
直通（ST）估计是一种广泛使用的技术，用于通过离散随机变量反向传播梯度。然而，这种有效的方法缺乏理论依据。在本文中，我们表明，ST可以解释为模拟的投影Wasserstein梯度流（pWGF）。基于这种理解，建立了理论基础来证明ST的收敛特性。此外，提出了另一种pWGF估计变体，其在具有无限支持的分布上表现出优越的性能，例如，Poisson分布从经验上讲，我们表明，ST和我们提出的估计，而适用于不同类型的离散结构（包括伯努利和泊松潜变量），表现出可比的，甚至更好的性能相对于其他国家的最先进的方法。我们的研究结果揭示了ST估计的广泛采用的起源，并代表了探索离散变量的替代梯度估计的有益的一步。
2019-10-05 cs.LG stat.ML
Projected Wasserstein-Fisher-Rao Flows for Hawkes Background-Intensity Estimation
Facultad de Ciencias, Universidad Autónoma de México（墨西哥国立自治大学理学院）；Department of Probability and Statistics, Centro de Investigación en Matemáticas A.C.（数学研究中心概率与统计系）
针对触发机制已知的霍克斯过程背景强度估计问题，提出基于Wasserstein-Fisher-Rao几何的似然变分方法，通过投影到统计流形得到有限维方案，建立了可测估计量的条件一致性定理。
2026-10-15 cs.LG stat.ML
Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions
Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay（巴黎-萨克雷大学数学实验室）；Centre de recherche en économie et statistique, ENSAE（经济与统计研究中心）
提出基于累积分布函数的切片Wasserstein距离估计器，避免排序并支持大规模数据并行，适用于混合高斯和联邦学习场景。
2026-06-29 cs.LG stat.ML
Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
Stanford University（斯坦福大学）；Amazon（亚马逊）
本文提出 Sinkhorn-Newton-Sparse（SNS），通过提前停止矩阵缩放并引入稀疏 Hessian 的 Newton 型第二阶段，在保持每轮 $O(n^2)$ 复杂度的同时显著加快最优传输求解。
2024-01-20 cs.LG math.OC stat.ML
Regularizing activations in neural networks via distribution matching with the Wasserstein metric
ESTsoft；Hanyang University（汉阳大学）
正则化和规范化已经成为训练深度神经网络不可或缺的组成部分，从而加快了训练速度并提高了泛化性能。我们提出了预测误差函数正则化损失（PER），鼓励激活遵循标准正态分布。PER将激活随机投影到一维空间上，并计算投影空间中的正则化损失。PER类似于投影空间中的伪Huber损失，因此利用了$L^1$和$L^2$正则化损失。此外，PER还可以通过从单位球面上提取投影向量来捕捉隐藏单元之间的相互作用。通过这样做，PER最小化激活的经验分布和标准正态分布之间的一阶Wasserstein距离的上限。据作者所知，这是第一个通过概率分布空间中的分布匹配来正则化激活的工作。我们评估所提出的方法上的图像分类任务和单词级语言建模任务。
2020-04-27 cs.LG stat.ML
Thermodynamic structure of the Sinkhorn flow
Department of Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学）；Nonlinear Systems Laboratory, Massachusetts Institute of Technology（非线性系统实验室，麻省理工学院）
本文从热力学角度探讨Sinkhorn流的结构，证明其为非局部Wasserstein梯度流，并推导了熵-能量恒等式和对数Sobolev不等式，揭示其在熵收敛中的指数收敛性质。
2026-01-25 cs.LG math.PR stat.ML
Wasserstein regularization for sparse multi-task regression
INRIA（法国国家信息与自动化研究所）；Google（谷歌）；CREST / ENSAE（法国经济统计与计量研究中心/法国国家统计与经济管理学院）
我们专注于在本文中的高维回归问题，其中每个回归可以关联到一个物理空间中的位置，或更一般地说，一个通用的几何空间。这类问题通常使用稀疏先验，它使用一小部分回归量来提升模型。为了增加统计功效，提出了所谓的多任务技术，其包括同时估计几个相关模型。结合稀疏性假设，它导致模型强制执行跨模型共享的主动回归量，例如由于L1 / Lq范数。我们认为，在本文中，这些技术未能利用与回归相关的空间信息。事实上，虽然稀疏先验强制只使用一小部分变量，但考虑到在实际数据中观察到的空间变异性，这些回归变量在所有任务中重叠的假设过于简单化。在本文中，我们提出了一个凸正则化多任务回归编码一个更灵活的几何。我们的正则化是基于不平衡的最优运输（OT）理论，并可以考虑到先验几何知识的回归变量，而不一定需要重叠的支持。我们推导出一个有效的算法的基础上，定期制定的OT，迭代通过应用Sinkhorn的算法随着坐标下降迭代。我们的模型的性能表现在常规网格与合成和真实的数据集，以及复杂的三角形几何形状的皮层与神经成像中的应用。
2019-01-08 cs.LG stat.ML
A Riemannian Block Coordinate Descent Method for Computing the Projection Robust Wasserstein Distance
University of California, Davis（加利福尼亚大学戴维斯分校）
Wasserstein距离在机器学习和深度学习中变得越来越重要。尽管沃瑟斯坦距离很受欢迎，但由于维数灾难，它很难近似。最近提出的一种减轻维数灾难的方法是将高维概率分布的采样数据投影到低维子空间上，然后计算投影数据之间的Wasserstein距离。然而，这种方法需要解决Stiefel流形上的最大-最小问题，这在实践中非常具有挑战性。唯一直接解决这个问题的现有工作是RGAS（Riemannian Gradient Ascent with Sinkhorn Iteration）算法，该算法需要在每次迭代中解决熵正则化的最优运输问题，因此对于大规模问题来说代价高昂。在本文中，我们提出了一个黎曼块坐标下降（RBCD）方法来解决这个问题，这是基于一个新的正则化最大-最小问题的Stiefel流形上的重新制定。我们证明了RBCD得到$ε$-平稳点的算术运算的复杂性是$O(ε^{-3})$。这显著提高了RGAS的相应复杂度，即$O(ε^{-12})$。此外，我们的RBCD具有非常低的每次迭代的复杂度，因此适合于大规模的问题。在模拟数据集和真实数据集上的数值结果表明，该方法比现有的方法更有效，特别是当采样数据的数量非常大时。
2021-09-27 cs.LG math.OC stat.ML
Subspace Robust Wasserstein Distances
CREST-ENSAE（法国国家信息与自动化研究所（CREST-ENSAE））；Google Brain（谷歌大脑）；Palaiseau（帕莱索（此处为城市名，根据提取规则，城市名不应作为机构，原文本中Palaiseau是CREST-ENSAE的所在地，不单独作为机构提取））
在高维环境中，离散度量之间的Wasserstein距离仍然是一个挑战。最近的工作提倡一个两步的方法，以提高鲁棒性和促进计算的最佳运输，例如使用随机实数线上的预测，或初步量化的措施，以减少其支持的大小。在这项工作中，我们提出了一个“最大-最小”的强大的Wasserstein距离的变体，考虑到最大可能的距离，可以实现两个措施之间，假设它们可以正交投影在一个较低的$k$维子空间。另外，我们表明，相应的“最小-最大”OT问题有一个紧凸松弛，可以铸造为找到一个最佳的运输计划，以低运输成本，其中，代价可替换地被定义为位移的二阶矩矩阵的$k$最大特征值之和（或匹配）对应于该计划（通常的OT定义只考虑该矩阵的迹）。我们表明，这两个数量继承了OT几何的几个有利的属性。我们提出了两种算法来计算后者制定使用熵正则化，并说明这种方法的经验的兴趣。
2019-09-02 cs.LG stat.ML
Subspace Detours Meet Gromov-Wasserstein
Univ. Bretagne Sud（布列塔尼大学）；LMBA；IRISA；IMT Atlantique；Lab-STICC
在最优运输方法的背景下，Muzellec和Cuturi（2019）最近提出了子空间绕道方法。它包括建立一个接近最优的运输计划的措施空间中的最优运输计划在一个明智的选择的子空间，在其上的原始措施的投影。本文的贡献是扩展这类方法的Gromov-Wasserstein问题，这是一种特殊类型的运输距离涉及内部几何的比较分布。推导出相关的形式主义和属性后，我们还讨论了一个具体的成本，我们可以显示与Knothe-Rosenblatt重排的连接。最后，我们给出了一个形状匹配问题的实验说明。
2021-10-21 cs.LG math.OC stat.ML
Projected Riemannian Gradient Descent for the Bures-Wasserstein Barycenter: Dimension-Independent Linear Convergence at Unit Step Size
National University of Singapore（新加坡国立大学）
该研究针对Bures-Wasserstein重心计算的二分性问题，提出投影黎曼梯度下降算法，在单位步长下实现与维度无关的线性收敛，多项式改进了迭代复杂度，还将该保证扩展到了不变矩阵投影场景。
2026-09-04 cs.LG math.OC quant-ph
Revisiting Sliced Wasserstein on Images: From Vectorization to Convolution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
传统的切片Wasserstein定义在两个概率测度之间，这两个概率测度具有作为向量的实现。当比较图像上的两个概率度量时，从业者首先需要将图像矢量化，然后通过使用样本矩阵和投影矩阵之间的矩阵乘法将它们投影到一维空间。之后，通过平均两个相应的一维投影概率测度来评估切片Wasserstein。然而，这种方法有两个局限性。第一个限制是矢量化步骤不能有效地捕获图像的空间结构;因此，后期切片过程变得难以收集差异信息。第二个限制是内存效率低下，因为每个切片方向是一个向量，具有相同的尺寸的图像。为了解决这些限制，我们提出了新的切片方法切片Wasserstein之间的概率测量图像的卷积运算符的基础上。通过在卷积算子中引入步长、伸缩和非线性激活函数，推导出卷积切片Wasserstein（CSW）及其变体。我们调查CSW的度量以及它的样本复杂性，它的计算复杂性，和它的连接到传统的切片Wasserstein距离。最后，我们证明了CSW在比较图像上的概率度量和训练图像上的深度生成建模方面优于传统的切片Wasserstein。
2022-09-23 cs.CV cs.LG stat.ML
Wasserstein Adversarial Examples on Univariant Time Series Data
Emory University（埃默里大学）；Zhejiang University（浙江大学）
对抗性示例是通过向正常示例添加不可区分的扰动来制作的，以便欺骗训练有素的深度学习模型进行错误分类。在计算机视觉的上下文中，这种不可分割性的概念通常由$L_{\infty}$或其他规范限制。然而，这些规范是不合适的测量时间序列数据的不可否认性。在这项工作中，我们首次在Wasserstein空间中为时间序列数据提出了对抗性示例，并利用Wasserstein距离来限制正常示例和对抗性示例之间的扰动。我们介绍Wasserstein投影梯度下降（WPGD），一个对抗攻击方法扰动单变时间序列数据。我们利用Wasserstein距离在一维空间中的封闭解，利用梯度下降方法有效地计算WPGD的投影步长。我们进一步提出了一个两步投影，以便在Wasserstein空间中搜索对抗性示例时受到欧氏范数的指导和约束，从而产生更有效和更不易察觉的扰动。我们经验性地评估了在医疗保健领域的几个时间序列数据集的攻击。大量的实验结果表明，Wasserstein攻击是强大的，可以成功地攻击大多数的目标分类器，具有较高的攻击成功率。为了更好地研究Wasserstein对抗性示例的性质，我们评估了一种名为Wasserstein平滑的强大防御机制，用于潜在的认证鲁棒性防御。虽然防御可以实现一些准确性增益，但在许多情况下仍然存在局限性，并且为开发更强的认证鲁棒性方法留出了空间，以针对单变时间序列数据的Wasserstein对抗性…
2023-03-22 cs.AI cs.LG
Unsupervised learning of multimodal image registration using domain adaptation with projected Earth Move's discrepancies
Institute of Medical Informatics, Universität zu Lübeck（吕贝克大学医学信息学研究所）
多模态图像配准对于深度学习方法来说是一个非常具有挑战性的问题。目前的大多数工作集中在监督学习，需要标记的训练扫描，并可能产生的模型，偏向于注释结构或无监督的方法，是基于手工制作的相似性度量，因此可能不会优于他们的经典非训练的同行。我们认为，无监督的领域自适应可以克服目前的限制，多模式注册，很难定义好的指标是有益的。领域自适应到目前为止主要限于分类问题。我们提出了第一次使用无监督领域自适应离散多模态注册。基于量化位移标签可用作监督的源域，我们使用分类器差异将网络的输出分布转换为更好地类似于目标域（其他模态）。为了改进2D直方图的切片Wasserstein度量，我们提出了一种新的近似，将预测投影到1D中并计算其累积和的L1距离。我们的概念验证证明了从犬MRI扫描的单模态到多模态（多对比度）2D配准的域转移的适用性，并将配准精度从33%（使用切片Wasserstein）提高到44%。
2020-05-28 cs.CV cs.LG eess.IV
Convergence of SGD for Training Neural Networks with Sliced Wasserstein Losses
Université Paris Cité（巴黎城市大学）；CNRS（法国国家科学研究中心）
本文利用Bianchi等人的理论，证明了在切片Wasserstein损失下训练神经网络的固定步长SGD轨迹收敛于梯度流方程，并在更严格条件下收敛于广义临界点。
2024-03-18 cs.LG math.OC math.PR
Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning
Langevin算法是具有加性噪声的梯度下降方法。它们已经在马尔可夫链蒙特卡罗（MCMC）采样，优化和学习中使用了几十年。它们在无约束非凸优化和学习问题中的收敛性在过去几年中得到了广泛的研究。其他工作研究了投影Langevin算法的抽样从对数凹分布限制凸紧集。对于学习和优化，对数凹分布对应于凸损失。在本文中，我们分析了非凸损失的情况下，紧凸约束集和IID外部数据变量。我们将此方法称为投影随机梯度Langevin算法（PSGLA）。我们表明，该算法实现了$O(T^{-1/4}(\log T)^{1/2})$从其目标分布在1-Wasserstein距离的偏差。对于优化和学习，我们表明，该算法实现$ε$ -次优的解决方案，平均而言，只要它运行的时间是多项式在$ε^{-1}$和稍微超指数的问题维度。
2020-12-22 cs.LG math.OC math.PR
Wasserstein distributional robustness of neural networks
University of Oxford（牛津大学）
该研究利用Wasserstein分布鲁棒优化重构神经网络对抗攻击问题，提出含FGSM、PGD为特例的一阶及多步攻击算法，给出对抗准确率的渐近估计，并通过CIFAR-10数据集实验验证理论结果。
2023-06-16 cs.CV cs.LG math.OC
