Linear Time Sinkhorn Divergences using Positive Features
CREST, ENSAE（法国国家信息与自动化研究所（INRIA）- 经济科学与统计应用中心（CREST）、法国国立统计与经济管理学院（ENSAE））；Google Brain（谷歌大脑）
虽然Sinkhorn分歧现在在数据科学中经常用于比较概率分布，但计算它们所需的计算工作量仍然很昂贵，通常以支持这些分布的大小$n$的二次增长。实际上，用熵正则化求解最优运输（OT）需要计算重复应用于向量的$n\times n$核矩阵（$n\times n$成对地面成本矩阵的指数）。我们建议使用$c(x,y)=-\log\dotp{φ(x)}{φ(y)}$形式的地面费用，其中$φ$是从地面空间到正正交$\RR^r_+$的映射，其中有$r\ll n$。这个选择等价地产生一个内核$k(x,y)=\dotp{φ(x)}{φ(y)}$，并确保Sinkhorn迭代的成本按$O(nr)$缩放。我们表明，通常的成本函数可以近似使用这种形式。此外，我们利用这样一个事实，即我们的方法产生的近似仍然完全可微的输入分布，而不是以前提出的自适应低秩近似的内核矩阵，训练更快的变种OT-GAN \cite{salimans2018improving}。
2020-10-26 cs.LG stat.ML
SinkSLOT: Sinkhorn via Sparse Lifted Optimal Transport
Sorbonne Université（索邦大学）；King’s College London（伦敦国王学院）
本文提出SinkSLOT算法，通过引入非独立先验耦合的期望切片提升传输计划稀疏化Gibbs核，解决标准Sinkhorn-Knopp算法的局限，实验显示其在合成基准上加速效果显著，且所得散度可应用于梯度流实验。
2026-08-31 cs.LG
Sinkhorn Barycenters with Free Support via Frank-Wolfe Algorithm
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Imperial College London（帝国理工学院）
我们提出了一种新的算法来估计任意概率分布相对于Sinkhorn发散的重心。基于Frank-Wolfe优化策略，我们的方法通过增量填充重心的支持来进行，而不需要任何预分配。我们考虑离散以及连续分布，证明所提出的算法在这两种设置的收敛速度。我们的分析的关键要素是一个新的结果表明，在紧凑的域上的Sinkhorn发散具有Lipschitz连续梯度的总变差和表征的样本复杂性的Sinkhorn潜在的。实验验证了该方法在实际应用中的有效性。
2019-05-30 cs.LG math.ST stat.ML
LSMI-Sinkhorn: Semi-supervised Mutual Information Estimation with Optimal Transport
AAII, University of Technology Sydney（澳大利亚悉尼科技大学AAII）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能项目）；Carnegie Mellon University（卡内基梅隆大学）
针对难以获取大量配对样本的互信息估计难题，提出基于最优传输的半监督LSMI-Sinkhorn算法，仅需少量配对样本结合非配对样本即可高效估计平方损失互信息，在图像匹配等任务中表现有效。
2021-06-27 cs.LG stat.ML
Screening Sinkhorn Algorithm for Regularized Optimal Transport
LITIS EA4108；University of Rouen Normandy（诺曼底鲁昂大学）；INSA, University of Rouen Normandy（诺曼底鲁昂大学INSA）；Criteo AI Lab, Criteo Paris（Criteo巴黎Criteo人工智能实验室）
在本文中，我们介绍了一种新的策略，有效地近似两个离散措施之间的Sinkhorn距离。在确定正则化Sinkhorn问题的对偶解的可忽略的组件后，我们建议在进入Sinkhorn问题之前通过直接将它们设置为该值来筛选这些组件。这使我们能够解决一个较小的Sinkhorn问题，同时确保近似可证明的保证。更正式地说，该方法是基于一个新的配方的对偶Sinkhorn发散问题和这个问题的KKT最优性条件，使识别的对偶组件进行筛选。这种新的分析导致了Screenkhorn算法。我们说明了Screenkhorn在复杂任务上的效率，例如降维和涉及正则化最优运输的域适应。
2020-01-18 cs.LG stat.ML
Confident Sinkhorn Allocation for Pseudo-Labeling
Amazon（亚马逊）
本文针对无结构数据下伪标签易因过度自信和阈值敏感而错误分配的问题，提出基于最优传输、仅向高置信样本分配标签的 CSA，并改进集成模型 PAC-Bayes 界，性能超过现有方法。
2024-03-05 cs.LG
Sinkhorn Barycenter via Functional Gradient Descent
University of Pennsylvania（宾夕法尼亚大学）
本文研究了Sinkhorn发散下概率分布重心的计算问题。这个问题最近在各个领域都有应用，包括图形，学习和视觉，因为它提供了一种有意义的机制来聚合知识。不同于以往的方法，直接在概率测度空间中操作，我们重铸的Sinkhorn重心问题作为一个无约束的功能优化的实例，并开发了一种新的功能梯度下降方法命名为Sinkhorn下降（SD）。我们证明了SD收敛到一个平稳点在一个次线性的速度，并在合理的假设下，我们进一步表明，它渐近找到一个全局极小的Sinkhorn重心问题。此外，通过提供一个平均场分析，我们表明SD保持弱收敛的经验措施。重要的是，SD的计算复杂性在维度$d$中线性缩放，并且我们通过解决$100$维Sinkhorn重心问题来证明其可扩展性。
2020-07-20 cs.LG stat.ML
Sinkhorn Algorithm as a Special Case of Stochastic Mirror Descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一个新的观点，著名的Sinkhorn算法显示，这是一个特殊的情况下，增量/随机镜像下降。为了看到这一点，我们应该简单地在镜像映射和目标函数中插入Kullback-Leibler散度。由于问题具有无界区域，目标函数既不光滑也没有有界梯度。然而，人们仍然可以使用相对光滑的概念来处理这个问题，得到随机目标是1-相对光滑的。发现的等价性使我们能够提出1）新的方法来优化运输，2）Sinkhorn算法的扩展超出两个约束。
2019-09-16 cs.LG math.OC stat.ML
Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA Paris（法国国家信息与自动化研究所巴黎分所）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；IP Paris（巴黎理工学院）
机器学习中的许多问题都可以表述为在测度的向量空间上优化凸泛函。本文研究了无限维情形下镜像下降算法的收敛性。定义Bregman发散通过方向导数，我们推导出该计划的相对光滑和凸的泛函对的收敛性。这样的假设允许处理非光滑泛函，如Kullback-Leibler（KL）分歧。应用我们的结果到联合分布和KL，我们证明了连续情形下熵最优输运的Sinkhorn原迭代对应于镜像下降，并得到了它的（次）线性收敛的新证明.我们还表明，期望最大化（EM）总是可以正式书面作为一个镜像下降。当只优化的潜在分布，而固定的混合物参数-这对应于Richardson-露西反卷积方案在信号处理-我们得到次线性收敛率。
2022-10-11 cs.LG math.OC stat.ML
Imitation Learning with Sinkhorn Distances
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
模仿学习算法已被解释为分歧最小化问题的变体。在专家和学习者之间比较占用测量的能力对于他们从示范示教学习中学习的有效性至关重要。在本文中，我们提出了易于处理的解决方案，制定模仿学习之间的占用措施的Sinkhorn距离最小化。该配方结合了宝贵的性能的最佳运输指标比较非重叠的分布与余弦距离成本定义在一个adversarially学习的特征空间。这导致了一个高度区分的评论家网络和最佳的运输计划，随后指导模仿学习。我们评估所提出的方法使用奖励度量和Sinkhorn距离度量的MuJoCo实验的数量。有关实现和再现结果，请参考以下存储库https://github.com/gpapagiannis/sinkhorn-imitation。
2022-07-02 cs.LG cs.RO stat.ML
Sinkhorn Treatment Effects: A Causal Optimal Transport Measure
Department of Statistics, University of Washington, Seattle, WA, USA（华盛顿大学统计学系）；Department of Health Care Policy, Harvard Medical School, Boston, MA, USA（哈佛医学院医疗政策系）
本文提出Sinkhorn治疗效应，作为因果分布差异的熵最优传输度量，通过核方法构建去偏估计器，并提出聚合检验方法以提高测试效力。
2026-05-08 cs.LG math.ST stat.ME
Unbalanced W-Flow: Unbalanced Wasserstein Drifting under Finite-Batch Marginal Fluctuations
Yonsei University（延世大学）；KAIST（韩国科学技术院）
该研究针对W-Flow在有限批量波动下的缺陷，提出UW-Flow模型，用非平衡Sinkhorn散度替代平衡Sinkhorn能量，经理论分析与实验验证，在多数据集生成任务中提升了性能。
2026-10-14 cs.CV cs.LG
Estimating 2-Sinkhorn Divergence between Gaussian Processes from Finite-Dimensional Marginals
Aalto University（阿尔托大学）
\emph{Optimal Transport}（OT）已成为机器学习和计算机视觉中的重要计算工具，为研究概率测度提供了几何框架。不幸的是，OT受到维数灾难的影响，需要对实际计算进行正则化，其中\emph{entropic regularization}是一种流行的选择，它可以是“无偏的”，从而产生\emph{Sinkhorn divergence}。在这项工作中，我们研究的收敛性估计之间的2-Sinkhorn分歧\emph{Gaussian processes}（GP）使用其有限维的边缘分布。我们几乎肯定收敛的分歧时，边缘采样根据一些基本措施。此外，我们表明，使用$n$边缘的发散尺度的估计误差在一个无量纲的方式为$\mathcal{O}\left(ε^ {-1}n^{-\frac{1}{2}}\right)$，其中$ε$是熵正则化的大小。
2021-02-05 cs.LG
Nested Stochastic Algorithm for Generalized Sinkhorn distance-Regularized Distributionally Robust Optimization
本文针对广义Sinkhorn距离正则化的非凸分布鲁棒优化问题，推导出嵌套随机优化的对偶形式，提出嵌套SGD算法并证明其多项式复杂度，数值实验验证了算法的效率与鲁棒性。
2025-06-26 cs.LG math.OC stat.ML
SoLar: Sinkhorn Label Refinery for Imbalanced Partial-Label Learning
Zhejiang University（浙江大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Chongqing University（重庆大学）；RIKEN（理化学研究所）
部分标签学习（PLL）是一种特殊的弱监督学习任务，其中训练样本通常与一组候选标签而不是单个基础事实相关联。虽然在这个领域已经提出了各种标签消歧方法，但它们通常假设在许多现实世界的应用中可能不适用的类平衡场景。经验上，我们观察到退化的性能的先验方法时，面临的组合挑战，从长尾分布和部分标记。在这项工作中，我们首先确定的主要原因，以前的工作失败。随后，我们提出了SoLar，一种新的基于最优传输的框架，允许改进消歧标签，以匹配边缘类先验分布。SoLar还采用了一种新的系统机制，用于在PLL设置下估计长尾类先验分布。通过大量的实验，SoLar在标准化基准测试中表现出比以前最先进的PLL方法更好的结果。代码和数据可在https://github.com/hbzju/SoLar上获得。
2022-09-21 cs.CV cs.LG
Optimal Transport-inspired Deep Learning Framework for Slow-Decaying Kolmogorov n-width Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel
SISSA（国际高等研究学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
提出融合最优传输与神经网络的 ROM 框架，以 Wasserstein 核 kPOD 和 Sinkhorn 损失提升慢衰减 Kolmogorov n-width 问题的精度、效率与鲁棒性。
2025-01-10 cs.LG cs.NA math.NA
Tsallis Regularized Optimal Transport and Ecological Inference
Ecole Polytechnique（巴黎综合理工学院）；Data61, the Australian National University & the University of Sydney（Data61、澳大利亚国立大学与悉尼大学）；The Australian National University & Data61（澳大利亚国立大学与Data61）；Ecole Polytechnique & Sony CS Labs, Inc.（巴黎综合理工学院与索尼计算机科学实验室公司）
最优运输是计算概率分布之间距离的强大框架。我们统一的两个主要方法，最佳运输，即蒙格Kantorovitch和SinkhornCuturi，我们定义为Tsallis正则化最佳运输（\trot）。\trot ~内插了从Wasserstein到Kullback-Leibler的一系列丰富的畸变，包括Pearson、Neyman和Hellinger发散，仅举几例。我们发现，度量性能已知的Sinkhorn-Cuturi推广到\trot，并提供有效的算法，找到最佳的运输计划与正式的收敛性证明。我们还提出了第一个应用程序的最优运输问题的生态推理，即重建联合分布从他们的边缘，一个问题的社会科学的巨大利益。\trot ~提供了一个方便的生态推理框架，允许计算联合分布-也就是说，最优的交通计划本身-当侧信息可用时，这是\textit{e.g.}通常在政治学中代表的。对2012年美国总统选举数据的实验显示了\trot ~在忠实重建种族群体和选民偏好联合分布方面的潜力。
2016-09-15 cs.LG
On Fitting Flow Models with Large Sinkhorn Couplings
Apple（苹果公司）；University of Toronto（多伦多大学）；University of Melbourne（墨尔本大学）
针对无配对场景下流模型训练慢、推理成本高的问题，本文通过分片计算扩展批量规模，结合低熵正则化的大尺寸Sinkhorn耦合拟合流模型，在合成与图像生成任务中实现了性能提升。
2025-09-30 cs.LG stat.ML
Wasserstein Variational Inference
Radboud University（拉德堡德大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了Wasserstein变分推断，一种基于最优运输理论的近似贝叶斯推断的新形式。Wasserstein变分推断使用一个新的分歧族，其中包括f-分歧和瓦瑟斯坦距离作为特殊情况。Wasserstein变分损失的梯度通过Sinkhorn迭代反向传播得到。这种技术产生了一种非常稳定的无似然训练方法，可用于隐式分布和概率程序。使用Wasserstein变分推断框架，我们介绍了几种新形式的自动编码器和测试其鲁棒性和性能对现有的变分自动编码技术。
2018-06-04 cs.LG stat.ML
SD-CGAN: Conditional Sinkhorn Divergence GAN for DDoS Anomaly Detection in IoT Networks
SD-CGAN通过引入Sinkhorn分歧和合成数据增强技术，提升物联网边缘网络中DDoS异常检测的准确性和效率。
2025-11-28 cs.CR cs.LG
Statistical and Topological Properties of Gaussian Smoothed Sliced Probability Divergences
Criteo AI Lab（Criteo 人工智能实验室）；Université Technologique de Compiègne（贡比涅技术大学）；Université de Rouen（鲁昂大学）；INSA de Rouen（鲁昂国立应用科学学院）
最近引入了高斯平滑切片Wasserstein距离来比较概率分布，同时保护数据的隐私。在诸如领域自适应之类的应用中，它已被证明提供与其非私有（非平滑）对应物类似的性能。然而，这种度量的计算和统计特性尚未得到很好的建立。在本文中，我们分析了这个距离的理论性质，以及那些广义版本表示为高斯平滑切片分歧。我们表明，光滑和切片保持度量性质和弱拓扑。我们还提供了这种分歧的样本复杂性的结果。由于隐私级别取决于高斯平滑的量，我们分析了该参数对发散的影响。我们支持我们的理论研究结果与高斯平滑和切片版本的Wassertein距离，Sinkhorn分歧和最大平均差异（MMD）的实证研究。在保护隐私的领域自适应的背景下，我们确认，这些高斯平滑切片Wasserstein和MMD分歧执行得很好，同时确保数据隐私。
2021-10-20 cs.AI cs.CR cs.LG
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）
尽管在海量数据上训练的机器学习模型在多个领域取得了突破性进展，但由于数据访问受限，它们在隐私敏感领域的部署仍然有限。使用私有数据的隐私约束训练的生成模型可以避开这一挑战，而是提供对私有数据的间接访问。我们提出了DP-Sinkhorn，一种新的基于最优传输的生成方法，用于从具有差分隐私的私有数据中学习数据分布。DP-Sinkhorn最大限度地减少了Sinkhorn发散，一个计算效率高的近似精确的最佳传输距离，模型和数据之间的差异私人的方式，并使用一种新的技术控制的偏差方差权衡梯度估计。与现有的训练差异私有生成模型的方法不同，这些方法主要基于生成对抗网络，我们不依赖于对抗目标，这是众所周知的难以优化，特别是在存在隐私约束所施加的噪声的情况下。因此，DP-Sinkhorn易于训练和部署。在实验上，我们改进了最先进的多个图像建模基准，并显示了信息丰富的RGB图像的差异私人合成。项目页面：https://nv-tlabs.github.io/DP-Sinkhorn。
2021-11-29 cs.CR cs.LG
Distributional Reinforcement Learning with Regularized Wasserstein Loss
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出SinkhornDRL算法，利用正则化Wasserstein损失（Sinkhorn散度）最小化Bellman回报分布差异，理论证明其收缩性质，并在Atari游戏及多维奖励设定中表现优异。
2024-10-14 cs.LG stat.ML
Sinkhorn Divergence of Topological Signature Estimates for Time Series Classification
School of Computing, Electronics and Mathematics, Coventry University UK（考文垂大学计算机、电子与数学系）
在系统与控制工程中，例如在健康监测、故障检测和质量控制的背景下，区分从动态系统采样的时间序列的类别是一个常见的挑战。当不知道系统的基础模型、存在测量噪声以及需要解释长信号时，挑战会增加。在本文中，我们解决这些问题，一个新的非参数分类的基础上拓扑签名。我们的模型学习类作为持久同源图上的加权核密度估计（KDEs），并使用图KDEs空间上的Sinkhorn分歧来量化接近度，从而预测新的轨迹标签。我们表明，这种方法准确地区分状态的混沌系统是接近的参数空间，其性能是鲁棒的噪声。
2019-02-14 cs.LG nlin.CD stat.ML
Feature-aligned N-BEATS with Sinkhorn divergence
Seoul National University（首尔大学）；Nanyang Technological University（南洋理工大学）
本文提出特征对齐N-BEATS，通过Sinkhorn散度逐堆叠对齐多源域特征分布，在保留N-BEATS可解释性的同时学习域不变特征，实验验证了其预测与泛化能力。
2024-02-25 cs.AI cs.LG math.OC
Sinkhorn Label Allocation: Semi-Supervised Classification via Annealed Self-Training
Stanford University（斯坦福大学）
自我训练是半监督学习的标准方法，其中学习者自己对未标记数据的预测在训练期间用作监督。在本文中，我们重新解释这个标签分配过程的例子和类之间的最佳运输问题，其中的成本分配一个例子到一个类是介导的分类器的当前预测。这种提法有利于标签分配的实际退火策略，并允许通过灵活的上限约束的类比例的先验知识。这些分配问题的解决方案可以有效地近似使用Sinkhorn迭代，从而使其在标准随机优化算法的内环中使用。我们证明了我们的算法的有效性CIFAR-10，CIFAR-100，和SVHN数据集相比，FixMatch，一个国家的最先进的自训练算法。我们的代码可在https://github.com/stanford-futuredata/sinkhorn-label-allocation上获得。
2021-06-12 cs.LG stat.ML
Graph Matching Relaxations and Amortization for Supervised Graph Prediction
Institut Polytechnique de Paris（巴黎理工学院）；École Polytechnique（巴黎综合理工学院）；Télécom Paris（巴黎电信学院）
针对监督图预测中的置换不变损失，研究最优传输松弛并证明GW最优，提出用可微Sinkhorn匹配器摊销图匹配，联合学习预测与匹配，在含新任务的多个问题上验证效率。
2026-09-28 cs.LG stat.ML
Regularized Optimal Transport and the Rot Mover's Distance
Qucit；CNRS（法国国家科学研究中心）
本文提出了离散最优运输问题光滑凸正则化的统一框架。在这种情况下，正则化的最优运输原来是等价的矩阵接近度问题的Bregman分歧。因此，我们的框架自然地推广了先前提出的正则化，该正则化基于与库尔贝克-莱布勒散度相关的Boltzmann-Shannon熵，并使用Sinkhorn-Knopp算法求解。我们称之为正则化的最佳运输距离的rotmover的距离在参考经典的推土机的距离。我们开发了两个通用的计划，我们分别称之为交替缩放算法和非负交替缩放算法，有效地计算正则化的最优计划取决于是否域的正则化位于非负正交或不。这些计划是基于Dykstra的算法与交替Bregman投影，并进一步利用牛顿-拉夫森方法时，适用于可分离的分歧。我们增强了可分离的情况下，稀疏扩展，以处理高数据维度。我们还实例化我们提出的框架，并讨论了固有的特性，众所周知的正则化和统计分歧的机器学习和信息几何社区。最后，我们展示了我们的方法的优点与实验使用合成数据来说明不同的正则化和处罚的解决方案，以及真实世界的数据模式识别应用程序的音频场景分类的效果。
2018-07-14 cs.LG stat.ML
Sinkhorn Distance Minimization for Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；Tencent YouTu Lab（腾讯优图实验室）
针对 KL、RKL、JS 散度在师生分布低重叠时的模式偏差问题，提出 SinKD，用批次级 Sinkhorn 距离实现更精确的知识蒸馏，并在 GLUE/SuperGLUE 上验证其跨架构优势。
2024-02-27 cs.CL cs.LG
Sliced-Regularized Optimal Transport
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种新的正则化最优传输（OT）方法，称为切片正则化最优传输（SROT）。与熵正则化最优传输（EOT）不同，SROT将正则化方向指向平滑的切片最优传输（SOT）计划。我们提供了SROT的正式定义，推导了其对偶形式，并提供了SROT的后贝叶斯解释。然后，我们开发了一种类似Sinkhorn的算法，以高效计算，保留与EOT相同的可扩展性优势。通过将可扩展的SOT计划作为先验，SROT在相同正则化水平下比EOT更准确地近似了精确的OT计划。此外，所得到的传输计划优于参考的SOT计划本身。我们还引入了由SROT引起的相应的OT分歧度，称为SROT分歧度，并分析了其拓扑和计算性质。最后，我们通过合成数据集和颜色传输任务的实验验证了我们的方法，证明SROT在近似精确OT方面优于EOT和SOT。额外的梯度流实验进一步突显了SROT分歧度的优势。
2026-09-29 cs.LG stat.ML
SinSim: Sinkhorn-Regularized SimCLR
University of Waterloo（滑铁卢大学）
本文提出 SinSim，将最优传输中的 Sinkhorn 正则化引入 SimCLR，以构建更具几何结构的特征空间，并在多个数据集上验证其优于或比肩主流自监督方法。
2025-02-13 cs.CV cs.LG stat.ML
Hierarchical Optimal Transport for Multimodal Distribution Alignment
DSO National Laboratories（新加坡国防科学技术局国家实验室）；Georgia Institute of Technology（佐治亚理工学院）
在许多机器学习应用中，有必要通过对齐有意义地聚合不同但相关的数据集。基于最优传输（OT）的方法将对齐作为发散最小化问题：目的是使用瓦瑟斯坦距离作为发散度量来转换源数据集以匹配目标数据集。我们引入了一个层次化的配方OT利用数据中的聚类结构，以提高在嘈杂，模糊，或多模态设置对齐。为了解决这个问题的数值，我们提出了一个分布式ADMM算法，也利用了Sinkhorn距离，因此它有一个有效的计算复杂度，规模与最大集群的大小平方。当两个数据集之间的转换是单一的，我们提供的性能保证，描述何时以及如何对齐的集群对应关系可以恢复与我们的配方，以及提供最坏情况下的数据集几何这样的策略。我们将这种方法应用于将数据建模为低秩高斯混合物的合成数据集，并研究数据的不同几何属性对对齐的影响。接下来，我们将我们的方法应用于神经解码应用程序，其目标是预测猕猴初级运动皮层神经元群体的运动方向和瞬时速度。我们的研究结果表明，当聚类结构存在于数据集中，并且在试验或时间点上是一致的，利用这种结构的分层对齐策略可以显着改善跨域对齐。
2019-11-03 cs.LG stat.ML
On the Wasserstein Gradient Flow Interpretation of Drifting Models
Google DeepMind（谷歌DeepMind）
本文通过Wasserstein梯度流分析了漂移模型，揭示了GMD框架与WGF路径之间的关系，展示了三种主要结果：漂移模型中的算法对应于KL散度的WGF极限点，实际实现的算法对应于Sinkhorn散度的固定点但缺乏某些特性，同时该方法可以扩展到其他WGF的极限点，如MMD、切线Wasserstein距离和GAN批评者函数。
2026-05-21 cs.AI cs.LG stat.ML
Statistical Guarantees for Distributionally Robust Optimization with Optimal Transport and OT-Regularized Divergences
Texas State University（德克萨斯州立大学）
本文研究了基于最优传输和OT正则化分歧的分布鲁棒优化在有限样本下的统计性能保障，推导了基于DRO的对抗训练的集中不等式，并首次覆盖了软约束范数球OT成本函数，提升了对抗训练的鲁棒性。
2026-03-29 cs.LG stat.ML
Sinkhorn Based Associative Memory Retrieval Using Spherical Hellinger Kantorovich Dynamics
本文提出基于Sinkhorn的关联记忆检索方法，利用球面Hellinger Kantorovich动力学实现抗扰动恢复，通过几何收敛性和盆地不变性提升存储模式的稳定性与恢复能力。
2026-03-21 cs.AI cs.LG math.OC
Mapping in a cycle: Sinkhorn regularized unsupervised learning for point cloud shapes
The University of Hong Kong（香港大学）；Fuzhou University（福州大学）
我们提出了一个无监督学习框架，其前提任务是基于循环一致性公式找到来自同一类别的点云形状之间的密集对应关系。为了从点云数据中学习有区别的逐点特征，我们在公式中加入了一个基于Sinkhorn归一化的正则化项，以增强所学习的逐点映射，使其尽可能双射。此外，通过引入源形状的随机刚性变换，形成三重循环，提高了模型对扰动的鲁棒性。综合实验表明，通过我们的框架学习的逐点特征有利于各种点云分析任务，例如部分形状配准和关键点转移。我们还表明，学习到的逐点特征可以通过监督方法来利用完整的训练数据集或其中的一小部分来提高零件分割性能。
2020-07-19 cs.CV cs.LG
DOS: Distilling Observable Softmaps of Zipfian Prototypes for Self-Supervised Point Representation
DOS通过Zipfian原型和可观察点软图蒸馏，提升3D点云自监督学习的语义分割和物体检测性能。
2025-12-12 cs.CV cs.LG
R-divergence for Estimating Model-oriented Distribution Discrepancy
Macquarie University（麦考瑞大学）
针对现实数据非独立同分布、需判断数据集分布是否一致的问题，提出面向模型的R-散度，通过混合数据最小假设的经验风险差衡量分布差异，在多任务中达最优性能，还可用于训练鲁棒神经网络。
2023-10-02 cs.LG
Variational Self-Supervised Contrastive Learning Using Beta Divergence
Sabanci University（萨班哲大学）；Türkiye（土耳其）
针对多标签场景下未标注含噪数据的判别表示学习问题，提出结合 beta 散度的变分对比自监督方法 VCL，并在人脸理解多标签实验中取得优于现有自监督方法的准确率。
2024-05-08 cs.CV cs.LG
Semi-supervised anomaly detection algorithm based on KL divergence (SAD-KL)
Jeju National University（济州大学）
在半监督学习的异常数据检测中，通常将未标记数据假设为正常数据。然而，当未标记数据的分布不同于标记正态数据集的分布时，这种假设会导致不可避免的检测错误。针对标记数据和未标记数据之间的分布差距所带来的问题，提出了一种基于KL散度的半监督异常检测算法（SAD-KL）。该方法由两个步骤组成：（1）估计已标记正态数据和未标记数据的局部离群因子的概率密度函数的KL散度;（2）利用KL散度估计未标记数据中正态数据的检测概率和检测阈值。我们表明，PDF的LOFs遵循伯尔分布，并使用它们进行检测。一旦计算出阈值，SAD-KL就迭代地运行，直到标记变化率低于预定义阈值。实验结果表明，SAD-KL算法在学习时间较短的情况下，仍具有较好的检测概率。
2022-03-28 cs.CV cs.LG
Robust Semi-supervised Learning via $f$-Divergence and $α$-Rényi Divergence
The Alan Turing Institute（阿兰·图灵研究所）；Sharif University of Technology（谢里夫理工大学）；Massachusetts Institute of Technology（麻省理工学院）
本文基于 $f$-散度和 $α$-Rényi 散度提出适用于半监督自训练的经验风险函数与正则化方法，提升了对含噪伪标签的鲁棒性，并在特定条件下优于传统自训练方法。
2024-05-01 cs.IT cs.LG math.IT
AlphaMatch: Improving Consistency for Semi-supervised Learning with Alpha-divergence
University of Texas Austin（德克萨斯大学奥斯汀分校）
半监督学习（SSL）是通过联合利用标记和未标记数据来实现更高效的机器学习的关键方法。我们提出了AlphaMatch，一个有效的SSL方法，利用数据增强，通过有效地执行标签之间的一致性的数据点和增强的数据来自他们。我们的主要技术贡献在于：1）使用alpha-发散度来优先考虑高置信度数据的正则化，实现与FixMatch相似的效果，但以更灵活的方式，以及2）提出一种基于优化的EM算法来加强一致性，该算法比最近SSL方法（如FixMatch，UDA和MixMatch）中使用的迭代正则化程序具有更好的收敛性。AlphaMatch简单且易于实现，并且在标准基准测试中始终优于现有技术，例如CIFAR-10，SVHN，CIFAR-100，STL-10。具体来说，我们在CIFAR-10上实现了91.3%的测试准确率，每个类别只有4个标记数据，大大提高了FixMatch之前最好的88.7%的准确率。
2020-11-23 cs.CV cs.LG
Deep Bregman Divergence for Contrastive Learning of Visual Representations
LMU Munich（慕尼黑大学）；Google Research（谷歌研究院）；Technical University of Munich（慕尼黑工业大学）
深度Bregman发散使用神经网络来测量数据点的发散，该神经网络超出欧几里得距离并且能够捕获分布上的发散。在本文中，我们提出了深度Bregman分歧，用于视觉表示的对比学习，我们的目标是通过训练基于功能Bregman分歧的额外网络来增强自监督学习中使用的对比损失。传统的对比学习方法仅仅基于单点之间的分歧，相比之下，我们的框架可以捕获分布之间的分歧，提高了学习表示的质量。我们展示了传统对比损失和我们提出的发散损失的组合优于基线和大多数以前的自监督和半监督学习方法，用于多分类和目标检测任务和数据集。此外，学习的表示在转移到其他数据集和任务时具有很好的泛化能力。源代码和我们的模型是补充，并将与纸发布。
2021-11-22 cs.AI cs.CV cs.LG
FedSiam: Towards Adaptive Federated Semi-Supervised Learning
USTC（中国科学技术大学）；UESTC（电子科技大学）；Purdue University（普渡大学）；Penn State University（宾夕法尼亚州立大学）；Georgia State University（佐治亚州立大学）
联邦学习（FL）已经成为一种有效的技术，可以在不实际共享数据和泄露隐私的情况下共同训练机器学习模型。然而，大多数现有的FL方法侧重于监督设置，忽略了未标记数据的利用。虽然有一些现有的研究试图将未标记的数据到FL，他们都不能保持性能保证或泛化能力，在各种现实世界的设置。在本文中，我们专注于设计一个通用框架FedSiam，以解决联邦半监督学习的不同场景，包括标签在客户端场景中的四个设置和标签在服务器场景中的两个设置。FedSiam是建立在一个到FL的连体网络上的，它有一个动量更新来处理未标记数据带来的非IID挑战。我们进一步提出了一个新的度量标准来衡量暹罗网络内的局部模型层的分歧。根据分歧，FedSiam可以自动选择图层级别的参数，以自适应的方式上传到服务器。在两种不同数据分布设置的场景下对三个数据集的实验结果表明，所提出的FedSiam框架优于最先进的基线。
2021-07-05 cs.LG
Weakly Supervised Object Segmentation by Background Conditional Divergence
Naval Surface Warfare Center Panama City Division（巴拿马城分部海军水面 warfare 中心）
提出基于背景条件散度的弱监督二值目标分割方法，通过聚类背景并创建反事实图像计算散度进行训练，在声纳和自然图像上均取得良好效果。
2025-11-04 cs.CV cs.LG
Divergence-aware Federated Self-Supervised Learning
NTU（南洋理工大学）；SenseTime Research（商汤科技研究院）
自监督学习（SSL）能够从集中可用的数据中学习显著的表示。最近的工作进一步实现了使用SSL的联邦学习，以从快速增长的分散式未标记图像（例如，从相机和电话），往往是由于隐私的限制。基于Siamese网络的SSL方法受到了广泛的关注。然而，这样的努力还没有揭示出对联邦自监督学习（FedSSL）架构的各种基本构建块的深刻见解。我们的目标是通过深入的实证研究来填补这一空白，并提出一种新的方法来解决分散数据的非独立同分布（非IID）数据问题。首先，我们介绍了一个广义的FedSSL框架，包括现有的SSL方法的基础上，暹罗网络，并提出了灵活性，迎合未来的方法。在这个框架中，服务器协调多个客户端进行SSL训练，并定期更新客户端的本地模型与聚合的全局模型。使用该框架，我们的研究揭示了FedSSL的独特见解：1）停止梯度操作，以前报道是必不可少的，并不总是必要的FedSSL; 2）保留本地知识的FedSSL客户端是特别有益的非IID数据。受这些见解的启发，我们提出了一种新的模型更新方法，联邦发散感知指数移动平均更新（FedEMA）。FedEMA使用全局模型的EMA自适应地更新客户端的局部模型，其中衰减率通过模型发散度动态地测量。大量的实验表明，FedEMA优于现有的方法3-4%的线性评价。我们希望这项工作将为未来的研究提供有益的见解。
2022-04-09 cs.AI cs.CV cs.DC
Learning Unlabeled Clients Divergence for Federated Semi-Supervised Learning via Anchor Model Aggregation
The Hong Kong University of Science and Technology（香港科技大学）；Rutgers University（罗格斯大学）
针对联邦半监督学习中无标签客户端模型难以可靠聚合的问题，提出 SemiAnAgg，利用全局模型与随机初始化锚模型评估其贡献，在多个基准上取得最先进性能。
2024-10-25 cs.AI cs.CV cs.LG
Self-supervised Normality Learning and Divergence Vector-guided Model Merging for Zero-shot Congenital Heart Disease Detection in Fetal Ultrasound Videos
University of Oxford（牛津大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出隐私保护的零样本CHD检测框架STUD，通过自监督正常性学习与DivMerge模型合并方法聚合多机构模型，在胎儿超声视频检测中显著优于单机构模型。
2025-03-10 cs.AI cs.CV cs.ET
Beyond Binary Classification: A Semi-supervised Approach to Generalized AI-generated Image Detection
本文提出TriDetect，一种半监督方法，通过发现潜在架构模式提升AI生成图像检测的泛化能力。
2025-11-23 cs.AI cs.CR cs.CV
ESAD: End-to-end Deep Semi-supervised Anomaly Detection
Shanghai AI Laboratory（上海人工智能实验室）；Huawei Cloud & AI（华为云与人工智能）
本文探讨了半监督异常检测，一个更实际的设置异常检测，其中提供了一个小的额外的一组标记的样本。我们提出了一个新的KL-分歧为基础的半监督异常检测的目标函数，并表明两个因素：互信息之间的数据和潜在的表示，和熵的潜在表示，构成一个完整的异常检测的目标函数。为了解决同时优化这两个因素的矛盾，我们提出了一种新的编码器-解码器-编码器结构，第一个编码器专注于优化互信息和第二个编码器专注于优化熵。这两个编码器被强制共享相似的编码，并对它们的潜在表示进行一致的约束。大量的实验表明，该方法在多个基准数据集上的性能明显优于几种最先进的方法，包括医疗诊断和几个经典的异常检测基准。
2021-10-21 cs.CV cs.LG
