Closing the convergence gap of SGD without replacement
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
无替换采样的随机梯度下降在实际中被广泛用于模型训练。然而，绝大多数SGD分析假设数据是通过替换采样的，并且当最小化的函数是强凸函数时，当SGD运行$T$迭代时，可以建立$\mathcal{O}\left(\frac{1}{T}\right)$速率。无替换SGD（SGDo）最近的一系列突破性工作建立了当最小化函数是强凸的并且是$n$光滑函数的和时的$\mathcal{O}\left(\frac{n}{T^2}\right)$收敛速率，以及二次和的$\mathcal{O}\left(\frac{1}{T^2}+\frac{n^3}{T^3}\right)$速率。另一方面，已知的最严格的下限假定了一个$Ω\left(\frac{1}{T^2}+\frac{n^2}{T^3}\right)$速率，从而在一般情况下有可能获得更好的SGDo收敛速率。在本文中，我们关闭这一差距，并表明，SGD没有更换时，达到$\mathcal{O}\left(\frac{1}{T^2}+\frac{n^2}{T^3}\right)$率的功能是一个二次的，并提供了一个新的下限$Ω\left(\frac{n}{T^2}\right)$的强凸函数，光滑函数的总和。
2020-07-09 cs.LG math.OC stat.ML
SGD without Replacement: Sharper Rates for General Smooth Convex Functions
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
研究光滑凸函数的随机梯度下降算法{ \em without replacement}（\sgdwor）.广泛观察到\sgdwor比真正的\sgd收敛得更快，其中每个样本都是独立绘制的{ \em with replacement} \cite{bottou2009curiously}，因此在实践中更受欢迎。但它的收敛性还没有得到很好的理解，因为没有替换的采样导致迭代和梯度之间的耦合。利用可交换对的方法来限定Wasserstein距离，给出了\sgdwor应用于{ \em一般光滑强凸}函数时的第一个非渐近结果.特别是，我们表明，\sgdwor收敛速度为$O(1/K^2)$，而\sgd是已知的收敛速度为$O(1/K)$，其中$K$表示通过数据的数量，并需要{ \em足够大}。在这种情况下，\sgdwor的现有结果需要额外的{ \em Hessian Lipschitz假设} \cite{gurbuzbalaban2015random,haochen2018random}。对于{ \em small} $K$，我们证明了对于{ \em一般光滑强凸}函数，\sgdwor可以达到与\sgd相同的收敛速度.此设置中的现有结果需要$K=1$，并且仅适用于广义线性模型\cite{shamir2016without}。此外，通过仔细的耦合分析，无论是大的和小的$K$，我们得到更好的依赖于问题相关的参数…
2020-02-27 cs.LG math.OC stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们研究分布式优化算法，最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能，重点是通信效率。在这样的设置中，天真地使用经典的随机梯度下降（SGD）或其变体（例如，SVRG）的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中，我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明，新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器，从而显着加快收敛。我们的实验表明，我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Improving statistical learning methods via features selection without replacement sampling and random projection
Instituto Politécnico Nacional（国家理工学院）
本研究提出整合无放回特征选择（FSWOR）和投影方法的机器学习框架，利用Kendall检验对脑癌微阵列数据集降维，结合LDA投影与朴素贝叶斯集成分类器，有效缓解过拟合，将分类准确率提升至96%。
2025-05-28 cs.AI cs.LG q-bio.QM
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond
KAIST（韩国科学技术院）；MIT（麻省理工学院）
在分布式学习中，局部SGD（也称为联邦平均）及其简单的基线小批量SGD是广泛研究的优化方法。这些方法的大多数现有的分析假设独立和无偏的梯度估计通过与替换抽样。相比之下，我们研究了基于洗牌的变体：minibatch和local Random Reshuffling，它们在没有替换的情况下绘制随机梯度，因此更接近实践。对于光滑函数满足Polyak-Jesojasiewicz条件，我们得到的收敛界（在大时代制度），这表明这些洗牌为基础的变种收敛速度比他们的替换同行。此外，我们证明了匹配下界表明我们的收敛性分析是紧的。最后，我们提出了一种算法修改称为同步洗牌，导致收敛速度快于我们的下限在近均匀设置。
2022-03-23 cs.LG math.OC stat.ML
Stochastic Extragradient with Random Reshuffling: Improved Convergence for Variational Inequalities
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对强单调、仿射和单调三类变分不等式问题，提供了带随机重排的随机额外梯度法（SEG-RR）的收敛性分析，证明了其比有放回采样SEG收敛更快且无需大批量，并实验验证了其优越性能。
2024-10-09 cs.GT cs.LG math.OC
Partially deterministic sampling for compressed sensing with denoising guarantees
University of British Columbia（不列颠哥伦比亚大学）；CNRS – PIMS International Research Laboratory（CNRS-PIMS国际研究实验室）
本文提出一种结合随机与确定性选择的优化采样方案，改进了图像压缩感知中生成和稀疏先验的采样效果，并提供了更优的样本复杂度和去噪保证。
2026-04-06 cs.IT cs.LG eess.SP
Random Shuffling Beats SGD Only After Many Epochs on Ill-Conditioned Problems
Princeton University（普林斯顿大学）；Weizmann Institute of Science（魏茨曼科学研究所）
最近，人们对研究无替换SGD的收敛速度很感兴趣，并证明在最坏情况下它比有替换SGD更快。然而，已知的下界忽略了问题的几何形状，包括它的条件数，而上界明确依赖于它。也许令人惊讶的是，我们证明了，当考虑到条件数，无替换SGD \emph{does not}显着改善与替换SGD在最坏情况下的界限，除非时代（通过数据）的数量大于条件数。由于机器学习和其他领域的许多问题都是病态的，并且涉及大型数据集，这表明对于现实的迭代预算，无替换不一定比有替换采样更好。我们表明这一点，提供新的下限和上限是紧（对数因子），二次问题与交换二次项，精确量化的依赖问题参数。
2021-12-03 cs.LG
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal（蒙特利尔大学）
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架，其中一组工作人员并行搜索信息量最大的示例，而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新，当采样建议与梯度的L2范数成比例时，该梯度的无偏估计也具有最小方差。我们的实验表明，这种方法降低梯度方差，即使在机器之间的同步成本不能忽略的情况下，其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers
Stanford University（斯坦福大学）；University of Oxford（牛津大学）
针对分布式数据集无法集中的隐私与通信限制问题，提出基于ADMM的分布式MCMC采样方案，兼具理论收敛保证与实验性能优势，可实现贝叶斯推理的不确定性量化。
2024-01-29 cs.LG cs.MA math.OC
Can Single-Shuffle SGD be Better than Reshuffling SGD and GD?
Massachusetts Institute of Technology（麻省理工学院）
我们提出了矩阵范数不等式，通过补充另一个不等式来扩展Recht-Ré（2012）关于非交换AM-GM不等式的猜想，该不等式解释了单次洗牌，这是一种广泛使用的无替换抽样方案，在开始时只洗牌一次，在Recht-Ré猜想中被忽略。而不是一般的半正定矩阵，我们限制我们的注意力，正定矩阵足够小的条件数，这是更相关的矩阵中出现的SGD分析。对于这样的矩阵，我们推测对应于SGD的有替换和无替换变体的矩阵乘积的均值满足一系列谱范数不等式，这些不等式可以概括为：“单洗牌SGD比随机洗牌SGD收敛得更快，随机洗牌SGD又比有替换SGD收敛得更快。“我们提出的定理，支持我们的猜想证明几个特殊情况。
2021-03-12 cs.LG math.OC
Eliciting Kemeny Rankings
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）
本研究将寻找Kemeny排序的偏好引出问题建模为对决式老虎机问题，推导了基于置信区间的近似界，提出了PAC解算法及自适应采样方法，并在合成数据上验证了方法的有效性。
2023-12-18 cs.LG stat.ML
Incremental Sampling Without Replacement for Sequence Models
Google（谷歌）
采样是一项基本技术，当重复采样没有益处时，通常需要不替换的采样。在机器学习中，采样对于从训练模型生成不同的输出是有用的。我们提出了一个优雅的采样过程，而无需从广泛的随机化程序，包括生成神经模型，依次构建输出。我们的程序是有效的，即使是指数大的输出空间。与以前的工作不同，我们的方法是渐进的，即，每次可以抽取一个样本，从而增加了灵活性。我们还提出了一个新的估计计算期望的样本不更换。我们表明，增量采样没有替换是适用于许多领域，例如，程序合成和组合优化。
2021-07-20 cs.DS cs.LG stat.ML
Incremental Without Replacement Sampling in Nonconvex Optimization
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
经验风险最小化的小批量分解方法通常在随机近似设置中进行分析，也称为替换抽样。另一方面，这些技术的现代实现是渐进的：它们依赖于不替换的采样，可用的分析要少得多。通过分析一个通用的增量梯度格式，我们为后一种变体提供了收敛性。对于这个方案，我们考虑恒定的，递减的或自适应的步长。在光滑的设置，我们得到明确的复杂性估计的时期计数器。在非光滑的设置，我们证明了该序列被吸引的最优性条件的问题的解决方案。
2023-01-06 cs.LG math.OC
Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement
University of Amsterdam（阿姆斯特丹大学）；ORTEC；CIFAR（加拿大高等研究院）
从分类分布中抽样的著名Gumbel-Max技巧可以扩展到对$k$元素进行抽样而无需替换。我们展示了如何隐式地将这种“Gumbel-Top- $k$”技巧应用于序列上的因子分解分布，允许使用随机束搜索绘制精确的样本而无需替换。即使对于指数级大的域，模型评估的数量也仅在$k$和最大采样序列长度中呈线性增长。该算法在采样和（确定性）束搜索之间建立了理论联系，并可用作原则性的中间替代方案。在翻译任务中，所提出的方法相比，有利的替代品，以获得不同的，但质量好的翻译。我们表明，无需替换采样的序列可以用于构建预期的重复级别BLEU得分和模型熵的低方差估计。
2019-05-29 cs.LG stat.ML
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出ACTS方法，通过自适应缩减搜索空间提高高维贝叶斯优化效率，改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Estimating Gradients for Discrete Random Variables by Sampling without Replacement
University of Amsterdam（阿姆斯特丹大学）；ORTEC（奥泰克）；CIFAR（加拿大高级研究所）
我们推导出一个无偏估计的离散随机变量的期望值的基础上抽样没有替换，减少方差，因为它避免了重复的样本。我们表明，我们的估计可以作为三个不同的估计Rao-Blackwellization。将我们的估计与REINFORCE相结合，我们获得了一个策略梯度估计，并使用一个内置的控制变量来减少其方差，该控制变量无需额外的模型评估。由此产生的估计是密切相关的其他梯度估计。一个玩具问题，分类变分自动编码器和结构化预测问题的实验表明，我们的估计是唯一的估计，始终是最好的估计在高和低熵设置。
2020-02-14 cs.LG stat.ML
WOR and $p$'s: Sketches for $\ell_p$-Sampling Without Replacement
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；IT University of Copenhagen（哥本哈根信息技术大学）；BARC（哥本哈根基础算法研究中心）；CMU（卡内基梅隆大学）
加权采样是数据分析和机器学习管道中的基本工具。样本用于统计的有效估计或作为数据的稀疏表示。当权重分布偏斜时，实际上经常出现这种情况，无替换（WOR）抽样比有替换（WR）抽样更有效：它为相同数量的样本提供了更广泛的代表性和更高的准确性。我们设计了新颖的可组合草图WOR $\ell_p$采样，加权采样的关键根据权力$p\in[0,2]$他们的频率（或签名数据，更新的总和）。我们的草图的大小仅随样本大小线性增长。我们的设计是简单实用的，尽管复杂的分析，并基于现成的使用广泛实现的重量级草图，如CountSketch。我们的方法是第一个提供WOR采样的重要制度的$p>1$和第一个处理签名更新$p>0$。
2020-08-15 cs.DS cs.LG stat.ML
Sequenced-Replacement Sampling for Deep Learning
Innopeak Technology（Innopeak科技）；Huawei Research America（华为美国研究院）；Jilin University（吉林大学）
我们提出了用于训练深度神经网络的顺序替换采样（SRS）。其基本思想是为数据集中的每个样本分配一个固定的序列索引。一旦在每次训练迭代中随机抽取了一个小批量，我们就可以通过根据序列索引连续添加样本来重新填充原始数据集。因此，我们进行替换抽样，但在一个批量和顺序的方式。在某种意义上，SRS可以被视为一种执行“小批量增强”的方式。对于每类图像相对较少的任务（如CIFAR-100），它特别有用。再加上较长的初始大学习率，它显着提高了CIFAR-100的分类精度超过目前最先进的结果。我们的实验表明，使用SRS训练更深的网络不太容易过度拟合。在最好的情况下，我们实现了低至10.10%的出错率。
2018-10-19 cs.CV cs.LG stat.ML
The Hybrid Bootstrap: A Drop-in Replacement for Dropout
正则化是预测模型构建的重要组成部分。混合自举是一种正则化技术，其功能类似于dropout，除了特征是从其他训练点重新采样而不是用零替换。我们表明，混合引导提供了优越的性能辍学。我们还提出了一种基于采样的技术，以简化超参数的选择。接下来，我们为卷积神经网络提供一种替代采样技术。最后，我们证明了使用基于树的模型的非图像任务的混合引导的功效。
2018-01-22 cs.LG stat.ML
Unsupervised Program Synthesis for Images By Sampling Without Replacement
Carnegie Mellon University（卡内基梅隆大学）
程序合成已成为图像解析任务的一种成功方法。大多数先前的工作依赖于两步方案，该两步方案涉及使用合成程序对Seq 2Seq模型进行监督预训练，然后进行强化学习（RL）以使用真实参考图像进行微调。完全无监督的方法承诺直接在目标图像上训练模型，而不需要策划的预训练数据集。然而，他们与搜索空间中有意义的程序的固有稀疏性作斗争。在本文中，我们提出了第一个无监督的算法能够解析到上下文无关文法（CFG）的建设性立体几何（CSG）图像，而无需通过不可微渲染器预训练。为了解决\emph{non-Markovian}稀疏奖励问题，我们结合了三个关键成分-（i）确保程序有效性的语法编码树LSTM（ii）熵正则化和（iii）从CFG语法树中进行采样而无需替换。经验上，我们的算法恢复有意义的程序在大搜索空间（高达$3.8 \times 10^{28}$）。此外，即使我们的方法是完全无监督的，它比合成2D CSG数据集上的监督方法更好地推广。在2D计算机辅助设计（CAD）数据集上，我们的方法显着优于监督预训练模型，并与改进模型竞争。
2021-06-14 cs.LG stat.ML
Analysis of Crowdsourced Sampling Strategies for HodgeRank with Sparse Random Graphs
University of Utah（犹他大学）；Peking University（北京大学）
众包平台现在被广泛用于进行主观成对比较研究。在这种情况下，成对比较数据集通常通过随机抽样（\emph{with}或\emph{without}替换）收集。在本文中，我们使用随机图论的工具来分析这两种随机抽样方法的HodgeRank估计。使用图的Fiedler值作为估计器稳定性（信息量）的度量，我们提供了这两个随机图模型的Fiedler值的新估计。在顶点数趋于无穷大的渐近极限下，证明了该估计的有效性。根据我们的研究结果，对于少量的项目进行比较，我们建议一个两阶段的抽样策略，其中一个贪婪的抽样方法是最初使用和随机抽样\emph{without}更换使用在第二阶段。当要比较大量的项目时，我们建议使用随机放回抽样，因为这在计算上是廉价的，并且可以并行化。合成和真实世界的数据集上的实验支持我们的分析。
2016-03-21 cs.LG stat.ML
Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization
KAUST（阿卜杜拉国王科技大学）；Inria Sierra（法国国家信息与自动化研究所塞拉实验室）
本文对联邦学习中的服务器端优化进行了理论研究。我们的研究结果是第一个表明，广泛流行的启发式扩展客户端更新与一个额外的参数是非常有用的背景下，联邦平均（FedAvg）与本地通过客户端数据。每次本地传递都使用随机重排执行，无需替换，这是我们可以显示出更高复杂性的关键原因。特别是，我们证明，每当局部步长很小，更新方向是由FedAvg与随机重排在所有客户端，可以采取一个大的飞跃，在获得的方向和提高率凸，强凸，非凸目标。特别地，在非凸区域中，我们得到了从$\mathcal{O}\left(\varepsilon^{-3}\right)$到$\mathcal{O}\left(\varepsilon^{-2}\right)$的收敛速度的增强。这个结果甚至对于在单个节点上执行的随机重排也是新的。相比之下，如果本地步长较大，我们证明了客户端采样的噪声可以通过使用一个小的服务器端步长来控制。据我们所知，这是第一次证明地方步骤有助于克服沟通瓶颈。总之，我们的研究结果的优势，大，小的服务器端步长提供了一个正式的理由的做法，自适应服务器端优化联邦学习。此外，我们认为我们的算法的一个变种，支持部分客户端的参与，这使得该方法更实用。
2022-01-26 cs.LG math.OC
Federated Optimization Algorithms with Random Reshuffling and Gradient Compression
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Princeton University（普林斯顿大学）
梯度压缩是一种用于改善机器学习模型分布式训练中随机一阶方法的通信复杂性的流行技术。然而，现有的工作只考虑随机梯度的替换抽样。相比之下，在实践中众所周知并且最近在理论上证实，基于无替换采样的随机方法，例如，随机重排（RR）方法，性能优于那些采样梯度与替换。在这项工作中，我们关闭了文献中的这一差距，并提供了第一次分析的方法与梯度压缩和无替换采样。我们首先开发了随机重排与梯度压缩（Q-RR）的简单组合。也许令人惊讶的是，Q-RR的理论分析并没有显示使用RR的任何好处。我们大量的数值实验证实了这一现象。这是由于额外的压缩方差造成的。为了揭示RR在压缩分布式学习中的真正优势，我们提出了一种名为DIANA-RR的新方法，该方法降低了压缩方差，并且可以证明比现有的随机梯度替换采样方法具有更好的收敛速度。接下来，为了更好地适应联邦学习应用，我们结合了本地计算，即，我们提出并分析了Q-RR和DIANA-RR的变体-- Q-NASTYA和DIANA-NASTYA，它们使用局部梯度步长和不同的局部和全局步长。最后，我们进行了几个数值实验来说明我们的理论结果。
2022-11-03 cs.LG math.OC
Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement
Qualcomm AI Research（高通人工智能研究部门）
针对现有基于树的推测解码未充分利用树多样性、缺乏固定计算预算下实证研究的问题，提出递归推测解码方法，通过无放回采样最大化草稿令牌树多样性，在Llama 2和OPT模型上验证了更优的推理加速效果。
2024-03-05 cs.AI cs.LG
Risk-limiting Financial Audits via Weighted Sampling without Replacement
Carnegie Mellon University（卡内基梅隆大学）
提出风险限制财务审计框架，通过不放回加权抽样构造置信序列，利用辅助信息自适应驱动抽样，以估计总错报比例并达到给定精度与置信度。
2023-05-08 cs.AI cs.LG math.ST
With or Without Replacement? Improving Confidence in Fourier Imaging
RWTH Aachen University（亚琛工业大学）；Harvard University（哈佛大学）；Technical University Munich（慕尼黑工业大学）；TH Ingolstadt（英戈尔施塔特应用科学大学）；GE HealthCare（GE医疗）；LMU Munich（慕尼黑大学）
本文提出一种基于无放回采样的重加权方法，以改进去偏估计器，从而提升傅里叶成像中不确定性量化的置信度，尤其在中等维度及MRI等结构化场景下优于标准LASSO。
2024-07-18 cs.IT cs.LG eess.IV
Enhancing Trade-offs in Privacy, Utility, and Computational Efficiency through MUltistage Sampling Technique (MUST)
University of Notre Dame（圣母大学）
本研究提出差分隐私下的多阶段采样技术MUST，通过理论与实验验证其在ε指标上隐私放大效果优于单阶段采样，在相近隐私损失下效用不劣于单阶段方法且计算效率更高，可集成至相关优化与采样流程。
2024-11-04 cs.LG stat.ML
Parallel Split Learning with Global Sampling
GPSL通过全局采样解决并行分割学习中的批量大小和非IID数据问题，实现稳定优化和集中式准确性，同时减少训练时间。
2026-03-05 cs.AI cs.DC cs.LG
Sampling Method for Fast Training of Support Vector Data Description
SAS Institute（SAS研究所）
支持向量数据描述（SVDD）是一种流行的离群点检测技术，它构造了一个灵活的描述输入数据。对于大型训练数据集，SVDD计算时间很长，这限制了其在大数据过程监控应用中的使用。我们提出了一种新的迭代采样为基础的方法SVDD的训练。该方法通过对从训练数据集中替换选择的独立随机样本计算SVDD，在每次迭代时增量地学习训练数据描述。实验结果表明，该方法是非常快的，并提供了一个很好的数据描述。
2016-09-25 cs.LG stat.AP stat.ML
Distributed Thompson Sampling
我们研究了一个具有M个智能体和K个手臂的多智能体多武器协作强盗。代理人的目标是最小化累积的遗憾。在分布式环境下，我们采用了传统的Thompson采样算法。然而，与代理的沟通能力，我们注意到，通信可能会进一步降低分布式汤普森抽样方法的遗憾的上限。为了进一步提高分布式Thompson采样算法的性能，提出了一种基于消除的分布式Thompson采样算法，该算法允许多个智能体协同学习。在Bernoulli报酬下分析了该算法，并导出了一个与问题相关的累积后悔上界。
2021-09-09 cs.AI cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
Distributed Thompson sampling under constrained communication
Harvard School of Engineering and Applied Sciences（哈佛工程与应用科学学院）
本文提出一种基于高斯过程的分布式汤普森采样方法，用于通信图受限的多智能体贝叶斯优化，并证明只要通信图连通，其贝叶斯遗憾上界在时间上优于顺序单智能体方法。
2025-01-01 cs.LG cs.SY eess.SY
Optimal Importance Sampling for Federated Learning
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
联邦学习涉及集中式和分散式处理任务的混合，其中服务器定期选择代理的样本，这些代理反过来对它们的本地数据进行采样，以计算它们的学习更新的随机梯度。这一过程持续进行。代理和数据的采样通常是均匀的，但是，在这项工作中，我们考虑非均匀采样。我们推导出最佳的重要性采样策略，代理和数据的选择，并表明，不更换的非均匀采样，提高了性能的原始FedAvg算法。我们运行的回归和分类问题的实验来说明理论结果。
2020-10-26 cs.DC cs.LG
Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks
The University of Iowa（爱荷华大学）
训练图卷积网络（GCN）是昂贵的，因为它需要递归地聚合来自相邻节点的数据。为了减少计算开销，以前的作品已经提出了各种邻居采样方法，估计聚合结果的基础上，少量的采样邻居。虽然这些方法成功地加速了训练，但它们主要集中在单机设置上。由于现实世界的图是大的，在分布式系统中训练GCN是可取的。然而，我们发现，现有的邻居采样方法不工作，以及在分布式设置。具体而言，一个简单的实现可能会在不同的机器之间产生大量的特征向量通信。为了解决这个问题，我们提出了一个通信效率的邻居采样方法在这项工作中。我们的主要思想是分配更高的采样概率的本地节点，使远程节点被访问的频率较低。我们提出了一种算法，该算法确定局部采样概率，并确保我们的倾斜邻居采样不会影响训练的收敛性。我们的实验与节点分类基准表明，我们的方法显着减少了分布式GCN训练的通信开销，精度损失很小。
2021-01-19 cs.LG
Amplifying Rényi Differential Privacy via Shuffling
差分隐私是构建机器学习模型的有用工具，该模型不会发布太多有关训练数据的信息。我们研究了随机梯度下降的Rényi差分隐私，当每个训练样本被采样而不替换（也称为循环SGD）。循环SGD通常比传统SGD更快，是大规模实现中的首选算法。我们恢复的隐私保证循环SGD这是竞争对手的那些已知的采样与替换。我们的证明技术不对模型或数据做任何假设，因此具有广泛的适用性。
2020-02-17 cs.CR cs.LG stat.ML
Self-Improvement for Neural Combinatorial Optimization: Sample without Replacement, but Improvement
Technical University of Munich（慕尼黑工业大学）；University of Applied Sciences Weihenstephan-Triesdorf（魏恩施蒂芬-特里斯多夫应用科学大学）
本研究提出一种神经组合优化自改进方法，结合逐轮随机束搜索与可证明策略改进的更新策略，以自采样最优解做模仿学习训练，在多个调度优化问题上取得优异性能。
2024-06-11 cs.LG
Federated Learning under Importance Sampling
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
联邦学习封装了由中央单元管理的分布式学习策略。由于它依赖于在每次迭代中使用选定数量的代理，并且由于每个代理反过来都会利用其本地数据，因此很自然地要研究最佳采样策略，以便在联邦学习实现中选择代理及其数据。通常，只使用统一的抽样方案。然而，在这项工作中，我们研究的效果，重要性采样和设计方案的抽样代理和数据不均匀的性能指标的指导。我们发现，在涉及抽样而不替换的方案中，所得到的架构的性能由两个因素控制，这两个因素与每个代理的数据变异性和跨代理的模型变异性有关。我们用模拟和真实数据的实验说明了理论研究结果，并显示了所提出的策略带来的性能改善。
2020-12-14 cs.LG
Learning Deep Representations By Distributed Random Samplings
Tsinghua National Laboratory for Information Science and Technology, Tsinghua University（清华大学清华信息科学与技术国家实验室）
在本文中，我们提出了一个非常简单的无监督非线性降维的深度模型-深度分布随机采样，它的表现就像一堆无监督的自举聚合。首先，它的网络结构新颖：网络的每一层是一组相互独立的$k$ -中心聚类。其次，它的学习方法极其简单：每次聚类的$k$中心只是从训练数据中随机选取的$k$样本;对于小规模数据集，通过简单的循环移位运算进一步随机重构$k$中心。非线性降维实验结果表明，该方法不仅可以学习大规模和小规模问题的抽象表示，而且在大规模问题上比深度神经网络学习速度更快.
2013-12-16 cs.LG
Channel Simulation and Distributed Compression with Ensemble Rejection Sampling
Department of Electrical and Computer Engineering, University of Toronto（电气与计算机工程系，多伦多大学）
本文提出基于集成拒绝采样的信道模拟与分布式匹配方案，实现近最优编码速率，并首次在拒绝采样家族中达到接近泊松匹配引理的匹配概率，通过分布式压缩实验验证有效性。
2025-10-07 cs.IT cs.LG math.IT
Resilience Aspects in Distributed Wireless Electroencephalographic Sampling
IHP – Leibniz-Institut für innovative Mikroelektronik（IHP – 莱布尼茨创新微电子研究所）；Taras Shevchenko National University of Kyiv（基辅塔拉斯·舍甫琴科国立大学）；BTU Cottbus-Senftenberg（科特布斯-森夫滕贝格勃兰登堡工业大学）；Bogomoletz Institute of Physiology（博戈莫列茨生理学研究所）
考虑了远程脑电描记术采样的弹性方面。证明了使用运动传感器数据和测量工业电网干扰检测故障采样通道的可能性。未示出故障通道的信号与运动传感器数据之间的显著相关。故障通道的50 Hz频谱分量水平与正常工作通道的50 Hz分量水平显著不同。这些结果的应用，以增加弹性的脑电图采样的结论。
2022-01-04 cs.LG eess.SP
Distributed Sketching Methods for Privacy Preserving Regression
Stanford University（斯坦福大学）
在这项工作中，我们研究了大规模回归问题的分布式草图绘制方法。我们利用多个随机草图，减少问题的尺寸，以及保护隐私和提高离散弹性异步分布式系统。我们得到新的近似保证经典的草图绘制方法和分析的精度分布草图的参数平均。我们考虑的随机矩阵，包括高斯，随机Hadamard，均匀抽样和杠杆分数抽样分布设置。此外，我们提出了一个混合的方法相结合的采样和快速随机投影更好的计算效率。我们说明了分布式草图的性能在无服务器计算平台与大规模的实验。
2020-06-20 cs.CR cs.DC cs.LG
Distributed Matrix-Based Sampling for Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出基于矩阵的批量采样方法，将采样表示为稀疏矩阵乘法，减少分布式GNN训练通信开销，支持更大图，在128 GPU上比Quiver快2.5倍，并展示扩展性。
2024-04-19 cs.DC cs.LG cs.PF
Distributed Online Bandit Submodular Maximization with Bounded Sampling Violations
College of Automation Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学自动化学院）；School of Artificial Intelligence and Automation at the Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）
针对划分拟阵约束下的分布式在线子模最大化问题，提出统一算法框架，在全信息和赌博机反馈下实现次线性(1-1/e)-遗憾，并通过有界随机管道舍入方案使采样违规概率渐近消失。
2026-07-02 cs.LG
Sampling-based Distributed Training with Message Passing Neural Network
University of Notre Dame（圣母大学）；Ansys, Inc.（安sys公司）
针对节点数量增加时基于边的图神经网络扩展难题，提出结合Nyström近似采样的分布式训练方法DS-MPNN，可扩展至$O(10^5)$节点，在达西流和翼型RANS模拟中准确率与单GPU相当且优于节点GCN。
2025-02-19 cs.DC cs.LG physics.flu-dyn
Communication-Efficient Weighted Sampling and Quantile Summary for GBDT
Hong Kong University of Science and Technology（香港科技大学）
梯度提升决策树（GBDT）是一种功能强大且应用广泛的机器学习模型，在许多学术领域和生产环境中取得了最先进的性能。然而，通信开销是目前分布式训练系统处理海量数据的主要瓶颈。在本文中，我们提出了两个新的通信有效的方法在分布式数据集，以减轻这个问题，加权抽样方法，我们可以有效地估计一个小的子集上的信息增益，和分布式协议的加权分位数问题用于近似树学习。
2019-09-17 cs.DS cs.LG
Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University（庆应义塾大学）
将多个计算节点互连的计算集群用于加速基于DQN（Deep Q-Network）的分布式强化学习。在分布式强化学习中，Actor节点通过与给定环境交互来获取经验，而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加，因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信，并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器，该服务器通过40 GbE（40 Gbit Ethernet）网络互连。评估结果表明，作为一种网络优化技术，内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术，行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%，并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
