Learning Sampling Policy for Faster Derivative Free Optimization
Nanjing University of Information Science & Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
零阶（Zero-order，简称ZO）方法由于其在机器学习领域的广泛应用，近年来受到了广泛的关注。这两个函数的计算通常是由标准高斯分布的随机扰动产生的。为了加速ZO方法，最近提出了许多方法，例如方差减少的随机ZO梯度和学习自适应高斯分布，以减少ZO梯度的方差。然而，ZO方法的收敛性是否还有进一步提高的空间，仍然是一个悬而未决的问题。为了探索这个问题，在本文中，我们提出了一个新的强化学习为基础的ZO算法（ZO-RL）与学习的采样策略，而不是使用随机抽样产生的扰动ZO优化。为了找到最优策略，采用了一种名为深度确定性策略梯度（DDPG）的行动者-批评者强化学习算法，该算法具有两个神经网络函数逼近器。学习的采样策略引导参数空间中的扰动点估计更准确的ZO梯度。据我们所知，我们的ZO-RL是第一个使用强化学习进行ZO优化的采样策略学习算法，该算法与现有方法并行。特别是，我们的ZO-RL可以与现有的ZO算法相结合，可以进一步加速算法。针对不同的ZO优化问题的实验结果表明，该算法通过学习采样策略，可以有效地降低ZO梯度的方差，并且在不同的场景下比现有的ZO算法收敛得更快.
2021-04-09 cs.LG
LATS: Levy Adaptive Tree Sampling for Feedback-Driven Diverse Target Discovery
针对扩散模型在反馈驱动目标发现中难以探索低似然高价值区域的问题，提出Levy自适应树搜索（LATS）框架，结合重尾探索与树状值反向传播，在保持样本保真度的同时高效发现目标模式，实验验证其显著优于基线。
2026-09-09 cs.LG
Sampling Can Be Faster Than Optimization
University of California, Berkeley（加州大学伯克利分校）
优化算法和蒙特卡罗抽样算法为近年来统计机器学习应用的快速增长提供了计算基础。然而，对这两种方法之间的关系的理论理解有限，对相对优势和劣势的理解有限。此外，现有的结果主要是在设置凸函数（优化）和对数凹函数（采样）。在这种情况下，局部属性决定全局属性，优化算法在计算上比采样算法更有效。相反，我们研究了一类非凸目标函数，出现在混合建模和多稳定系统。在这个非凸的设置，我们发现，采样算法的计算复杂度与模型维数成线性比例，而优化算法的规模呈指数。
2019-08-22 cs.LG stat.ML
A Fast Sampling Gradient Tree Boosting Framework
梯度树提升作为一种自适应、可解释、鲁棒且精确的元算法，是最流行的机器学习技术之一，但其计算开销严重限制了其应用。随机梯度提升可以通过均匀采样训练样本来加速梯度提升，但其估计量会引入较大的方差。这种情况促使我们优化梯度树提升。我们将梯度树提升与重要性采样相结合，通过减少随机方差来实现更好的性能。此外，我们使用一个正则化，以改善对角近似的牛顿步骤的梯度提升。理论分析表明，我们的策略实现了线性收敛速度的物流损失。实验结果表明，我们的算法在两种不同的梯度提升算法（LogitBoost和LambdaMART）上实现了2.5倍-18倍的加速，而没有明显的性能损失。
2019-11-20 cs.LG stat.ML
Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling
University of Maryland（马里兰大学）
本文提出一种基于无放回采样的双层优化算法，在标准、条件、极小极大及组合优化中均实现更快的收敛速度，并通过合成与真实数据验证了其优越性。
2024-11-07 cs.LG math.OC
Pessimistic asynchronous sampling in high-cost Bayesian optimization
National Research Council（美国国家研究委员会）；Air Force Research Laboratory（美国空军研究实验室）；University at Buffalo（布法罗大学）
本文提出悲观预测异步贝叶斯优化策略，通过并行分配实验减少高成本优化所需实验次数，并在高维空间中降低陷入局部最优的风险。
2024-10-22 cs.LG
Fast TreeSHAP: Accelerating SHAP Value Computation for Trees
LinkedIn Corporation（领英公司）
SHAP（SHapley Additive ExPlanation）值是解释机器学习模型的主要工具之一，具有强大的理论保证（一致性，局部准确性）以及广泛的实现和用例。尽管计算SHAP值通常需要指数时间，但TreeSHAP在基于树的模型上需要多项式时间。虽然加速效果显著，但TreeSHAP仍然可以在具有数百万或更多条目的数据集上主导行业级机器学习解决方案的计算时间，从而导致事后模型诊断和解释服务的延迟。在本文中，我们提出了两个新的算法，快速TreeSHAP v1和v2，旨在提高大型数据集的TreeSHAP的计算效率。我们根据经验发现，Fast TreeSHAP v1比TreeSHAP快1.5倍，同时保持内存成本不变。同样，Fast TreeSHAP v2比TreeSHAP快2.5倍，但由于昂贵的TreeSHAP步骤的预先计算，因此内存使用量略高。我们还表明，Fast TreeSHAP v2非常适合多时间模型解释，从而使新传入样本的解释速度提高了3倍。
2022-07-26 cs.LG stat.ML
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University（南洋理工大学）
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势，主要是通过最近的方法，如Gumbel LSTM和有序神经元（ON-LSTM）推广。本文提出了FASTTREES，一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同，我们的工作探索了并行树归纳的概念，即，以一种可并行的、非自回归的方式，将我们的模型与分层归纳偏差相结合。为此，我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能，即，语言建模、逻辑推理、情感分析和自然语言推理。此外，我们表明，FASTTREES模块可以应用于增强Transformer模型，实现三个序列转导任务（机器翻译，主谓一致性和数学语言理解）的性能增益，铺平了道路，模块化树归纳模块。总体而言，我们在逻辑推理任务上的表现优于现有的最先进模型+4%，在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
FASTER: Value-Guided Sampling for Fast RL
Stanford University（斯坦福大学）
FASTER通过建模去噪过程中的动作候选过滤作为马尔可夫决策过程，提升采样测试时间缩放的效率，减少计算成本并提高性能。
2026-04-21 cs.AI cs.LG
Tree pyramidal adaptive importance sampling
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
本文介绍了树-金字塔自适应重要性抽样（TP-AIS），一种新的迭代抽样方法，它优于确定性混合总体蒙特卡罗（DM-PMC）、混合总体蒙特卡罗（M-PMC）和分层自适应重要性抽样（LAIS）等最先进的方法。TP-AIS迭代地构建由树金字塔参数化的建议分布，其中每个树叶跨越表示其重要性密度的子空间。在每个新的采样操作之后，一组树叶被细分，以改善建议分布对目标密度的近似。与文献中的其他方法不同，TP-AIS是无参数的，不需要调整就能达到最佳性能。我们评估TP-AIS与不同的复杂性随机目标概率密度函数（PDF），并分析其应用到不同的维度。最先进的迭代重要性抽样方法和其他基线MCMC方法使用归一化有效样本量（N-ESS），詹森-香农发散和时间复杂度的结果进行比较。
2020-03-23 cs.LG stat.CO stat.ML
Faster Sublinear Algorithms using Conditional Sampling
MIT（麻省理工学院）
概率分布D的条件采样预言机返回来自限制于域的指定子集的D的条件分布的样本。最近的一系列工作（Chakraborty et al. 2013和Cannone et al. 2014）表明，访问这样的条件抽样oracle只需要多对数甚至常数数量的样本来解决分布测试问题，如同一性和均匀性。这大大改善了标准采样模型，其中多项式许多样本是必要的。受这些结果的启发，我们引入了一个计算模型的基础上，条件采样开发次线性算法与指数更快的运行时间相比，标准的次线性算法。本文主要研究高维欧氏空间中点集上的几何优化问题。访问这些点是通过一个有条件的采样预言机提供的，该预言机将域的子集的简洁表示作为输入，并输出该子集中的均匀随机点。我们研究了两个很好的研究问题：k-均值聚类和估计的最小生成树的重量。与经典模型的已有算法相比，我们的算法具有时间、空间和样本复杂度，即维数为多项式，点数为多对数。最后，我们评论了该模型的适用性，并与现有的流，并行和分布式计算模型。
2016-08-16 cs.DS cs.LG
From Fields to Trees
University of British Columbia（不列颠哥伦比亚大学）
提出了一种新的MCMC算法，用于计算具有规则结构的无向图模型中未知变量的后验分布和期望。为了演示的目的，我们专注于马尔可夫随机场（MRF）。通过将MRF划分为不重叠的树，可以通过对剩余树进行调节来精确地计算特定树的后验分布。这些精确的解决方案，使我们能够构建高效的分块和Rao-Blackwellised MCMC算法。我们的经验表明，树抽样是相当有效的比其他分区抽样方案和天真的吉布斯采样器，即使在循环的信念传播未能收敛的情况下。我们证明了树抽样表现出较低的方差比天真吉布斯采样器和其他天真的分区计划使用最大相关性的理论措施。我们还构建了新的信息理论工具，用于比较不同的MCMC方案，并表明，在这些情况下，树抽样更有效。
2012-07-11 cs.LG stat.CO
Extragradient with player sampling for faster Nash equilibrium finding
Princeton University（普林斯顿大学）；NYU CIMS（纽约大学库朗数学科学研究所）；Samsung SAIT AI Lab（三星先进技术研究院人工智能实验室）；ENS（巴黎高等师范学校）
数据驱动的建模越来越需要在多玩家游戏中找到纳什均衡，例如在训练GANs时。在本文中，我们分析了一个新的额外的梯度方法的纳什均衡发现，执行梯度外推和更新的随机子集的球员在每次迭代。对于带噪声梯度预言的非光滑凸博弈，该方法可证明具有比完全额外梯度更好的收敛速度。我们提出了一个额外的方差减少机制，以获得光滑凸游戏的加速。我们的方法使得外推适合大规模的多人游戏设置，并带来了经验的加速，特别是当使用启发式循环采样方案。最重要的是，它允许训练更快更好的GANs和GANs的混合。
2020-07-21 cs.LG math.OC stat.ML
TreeBoN: Enhancing Inference-Time Alignment with Speculative Tree-Search and Best-of-N Sampling
针对推理时对齐中计算效率与输出质量难以平衡的问题，提出整合推测式树搜索与DPO token级奖励的TreeBoN框架，在相同成本下优于标准BoN采样，多数据集上实现稳定性能提升。
2025-09-03 cs.AI cs.CL cs.LG
Effects of Sampling Methods on Prediction Quality. The Case of Classifying Land Cover Using Decision Trees
聪明的抽样方法可以用来改善大数据的处理并提高其有用性。这项研究的主题是遥感，特别是机载激光扫描点云代表不同类别的地面覆盖。我们的目的是得到一个监督学习模型的分类使用CART。为了测量不同的采样方法对分类精度的影响，设计了不同类型的采样方法、样本量和精度指标的各种实验。数值结果的一个子集的一个大型测量项目，覆盖德国莱茵河下游地区。关于抽样设计的一般结论得出并提出。
2014-05-13 cs.LG stat.AP stat.ML
Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax Optimization
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
我们分析了光滑有限和极大极小优化的随机梯度算法的收敛速度，并表明，对于许多这样的算法，采样的数据点没有更换导致更快的收敛速度相比，放回抽样更换。对于光滑和强凸-强凹的设置，我们考虑梯度下降上升和近点方法，并提出了一个统一的分析两个流行的无替换采样策略，即随机重排（RR），洗牌的数据，每一个时代，和单洗牌或洗牌一次（SO），洗牌只在开始。我们获得了紧收敛速度RR和SO，并证明这些策略导致更快的收敛速度比均匀采样。超越凸性，我们得到了类似的结果，光滑的非凸非凹目标满足双边Polyak-Jasojasiewicz不等式。最后，我们证明了我们的技术是足够一般的数据排序攻击，其中对手操纵数据点提供给优化器的顺序的影响进行分析。我们的分析还恢复了增量梯度法的紧速率，其中数据点根本不混洗。
2022-10-10 cs.GT cs.LG math.OC
EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees
Peking University（北京大学）；Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出EAGLE-2，通过引入上下文感知的动态草稿树改进投机采样，利用草稿模型置信度近似接受率，在三个LLM系列和六项任务上实现3.05-4.26倍加速，比EAGLE-1快20%-40%，且保持生成分布不变。
2024-06-30 cs.CL cs.LG
Unity Smoothing for Handling Inconsistent Evidence in Bayesian Networks and Unity Propagation for Faster Inference
Aalborg University（奥尔堡大学）；University of Copenhagen（哥本哈根大学）
我们提出统一平滑（US）处理贝叶斯网络模型和新的看不见的观察之间的不一致。我们表明，预测精度，使用连接树算法与美国是拉普拉斯平滑。此外，在利用数据结构的稀疏性的应用中，US在存储器使用方面优于拉普拉斯平滑。此外，我们详细介绍了如何避免冗余的计算，否则必须执行的消息传递计划中的连接树算法，我们称之为统一传播（UP）。实验结果表明，它总是更快地利用UP上的Lauritzen-Spigelhalter消息传递计划的联合树算法。
2022-01-21 cs.LG stat.CO
Less Data, Faster Training: repeating smaller datasets speeds up learning via sampling biases
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
研究探讨了'小数据与大数据差距'现象，即使用更少样本重复训练比使用更大数据集更节省计算资源，通过层间增长和采样偏差机制实现加速，为优化提供了新的归纳偏差。
2026-09-07 cs.AI cs.LG
CDLM: Consistency Diffusion Language Models For Faster Sampling
CDLM通过一致性建模和块状因果注意力掩码，显著降低扩散语言模型的推断延迟，同时保持在数学和编码任务上的准确性。
2026-02-20 cs.CL cs.LG
Optimal Multi-way Decision Trees for Stratified Sampling in Online Controlled Experiments
University of Tsukuba（筑波大学）
针对在线实验分层抽样中方差缩减效果依赖分层构建的问题，提出基于最优多路决策树的OMST方法，通过路径选择与精确方差最小化优化分层，实现更优或相当的方差缩减且保持可解释性。
2026-09-22 cs.LG stat.CO
Non-uniform Feature Sampling for Decision Tree Ensembles
EPFL（洛桑联邦理工学院）；IBM Research Lab, Zurich（IBM苏黎世研究实验室）
研究了非均匀随机特征选择在决策树分类中的有效性。我们实验评估两种特征选择方法，从提供的数据集提取的信息的基础上：$(i)$ \emph{leverage scores-based}和$(ii)$ \emph{norm-based}特征选择。对所提出的特征选择技术的实验评估表明，与朴素的均匀特征选择相比，这种方法可能更有效，而且与随机森林算法[3]具有相当的性能。
2014-03-24 cs.IT cs.LG math.IT
Rank-Aware Speculative Sampling for Diffusion Draft Trees
Imperial College London（帝国理工学院）
提出排序感知投机采样（RASS），利用草稿候选的排序信息优化扩散草稿树的验证，在多个生成任务上较 D-GRS 提升约 20% 效率。
2026-10-05 cs.LG stat.CO
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提供了一个新的收敛性分析随机梯度Langevin动力学（SGLD）的抽样从一类分布，可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布，我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离，其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果（Raginsky等人，2017年; Xu等人，2018年）。我们进一步表明，提供了一个额外的Hessian Lipschitz条件的对数密度函数，SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性，并揭示了一些基于随机梯度的快速采样算法的设计。
2021-02-23 cs.LG math.ST stat.ML
Bayesian Decision Trees via Tractable Priors and Probabilistic Context-Free Grammars
Stanford University（斯坦福大学）
决策树是当今最流行的机器学习模型之一，因为它们具有开箱即用的性能和可解释性。通常，决策树模型是通过启发式搜索标准（如基尼不纯或熵）以自上而下的方式构建的。然而，以这种方式构建的树对训练数据中的微小波动敏感，并且易于过拟合。相比之下，贝叶斯方法树建设制定的选择过程作为一个后验推理问题，这种方法更稳定，并提供更大的理论保证。然而，生成贝叶斯决策树通常需要从复杂的多模态后验分布中采样。目前基于马尔可夫链蒙特卡罗的贝叶斯决策树抽样方法容易出现模式坍塌和混合时间过长的问题，这使得它们不切实际。本文提出了一种新的贝叶斯决策树训练准则。我们的标准产生BCART-PCFG，它可以有效地采样决策树的后验分布的树木给定的数据，并找到最大后验（MAP）树。学习后验和训练采样器可以在数据集大小的多项式时间内完成。一旦学习了后验，就可以有效地对树进行采样（在节点数量上呈线性）。在我们的方法的核心是一个减少后采样采样的概率上下文无关文法的推导。我们发现，通过BCART-PCFG采样树执行类似或更好的贪婪构造的决策树在几个数据集上的分类精度。此外，通过BCART-PCFG采样的树要小得多-有时高达20倍。
2023-02-15 cs.AI cs.LG
Faster Differentially Private Samplers via Rényi Divergence Analysis of Discretized Langevin MCMC
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
各种不同的私有算法实例化指数机制，并且需要从分布$\exp(-f)$采样以获得合适的函数$f$。当分布的域是高维时，这种采样在计算上可能是具有挑战性的。使用启发式抽样方案，如吉布斯抽样，并不一定导致可证明的隐私。当$f$是凸的时，对数凹采样的技术导致多项式时间算法，尽管具有大的多项式。基于朗之万动力学的算法在某些距离度量（如统计距离）下提供了更快的替代方案。在这项工作中，我们建立了快速收敛的距离措施下，这些算法更适合差分隐私。对于光滑的强凸的$f$，我们给出了证明收敛于Rényi发散的第一个结果。这为我们提供了用于这种$f$的快速差分私有算法。我们的技术和简单和通用的，也适用于欠阻尼朗之万动力学。
2020-12-17 cs.CR cs.DS cs.LG
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
坐标下降法采用随机部分更新的决策变量，以解决大规模的凸优化问题。在这项工作中，我们引入了新的自适应规则，随机选择他们的更新。所谓自适应，我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计，并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能，并证明了最先进的改进，并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
Accelerating Diffusion Sampling via Speculative Draft Trees
Imperial College London（伦敦帝国理工学院）
本文提出草稿树方法，通过将扩散模型推测采样与相对熵编码结合，丰富每轮候选状态并采用贪婪拒绝采样，在保证精确样本的同时，实现最高8.3%的加速。
2026-09-17 cs.AI cs.LG stat.AP
Faster Learning by Reduction of Data Access Time
Panjab University（潘贾布大学）
如今，机器学习的主要挑战是大数据挑战。大数据问题由于大量的数据点或每个数据点中的大量特征，或两者兼而有之，模型的训练变得非常缓慢。训练时间有两个主要组成部分：访问数据的时间和处理数据的时间。到目前为止，研究只集中在第二部分，即，从数据中学习在本文中，我们提出了一种可能的解决方案来处理大数据问题的机器学习。我们的想法是通过提出系统采样和循环/顺序采样来减少数据访问时间，以减少训练时间，从而从数据集中选择小批量。为了证明所提出的采样技术的有效性，我们使用了经验风险最小化，这是常用的机器学习问题，强凸和光滑的情况下。该问题已解决SAG，SAGA，SVRG，SAAG-II和MBSGD（小批量SGD），每一个使用两步确定技术，即恒定步长和回溯线搜索方法。理论结果证明了系统抽样、循环抽样和广泛应用的随机抽样技术的收敛性，并达到了预期的效果。使用基准数据集的实验结果证明了所提出的采样技术的有效性，并显示出高达六倍的训练速度。
2018-07-25 cs.AI cs.LG stat.ML
FIST: A Feature-Importance Sampling and Tree-Based Method for Automatic Design Flow Parameter Tuning
Duke University（杜克大学）；Nvidia Corporation（英伟达公司）；National Taiwan University of Science and Technology（台湾科技大学）；Texas A&M University（得克萨斯农工大学）
设计流程参数对芯片设计质量至关重要，并且需要很长的时间来评估其影响。实际上，流动参数调整通常是基于设计者的经验以特别的方式手动执行的。在这项工作中，我们介绍了一个基于机器学习的自动参数调整方法，旨在找到最佳的设计质量与有限的试验次数。而不是仅仅插入机器学习引擎，我们开发聚类和近似采样技术，以提高调优效率。该方法中的特征提取可以重用已有的设计知识。此外，我们利用最先进的XGBoost模型，并提出了一种新的动态树技术来克服过拟合。在基准电路上的实验结果表明，与随机森林方法相比，该方法的设计质量提高了25%，采样代价降低了37%.我们的方法进一步验证了两个工业设计。通过采样不到0.02%的可能参数集，与经验丰富的设计师手动调整的最佳解决方案相比，它减少了1.83%和1.43%的面积。
2020-11-26 cs.AR cs.LG
ODE$_t$(ODE$_l$): Shortcutting the Time and the Length in Diffusion and Flow Models for Faster Sampling
Panasonic AI Lab（松下人工智能实验室）；UC Berkeley（加州大学伯克利分校）；Panasonic DX-CPS（松下DX-CPS）
针对扩散与流模型采样计算复杂度高的问题，提出ODE$_t$(ODE$_l$)方法，通过架构重布线与长度一致性训练实现任意时间步、网络块数采样，可降延迟减内存，生成性能更优。
2025-11-18 cs.CV cs.LG
DDIM sampling for Generative AIBIM, a faster intelligent structural design framework
The Hong Kong University of Science and Technology（香港科技大学）
本文针对生成式AIBIM中PCDM生成过程需1000次迭代导致耗时的问题，提出面向PCDM的DDIM采样方法，通过修改原始DDIM公式适应PCDM优化过程，实现100倍加速且保持视觉质量不变。
2024-12-30 cs.CV cs.LG
TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling
TreePO通过自引导树状轨迹生成算法，结合动态采样、分段解码与早停剪枝，在推理基准上提升性能，为训练后模型节省22%-43%GPU小时，为扩展基于RL的大模型后训练提供高效路径。
2025-08-24 cs.CL cs.LG
Faster logconcave sampling from a cold start in high dimension
Georgia Tech（佐治亚理工学院）
本文提出一种更快的热启动生成算法，首次为近各向同性位置的对数凹分布实现亚立方时间采样，通过放宽热启动距离要求至 q-Rényi 散度并推广对数 Sobolev 不等式，突破了长期存在的立方时间障碍。
2025-05-03 cs.DS cs.LG math.FA
Faster Algorithms for Testing under Conditional Sampling
University of California, San Diego（加州大学圣地亚哥分校）
最近有相当大的兴趣，分布测试的运行时间和样本的要求是次线性的域大小$k$。我们研究了两个最重要的测试下的条件抽样模型，每个查询指定一个子集$S$的域，和响应是一个样本从$S$根据底层的分布。对于身份测试，它询问是否底层分布等于一个特定的给定分布或$ε$ -不同于它，我们减少了已知的时间和样本的复杂性从$\tilde{\mathcal{O}}(ε^{-4})$到$\tilde{\mathcal{O}}(ε^{-2})$，从而匹配的信息理论下限。对于接近性测试，它询问两个分布的基础上观察到的数据集是相等还是不同的，我们减少现有的复杂性从$\tilde{\mathcal{O}}(ε^{-4} \log^5 k)$到一个偶数次对数$\tilde{\mathcal{O}}(ε^{-5} \log \log k)$，从而提供了一个更好的约束到一个开放的问题在Bertinoro研讨会上的次线性算法[Fisher，2004]。
2015-04-16 cs.CC cs.DS cs.LG
The Marked Edge Walk: A Novel MCMC Algorithm for Sampling of Graph Partitions
Department of Mathematics, Dartmouth College（数学系，达特茅斯学院）；Department of Mathematics and Statistics, Vassar College（数学与统计学系，瓦萨学院）
本文提出标记边游走（MEW）算法，一种基于标记生成树空间的MCMC提议，用于图划分采样，在真实图上对多种目标分布收敛，减少生成树偏差，提升灵活集合生成。
2026-09-15 cs.DS cs.LG physics.soc-ph
Faster Diffusion Sampling with Randomized Midpoints: Sequential and Parallel
UT Austin（德克萨斯大学奥斯汀分校）；Princeton University（普林斯顿大学）；Harvard SEAS（哈佛大学工程与应用科学学院）
受对数凹采样随机化中点方法启发，提出一种新的扩散采样方案，在全变差距离下实现了最佳的维度依赖性，并首次为扩散模型并行采样提供了可证明保证。
2024-10-17 cs.DS cs.LG math.ST
Optimal Sublinear Sampling of Spanning Trees and Determinantal Point Processes via Average-Case Entropic Independence
Stanford University（斯坦福大学）
我们设计了强瑞利分布（包括随机生成树分布和决定点过程）中重复采样的快速算法。对于图$G=(V, E)$，我们展示了如何近似采样均匀随机生成树从$G$在$\widetilde{O}(\lvert V\rvert)$时间每个样本后，初始$\widetilde{O}(\lvert E\rvert)$时间预处理。对于$n$元素的基集的大小$k$的子集上的行列式点过程，我们展示了如何在初始$\widetilde{O}(nk^{ω-1})$时间预处理后在$\widetilde{O}(k^ω)$时间内近似采样，其中$ω<2.372864$是矩阵乘法指数。我们甚至改进了从行列式点过程获得单个样本的现有技术，从$\widetilde{O}(\min\{nk^2, n^ω\})$的先前运行时间改进为$\widetilde{O}(nk^{ω-1})$。在我们的主要技术成果中，我们实现了强瑞利分布域稀疏化的最佳极限。在域稀疏化中，从$\binom{[n]}{k}$上的分布$μ$的采样被简化为从$t\ll n$的$\binom{[t]}{k}$上的相关分布的采样。我们证明了对于强瑞利分布，我们可以实现最优的$t=\widetilde{O}(k)$。我们的减少涉及从$\widetilde{O}(1)$域稀疏分布，所有这些都可以有效地假设方便地访问近似高估的边缘$μ$的采样。有机会获得边际类似于有机会获得一个连…
2022-09-18 cs.DS cs.LG math.PR
PID-controlled Langevin Dynamics for Faster Sampling of Generative Models
Shenzhen Key Laboratory of Ubiquitous Data Enabling Laboratory, Shenzhen International Graduate School, Tsinghua University, Shenzhen 518055, China（深圳 ubiquitous 数据赋能实验室，深圳国际研究生院，清华大学，深圳）；Department of Electronic Engineering, Tsinghua University, Beijing 100084, China（电子工程系，清华大学，北京）；Pengcheng Laboratory, Shenzhen 518055, China（鹏城实验室，深圳）
针对朗之万动力学采样迭代多、速度慢的问题，提出无需额外训练的PIDLD采样加速算法，结合PID控制项减少迭代步数，实验证明其可在更少步骤下生成更高质量样本，提升朗之万类生成模型的实用性。
2025-11-16 cs.AI cs.LG cs.SY
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University（普林斯顿大学计算机科学系）；University of Washington, Seattle（华盛顿大学西雅图分校）；Microsoft Research, India（微软研究院印度）；Stanford University（斯坦福大学）
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$，我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $，其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术，近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能，但进一步提高时，杠杆分数的行是小的（多对数因子）。我们还提供了一个非线性推广这些结果，提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
Faster Convergence with Less Communication: Broadcast-Based Subgraph Sampling for Decentralized Learning over Wireless Networks
Linköping University（林雪平大学）
针对无线网络去中心化学习中D-SGD的通信协调问题，提出广播基子图采样方法BASS，通过生成稀疏子图混合矩阵并联合优化采样概率，实现更快收敛且传输时隙更少，挖掘无线广播特性的加速潜力。
2025-02-11 cs.DC cs.IT cs.LG
Speculative Sampling For Faster Molecular Dynamics
FAIR at Meta（Meta FAIR）；School of Computation, Information & Technology, Technical University of Munich（技术大学慕尼黑计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center For Machine Learning（慕尼黑机器学习中心）
提出Langevin推测动力学（LSD），一种分布式且模型无关的推测采样方法，通过草稿模型快速提议步长并用目标模型并行验证，实现分子动力学模拟的3-9倍加速而不增加相对误差。
2026-06-01 cond-mat.mtrl-sci cs.LG physics.chem-ph
Faster high-accuracy log-concave sampling via algorithmic warm starts
NYU（纽约大学）；MIT（麻省理工学院）
从实践和理论的角度来看，理解从$\mathbb{R}^d$上的强对数凹和对数平滑分布$π$到高精度的采样的复杂性是一个基本问题。在实践中，高精度的采样器，如经典的大都会调整的朗之万算法（MALA）仍然是事实上的黄金标准;在理论上，通过近端采样器减少，可以理解，这样的采样器是关键的采样，甚至超过对数周期（特别是，对于满足等周假设的分布）。在这项工作中，我们改进了这个采样问题的尺寸依赖$\tilde{O}(d^{1/2})$，而以前最好的结果为MALA是$\tilde{O}(d)$。这结束了关于MALA复杂性的长期工作，并且还导致了在强对数和更高条件下对高精度采样的最新保证（由于上述减少）。我们的出发点是，MALA的复杂性提高到$\tilde{O}(d^{1/2})$，但仅在热启动（初始化时具有恒定的Rényi散度w.r.t. $π$）。以前的算法需要更长的时间来找到一个温暖的开始比使用它，并关闭这个差距仍然是一个重要的开放问题在该领域。我们的主要技术贡献解决了这个问题，建立了第一个$\tilde{O}(d^{1/2})$ Rényi混合率的离散欠阻尼朗之万扩散。为此，我们开发了新的差分隐私启发技术的基础上雷尼分歧与Orlicz-Wasserstein的变化，这使我们能够回避长期的挑战，证明快速收敛的hypocorctive微分方程。
2023-02-20 cs.DS cs.LG math.AP
