Accelerating Diffusion Models via Pre-segmentation Diffusion Sampling for Medical Image Segmentation
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
基于去噪扩散概率模型(DDPM),医学图像分割可以被描述为条件图像生成任务,其允许计算分割的逐像素不确定性图,并且允许分割的隐式集合以提高分割性能。然而,DDPM需要许多迭代去噪步骤来从高斯噪声中生成分割,从而导致非常低效的推理。为了缓解这个问题,我们提出了一个原则性的加速策略,称为预分割扩散采样DDPM(PD-DDPM),这是专门用于医学图像分割。其核心思想是基于单独训练的分割网络获得预分割结果,并根据前向扩散规则构建噪声预测(非高斯分布)。然后,我们可以从噪声预测开始,使用更少的反向步骤来生成分割结果。实验表明,PD-DDPM产生更好的分割结果比有代表性的基线方法,即使反向步骤的数量显着减少。此外,PD-DDPM与现有的高级分割模型正交,可以将其组合以进一步提高分割性能。
2022-10-27 cs.CV cs.LG eess.IV
Accelerating the Generation of Molecular Conformations with Progressive Distillation of Equivariant Latent Diffusion Models
Stanford University(斯坦福大学);NVIDIA(英伟达公司)
本研究将快速采样方法应用于 3 维分子构象生成,提出 Equivariant Latent Progressive Distillation 算法,在保持几何等变性的同时实现高达 7.5 倍的采样加速,且分子稳定性下降有限,为高通量分子筛选提供了巨大潜力。
2024-04-21 cs.LG q-bio.QM
Accelerating Diffusion Models for Inverse Problems through Shortcut Sampling
Tsinghua University(清华大学)
本文提出扩散捷径采样(SSD),通过寻找连接测量图像与恢复图像的过渡状态并引入失真自适应反演和反投影约束,在仅30 NFE下实现与100 NFE零样本方法相当甚至更优的逆问题求解效果。
2024-05-02 cs.CV cs.LG eess.IV
Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
扩散模型最近在社区内获得了显着的兴趣,由于其强大的性能作为生成模型。此外,它的反问题的应用已经证明了国家的最先进的性能。不幸的是,扩散模型有一个关键的缺点-它们本质上采样缓慢,需要几千步迭代才能从纯高斯噪声中生成图像。在这项工作中,我们表明,从高斯噪声是不必要的。相反,从具有更好初始化的单个前向扩散开始显著减少了反向条件扩散中的采样步骤的数量。这种现象可以用随机差分方程的收缩理论来正式解释,就像我们的条件扩散策略一样--反向扩散的交替应用,然后是非扩展性数据一致性步骤。新的采样策略被称为“靠近扩散更快”(CCDF),还揭示了关于如何将现有的逆问题前馈神经网络方法与扩散模型协同结合的新见解。超分辨率,图像修复,和压缩感知MRI的实验结果表明,我们的方法可以实现国家的最先进的重建性能在显着减少采样步骤。
2022-03-19 cs.CV cs.LG eess.IV
T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching
Monash University(莫纳什大学);NVIDIA(英伟达);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);Caltech(加州理工学院)
本文提出 T-Stitch 轨迹拼接技术,通过在采样早期用小型扩散模型替代大型模型,在不降低生成质量的前提下显著加速预训练扩散模型采样,并适用于多种架构与稳定扩散模型。
2024-02-21 cs.CV cs.LG
Accelerating Discrete Diffusion Models with Parallel-In-Time Sampling
The University of Tokyo(东京大学);The University of Sydney(悉尼大学);RIKEN AIP(日本理化学研究所革新智能研究中心);The Institute of Statistical Mathematics(统计数理研究所)
提出基于连续时间马尔可夫链框架的并行τ-leaping算法,利用Picard迭代实现时间并行采样加速,将复杂度从O(d log S)降至O(log(d log S)·log d),在合成和真实数据上实现7-9倍加速。
2026-07-02 cs.DC cs.DS cs.LG
Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving
Stanford University(斯坦福大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
前馈计算,例如评估神经网络或从自回归模型采样,在机器学习中无处不在。然而,前馈计算的顺序性需要严格的执行顺序,并且无法通过并行计算轻松加速。为了实现并行化,我们将前馈计算的任务定义为求解非线性方程组。然后,我们建议使用Jacobi或Gauss-Seidel不动点迭代方法以及两者的混合方法来找到解决方案。至关重要的是,Jacobi更新对每个方程独立操作,并且可以并行执行。我们的方法是保证给完全相同的值与原来的前馈计算与减少(或相等)的并行迭代次数,因此减少了足够的并行计算能力的时间。在实验中,我们证明了我们的方法在加速(i)RNN的反向传播,(ii)DenseNets的评估,以及(iii)MADE和PixelCNN++的自回归采样方面的有效性,在各种设置下的加速因子在2.1到26之间。
2021-06-11 cs.LG stat.ML
Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China(中国科学技术大学)
(小批量)随机梯度下降是一种流行的优化方法,已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差,可能会减慢收敛速度。在本文中,我们提出的对偶抽样策略,以减少方差,利用数据集的内部结构。在这种新策略下,小批量中的随机梯度不再是独立的,而是尽可能负相关的,而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题,只需预先计算对偶样本,并在每次迭代中重用结果,具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
Selective sampling for accelerating training of deep neural networks
Efi Arazi School of Computer Science(埃菲·阿拉齐计算机学院);The Interdisciplinary Center(跨学科中心)
我们提出了一种选择性采样方法,旨在加速深度神经网络的训练。为此,我们引入了一种新的测量方法,最小边际得分(MMS),它测量输入的最小位移量,直到其预测的分类被切换。对于多类线性分类,MMS度量是基于边缘的选择准则的自然推广,其在二进制分类设置中被深入研究。此外,MMS措施提供了一个有趣的洞察力的培训过程的进展,并可能有助于设计和监测新的培训制度。从经验上讲,我们在为流行的图像分类任务训练常用的深度神经网络架构时表现出了显著的加速。我们的方法的效率进行了比较,对标准的训练程序,并对常用的选择性抽样的替代品:硬负挖掘选择,和基于熵的选择。最后,我们证明了一个额外的加速时,我们采用了更积极的学习下降制度,同时使用MMS选择性采样方法。
2019-11-16 cs.LG stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Stratified Sampling
Rutgers University(罗格斯大学);Baidu Inc.(百度公司)
随机梯度下降(SGD)是一种流行的优化方法,已被应用于许多重要的机器学习任务,如支持向量机和深度神经网络。为了并行化SGD,通常采用小批量训练。标准的方法是在每一步对一个小批量进行统一采样,这通常会导致高方差。在本文中,我们提出了一个分层抽样策略,它将整个数据集划分为集群内的方差低,然后我们从这些集群使用分层抽样技术的例子。结果表明,该算法可以显着提高收敛速度。令人鼓舞的实验结果证实了所提出的方法的有效性。
2014-05-13 cs.LG math.OC stat.ML
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University(普渡大学);Morgan Stanley(摩根士丹利)
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样,包括更一般的光滑后验。然而,它仍然遇到的高维问题时,要求高精度的可扩展性问题。为了解决这个问题,我们提出了一个近似的汤普森采样策略,利用欠阻尼朗之万蒙特卡罗,后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件,我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
TPP-SD: Accelerating Transformer Point Process Sampling with Speculative Decoding
Center for Applied Statistics and School of Statistics, Renmin University of China(应用统计中心和统计学院,中国人民大学);School of Information, Renmin University of China(信息学院,中国人民大学);School of Cyber Science and Engineering, Wuhan University(网络安全与工程学院,武汉大学);Alibaba Group(阿里巴巴集团)
本文提出 TPP-SD,将语言模型推测解码用于 Transformer 时间点过程采样,以小模型并行草拟、大模型并行验证,在保持分布一致的同时实现 2–6 倍加速。
2025-10-21 cs.LG stat.ML
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta(阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
本文提出Cactus方法,通过受约束优化框架,在保证与验证器分布可控差异的同时提升接受率,有效解决传统推测采样在分布匹配上的限制问题。
2026-04-05 cs.AI cs.LG math.OC
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
机器学习,特别是深度神经网络,在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一,但由于梯度近似中的大噪声,它显示出缓慢的收敛速度。在本文中,我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题,该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度,并比较了Minibatch SGD和该算法的收敛性能。实验结果表明,我们的批量选择方案效果良好,更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
Accelerating Large Scale Knowledge Distillation via Dynamic Importance Sampling
Sun Yat-Sen University(中山大学);University of Alberta(阿尔伯塔大学)
知识蒸馏是将知识从大的教师模型转移到浅的学生的有效技术。然而,就像大规模分类一样,大规模知识蒸馏也给深度神经网络的训练模型带来了沉重的计算成本,因为最后一层的softmax激活涉及计算许多类的概率。在这项工作中,我们将神经机器翻译中经常使用的重要性采样的思想应用于大规模知识蒸馏。我们提出了一种称为动态重要性采样的方法,其中排名类是从一个动态分布,来自教师和学生之间的互动充分蒸馏。我们强调我们的建议之前,帮助学生捕捉损失函数的主要信息的实用程序。我们的方法设法减少训练时的计算成本,同时保持CIFAR-100和Market-1501人员重新识别数据集的竞争力。
2018-12-03 cs.AI cs.LG stat.ML
Accelerating Metropolis-Hastings with Lightweight Inference Compilation
UC Berkeley(加州大学伯克利分校);Facebook(脸书)
为了构建准确的提议者的大都会黑斯廷斯马尔可夫链蒙特卡罗,我们集成的想法,从概率图形模型和神经网络在一个开源的框架,我们称之为轻量级推理编译(LIC)。LIC在开放域声明性概率程序设计语言(PPL)内实现摊销推理。图神经网络用于将建议分布参数化为马尔可夫毯的函数,马尔可夫毯在“编译”期间被优化以近似单站点吉布斯采样分布。与推理编译(IC)中的先前工作不同,LIC放弃了线性执行跟踪的重要性采样,而是直接在贝叶斯网络上操作。实验结果表明,在贝叶斯逻辑回归和$n$ -schools推理应用中,LIC可以产生参数少、对干扰随机变量鲁棒性强、后验抽样改进的proposers。
2020-10-23 cs.LG stat.ML
Accelerating Machine Learning Algorithms with Adaptive Sampling
Stanford University(斯坦福大学)
针对大数据下机器学习子程序计算昂贵且现有加速方法会引入近似误差的问题,本论文提出用特殊随机化对应物进行自适应替换,可在几乎不损失质量的情况下实现加速。
2023-09-25 cs.AI cs.LG
Accelerating Graph Sampling for Graph Machine Learning using GPUs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Northeastern University(东北大学)
表示学习算法自动学习数据的特征。图数据的几种表示学习算法,如DeepWalk,node 2 vec和GraphSAGE,对图进行采样以产生适合于训练DNN的小批量。然而,采样时间可能是训练时间的很大一部分,并且现有系统不能有效地并行采样。采样是一个非常复杂的并行问题,可能会出现GPU加速,但图形的不规则性使得很难有效地使用GPU资源。本文介绍了NextDoor,一个旨在有效地在GPU上执行图形采样的系统。NextDoor采用了一种新的图形采样方法,我们称之为transit-parallelism,它允许负载均衡和边缘缓存。NextDoor为最终用户提供了编写各种图形采样算法的高级抽象。我们实现了几个图形采样应用程序,并表明NextDoor运行它们的数量级比现有的系统更快。
2021-05-11 cs.DC cs.LG
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology(东京工业大学)
本文提出将深度展开技术融入 Stein 变分梯度下降,通过可训练方式学习其内部参数以加速收敛,并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
NI Sampling: Accelerating Discrete Diffusion Sampling by Token Order Optimization
Department of EE, Tsinghua University(清华大学电子工程系);Microsoft Research(微软研究院)
本文提出NI采样方法,通过优化令牌采样顺序显著提升离散扩散模型的采样效率,实验表明在保持准确性的同时,加速效果达14.3倍。
2026-04-26 cs.LG
Accelerating Langevin Sampling with Birth-death
Duke University(杜克大学)
贝叶斯推断和统计机器学习中的一个基本问题是从多峰分布中有效地采样。由于亚稳定性,多峰分布难以使用标准马尔可夫链蒙特卡罗方法进行采样。我们提出了一种新的采样算法的基础上的生灭机制,以加速朗之万扩散的混合。我们的算法的动机是其平均场偏微分方程(PDE),这是一个福克-普朗克方程补充了非局部生灭项。这个偏微分方程可以看作是关于Wasserstein-Fisher-Rao度量的库尔贝克-莱布勒散度的梯度流。我们证明了在一定的假设下,非局部偏微分方程的渐近收敛速度是独立的势垒,相反的情况下的朗之万扩散的指数依赖。我们通过几个分析例子和数值实验说明生灭加速Langevin方法的有效性。
2019-05-23 cs.LG math.AP math.ST
Accelerating Barnes-Hut t-SNE Algorithm by Efficient Parallelization on Multi-Core CPUs
Intel Corporation(英特尔公司)
t-SNE仍然是可视化高维数据的最流行的嵌入技术之一。大多数标准的t-SNE包,如scikit-learn,都使用Barnes-Hut t-SNE(BH t-SNE)算法来处理大型数据集。然而,该算法的现有CPU实现是低效的。在这项工作中,我们通过缓存优化,SIMD,并行顺序步骤,并提高多线程步骤的并行化加速BH t-SNE的CPU。我们的实现(Acc-t-SNE)在32核英特尔(R)Icelake云实例上分别比scikit-learn和daal 4py的最先进BH t-SNE实现快261倍和4倍。
2022-12-22 cs.AI cs.DC cs.LG
CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference
CARD通过查询-校正范式将草稿生成与验证解耦,利用共享缓存实现并行推测解码,无需微调即可将大语言模型推理加速高达4.83倍。
2025-09-19 cs.LG
Accelerating Non-Smooth and Heavy-Tailed Sampling
Florida State University(佛罗里达州立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Fudan University(复旦大学)
本文针对非光滑与重尾采样问题,提出非可逆锚定朗之万动力学(NALD)及非可逆反射锚定朗之万动力学(NRALD),通过打破可逆性实现更快收敛,数值实验验证了其效率。
2026-10-09 cs.LG math.PR stat.ML
PyTorch Distributed: Experiences on Accelerating Data Parallel Training
Facebook AI;University of Warsaw(华沙大学)
本文介绍了PyTorch分布式数据并行模块的设计、实现和评估。PyTorch是一个广泛采用的科学计算包,用于深度学习研究和应用。深度学习的最新进展证明了大型数据集和大型模型的价值,这需要将模型训练扩展到更多计算资源的能力。数据并行由于其简单的原理和广泛的适用性而成为分布式训练的流行解决方案。通常,分布式数据并行技术在每个计算资源上复制模型以独立地生成梯度,然后在每次迭代时传递这些梯度以保持模型副本一致。尽管该技术在概念上很简单,但计算和通信之间的微妙依赖关系使得优化分布式训练效率变得非常重要。从v1.5开始,PyTorch原生地提供了几种技术来加速分布式数据并行,包括分级梯度,重叠计算与通信,以及跳过梯度同步。评估表明,在适当配置时,PyTorch分布式数据并行模块使用256个GPU实现了接近线性的可扩展性。
2020-06-28 cs.DC cs.LG
FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Beijing University of Posts and Telecommunications(北京邮电大学);OpenBMB
FR-Spec提出频率排序的投机采样框架,通过将起草搜索限制在频率优先的token子集来压缩词表空间,在保证输出分布等价的前提下将LM Head计算开销降低75%,相对EAGLE-2平均加速1.12倍。
2025-03-11 cs.AI cs.CL cs.LG
Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University(庆应义塾大学)
将多个计算节点互连的计算集群用于加速基于DQN(Deep Q-Network)的分布式强化学习。在分布式强化学习中,Actor节点通过与给定环境交互来获取经验,而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加,因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信,并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器,该服务器通过40 GbE(40 Gbit Ethernet)网络互连。评估结果表明,作为一种网络优化技术,内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术,行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%,并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
MoNTA: Accelerating Mixture-of-Experts Training with Network-Traffc-Aware Parallel Optimization
Shanghai Enflame Technology Co. Ltd(上海燧原科技有限公司)
针对现有分布式训练框架对大基座MoE模型通信优化不足的问题,本文提出网络流量感知的并行优化方法MoNTA,可依据通信量和集群拓扑选最优策略,显著提升通信效率与训练速度。
2024-11-01 cs.AI cs.LG
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan(密歇根大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
大规模L1正则化损失最小化问题出现在高维应用中,例如压缩感知和高维监督学习,包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题,我们引入了一个新的家庭的算法称为块贪婪坐标下降,包括,作为特殊情况下,现有的几种算法,如SCD,贪婪CD,猎枪,线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明,块贪婪坐标下降可以更好地利用并行性,如果特征被聚类,使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持,使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展,而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
Accelerating SpMM Kernel with Cache-First Edge Sampling for Graph Neural Networks
University of Washington(华盛顿大学);Facebook Inc.(Facebook公司)
图神经网络(GNN)是一种新兴的深度学习模型类,可以从高度表达的图结构数据中提取有意义的表示,因此在更广泛的应用中越来越受欢迎。然而,当前的GNN遭受其稀疏密集矩阵乘法(SpMM)运算符的性能差,即使在使用强大的GPU时也是如此。我们的分析表明,在NVIDIA先进的V100 GPU上运行流行的GNN模型时,95%的推理时间可以花在SpMM上。这种SpMM性能瓶颈阻碍了GNN对大规模问题的适用性或更复杂的GNN模型的开发。为了解决这个推理时间瓶颈,我们引入了ES-SpMM,缓存优先边缘采样机制和协同设计的SpMM内核。ES-SpMM使用边采样来缩小图形的大小,以适应GPU的共享内存。因此,它降低了计算成本,提高了SpMM的缓存局部性。为了评估ES-SpMM的性能,我们将其与流行的GNN框架DGL集成,并使用代表性的GNN模型和数据集对其进行测试。我们的研究结果表明,ES-SpMM比高度优化的cuSPARSE SpMM内核性能高出4.35倍,没有精度损失,45.3倍,精度损失小于1%。
2021-04-23 cs.DC cs.LG
Accelerating RF Power Amplifier Design via Intelligent Sampling and ML-Based Parameter Tuning
Northeastern University(东北大学);Skyworks Solutions, Inc.(Skyworks解决方案公司)
本文提出一种结合MaxMin拉丁超立方采样与CatBoost的机器学习优化框架,仅需约35%的关键仿真点即可预测射频功率放大器P2dB性能,在15种模式下平均R²达0.901,并将仿真时间缩减58.24%至77.78%。
2025-07-18 cs.LG
swCaffe: a Parallel Framework for Accelerating Deep Learning Applications on Sunway TaihuLight
Tsinghua University(清华大学);National Supercomputing Center in Wuxi(国家超级计算无锡中心);Beihang University(北京航空航天大学)
本文报告了我们在swCaffe上的工作,swCaffe是一种高效的并行框架,用于加速Sunway TaihuLight上的深度神经网络(DNN)训练,Sunway TaihuLight是目前世界上最快的超级计算机,采用独特的众核异构架构,通过定制的通信网络连接40,960个SW26010处理器。首先,我们指出了一些有见地的原则,充分利用创新的众核架构的性能。其次,我们提出了一套优化策略,用于重新设计各种基于Caffe的神经网络层。第三,我们提出了一个拓扑感知的参数同步方案,以有效地扩展同步随机梯度下降(SGD)方法到多个处理器。我们通过使用ImageNet数据集训练各种广泛使用的神经网络来评估我们的框架。在单个节点上,swCaffe与运行在K40 m GPU上的Caffe相比,整体性能可以达到23 119%。与CPU上的Caffe相比,swCaffe在所有网络上的运行速度快3.04\~ 7.84倍。最后,我们展示了swCaffe在1024个节点规模上训练ResNet-50和AlexNet的可扩展性。
2019-03-16 cs.DC cs.LG
Accelerating Diffusion Large Language Models with SlowFast Sampling: The Three Golden Principles
EPIC Lab, Shanghai Jiao Tong University(上海交通大学 EPIC 实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出SlowFast采样策略,通过三大原则动态切换探索与加速解码阶段,提升扩散语言模型的生成速度与效率。
2026-03-31 cs.AI cs.CL cs.LG
Accelerating Constrained Sampling: A Large Deviations Approach
School of Mathematics, Shanghai University of Finance and Economics(上海财经大学数学学院);FinTech Thrust, Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)金融科技学域);Department of Mathematics, Florida State University(佛罗里达州立大学数学系)
本文提出通过大偏差原理分析约束采样中的Skew-Reflected非可逆 Langevin 采样方法,通过设计特定对称矩阵加速收敛并降低渐近方差。
2026-04-05 cs.LG math.PR stat.ML
Accelerating 4D Hyperspectral Imaging through Physics-Informed Neural Representation and Adaptive Sampling
Dept. of Electrical and Computer Engineering, UC San Diego(加州大学圣地亚哥分校电气与计算机工程系);Dept. of Chemistry, UC San Diego(加州大学圣地亚哥分校化学系);Materials Science and Engineering Program, UC San Diego(加州大学圣地亚哥分校材料科学与工程项目)
本文提出利用物理信息神经网络和自适应采样方法,从稀疏测量中重建高分辨率4D超光谱图像,显著减少实验时间,适用于多维光谱和超光谱成像。
2026-04-08 cs.LG eess.IV
Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊 Alexa 人工智能)
由于自注意力模块的二次空间复杂度和时间复杂度,基于变换的模型在处理长序列时效率不高。为了解决这个问题,Linformer和Informer分别通过低维投影和行选择将二次复杂度降低到线性(模对数因子)。这两个模型是内在联系的,为了理解它们的联系,我们引入了矩阵素描的理论框架。在理论分析的基础上,提出了Skeinformer算法,通过列采样、自适应行归一化和导频采样重用三个部分,进一步提高了自注意力矩阵逼近的精度。长距离竞技场(LRA)基准上的实验表明,我们的方法优于替代品,具有一贯较小的时间/空间足迹。
2021-12-10 cs.CL cs.LG stat.ML
Accelerating Score-based Generative Models for High-Resolution Image Synthesis
Fudan University(复旦大学);University of Surrey(萨里大学);RIKEN(理化学研究所)
基于得分的生成模型是近年来新兴的一类生成模型。其关键思想是通过向高斯样本反复添加高斯噪声和梯度,直到收敛到目标分布,即,扩散采样。然而,为了确保采样收敛的稳定性和生成质量,该顺序采样过程必须采用小的步长和许多采样迭代(例如,2000年)。已经提出了几种加速方法,重点是低分辨率生成。在这项工作中,我们认为加速与SGM的高分辨率生成,一个更具挑战性,但更重要的问题。我们从理论上证明,这种缓慢的收敛缺点主要是由于目标分布的无知。此外,我们引入了一种新的目标分布感知采样(TDAS)方法,利用空间和频率域的结构先验。在CIFAR-10、CelebA、LSUN和FFHQ数据集上进行的大量实验验证了TDAS可以始终如一地加速最先进的SGM,特别是在更具挑战性的高分辨率(1024 x1024)图像生成任务上,速度高达18.4倍,同时在很大程度上保持了合成质量。通过较少的采样迭代,TDAS仍然可以生成高质量的图像。相比之下,现有的方法性能急剧下降,甚至完全失效
2022-06-10 cs.CV cs.LG
Accelerating Diffusion LLMs via Adaptive Parallel Decoding
提出自适应并行解码(APD),通过动态调整并行token数量、结合dLLM与小型自回归模型的概率,并优化KV缓存与掩码输入,在下游基准上实现更高吞吐量且质量下降极小。
2025-10-30 cs.AI cs.CL cs.LG
Accelerating Diffusion Sampling with Optimized Time Steps
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Electronic Science and Technology of China(电子科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出一种通用优化框架,为扩散概率模型的高阶数值ODE求解器设计非均匀时间步,通过约束信赖域方法高效求解,与UniPC结合后在CIFAR-10和ImageNet上显著提升FID分数。
2024-07-03 cs.AI cs.CV cs.LG
Accelerating Multilevel Markov Chain Monte Carlo Using Machine Learning Models
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对大规模贝叶斯推断,本文提出由几何多重网格层次构建、用机器学习模型加速最粗层采样的多层MCMC算法,证明其保持细致平衡与一致性,并在地下水流基准上实现两倍加速且精度相近。
2024-05-18 cs.LG cs.NA math.NA
Sparse Logit Sampling: Accelerating Knowledge Distillation in LLMs
Samsung Research(三星研究院)
针对预训练场景下知识蒸馏缓存教师 logits 成本高的问题,提出基于重要性采样的 Random Sampling Knowledge Distillation,以无偏方式估计教师分布并在 300M–3B 模型上保持接近完整蒸馏的性能。
2025-07-24 cs.AI cs.CL cs.LG
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University(耶鲁大学);University of Sydney(悉尼大学)
提出采样引导策略搜索(SGPS),结合基于采样的模型预测控制与一阶策略优化,加速视觉策略学习,并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
DHO$_2$: Accelerating Distributed Hybrid Order Optimization via Model Parallelism and ADMM
National University of Defense Technology, Changsha, China(国防科技大学);Fudan University, Shanghai, China(复旦大学)
本文提出DHO$_2$,一种基于模型并行和ADMM的分布式混合阶优化方法,利用部分曲率信息并行计算,在资源受限下加速DNN训练,实现内存线性降低和1.4-2.1倍加速。
2025-08-04 cs.DC cs.LG
On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation
University of Technology Sydney(悉尼科技大学);NTT Communication Science Laboratories(NTT通信科学实验室);Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出改进积分近似(IIA),通过逐时间步最小化MSE来优化EDM、DDIM和DPM-Solver的ODE求解器系数,在低NFE下显著提升FID且无需改动预训练模型。
2023-10-03 cs.LG cs.NA math.NA
Accelerating Visual-Policy Learning through Parallel Differentiable Simulation
Department of Mechanical Engineering(机械工程系);Yale University(耶鲁大学);Department of Computer Science(计算机科学系)
本研究提出一种结合可微分仿真与一阶解析策略梯度的视觉策略学习算法,通过解耦渲染与计算图提升效率,在GPU仿真基准上缩短训练时间且最终回报优于基线,人形跑步任务回报提升4倍。
2025-11-10 cs.LG cs.RO
Proof: Accelerating Approximate Aggregation Queries with Expensive Predicates
Stanford University(斯坦福大学);University of Chicago(芝加哥大学)
给定一个数据集$\mathcal{D}$,我们感兴趣的是计算匹配谓词的$\mathcal{D}$子集的均值。ABae利用分层抽样和代理模型,在给定抽样预算$N$的情况下有效地计算此统计量。在本文中,我们从理论上分析了ABae,并证明了估计的MSE以$O(N_1^{-1} + N_2^{-1} + N_1^{1/2}N_2^{-3/2})$的速率衰减,其中$N=K \cdot N_1+N_2$(对于某个整数常数$K$)和$K \cdot N_1$和$N_2$分别表示ABae阶段1和阶段2中使用的样本数。因此,如果将总样本预算$N$的一个恒定部分分配给每个阶段,则我们将获得$O(N^{-1})$的均方误差,该均方误差与最佳分层抽样算法的均方误差率相匹配,前提是已知每层的等同阳性率和标准差。
2021-07-28 cs.DB cs.LG math.ST
FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale
Institute of Automation, CAS(中国科学院自动化研究所);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);Shanghai Jiao Tong University(上海交通大学);AiRiA
针对大规模图神经网络基于采样的训练在子图采样、内存IO和计算三阶段的瓶颈,提出GPU高效框架FastGL,通过Match-Reorder、Memory-Aware和Fused-Map方法优化全流程,较PyG、DGL和GNNLab实现显著加速。
2024-09-23 cs.AR cs.DC cs.LG
Accelerating Hessian-free optimization for deep neural networks by implicit preconditioning and sampling
IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
无海森训练已经成为深度神经网络训练的一种流行的并行二阶优化技术。本研究旨在通过减少用于训练的数据量以及减少用于Hessian隐式估计的Krylov子空间求解器迭代次数来加速Hessian自由训练。在本文中,我们开发了一个基于L-BFGS的预处理方案,避免了显式访问Hessian的需要。由于L-BFGS不能被视为一个固定点迭代,我们进一步提出了灵活的Krylov子空间求解器,保留所需的理论收敛保证他们的传统同行就业。其次,我们提出了一种新的采样算法,几何增加的数据量用于梯度和Krylov子空间迭代计算。在一个50小时的英语广播新闻任务,我们发现,这些方法提供了大约1.5倍的加速,而在一个300小时的总机任务,这些技术提供了超过2.3倍的加速,在WER没有损失。这些结果表明,随着问题的规模和复杂性的增长,预计还会进一步加快速度。
2013-12-10 cs.CL cs.LG cs.NE
Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding
Intellifusion Inc.(云天励飞公司);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本研究提出SPACE智能并行自动校正解码方法,通过半自回归监督微调让大语言模型可并行生成与验证token,在HumanEval-X上实现2.7-4.0倍无损推理加速。
2024-05-20 cs.AI cs.CL cs.LG
AdaSelection: Accelerating Deep Learning Training through Data Subsampling
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊);The Ohio State University(俄亥俄州立大学);Stanford University(斯坦福大学)
AdaSelection是一种自适应子采样方法,通过结合方法级和样本级重要性选择最具信息量的子样本,加速深度学习训练而不损失性能,在图像、语言分类和回归任务上优于行业基线。
2023-06-19 cs.LG
Effective Gradient Sample Size via Variation Estimation for Accelerating Sharpness aware Minimization
Beijing University of Technology(北京工业大学);Beihang University(北京航空航天大学)
本文提出一种基于PSF变异的自适应采样方法,通过重用采样梯度显著加速SAM,同时保持与SAM相当的精度。
2024-02-24 cs.CV cs.LG
SpecPipe: Accelerating Pipeline Parallelism-based LLM Inference with Speculative Decoding
Shandong University(山东大学)
提出 SpecPipe 框架,通过动态推测令牌树和流水线推理提升硬件利用率,显著降低单请求延迟并提高多请求吞吐量。
2025-08-29 cs.LG
Accelerating Inverse Learning via Intelligent Localization with Exploratory Sampling
Intuit AI Research(Intuit AI研究院);Walmart Global Tech(沃尔玛全球技术);Georgia Institute of Technology(佐治亚理工学院)
在“人工智能科学”的范围内,解决逆问题是材料和药物发现中的一个长期挑战,其目标是确定给定一组理想属性的隐藏结构。最近提出了深度生成模型来解决逆问题,但这些模型目前使用昂贵的前向算子,并且难以精确定位精确解并充分探索参数空间而不会丢失解。在这项工作中,我们提出了一种新的方法(称为iPage),通过利用深度可逆模型的概率推理和通过快速梯度下降的确定性优化来加速逆学习过程。给定目标属性,学习的可逆模型提供了参数空间的后验;我们将这些后验样本识别为智能先验初始化,这使我们能够缩小搜索空间。然后,我们执行梯度下降来校准局部区域内的逆解。同时,对潜在空间进行空间填充采样,以更好地探索和捕获所有可能的解决方案。我们在三个基准任务和两个创建的数据集上评估了我们的方法,这些数据集具有来自量子化学和增材制造的实际应用,并发现我们的方法与几种最先进的基线方法相比具有更好的性能。iPage代码可在https://github.com/jxzhangjhu/MatDesINNe上获得。
2022-12-02 cs.AI cs.LG
Accelerating Transformer Inference for Translation via Parallel Decoding
Sapienza University of Rome(罗马智慧大学);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本文提出利用 Jacobi 和 Gauss-Seidel 定点迭代将机器翻译的自回归解码并行化,无需训练或修改模型即可在保持翻译质量的同时实现最高 38% 的加速,并开发了 DDGviz 工具用于可视化解码依赖关系。
2023-05-17 cs.AI cs.CL cs.LG