Improved Time Warp Edit Distance -- A Parallel Dynamic Program in Linear Memory
Gestalt Group LLC(格式塔集团有限责任公司)
编辑距离是一类经典的动态规划问题,其中时间扭曲编辑距离通过度量和时间弹性的概念来细化问题。提出了一种新的改进的时间扭曲编辑距离算法,该算法既具有大规模并行性,又只需要线性存储。该方法利用一个三对角带的处理来覆盖原动态程序空间。对角线更新的每个元素可以并行计算。核心方法是TWED最长公共子序列数据依赖的一个特征,并且适用于共享相似带子问题结构的动态程序。该算法已实现为具有Python绑定的CUDA C库。对于具有挑战性的问题的加速是惊人的。
2020-07-31 cs.CG cs.DC cs.LG
CycleGAN-VC2: Improved CycleGAN-based Non-parallel Voice Conversion
NTT Communication Science Laboratories, NTT Corporation(NTT集团NTT通信科学实验室)
非并行语音转换(VC)是一种不依赖于并行数据学习从源语音到目标语音的映射的技术。这是一项重要的任务,但由于训练条件的不利因素,这项任务一直具有挑战性。最近,CycleGAN-VC提供了一个突破,并在不依赖任何额外数据、模块或时间对齐过程的情况下,对并行VC方法进行了改进。然而,在真实目标和转换后的语音之间仍然存在很大的差距,弥合这一差距仍然是一个挑战。为了缩小这一差距,我们提出了CycleGAN-VC 2,它是CycleGAN-VC的改进版本,结合了三种新技术:改进的目标(两步对抗损失),改进的生成器(2-1-2D CNN)和改进的神经网络(PatchGAN)。我们评估了我们的方法上的非并行VC任务,并详细分析了每种技术的效果。一个客观的评价表明,这些技术有助于使转换后的特征序列更接近目标的全局和局部结构,我们评估使用梅尔倒谱失真和调制谱距离,分别。主观评估表明,CycleGAN-VC 2在自然度和相似度方面优于CycleGAN-VC,包括性别内和性别间对。
2019-04-09 cs.LG cs.SD eess.AS
DAEs for Linear Inverse Problems: Improved Recovery with Provable Guarantees
San Jose State University(圣何塞州立大学)
生成先验已被证明在线性逆问题中提供比稀疏先验更好的结果。然而,现有技术的方法具有以下缺点中的一个或多个:(a)恢复速度慢;(b)重建质量有缺陷;(c)重建质量取决于调整超参数的计算上昂贵的过程。在这项工作中,我们通过利用去噪自动编码器(DAE)作为先验知识和投影梯度下降算法来恢复原始信号来解决这些问题。我们为我们的方法提供了严格的理论保证,并通过实验证明了它在压缩感知,修复和超分辨率方面优于现有的最先进的方法。我们发现,我们的算法将恢复速度提高了两个数量级(超过100倍),将重建质量提高了一个数量级(超过10倍),并且不需要调整超参数。
2021-01-13 cs.CV cs.LG eess.IV
Improved Convergence Guarantees for Shallow Neural Networks
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Steklov Mathematical Institute(斯捷克洛夫数学研究所)
我们继续进行一系列研究,旨在证明通过梯度下降训练的深度2神经网络收敛到全局最小值。与许多以前的工作一样,我们的模型具有以下特征:二次损失函数回归,全连接前馈架构,RelU激活,高斯数据实例和网络初始化,对抗标签。更一般的是,我们允许同时以{ \em different}速率训练两个层。我们的结果改进了最先进的[Oymak Soltanolkotabi 20](仅训练第一层)和[Nguyen 21,第3.2节](用Le Cun的初始化训练两层)。我们还报告了几个简单的实验与合成数据。他们强烈地表明,至少在我们的模型中,趋同现象远远超出了“NTK制度”。
2022-12-05 cs.LG
Fast Parallel Algorithms for Statistical Subset Selection Problems
Harvard University(哈佛大学)
在本文中,我们提出了一个新的框架,设计快速并行算法的基本统计子集选择任务,包括特征选择和实验设计。这样的任务是已知的弱次模块化,并服从通过标准的贪心算法优化。尽管它的理想的近似保证,贪心算法是固有的顺序,在最坏的情况下,其并行运行时间是线性的数据的大小。最近,出现了一个激增的兴趣,在一个并行优化技术称为自适应采样,产生的解决方案与期望的近似保证submodular最大化指数更快的并行运行时。不幸的是,我们表明,一般弱次模函数,这样的加速是不可能的。本文的主要贡献是提出了一种新的子模松弛方法,我们称之为微分子模松弛。我们首先证明了差分子模块性的特点,如特征选择和实验设计的目标。然后,我们设计了一个自适应采样算法的差分次模函数的并行运行时间是对数的数据的大小,并实现了强大的近似保证。通过实验,我们表明,该算法的性能是有竞争力的国家的最先进的方法,并获得显着的加速特征选择和实验设计问题。
2021-04-01 cs.LG stat.ML
Sparse and Smooth: improved guarantees for Spectral Clustering in the Dynamic Stochastic Block Model
CNRS(法国国家科学研究中心);GIPSA-lab(格勒诺布尔交互作用物理与声学实验室);IMB, Université de Bourgogne(勃艮第大学数学研究所)
在本文中,我们分析的谱聚类(SC)算法在动态随机块模型(DSBM)的经典变种。现有的研究结果表明,在相对稀疏的情况下,期望的程度增长的nodes的数量,保证在静态的情况下,可以扩展到动态的情况下,并产生改进的误差界时DSBM是足够光滑的时间,也就是说,社区不改变太多的两个时间步长之间。我们通过在DSBM的稀疏性和平滑性之间建立一个新的联系来改进这些结果:DSBM越规则,它就越稀疏,同时仍然保证一致的恢复。特别是,一个温和的光滑条件允许治疗的稀疏情况下有界的程度。我们还将这些保证扩展到归一化拉普拉斯算子,并作为我们分析的副产品,我们获得了据我们所知的最佳光谱浓度范围,可用于具有独立伯努利条目的归一化拉普拉斯矩阵。
2020-02-10 cs.LG math.ST stat.ML
Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee
University of Pittsburgh(匹兹堡大学);Nanjing University of Information Science & Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司)
由于许多机器学习问题的层次结构,二层规划近年来变得越来越重要,然而,其内部问题和外部问题之间的复杂关联使得其求解极具挑战性。虽然基于自动微分的几种直观算法已经被提出并在一些应用中取得了成功,但对于双层模型的最优求解却没有给予太多的关注。是否存在一个更好的提法仍然是一个悬而未决的问题。在本文中,我们提出了一种改进的双层模型,收敛速度更快,更好地相比,目前的配方。我们提供了两个任务的理论保证和评估结果:数据超清洗和超表示学习。实证结果表明,我们的模型优于目前的双层模型有很大的差距。\emph{This is a concurrent work with \citet{liu2020generic} and we submitted to ICML 2020. Now we put it on the arxiv for record.}
2020-09-01 cs.AI cs.LG stat.ML
Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nyström method
University of California, Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
列子集选择问题(CSSP)和Nyström方法是机器学习和科学计算中构造大型数据集的小低秩近似的主要工具之一。在这方面的一个基本问题是:如何以及可以一个数据子集的大小k的最佳秩k近似竞争?我们开发的技术,利用光谱特性的数据矩阵,以获得改进的近似保证,超越了标准的最坏情况下的分析。我们的方法可以为具有已知奇异值衰减率的数据集提供更好的边界,例如,多项式或指数衰减。我们的分析还揭示了一个有趣的现象:近似因子作为k的函数可能会出现多个峰和谷,我们称之为多重下降曲线。我们建立的下限表明,这种行为不是我们分析的产物,而是CSSP和Nyström任务的固有属性。最后,使用径向基函数(RBF)内核的例子,我们表明,我们的改进的边界和多重下降曲线可以观察到真实的数据集上简单地通过改变RBF参数。
2020-12-18 cs.LG stat.ML
Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
Inria(法国国家信息与自动化研究所)
针对 DPMs 单网络训练慢、容量受限的问题,本文按时间区间乃至每个时间点拆分分数匹配任务,用独立网络并行学习,从而加速训练并提升密度估计。
2023-06-05 cs.LG stat.ML
Improved Bound for Mixing Time of Parallel Tempering
Duke University(杜克大学)
本文针对目标分布多峰性导致 MCMC 混合缓慢的问题,为 parallel tempering 提出了谱隙的新下界,除 $\log L$ 外对所有参数呈多项式依赖,改进了现有指数依赖界,并证明其紧致性。
2023-04-03 cs.LG stat.ML
Improved Generalization Guarantees in Restricted Data Models
Harvard University(哈佛大学)
众所周知,差分隐私可以防止由于自适应或探索性数据分析而导致的有效性威胁-即使分析师对抗性地搜索与底层人群的感兴趣数量的真实值不同的统计估计。这种保护的代价是差分隐私造成的准确性损失。在这项工作中,受基因组学文献中的标准模型的启发,我们考虑了数据模型,其中个体由一系列属性表示,其中远距离属性仅弱相关。我们表明,在这种假设下,可以在数据的不同部分上“重用”隐私预算,从而在不增加过度拟合风险的情况下显著提高准确性。
2022-07-20 cs.CR cs.CY cs.LG
E-LDA: Toward Interpretable LDA Topic Models with Strong Guarantees in Logarithmic Parallel Time
Department of Computer Science, Dartmouth College, Hanover, NH, USA(计算机科学系,达特茅斯学院)
提出 E-LDA 这一非梯度组合式 LDA 推断算法,在对数并行时间内获得近最优后验概率,并具备关键词可解释性、因果推断独立性保证及更优语义质量。
2025-06-06 cs.CL cs.LG stat.ML
Quantized Distributed Training of Large Models with Convergence Guarantees
Institute of Science and Technology Austria(奥地利科学技术研究所);CNRS(法国国家科学研究中心);IRIF(法国信息与自动化研究所);Université Paris Cité(巴黎西岱大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
通信缩减技术是提高深度神经网络(DNN)数据并行训练可扩展性的一种流行方法。最近出现的大语言模型,如GPT,需要新的方法来利用数据并行。其中,全分片数据并行(FSDP)训练非常受欢迎,但它仍然遇到可扩展性瓶颈。一个原因是将压缩技术应用于FSDP具有挑战性:由于绝大多数通信涉及模型的权重,直接压缩会改变收敛并导致精度损失。我们提出了QSDP,FSDP的一个变种,它支持梯度和权重量化与理论保证,是简单的实现,基本上没有开销。为了得到QSDP,我们证明了SGD的自然修改实现收敛,即使我们只保持量化的权重,因此,我们训练的域由量化点组成,因此,高度非凸。我们通过在多节点集群上训练具有多达13亿个参数的GPT系列模型来验证这种方法。实验表明,QSDP保留了模型的准确性,同时完全消除了FSDP的通信瓶颈,提供了高达2.2倍的端到端加速比。
2023-02-05 cs.LG
Improved Convergence Guarantees for Learning Gaussian Mixture Models by EM and Gradient EM
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了具有K个已知权重分量的高斯混合模型的参数估计问题,所有分量都具有单位协方差矩阵。我们做了两个贡献。首先,在人口水平上,我们提出了一个更尖锐的分析EM和梯度EM的局部收敛性,相比以前的作品。假设分离的$Ω(\sqrt{\log K})$,我们证明了这两种方法的收敛到全局最优值从一个初始化区域大于以前的作品。具体来说,每个分量的初始猜测可以远至(几乎)其到最近高斯的距离的一半。这基本上是最大可能的收缩区域。我们的第二个贡献是改进了EM和梯度EM精确估计的样本量要求。在以前的工作中,所需的样本数有一个二次依赖于K个组件之间的最大分离,并由此产生的误差估计线性增加与此最大分离。在这篇手稿中,我们表明,这两个数量只依赖于最大的分离几何。
2021-09-23 cs.LG math.ST stat.TH
Improved Regret Analysis for Parallel Gaussian Process Bandit Optimization
Nagoya University(名古屋大学);MI-6 Ltd.(MI-6有限公司)
本文针对并行GP乐队优化,改进了GP-BTS的遗憾分析,无需初始不确定性采样即可获得不含批量大小乘性因子的遗憾上界,且无噪声设置下性能更优。
2026-09-17 cs.LG stat.ML
Randomized Kriging Believer for Parallel Bayesian Optimization with Regret Bounds
Department of Engineering, Nagoya University(名古屋大学工学部);RIKEN AIP(理化学研究所AIP)
提出随机克里金信徒法用于并行贝叶斯优化,结合KB启发式,具有低计算复杂度、易实现、通用性强和异步并行适用性,并给出贝叶斯期望遗憾界。
2026-06-25 cs.LG stat.ML
A Statistical Guarantee for Representation Transfer in Multitask Imitation Learning
University of Alberta(阿尔伯塔大学);Ocado Technology(奥卡多科技)
该研究针对多任务模仿学习的表征迁移问题,给出了源任务足够多样时可提升目标任务样本效率的统计保证,理论可扩展至常用神经网络架构,并通过四个模拟环境的实验验证了结论。
2023-11-02 cs.LG
Improved Model based Deep Learning using Monotone Operator Learning (MOL)
The University of Iowa(爱荷华大学)
依赖于展开的基于模型的深度学习(MoDL)算法正在成为图像恢复的强大工具。在这项工作中,我们引入了一种新的单调算子学习框架,以克服与当前展开框架相关的一些挑战,包括高内存成本,缺乏对扰动鲁棒性的保证,以及低可解释性。与当前使用有限次数迭代的展开架构不同,我们使用深度平衡(DEQ)框架来验证算法的收敛性,并使用雅可比迭代来评估卷积神经网络块的梯度。这种方法显着降低了内存需求,促进MoDL算法扩展到高维问题。我们将CNN约束为单调算子,这允许我们引入具有保证收敛特性和鲁棒性保证的算法。我们证明了所提出的方案的并行MRI的上下文中的效用。
2021-11-22 cs.LG eess.IV
Improved Guarantees for Langevin Monte Carlo with Average Smoothness
L2S, CNRS, Centrale Sup\'elec, Universit\'e Paris-Saclay e2
针对强对数凹情形下的 Langevin Monte Carlo,利用平均坐标光滑常数而非全局光滑常数,改进了 Wasserstein 距离下的非渐近误差界,并推广至变步长、Laplacian-Lipschitz 势及有限和问题。
2026-05-29 cs.LG math.ST stat.TH
Parle: parallelizing stochastic gradient descent
University of California, Los Angeles(加州大学洛杉矶分校);Bocconi University(博科尼大学);McGill University(麦吉尔大学)
我们提出了一种名为Parle的新算法,用于深度网络的并行训练,其收敛速度比SGD的数据并行实现快2- 4倍,同时实现了显着改善的出错率,在包括CIFAR-10和CIFAR-100在内的几个基准测试中几乎是最先进的,而无需引入任何额外的超参数。我们利用平坦极小值现象,该现象已被证明可以改善深度网络的泛化误差。Parle不需要与参数服务器进行频繁的通信,而是在每个客户端上执行更多的计算,这使得它非常适合单机,多GPU设置和分布式实现。
2017-09-10 cs.DC cs.LG stat.ML
Improved asynchronous parallel optimization analysis for stochastic incremental methods
INRIA(法国国家信息与自动化研究所);École Normale Supérieure, Paris(巴黎高等师范学院);Université de Montréal(蒙特利尔大学)
随着数据集规模的不断增加和多核计算机体系结构的发展,异步并行优化算法对机器学习领域变得越来越重要。不幸的是,进行理论分析异步方法是困难的,特别是由于引入延迟和不一致的固有顺序算法。处理这些问题往往需要诉诸简化但不切实际的假设。通过一个新的视角,我们重新审视并澄清了一个微妙但重要的技术问题,这个问题存在于最近异步并行优化算法的大部分收敛速度证明中,并提出了一个简化的“扰动迭代”框架来解决这个问题。我们通过分析三个不同的异步并行增量优化算法来证明我们的新框架的有用性:Hogwild(异步SGD)、KROMAGNON(异步SVRG)和ASAGA,增量梯度算法SAGA的一种新型异步并行版本,具有快速的线性收敛速率。我们能够消除有问题的假设,并获得更好的理论结果。值得注意的是,我们证明了ASAGA和KROMAGNON可以获得理论上的线性加速多核系统,即使没有稀疏性假设。我们提出了一个40核架构上的实现结果,说明了实际的加速比以及硬件开销。最后,我们调查的重叠常数,一个不好理解的,但中心量的异步并行算法的理论分析。我们发现,它包含了更多的复杂性比以前的工作中提出的,往往是数量级大于传统上认为的。
2019-03-21 cs.LG math.OC stat.ML
Follow the Perturbed Leader: Optimism and Fast Parallel Algorithms for Smooth Minimax Games
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们考虑的问题,在线学习和它的应用解决极大极小对策。对于在线学习问题,跟随扰动领导者(FTPL)是一个广泛研究的算法,它享有最佳的$O(T^{1/2})$最坏情况下的遗憾保证凸和非凸损失。在这项工作中,我们表明,当序列的损失函数是可预测的,一个简单的修改FTPL,结合乐观可以实现更好的遗憾保证,同时保留最佳的最坏情况下的遗憾保证不可预测的序列。在获得这些更严格的遗憾界的一个关键挑战是随机性和乐观的算法,这需要不同的分析技术比那些常用的FTPL的分析。我们在分析中使用的关键成分是作为正则化的扰动的对偶视图。虽然我们的算法有几个应用程序,我们认为具体的应用极大极小游戏。对于光滑凹凸博弈,我们的算法只需要访问一个线性优化预言机。对于Lipschitz和光滑非凸非凹游戏,我们的算法需要访问一个优化预言计算扰动的最佳响应。在这两种设置中,我们的算法使用对优化oracle的$T$调用来解决游戏,精度高达$O(T^{-1/2})$。我们的算法的一个重要特点是,它是高度并行化,只需要$O(T^{1/2})$迭代,每次迭代$O(T^{1/2})$并行调用的优化预言。
2020-06-13 cs.LG stat.ML
Improved Best-of-Both-Worlds Guarantees for Multi-Armed Bandits: FTRL with General Regularizers and Multiple Optimal Arms
University of Southern California(南加州大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文证明FTRL算法在广泛正则化器族和新学习率调度下无需唯一最优臂假设即可同时实现随机与对抗环境的最优遗憾界,并推广到解耦探索与利用问题。
2023-10-26 cs.LG stat.ML
Enhancing the Antidote: Improved Pointwise Certifications against Poisoning Attacks
University of Melbourne(墨尔本大学);Defence Science and Technology Group(国防科技集团)
本文提出利用差分隐私和采样高斯机制实现逐点认证防御,使模型对有限投毒样本的预测不变,鲁棒性保证较先前方法提升两倍以上。
2024-03-18 cs.CR cs.LG
Beyond Gradient Averaging in Parallel Optimization: Improved Robustness through Gradient Agreement Filtering
Stanford University(斯坦福大学)
本文提出梯度一致性过滤(GAF),通过在梯度平均前计算微梯度余弦距离并过滤冲突更新,降低梯度方差,从而以更小微批次提升验证准确率、减少噪声标签记忆,并在CIFAR基准上实现最高18.2%的准确率提升和近一个数量级的计算量下降。
2024-12-29 cs.AI cs.LG
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence(博世人工智能中心);Technische Universität Darmstadt(达姆施塔特工业大学);University of Southern Denmark(南丹麦大学);Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心)
本文利用自适应鞅混合尾部界构造更紧的置信序列,提出随机线性老虎机改进算法,并通过凸规划实现高效动作选择,在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
Improved Stability and Generalization Guarantees of the Decentralized SGD Algorithm
Inria Paris - Ecole Normale Supérieure, PSL Research University(法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院,PSL研究大学);Inria, Université de Montpellier(法国国家信息与自动化研究所,蒙彼利埃大学);Univ. Lille, Inria, CNRS, Centrale Lille(里尔大学,法国国家信息与自动化研究所,法国国家科学研究中心,里尔中央理工学院);Inria, Université Côte d’Azur(法国国家信息与自动化研究所,蔚蓝海岸大学)
本文基于算法稳定性重新分析 D-SGD 的泛化误差,证明其在凸、强凸和非凸设置下均可达到类似经典 SGD 的界,并给出依赖优化过程的改进界,说明通信图在特定情形下反而可能改善泛化。
2024-06-13 cs.LG stat.ML
Sparsity-Driven Parallel Imaging Consistency for Improved Self-Supervised MRI Reconstruction
Department of Electrical \& Computer Engineering, University of Minnesota, MN, USA Center for Magnetic Resonance Research, University of Minnesota, MN, USA
针对高加速倍率下自监督MRI重建易出现伪影的问题,提出结合稀疏域扰动预测一致性项的物理驱动深度学习训练策略,在fastMRI数据集上效果优于现有自监督方法。
2025-05-30 cs.AI cs.CV cs.LG
Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
KAUST(卡塔尔科技大学)
本文提出Rennala MVR算法,通过基于动量的方差缩减技术,在异构系统中改进时间复杂度,验证了方差缩减对时间复杂度的提升效果。
2026-05-09 cs.DC cs.LG math.OC