Faster Training of Diffusion Models and Improved Density Estimation via Parallel Score Matching
Inria(法国国家信息与自动化研究所)
针对 DPMs 单网络训练慢、容量受限的问题,本文按时间区间乃至每个时间点拆分分数匹配任务,用独立网络并行学习,从而加速训练并提升密度估计。
2023-06-05 cs.LG stat.ML
Combinatorial Approximations for Cluster Deletion: Simpler, Faster, and Better
Texas A&M University(德克萨斯农工大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了 NP-hard 的 Cluster Deletion 图聚类问题,通过更紧的分析将两种已有近似算法的近似保证从 4 改进至 3,提出简单的去随机化方法,并设计了一种在理论与实践上更具可扩展性的纯组合新方法。
2024-04-24 cs.DS cs.LG cs.SI
Know Where To Drop Your Weights: Towards Faster Uncertainty Estimation
Manipal Institute of Technology(马德拉斯理工学院);German Research Center for Artificial Intelligence(德国人工智能研究中心);Department of Computer Science & Engineering(计算机科学与工程系);Department of Information Technology(信息技术系)
由于不确定性估计技术在计算上要求很高,因此估计低延迟应用和分布外样本检测中使用的模型的认知不确定性是一项挑战。使用蒙特卡罗丢弃(MCD)、丢弃连接(MCDC)等近似技术估计模型不确定性需要通过网络进行大量的前向传递,这使得它们不适合低延迟应用。我们提出了Select-DC,它使用一个神经网络中的一个子集的层建模认知不确定性与MCDC。通过我们的实验,我们显示了显着减少GFLOPS所需的模型的不确定性,相比蒙特卡洛DropConnect,边际权衡性能。我们使用ResNet和VGG模型在CIFAR 10,CIFAR 100和SVHN数据集上进行了一系列实验。我们进一步展示了将DropConnect应用于网络中具有不同丢弃概率的各个层如何影响网络性能和预测分布的熵。
2020-10-27 cs.LG stat.ML
Faster Kernel Matrix Algebra via Density Estimation
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Massachusetts Institute of Technology(麻省理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院)
研究了半正定核矩阵$K \in \mathbb{R}^{n \times n}$对应于$n$点$x_1,\ldots,x_n \in \mathbb{R}^d$的基本性质的快速算法。特别地,我们考虑估计核矩阵项的和,以及其顶部特征值和特征向量。我们表明,矩阵项的总和可以估计为$1+ε$相对误差在时间$sublinear$在$n$和线性在$d$许多流行的内核,包括高斯,指数,和合理的二次内核。对于这些内核,我们还表明,顶部特征值(和近似特征向量)可以近似为$1+ε$相对误差在时间$subquadratic$在$n$和线性$d$。我们的算法代表了这些问题的最知名的运行时的显着进步。他们利用了核矩阵的正定性,以及最近关于有效核密度估计的工作。
2021-06-17 cs.DS cs.LG cs.NA
Faster Algorithms for High-Dimensional Robust Covariance Estimation
Duke University(杜克大学);University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题估计的协方差矩阵的高维分布时,一个小的常数部分的样本可以任意损坏。最近的工作给出了这个问题的第一个多项式时间算法与几个自然的结构化分布的近最优误差保证。我们的主要贡献是开发更快的算法,这个问题的运行时间几乎匹配的计算经验协方差。给定$N = \tildeΩ(d^2/ε^2)$样本从$d$维高斯分布,$ε$ -分数,其中可能是任意损坏,我们的算法运行在时间$\tilde{O}(d^{3.26})/\mathrm{poly}(ε)$和近似的未知协方差矩阵的最佳误差的对数因子。具有可比误差保证的先前鲁棒算法在$ε= Ω(1)$时都具有运行时$\tildeΩ(d^{2 ω})$,其中$ω$是矩阵乘法的指数。我们还提供证据表明,提高我们的算法的运行时间可能需要新的算法技术。
2019-06-11 cs.DS cs.LG math.ST
SGM-PINN: Sampling Graphical Models for Faster Training of Physics-Informed Neural Networks
Stevens Institute of Technology(史蒂文斯理工学院)
本研究提出基于图的重要性采样框架SGM-PINN,通过分解训练集构建的概率图模型生成带依赖关系的节点簇,结合鲁棒性度量与残差损失确定采样区域,实现PINNs训练速度3倍提升与精度改善。
2024-07-10 cs.LG
Author Clustering and Topic Estimation for Short Texts
Duke University(杜克大学)
短文本的分析,如社交媒体帖子,是非常困难的,因为它们固有的简短。除了对这些帖子的主题进行分类外,一项常见的下游任务是将这些文档的作者分组,以便随后进行分析。我们提出了一种新的模型,扩展了潜在的Dirichlet分配建模强依赖性的话在同一个文件中,与用户级的主题分布。我们还同时集群用户,消除了事后集群估计的需要,并通过缩小嘈杂的用户级主题分布对典型值的主题估计。我们的方法执行以及-或更好-比传统的方法,我们证明了它的有用性的数据集上的推文从美国参议员,恢复有意义的主题和集群,反映党派意识形态。我们还开发了一种新的措施,这些政客之间的回声室特征的孤立性的参议员群体讨论的主题,并提供不确定性量化。
2022-06-16 cs.IR cs.LG stat.ME
A Variance Controlled Stochastic Method with Biased Estimation for Faster Non-convex Optimization
School of Electronic and Computer Science(电子与计算机科学学院);University of Southampton(南安普顿大学)
本文提出了一种新的技术,{ \em方差控制随机梯度}(VCSG),以提高性能的随机方差降低梯度(SVRG)算法。为了避免SVRG对梯度方差的过度减小,在VCSG中引入了一个超参数$λ$来控制SVRG减小后的方差。理论表明,优化方法可以通过使用无偏梯度估计器来收敛,但在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。$λ$还具有平衡无偏估计和有偏估计之间的权衡的效果。其次,为了最小化SVRG中的完全梯度计算的数量,引入方差有界批处理以减少每次迭代中所需的梯度计算的数量。对于光滑非凸函数,该算法在$\mathcal{O}(min\{1/ε^{3/2},n^{1/4}/ε\})$次数内收敛到一个近似的一阶稳定点($\mathbb{E}\|\nabla{f}(x)\|^{2}\leqε$),改善了基于随机梯度的SCS方法$(\mathcal{O}(min\{1/ε^{5/3},n^{2/3}/ε\})$的前导梯度复杂度.理论和实验表明,VCSG可以部署,以提高收敛。
2021-02-19 cs.AI cs.LG math.OC
Faster DBSCAN via subsampled similarity queries
Google Research(谷歌研究);Waymo
DBSCAN是一种流行的基于密度的聚类算法。它计算数据集的$ε$ -邻域图,并使用高度节点的连通分量来确定聚类。然而,全邻域图可能太昂贵而无法以$O(n^2)$的最坏情况复杂度来计算。在本文中,我们提出了一个简单的变种称为SNG-DBSCAN,它集群的基础上的一个子采样$ε$ -邻域图,只需要访问相似性查询对点,特别是避免了任何复杂的数据结构,需要嵌入的数据点本身。程序的运行时间为$O(sn^2)$,其中$s$为采样率。我们表明,在一些自然的理论假设下,$s \approx \log n/n$是足够的统计集群恢复保证导致$O(n\log n)$的复杂性。我们提供了一个广泛的实验分析,表明在大型数据集上,可以对邻域图的$0.1\%$进行子采样,与scikit-learn的DBSCAN实现相比,可以实现超过200倍的加速和250倍的RAM消耗减少,同时仍然保持有竞争力的聚类性能。
2020-10-22 cs.LG stat.ML
Estimation of the number of clusters on d-dimensional sphere
Komatsu University(小松大学);University of Electro-Communications(电气通信大学)
球形数据分布在球体上。数据出现在各种领域,如气象学、生物学和自然语言处理。然而,用于分析球形数据的方法还没有充分发展。其中一个重要的问题是球形数据中聚类数的估计。为了解决这个问题,我提出了一种新的方法,称为球面X-均值(SX-均值),可以估计d维球体上的聚类数。SX均值是基于模型的方法,假设数据是从von Mises-Fisher分布的混合物中生成的。本文解释了所提出的方法,并显示其性能的估计的集群的数量。
2021-05-13 cs.LG stat.ML
Exploiting the Structure: Stochastic Gradient Methods Using Raw Clusters
Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
世界上可用数据量的增长速度超过了我们处理数据的能力。然而,如果我们利用内部\emph{structure},数据可能会变得更小,用于机器学习目的。在本文中,我们专注于一个基本的机器学习任务,经验风险最小化(ERM),并提供更快的算法的帮助下,从聚类结构的数据。我们介绍了一个简单的概念,可以有效地计算出的数据的原始聚类,并提出了两个算法的聚类信息的基础上。我们的加速算法EscherACDM是建立在一个新的Haar变换的双重空间的ERM问题,我们的方差减少为基础的算法EscherSVRG引入了一个新的梯度估计,使用聚类。我们的算法优于他们的经典同行ACDM和SVRG分别。
2016-11-04 cs.LG stat.ML
Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation
Wenzhou University(温州大学)
针对大规模网络时延估计计算开销大的问题,提出融合改进张量杠杆率采样、CSVD-QR、L_{2,1} 范数与张量 QR 分解 ADMM 的张量补全方法,在保持精度的同时显著提升速度。
2023-06-27 cs.LG cs.NA cs.NI
Faster k-Medoids Clustering: Improving the PAM, CLARA, and CLARANS Algorithms
Technische Universität Dortmund(多特蒙德工业大学);KU Leuven(鲁汶大学)
本文通过改进PAM算法的SWAP阶段实现O(k)倍加速,并扩展至CLARA和CLARANS,在k=100的真实数据上取得200倍加速,使k-medoids适用于更大数据集和更高k值。
2019-10-29 cs.LG stat.ML
DISCERN: Diversity-based Selection of Centroids for k-Estimation and Rapid Non-stochastic Clustering
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学)
基于中心的聚类算法(如K-Means)的应用之一是将数据点划分为K个聚类。在某些示例中,特征空间与我们试图解决的潜在问题有关,有时我们可以获得合适的特征空间。然而,虽然K-Means是最有效的离线聚类算法之一,但它不具备估计聚类数的能力,这在某些实际情况下是有用的。其他实用的方法太复杂了,因为它们需要对每个可能的K至少运行一次K-Means。为了解决这个问题,我们提出了一个类似于K-Means++的K-Means初始化,它能够基于特征空间估计K,同时以确定性的方式为K-Means找到合适的初始质心。然后,我们比较了所提出的方法,DISCERN,与一些最实用的K估计方法,同时还比较了随机初始化时,使用K-Means++和使用DISCERN的K-Means的聚类结果。结果表明,在估计和最终的聚类性能的改善。
2020-09-22 cs.LG stat.ML
BayesCard: Revitilizing Bayesian Frameworks for Cardinality Estimation
Alibaba Group(阿里巴巴集团);University of Edinburgh(爱丁堡大学)
基数估计(CardEst)是查询优化器的重要组成部分,也是数据库管理系统中的一个基本问题.一个理想的CardEst方法应该获得良好的算法性能,是稳定的,以不同的数据设置,并友好的系统部署。然而,现有的CardEst方法不能同时满足这三个标准。传统的方法往往有显着的算法缺陷,如大的估计误差。最近提出的基于深度学习的方法大大提高了估计精度,但它们的性能可能会受到数据的极大影响,并且通常难以进行系统部署。在本文中,我们振兴的贝叶斯网络(BN)的CardEst通过将概率程序设计语言的技术。我们提出了贝叶斯卡,第一个框架,继承了BN的优点,即,具有较高的估计精度和可解释性,同时克服了其结构学习和推理效率低的缺点。这使得BayesCard成为商业DBMS部署的完美候选者。我们在几个单表和多表基准测试上的实验结果表明,BayesCard优于现有的最先进的CardEst方法:BayesCard实现了相当或更好的准确性,推理时间快1-2个数量级,训练时间快1 - 3个数量级,模型大小小1-3个数量级,更新快1-2个数量级。同时,贝叶斯卡保持稳定的性能时,不同的设置变化的数据。我们还将BayesCard部署到PostgreSQL中。在IMDB基准测试工作负载上,它将端到端查询时间提高了13.3%,非常接近使用真基数的oracle的最佳结果14.2%。
2021-02-02 cs.DB cs.LG
Even Faster Kernel Matrix Linear Algebra via Density Estimation
MIT(麻省理工学院);UW-Madison(威斯康星大学麦迪逊分校)
本文通过密度估计方法,改进了核矩阵线性代数任务的计算效率,降低了对误差和数据量的依赖性,并提供了相关问题的下界分析。
2026-03-03 cs.DS cs.LG cs.NA
UniForCE: The Unimodality Forest Method for Clustering and Estimation of the Number of Clusters
University of Ioannina(约阿尼纳大学);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Université Paris-Saclay(巴黎萨克雷大学)
针对聚类时难以准确估计聚类数的问题,研究提出基于局部单峰聚类定义的UniForCE方法,通过单峰图生成森林识别聚类,可灵活鲁棒地处理复杂形状聚类并自动估计聚类数。
2023-12-18 cs.AI cs.LG stat.ME
Differentially-Private Collaborative Online Personalized Mean Estimation
New Jersey Institute of Technology(新泽西理工学院);Simula UiB(西挪威西蒙研究所)
针对多智能体持续接收特定分布数据的场景,提出基于假设检验、差分隐私和方差估计的协同个性化均值估计算法,理论分析和数值结果表明其收敛快于完全本地方法,性能接近数据公开的理想情况。
2024-11-28 cs.IT cs.LG math.IT
k-MS: A novel clustering algorithm based on morphological reconstruction
Universidade Federal Fluminense(弗卢米嫩塞联邦大学);The Petroleum Institute(石油学院)
本文提出了一种基于形态重构和聚类分析的聚类算法k-Morphological Sets(k-MS)。在最坏的情况下,k-MS比CPU并行k-Means更快,并产生增强的数据集可视化以及非常明显的聚类。它也比对密度和形状敏感的类似聚类方法(如有丝分裂和TRICLUST)更快。此外,k-MS是确定性的,并且具有可以针对给定输入样本和输入参数创建的最大聚类的内在意义,不同于k-Means和其他聚类算法。换句话说,给定常数k、结构元素和数据集,k-MS在不使用随机/伪随机函数的情况下产生k个或更少的聚类。最后,所提出的算法还提供了一种简单的方法,用于从图像或数据集中去除噪声。
2022-08-30 cs.AI cs.GR cs.LG
Handling missing data in model-based clustering
Università degli Studi di Perugia(佩鲁贾大学);University College Dublin(都柏林大学学院)
高斯混合模型是一种有效的聚类、分类和密度估计的工具。缺失值的存在会在很大程度上影响高斯估计过程,因此处理缺失数据是聚类、分类和密度估计中的关键点。在模型估计之前,已经开发了几种技术来插补缺失值。其中,多重插补是处理缺失数据的一种简单有效的通用方法。在本文中,我们提出了两种不同的方法来拟合高斯混合存在缺失数据。这两种方法都使用蒙特卡罗期望最大化(MCEM)算法的变体进行数据扩充。因此,在E步骤期间执行多重插补,随后是给定特征分解分量-协方差阵的标准M步骤。我们表明,所提出的方法优于多重插补的方法,无论是在聚类识别和密度估计。
2020-06-04 cs.LG stat.ME stat.ML
Electrode Clustering and Bandpass Analysis of EEG Data for Gaze Estimation
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
在这项研究中,我们验证了以前发表的论文的研究结果,显示了基于脑电图(EEG)的凝视估计的可行性。此外,我们扩展了以前的研究,证明模型性能只有轻微的下降,我们可以显着减少电极的数量,这表明高密度,昂贵的EEG帽是不必要的EEG为基础的眼睛跟踪的目的。使用数据驱动的方法,我们建立了哪些电极簇影响凝视估计以及不同类型的EEG数据预处理如何影响模型的性能。最后,我们还检查哪些记录的频率对定义的任务最重要。
2023-02-19 cs.HC cs.LG eess.SP
Parallel Total Variation Distance Estimation with Neural Networks for Merging Over-Clusterings
Universität Passau(帕绍大学)
我们考虑的初始情况下,一个数据集已被过度分割成$k$集群,并寻求一个域独立的方式来合并这些初始集群。我们确定总变异距离(TVD)适合这个目标。通过利用TVD的贝叶斯精度的关系,我们展示了如何神经网络可以用来估计TVD之间的所有对集群并行。重要的是,通过将所需的输出神经元数量从$k^2$减少到$k$,所需的存储空间减少了。在实际获得的ImageNet子集的过度聚类上,证明了我们的TVD估计比依靠最先进的无监督表示获得的合并决策更好。此外,通过对点云数据集的评估,验证了该方法的通用性。
2019-12-09 cs.CV cs.LG stat.ML
Empirical Density Estimation based on Spline Quasi-Interpolation with applications to Copulas clustering modeling
University of Bari(巴里大学)
本文提出基于样条拟插补的单变量密度估计方法,结合 copulas 函数构建多变量联合分布,提出有限混合 copula 模型用于聚类建模,并在人工和真实数据集上验证了算法有效性。
2024-02-18 cs.LG cs.NA math.NA