Approximating Persistent Homology for Large Datasets
Department of Mathematics, KTH Royal Institute of Technology(皇家理工学院数学系);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系)
本文提出了一种多重子采样方法,用于近似大规模数据集的持久同调,通过三种不同表示方式提升计算效率并验证其有效性。
2026-01-12 cs.LG math.ST stat.ME
Spectral Clustering using Eigenspectrum Shape Based Nystrom Sampling
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
谱聚类在分析聚类结构方面表现出优越的性能。但其计算复杂性限制了其在大规模数据分析中的应用。为了解决这个问题,提出了许多低秩矩阵近似算法,包括Nystrom方法-一种具有已证明的近似误差界的方法。有几种算法提供了构造具有可变精度和计算时间的Nystrom近似的方法。本文提出了一种基于Nystrom的聚类算法,该算法采用了一种新的采样过程--质心最小平方相似和(CMS 3),并给出了何时使用该算法的启发式算法。我们的启发式算法依赖于数据集的特征谱形状,并在测试数据集上产生了与其他最先进的方法相比具有竞争力的低秩近似
2020-07-21 cs.LG stat.ML
Degrees of Freedom and Model Selection for k-means Clustering
Stellenbosch University(斯泰伦博斯大学)
本文研究了k-means聚类中的模型自由度。Stein引理的扩展提供了k均值模型中有效自由度的表达式。近似的自由度在实践中需要简化这个表达式,但实证研究表明,我们提出的方法是适当的。通过使用贝叶斯信息准则的模型选择,证明了这种新的自由度公式的实际意义。该方法的可靠性是通过模拟数据的实验,以及从不同的应用领域的公开可用的基准数据集的大集合进行验证。与流行的现有技术的比较表明,这种方法是非常有竞争力的选择高质量的聚类解决方案。可以从https://github.com/DavidHofmeyr/edfkmeans以R包的形式获得实现所提出方法的代码。
2020-02-21 cs.LG stat.ML
SECLEDS: Sequence Clustering in Evolving Data Streams via Multiple Medoids and Medoid Voting
Delft University of Technology(代尔夫特理工大学)
流环境中的序列聚类是具有挑战性的,因为它在计算上是昂贵的,并且序列可能随着时间的推移而演变。K中心或围绕中心分割(PAM)通常用于聚类序列,因为它支持基于距离的聚类,并且作为实际数据项的k中心有助于聚类的可解释性。然而,离线k-medoids不支持概念漂移,同时对于聚类数据流来说也非常昂贵。因此,我们提出SECLEDS,一个流的变体的k-medoids算法与恒定的内存占用。SECLEDS有两个独特的属性:i)它使用多个medoid每个集群,产生稳定的高质量的集群,和ii)它处理概念漂移使用直观的Medoid投票方案近似集群距离。与现有的为新概念创建新集群的自适应算法不同,SECLEDS遵循一种根本不同的方法,其中集群本身随着不断发展的流而发展。使用真实的和合成的数据集,我们凭经验证明,SECLEDS产生高质量的集群,无论漂移,流大小,数据维数和集群的数量。我们比较三个流行的流和批聚类算法。最先进的BanditPAM被用作离线基准。SECLEDS实现了与BanditPAM相当的F1分数,同时将所需的距离计算数量减少了83.7%。重要的是,当流包含漂移时,SECLEDS的性能优于所有基线138.7%。我们还集群真正的网络流量,并提供证据表明,SECLEDS可以支持高达1.08 Gbps的网络带宽,同时使用(昂贵的)动态时间扭曲距离。
2022-06-24 cs.LG
Large-scale subspace clustering using sketching and validation
University of Minnesota(明尼苏达大学);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
如今,大量生成和传输的数据在其处理中提出了重大挑战。虽然能够成功地分类非线性可分离的对象在各种设置,子空间聚类(SC)方法招致过高的计算复杂性时,处理大规模的数据。随机抽样和共识(RANSAC)的方法来强大的回归的启发,本文介绍了一种随机方案SC,称为草图和验证(SkeVa-)SC,为大规模数据量身定制。SkeVa-SC的核心是一个随机化的方案,用于通过核平滑参数来近似观测数据的潜在概率密度函数。数据表示的稀疏性也被利用来减少SC的计算负担,同时实现高聚类精度。性能分析以及广泛的数值测试合成和真实数据证实了潜力的SkeVa-SC和其竞争力的表现相对于国家的最先进的可扩展的SC方法。关键词:子空间聚类,大数据,核平滑,随机化,草图,验证,稀疏性。
2015-10-06 cs.CV cs.LG stat.ML
Fitting a Simplicial Complex using a Variation of k-means
University of Southampton(南安普顿大学)
给出了一种简单有效的用单纯复形$K$逼近点云$\mathcal{S}\subset\mathbb{R}^m$的两阶段算法。第一阶段是一个迭代拟合过程,概括了k-均值聚类,而第二阶段涉及删除冗余的单纯形。由此得到了$\mathcal{S}$的一种降维形式。
2016-08-02 cs.CG cs.LG stat.ML
Randomized Dimensionality Reduction for Facility Location and Single-Linkage Clustering
Massachusetts Institute of Technology(麻省理工学院);Institute of Advanced Study(高等研究院)
随机降维是一种多功能的工具,用于加速高维问题的算法。我们研究了它的应用到两个聚类问题:设施定位问题,和单链接层次聚类问题,这是相当于计算最小生成树。我们表明,如果我们将输入点集$X$投影到一个随机的$d = O(d_X)$维子空间(其中$d_X$是双倍维度的$X$),那么在投影空间中的最佳设施选址成本近似于原始成本的常数因子。我们显示了一个类似的最小生成树的声明,但与尺寸$d$有一个额外的$\log \log n$长期和逼近因子任意接近$1$。此外,我们将这些结果扩展到近似的解决方案,而不仅仅是他们的成本。最后,我们提供实验结果来验证解决方案的质量和由于降维的加速比。与以前的几篇论文研究这种方法的背景下,$k$ -手段和$k$ -中位数,我们的维数界不依赖于集群的数量,但只对内在的维数$X$。
2021-07-05 cs.DS cs.LG math.PR
Hierarchical $\mathcal{F}$-Clustering: Approximation and Hardness of Clustering into Trees and Bounded Diameter Graphs
研究分层$\mathcal{F}$-聚类问题,针对$\mathcal{F}$为树和有界直径图的情况,给出多项式时间近似算法,主要贡献是基于线性规划的近似框架,还证明在小集扩展假设下这两种聚类不能在常数因子内近似。
2026-07-16 cs.DS cs.LG
Approximating DTW with a convolutional neural network on EEG data
Saagie(萨吉公司);LITIS(LITIS实验室);Rouen(鲁昂大学);Paris(巴黎大学)
动态时间包络(DTW)是一种广泛使用的算法,用于测量两个时间序列之间的相似性。它在各种各样的应用中特别有价值,例如聚类,异常检测,分类或视频分割,其中时间序列具有不同的时间尺度,不规则采样或移位。然而,由于其不可微性和二次时间复杂性,它不容易被认为是端到端学习框架中的损失函数。虽然社区已经引入了DTW的可微变体,但它们仍然存在一些缺点:计算距离仍然很昂贵,并且这种相似性往往会模糊时间序列中的一些差异。在本文中,我们提出了一个快速和可微的近似DTW通过比较两种架构:第一个学习嵌入的欧几里得距离模仿DTW,第二个直接预测DTW输出使用回归。前者通过训练一个连体神经网络来回归两个时间序列之间的DTW值。根据激活函数的性质,这种近似自然支持微分,并且计算效率很高。我们表明,在EEG数据集的时间序列检索上下文中,我们的方法至少达到了与其他DTW主要近似相同的精度水平,具有更高的计算效率。我们还表明,它可以用来学习在一个端到端的设置长时间序列,提出生成模型的EEG。
2023-01-30 cs.AI cs.LG
LINSCAN -- A Linearity Based Clustering Algorithm
Computational and Applied Mathematics University of Chicago(计算与应用数学大学芝加哥);Institute of Geophysics and Planetary Physics Scripps Institution of Oceanography University of California San Diego(地球物理与行星物理研究所斯克里普斯海洋研究所加州大学圣地亚哥分校);Department of Structural Engineering University of California San Diego(结构工程系加州大学圣地亚哥分校);Department of Mathematics and Halicioğlu Data Science Institute University of California San Diego(数学系哈利奇奥格卢数据科学研究所加州大学圣地亚哥分校)
本文提出LINSCAN算法,利用DBSCAN和OPTICS的优势,通过局部邻域的正态分布近似和KL散度距离函数,检测空间接近但协方差正交的线性聚类,并应用于地震数据识别活动断层。
2025-11-25 cs.CG cs.LG
On Approximating the Lp Distances for p>2
Cornell University(康奈尔大学)
机器学习和数据采掘中的应用需要计算数据矩阵A中的成对Lp距离。对于大量高维数据,计算A的所有成对距离可能是不可行的。事实上,即使将A或A的所有成对距离存储在存储器中也可能是不可行的。本文对p = 2,4,6,.给出了一个简单的方法。我们首先将l_p(其中p是偶数)距离分解为2个边际范数和p-1个不同阶的“内积”之和。然后,我们应用正常或亚高斯随机投影来近似所得的“内积”,假设边缘范数可以通过线性扫描精确计算。我们提出了两种策略应用随机预测。基本投影策略只需要一个投影矩阵,但分析起来比较困难;交替投影策略需要p-1个投影矩阵,但理论分析起来比较容易。在精度方面,至少对于p=4,如果数据是非负的,基本策略总是比替代策略更准确,这在现实中是常见的。
2008-06-27 cs.LG
A Fast Quartet Tree Heuristic for Hierarchical Clustering
Center for Mathematics and Computer Science (CWI)(数学与计算机科学中心(CWI));University of Amsterdam(阿姆斯特丹大学)
最小四元组树代价问题是从$n$对象上的$3{n \choose 4}$加权四元组拓扑构造最优权重树,其中最优性意味着嵌入的四元组拓扑的总权重是最优的(因此可能是最优树将所有四元组嵌入为非最优拓扑的情况)。我们提出了一个蒙特卡洛启发式,随机爬山的基础上,近似的最佳权重树,给定的四重拓扑权重。该方法反复变换树状图,涉及的所有对象作为叶子,实现单调近似的确切的单一的全局最优树。问题和解决方案的启发式已被广泛用于一般层次聚类的非树型(非同源性)数据在各个领域和跨域异构数据。我们还提出了一个大大改进的启发式,减少了一千到一万的顺序的因素的运行时间。所有这些都是作为CompLearn包的一部分实现和可用的。我们将原始版本和改进版本的性能和运行时间与UPGMA,BioNJ和NJ的性能和运行时间进行了比较,后者在SplitsTree软件包中对基因组数据进行了优化。保留字:数据和知识可视化,模式匹配-聚类-算法/相似性度量,层次聚类,全局优化,四方树,随机爬山,
2014-09-12 cs.CE cs.DS cs.LG
Learning to Approximate a Bregman Divergence
Boston University(波士顿大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系)
布雷格曼发散推广了平方欧几里德距离和库尔贝克-莱布勒散度等度量,并出现在机器学习的许多领域。在本文中,我们专注于逼近任意Bregman分歧监督的问题,我们提供了一个很好的原则性的方法来分析这种近似。我们开发了一个配方和算法学习任意Bregman分歧的基础上近似其基本的凸生成函数通过分段线性函数。我们提供了理论上的近似边界,使用我们的参数化,并表明,泛化误差$O_p(m^{-1/2})$度量学习使用我们的框架匹配已知的泛化误差严格较少一般马氏度量学习设置。我们进一步实证表明,我们的方法表现良好,与现有的度量学习方法相比,特别是聚类和排名问题。
2020-11-03 cs.LG stat.ML
Automated regime classification in multidimensional time series data using sliced Wasserstein k-means clustering
Citigroup, London, UK(伦敦英国摩根大通公司);Data Science Institute, London School of Economics, London, UK(伦敦经济学院数据科学研究所)
提出切片Wasserstein k-means聚类方法,通过近似多维Wasserstein距离,实现多维时间序列数据的自动制度分类,并在合成数据和真实外汇数据中验证有效性。
2026-05-24 cs.LG q-fin.CP q-fin.MF
Sensitivity Sampling with Predictions for k-Means Clustering
University of Padova(帕多瓦大学)
研究k均值聚类问题,利用预测近似输入点重要性以降低基于敏感性的方法运行时间,证明相关理论对更粗敏感性近似成立,提出自然预测器并通过实验验证其优势。
2026-07-07 cs.DS cs.LG
Approximating Fair $k$-Min-Sum-Radii in Euclidean Space
本文针对欧氏空间中常数 k 的公平 k-最小半径和问题,提出首个 PTAS 近似算法,将 k-最小半径和的研究从无约束情形扩展到多种群体公平约束情形。
2024-09-30 cs.DS cs.LG
Approximating the Manifold Structure of Attributed Incentive Salience from Large Scale Behavioural Data. A Representation Learning Approach Based on Artificial Neural Networks
University of York(约克大学)
激励显著性归因可以被理解为一种心理生物学机制,将相关性归因于潜在的奖励对象和行为。尽管它是指导我们日常行为的动机过程的重要组成部分,但在自然主义背景下的研究并不简单。在这里,我们提出了一种基于人工神经网络(ANN)的方法,用于近似的情况下,大量的行为数据,但没有实验控制是可能的这个过程中产生的潜在状态。利用知识来自理论和计算帐户的激励显着性归因,我们设计了一个人工神经网络来估计持续时间和强度之间的未来互动的个人和一系列的视频游戏在一个大规模的($N> 3 \times 10^6$)纵向数据集。我们发现视频游戏是开发这种方法的理想环境,因为它们依赖于奖励机制,并且能够大规模提供生态稳健的行为措施。与竞争方法相比,我们的方法产生的表示,更适合于预测强度未来的行为和近似的一些功能属性的归因激励显着性。我们讨论了我们的研究结果,参考所采用的理论和计算框架,并建议我们的方法可以是一个初始步骤,估计归因于激励显着性在大规模的行为研究。
2022-05-26 cs.LG stat.ML
Greedy Algorithms for Approximating the Diameter of Machine Learning Datasets in Multidimensional Euclidean Space
Mutah University(穆塔大学)
在多维欧氏空间中找到数据集的直径是一个公认的问题,具有众所周知的算法。然而,文献中的大多数算法不能很好地适应大的数据维数,因此在大多数情况下时间复杂度呈指数增长,这使得这些算法不实用。因此,我们实现了4种简单的贪心算法,用于近似多维数据集的直径;这些算法分别基于最小/最大l2范数、爬山搜索、禁忌搜索和束搜索方法。所实现的算法的时间复杂度接近线性,因为它们随着数据大小及其维度而接近线性地扩展。实验的结果(在不同的机器学习数据集上进行)证明了所实现的算法的效率,并且因此可以被推荐用于在需要时找到要由不同的机器学习应用使用的直径。
2018-08-10 cs.DS cs.LG stat.ML
Index Set Fourier Series Features for Approximating Multi-dimensional Periodic Kernels
School of Information Technologies, The University of Sydney(悉尼大学信息技术学院);The University of Sydney(悉尼大学)
周期性经常在时间序列建模中使用自回归方法进行研究,但在内核文献中不太受欢迎,特别是对于更高维的问题,如纹理,晶体学和量子力学。大型数据集通常使得建模周期性对于其他强大的非参数方法(如高斯过程(GP))来说是站不住脚的,高斯过程(GP)通常会产生$\mathcal{O}(N^3)$计算负担,因此无法扩展到更大的数据集。为此,我们引入了一种称为\emph{Index Set Fourier Series Features}的方法,可追溯地利用多元傅立叶级数,并有效地将高维数据的周期核分解成一系列的基函数。我们表明,我们的近似产生显着更少的预测误差比替代方法,如基于随机傅立叶特征,并实现更好的概括与周期性数据的回归问题。
2018-05-14 cs.LG stat.ML
Gaussian Mixture Reduction with Composite Transportation Divergence
Renmin University of China(中国人民大学);University of Toronto(多伦多大学);University of British Columbia(不列颠哥伦比亚大学)
针对高斯混合递归更新中阶数指数增长导致推理困难的问题,本文提出基于复合传输散度的优化型高斯混合约简方法,采用主化-最小化算法并证明收敛性,统一了现有聚类方法,实验验证其高效有效。
2023-10-17 cs.LG stat.ML
Approximating a Target Distribution using Weight Queries
Ben Gurion University(本·古里安大学)
我们考虑了一个新的挑战:近似的分布,没有能力从该分布中随机抽样。我们研究如何使用 * 权重查询 * 获得这样的近似。给定一些示例的数据集,权重查询将其中一个示例呈现给Oracle,该Oracle根据目标分布返回观察到与所呈现的示例类似的示例的概率。例如,该预言机可以表示对目标人群的数据库的查询计数,或者表示对返回与给定搜索匹配的结果的数量的搜索引擎的接口。我们提出了一个交互式算法,迭代地选择数据集的例子,并执行相应的权重查询。该算法使用有限数量的权重查询,根据目标分布找到近似权重的数据集的重新加权。我们推导出一个近似界的总变化之间的距离由算法找到的重新加权和最佳可实现的重新加权。我们的算法的灵感来自于UCB方法常见的多武装土匪问题,并结合了一个新的差异估计和贪婪的迭代过程。除了我们的理论保证,我们在实验中证明了所提出的算法在几个基线的优势。所提出的算法和所有实验的Python实现可以在https://github.com/Nadav-Barak/AWP上找到。
2021-02-27 cs.LG stat.ML
Interpreting Epsilon of Differential Privacy in Terms of Advantage in Guessing or Approximating Sensitive Attributes
Cybernetica AS(赛博内蒂卡公司)
存在实现$ε$ -差分隐私(DP)的许多方法。问题是$ε$的适当值是什么,因为对于“足够小”的$ε$没有共同的协议,并且它的好坏取决于查询和数据。在本文中,我们将展示如何计算对应于$δ$的$ε$,定义为对手的优势,猜测一些特定属性的输出的概率。攻击者的目标可以表述为布尔表达式,可能在一定的精度内猜测特定的属性。以这种方式组合的属性应该是独立的。我们假设输入和输出分布都有相应的概率密度函数或概率质量函数。
2019-11-28 cs.CR cs.LG
On Convergence of Moments for Approximating Processes and Applications to Surrogate Models
RWTH Aachen University(亚琛工业大学)
通过推广已知的关于$ Y_n = Y $对所有$n$和$ X_n $依概率收敛于$Y$的特殊情形的结果,研究了一对保证矩接近的逼近过程对$ (\{ X_n \} $,$ \{ Y_n \}) $的判别准则.这个问题在使用替代模型时尤其会出现,例如,通过模拟数据来丰富观测数据,其中替代$Y_n$的构造是为了证明它们近似于$ X_n $。本文的结果涉及随机变量序列。由于这个框架不包括许多应用程序,代理模型,如深神经网络被用来近似更一般的随机过程,我们的结果扩展到更一般的框架随机过程的随机场。该框架尤其涵盖图像数据和图像序列。我们表明,一致可积性是充分的,这甚至适用于过程的情况下,他们满足弱平稳性条件。
2018-04-28 cs.LG math.ST stat.ML
Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating a class of inverse problems for PDEs
ETH Zürich(苏黎世联邦理工学院)
针对PDE数据同化与唯一延拓反问题,论文建立抽象框架并利用条件稳定性证明PINN泛化误差估计,辅以四类线性PDE示例和数值实验验证。
2023-12-06 cs.LG cs.NA math-ph
Numerical Aspects for Approximating Governing Equations Using Data
Department of Mathematics, The Ohio State University, Columbus, OH 43210, USA.(数学系,俄亥俄州立大学,哥伦布,OH 43210,USA)
本文提出了一种有效的数值算法,用于从测量数据中局部恢复未知的偏微分方程,通过使用多项式等标准基函数进行高精度近似,并讨论了准确近似的关键因素,如使用大量短轨迹数据而非单一长轨迹数据,以及展示了线性和非线性系统的数值示例。
2018-09-24 cs.LG cs.NA math.DS
A Geometric Approach to Problems in Optimization and Data Science
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
本文利用高维几何与概率工具,为优化与数据科学问题提出新算法与统计保证,涵盖流中凸多胞体逼近、稀疏化、稳健回归、对抗优化及后门攻击分析等。
2025-04-22 cs.LG math.OC stat.ML
A Class of Logistic Functions for Approximating State-Inclusive Koopman Operators
Brigham Young University(杨百翰大学);Pacific Northwest National Laboratories(太平洋西北国家实验室)
非线性系统理论中的一个突出挑战是直接从数据或模型中识别或学习给定非线性系统的Koopman算子。扩展的动态模式分解方法和机器学习方法的进步已经使得连续和离散时间系统的Koopman算子的数据驱动发现成为可能。由于Koopman算子通常是无限维的,因此在实践中使用有限维系统来近似它们。有限维Koopman近似的保真度和收敛性是一个正在进行的研究课题。在本文中,我们引入了一类Koopman可观测函数,赋予其相应的有限维近似的Koopman算子的近似封闭性。我们推导出这类可观测函数的保真度的误差界,以及确定两个关键的学习参数,可用于调整性能。我们说明了我们的方法上的两个经典的非线性系统模型:范德波尔振荡器和双曲肘开关。
2017-12-08 cs.AI cs.LG math.OC
On Approximating the Dynamic Response of Synchronous Generators via Operator Learning: A Step Towards Building Deep Operator-based Power Grid Simulators
Purdue University(普渡大学)
提出基于算子学习的框架,利用DeepONet逼近同步发电机的动态响应,并设计递归模拟方案及残差DeepONet方案,结合数据聚合策略实现与电网交互的模拟。
2026-06-12 cs.AI cs.LG math.DS
Approximating Sparse PCA from Incomplete Data
Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究如何利用少量数据元素形成的草图恢复数据矩阵的稀疏主成分,证明草图接近原矩阵时可获得近优解,提出稀疏PCA算法并展示其在多领域数据上的有效性,提升运行效率。
2015-03-12 cs.IT cs.LG cs.NA
On the approximation of rough functions with deep neural networks
ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明,在任何阶数下,ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络,包括其近似Lipschitz函数的高阶精度。数值试验结果表明,神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA