An improvement on fragmentation in Distribution Database Design Based on Knowledge-Oriented Clustering Techniques
分布式数据库的优化问题包括：数据分片和数据定位。已经提出了几种不同的方法和算法来解决这个问题。本文提出了一种基于距离阈值的初始等价关系建立算法。这一阈值也是基于面向知识的横向和纵向碎片化聚类技术。算法中使用的相似性度量是从经典度量发展而来的度量。在小数据集上进行了基于经典算法的碎片化结果匹配实验。执行时间和数据碎片显着减少，而我们的算法的复杂性在一般情况下是稳定的。
2015-05-06 cs.DB
A comparison study of object-oriented database clustering techniques
人们普遍认为，一个好的对象聚类是关键的OODBs的性能。群集意味着将相关对象紧密地存储在辅存上，以便当从磁盘访问一个对象时，所有相关对象也都被带入内存。然后访问这些相关的对象是一个主存访问，比磁盘访问快得多。本文的目的是比较三种聚类算法：Cactis，CK和ORION的性能。仿真实验表明，Cactis算法在响应时间和分簇开销方面优于ORION算法，CK算法在性能上完全优于其他两种算法。
2016-11-28 cs.DB
Automatic Clustering in Hyrise
物理数据布局是现代数据库的重要性能因素。聚类，即，邻近地存储相似的值可以以几种方式导致性能增益。我们提出了一个自动化的模型，以确定有益的集群列和面向列的，内存驻留数据库Hyrise的聚类算法。为了自动选择集群列，该模型分析数据库的工作负载，并根据某些集群列对工作负载延迟的影响程度提供估计。我们评估模型估计的精度，以及其聚类建议的整体质量。为了应用一个确定的聚类配置，我们开发了一个在线聚类算法。聚类算法支持任意数量的聚类维度。我们表明，该算法对并发运行的数据修改查询是强大的。当对lineitem表进行聚类时，TPC-H基准测试的延迟减少了5%，当对store_sales表进行聚类时，TPC-DS基准测试的延迟减少了4%。
2021-03-29 cs.DB
New Proximity Estimate for Incremental Update of Non-uniformly Distributed Clusters
传统的聚类算法挖掘静态数据库，生成一组聚类形式的模式。许多现实生活中的数据库都在不断增长。对于这样的动态数据库，从原始数据库中提取的模式变得过时。因此，传统的聚类算法是不适合的增量数据库，由于缺乏能力，以修改聚类结果，根据最近的更新。在本文中，作者提出了一种新的增量聚类算法CFICA（基于聚类分析的增量聚类方法数值数据）来处理数值数据，并提出了一种新的接近度度量称为逆接近估计（IPE），它考虑了数据点的接近聚类代表以及它的接近最远的点在其附近。CFICA利用所提出的邻近度量来确定数据点到聚类中的成员资格。
2013-10-25 cs.DB
Efficient techniques for mining spatial databases
聚类是数据采掘的主要任务之一。近几年来，空间数据的聚类得到了广泛的研究.空间数据库是许多高级信息系统的组成部分，如地理信息系统超大规模集成电路设计系统。在这篇论文中，我们介绍了几种有效的空间数据聚类算法。首先，我们提出了一个基于网格的聚类算法，具有几个优点和性能相媲美的著名的高效聚类算法。该算法有几个优点。该算法不需要很多输入参数。它只需要三个参数，数据空间中的点的数量，网格中的单元格的数量和百分比。网格中单元的数量反映了算法应达到的精度。该算法能够发现任意形状的簇。该算法的计算复杂性与最有效的聚类算法的复杂性相当。该算法已被实施和测试对不同范围的数据库大小。性能结果表明，该算法的运行时间优于最知名的算法（CRANANS [23]）。实验结果还表明，该算法的性能不随数据点数目的增加而降低。
2012-06-01 cs.DB
Evaluating the Dynamic Behavior of Database Applications
本文探讨了改变访问模式对数据库管理系统性能的影响。访问模式的变化在确定关键性能优化技术（如动态群集、预取和缓冲区替换）的效率方面起着重要作用。然而，所有现有的基准测试或评估框架都产生静态访问模式，其中对象总是以相同的顺序重复访问。因此，我们提出了动态评估框架（DEF），模拟访问模式的变化，使用可配置的风格的变化。DEF被设计为开放和完全可扩展的（例如，可以容易地添加新的访问模式改变模型）。在本文中，我们实例DEF到动态对象评估框架（DoEF），这是专为对象数据库，即，面向对象或对象关系数据库，如多媒体数据库或大多数XML数据库。DoEF的能力已经通过模拟四种不同的动态聚类算法的执行进行了评估。结果证实了我们的分析，灵活的保守重新聚类是决定聚类算法的能力，以适应访问模式的变化的关键。这些结果表明，DoEF在确定每个动态聚类算法的适应性，在模拟环境中的访问模式的变化的有效性。在第二组实验中，我们使用DoEF来比较两个现实生活中的对象存储的性能：Platypus和SHORE。DoEF帮助揭示了鸭嘴兽糟糕的交换性能。
2017-01-02 cs.DB
Performance Evaluation of Incremental K-means Clustering Algorithm
增量K-means聚类算法已经在论文[Chakraborty和Nagwani，2011]中提出和分析。这是一个非常创新的方法，适用于周期性增量的环境和处理大量的更新。本文利用大气污染数据库对增量式K均值聚类算法进行了性能评估。本文还描述了现有的K-均值聚类和增量K-均值聚类使用特定的数据库之间的性能评估的比较。它还评估了数据库中的特定变化点，增量K-means聚类的性能比现有的K-means聚类要好得多。数据库中的特定变化点被称为“阈值”或“数据库中的%增量变化”。本文还定义了增量K均值聚类算法的基本方法。
2014-06-18 cs.DB cs.IR
Rank Based Clustering For Document Retrieval From Biomedical Databases
如今，搜索引擎被广泛用于从世界各地的各种资源中提取信息。其中，大多数检索位于生物医学领域，用于从各种生物医学数据库中检索相关文献。目前的搜索引擎缺乏对文档的聚类和对文档相关性的表征。为了克服这些缺陷，基于文本的搜索引擎已被开发用于从Medline和PubMed生物医学数据库中检索文档。该搜索引擎引入了基于聚类的网页排序概念，自动表示聚类基础上的相关性。除此之外，图树构造用于表示联网在一起的文档的相关性水平。基于搜索引擎的生物医学文档的这种高级功能整合发现在基于相关性的审查相关文档中提供更好的结果。
2009-12-11 cs.DB cs.IR
Proposing Cluster_Similarity Method in Order to Find as Much Better Similarities in Databases
不同的数据录入方式会导致重复记录，从而导致数据库规模的增加。这是一个我们不能轻易忽视的事实。有几种方法可用于此目的。在本文中，我们试图通过使用聚类相似性而不是字段的直接相似性来提高操作的准确性。从而对数据库中的字段进行聚类，并根据完成的字段聚类得到记录的相似度。该方法利用数据库中的现有信息，对数据库中的缺失信息进行逻辑相似性分析，使得聚类相似性方法的运算效率提高了24%。
2011-12-14 cs.DB
T-DB: Toward Fully Functional Transparent Encrypted Databases in DBaaS Framework
个人和组织倾向于将其数据迁移到云，特别是在数据库即服务（DBaaS）模式中。主要的障碍是保密性和关系数据库的使用之间的冲突。我们通过严格遵循未修改的DBaaS框架的透明数据库（T-DB）系统来解决这个障碍。数据库所有者将加密的数据库外包给云平台，只需要存储加密密钥和数据库的空表头，数据库用户可以像往常一样对加密的数据库进行几乎所有类型的查询，云可以像数据库未加密一样处理密文查询。在真实云环境中的实验表明，T-DB具有良好的查询回答精度和出色的性能。
2017-08-28 cs.CR cs.DB
Analysis and Study of Incremental DBSCAN Clustering Algorithm
本文描述了基于密度的聚类的增量行为。重点介绍了基于密度的噪声应用空间聚类算法（DBSCAN）及其增量方法，DBSCAN算法基于密度的聚类概念，在噪声空间数据库中发现任意形状的聚类，增量方法将DBSCAN算法应用于数据更新频繁的动态数据库中，并在此基础上提出了一种基于密度的噪声应用空间聚类算法。在对动态数据库进行插入或删除操作之后，必须更新DBSCAN发现的聚类。DBSCAN算法通过直接计算新数据进入到已有聚类中的数据来度量新聚类，而不是重新运行算法，最终发现新的更新聚类和离群点，从而描述了在原始数据库中增量变化的百分比下，实际DBSCAN算法和增量DBSCAN算法的行为是相同的，DBSCAN算法被广泛应用于大型多维数据库的维护，如数据仓库。
2014-06-18 cs.DB cs.IR
DOEF: A Dynamic Object Evaluation Framework
在面向对象或对象-关系数据库中，例如多媒体数据库或大多数XML数据库，访问模式不是静态的，即，应用程序并不总是以相同的顺序重复地访问相同的对象。然而，到目前为止，这一直是这些数据库和相关优化技术（如聚类）的评估方式。本文开辟了关于这个问题的研究，提出了一个动态对象评估框架（DOEF），通过定义可配置的风格的变化，实现访问模式的变化。这个初步的原型被设计成开放和完全可扩展的。为了说明DOEF的能力，我们用它来比较四个国家的最先进的动态聚类算法的性能。结果表明，DOEF确实是有效的，在确定每个动态聚类算法的适应性访问模式的变化。
2007-05-10 cs.DB
Feature Level Clustering of Large Biometric Database
NIT Rourkela（鲁尔克拉国家技术学院）；IIT Kanpur（坎普尔印度理工学院）
提出了一种在身份识别过程中对大型生物特征数据库进行有效划分的方法。该方法从离线签名中提取全局和局部特征向量，利用模糊聚类技术对数据库进行划分。由于生物特征没有自然的排序顺序，因此很难对其进行分类或数字索引。因此，需要一些监督标准来划分搜索空间。在识别过程中引入模糊聚类准则来寻找最近的聚类，以声明查询样本的身份。该系统进行了测试，使用箱错过率和传统的k均值方法相比，表现更好。
2010-02-02 cs.CV cs.DB cs.LG
StruClus: Structural Clustering of Large-Scale Graph Databases
本文提出了一种基于频繁子图抽样策略的小标记图大规模数据集的结构聚类算法。一组代表提供了每个聚类的直观描述，支持聚类过程，并有助于解释聚类结果。聚类方法基于投影的性质使我们能够绕过维数和特征提取问题，这些问题出现在图数据集减少到成对距离或特征向量的上下文中。在实现高质量和（人类）可解释的聚类的同时，该算法的运行时间仅随图的数量线性增长。此外，该方法易于并行化，因此适用于非常大的数据集。我们对合成和真实世界数据集的广泛实验评估表明，我们的方法优于现有的结构和子空间聚类算法，无论是从运行时间和质量的角度来看。
2016-09-28 cs.DB cs.DS stat.ML
A Novel Gaussian Based Similarity Measure for Clustering Customer Transactions Using Transaction Sequence Vector
序列、时态和时间序列数据库中的事务聚类正受到数据库研究人员和软件行业的重视。重要的研究是朝着定义和验证新的相似性度量的适用性，序列，时间，时间序列数据库，可以准确，有效地发现用户之间的相似性在给定的数据库中的交易，以预测用户的行为。交易中存在的项目的分布在很大程度上有助于发现它们之间的相似程度。这形成了所提出的相似性度量的关键思想。该研究的主要目的是首先设计有效的相似性度量，该度量主要考虑了项目集中的项目在整个事务数据集上的分布，并且还考虑了事务中存在的项目的共性，这是Jaccard，Cosine，Euclidean相似性度量的主要缺点。然后，我们对最坏情况、平均情况和最佳情况进行分析。所设计的相似性度量是基于高斯的，并且保持了高斯函数的性质。所提出的相似性度量可以用于对用户事务进行聚类和分类以及预测用户行为。
2016-04-18 cs.DB
Clustering RDF Databases Using Tunable-LSH
资源描述框架（RDF）是表示图结构数据的W3C标准，SPARQL是RDF的标准查询语言。信息抽取、链接数据管理和语义网的最新进展导致了可公开获得的RDF数据的数量和种类的快速增长。随着企业开始利用RDF数据，RDF数据管理系统面临的工作负载比它们设计处理的要多样化和动态得多。因此，越来越需要开发工作负载自适应和自调优的RDF数据管理系统。为了实现这一愿景，我们介绍了一种快速，有效的方法动态聚类RDF数据管理系统中的记录。具体来说，我们预先不假设工作负载，但是当执行SPARQL查询时，我们跟踪工作负载中的查询共同访问的记录，并对它们进行物理集群。为了动态地（因此，在恒定的时间）决定一个记录需要放置在存储系统中，我们开发了一个新的位置敏感的哈希（LSH）计划，可调LSH。使用Tunable-LSH，可以将跨类似查询集共同访问的记录散列到存储系统中的相同或附近的物理页面。Tunable-LSH与现有LSH方案的区别在于，它可以自动调整，即使在工作负载发生变化时也能高精度地实现上述集群目标。Tunable-LSH在我们的原型RDF数据管理系统，变色龙数据库，以及在一个独立的哈希表中的实验评估显示显着的端到端的改进现有的解决方案。
2015-04-19 cs.DB
HDBSCAN: Density based Clustering over Location Based Services
基于位置的服务（LBS）已经变得非常流行，并被数百万用户使用。流行的LBS涵盖了从地图服务（如谷歌地图）到餐馆（如Yelp）和房地产（如Redfin）的所有领域。LBS的公共查询接口可以抽象地建模为二维的点数据库上的kNN接口：给定任意查询点，系统返回数据库中距离查询点最近的k个点。通常，k被设置为诸如20或50的小值。在本文中，我们考虑的新问题，使基于密度的聚类在LBS只有一个有限的，kNN查询接口。由于LBS对查询速率的限制，即使检索每个元组一次也是不可行的。因此，我们寻求构造聚类分配函数f（.）通过发出少量的kNN查询，使得对于数据库中可能已经或可能尚未被访问的任何给定元组t，f（.）以高精度输出t的聚类分配。我们在基准数据集和流行的现实世界的LBS（如Yahoo！Flickr、Zillow、Redfin和谷歌地图。
2016-02-16 cs.DB
Unsupervised classification of uncertain data objects in spatial databases using computational geometry and indexing techniques
无监督分类称为聚类，是将对象组织成成员在某些方面相似的组的过程。不确定数据对象的聚类是空间数据库中的一个挑战。本文采用概率密度函数（PDF）来表示这些不确定的数据对象，并应用不确定K均值算法来生成聚类。该聚类算法使用期望距离（ED）来计算对象和聚类代表之间的距离。为了进一步提高UK-Means的性能，我们提出了一种新的技术，称为沃罗诺伊图从计算几何修剪ED的计算数量。这种技术有效地工作，但结果修剪开销。为了减少这些在修剪开销，我们引入R*-树索引这些不确定的数据对象，使它减少了计算成本和修剪开销。我们的新方法集成UK-Means与沃罗诺伊图和R* 树应用于不确定的数据对象产生强加的结果相比，可访问的方法。
2013-12-09 cs.DB
Une plate-forme dynamique pour l'évaluation des performances des bases de données à objets
在面向对象或对象-关系数据库中，例如多媒体数据库或大多数XML数据库，访问模式不是静态的，即，应用程序并不总是以相同的顺序重复地访问相同的对象。然而，到目前为止，这一直是这些数据库和相关优化技术（如聚类）的评估方式。本文通过提出动态对象评估框架（DOEF），开启了对这一问题的研究。DOEF通过定义可配置的更改样式来完成访问模式更改。它是一个初步的原型，被设计为开放和完全可扩展的。虽然最初是为面向对象模型设计的，但它也可以在对象-关系模型中使用，只需进行少量修改。此外，还可以添加新的访问模式改变模型。为了说明DOEF的能力，我们进行了两组不同的实验。在第一组实验中，我们使用DOEF来比较四种最先进的动态聚类算法的性能。结果表明，DOEF是有效的，在确定每个动态聚类算法的适应性，以改变访问模式。他们还使我们得出结论，动态聚类算法可以应付中等水平的访问模式的变化，但性能迅速下降，比没有集群时，积极的访问模式变化的风格被应用。在第二组实验中，我们使用DOEF来比较两种不同对象存储的性能：Platypus和SHORE。DOEF的使用暴露了鸭嘴兽较差的交换性能。
2007-04-26 cs.DB
Efficient Dynamic Clustering: Capturing Patterns from Historical Cluster Evolution
针对高速动态场景中对象持续变化导致批处理聚类开销高的问题，提出利用历史结果的DynamicC系统，结合机器学习模型与批处理算法，实验表明其性能优于现有方法且准确性与基线相近。
2022-03-07 cs.AI cs.DB
Performance Comparison of Incremental K-means and Incremental DBSCAN Algorithms
增量K-means和DBSCAN是目前大型动态数据库（数据仓库、WWW等）中两种非常重要和流行的聚类技术。增量K-means和增量DBSCAN的时间分析特性决定了它们的性能不同。这两种算法都是有效的比较，他们现有的算法在时间，成本和精力。本文对增量式DBSCAN聚类算法进行了性能评估，重点是与增量式K-means聚类算法进行了性能比较，并根据数据库中数据的变化说明了两种算法的特点。本文还解释了这两个最流行的聚类算法之间的一些逻辑差异。本文以一个大气污染数据库为原始数据库，进行了实验研究。
2014-06-18 cs.DB cs.IR
Scalable Visibility Color Map Construction in Spatial Databases
3D建模的最新进展为我们提供了真实的3D数据集来回答查询，例如“新广告牌的最佳位置是什么？和“哪个房间的风景最好？““在存在障碍的情况下。这些应用需要从数据空间中的不同视点测量和区分对象（目标）的可见性，广告牌可以从两个视点看到，但是只能从更靠近目标的视点读取。在本文中，我们制定了上述问题量化的可见性（从）一个目标对象从（的）周围区域的可见性彩色地图（VCM）。VCM本质上被定义为空间的表面颜色图，其中空间的每个视点被分配一个颜色值，该颜色值表示目标从该视点的可见性度量。即使从单个视点测量目标的可见性也是一项昂贵的操作，因为我们需要考虑视点和目标之间的距离、角度和障碍物等因素。因此，一个简单的方法来构建的VCM，需要为目标的周围空间的每个视点的可见性计算，是昂贵的I/O和计算方面，特别是对于一个真实的数据集，包括成千上万的障碍。我们提出了一种有效的方法来计算的VCM的基础上的人类视觉的一个关键属性，消除了计算的可见性为大量的空间的观点的必要性。为了进一步减少计算开销，我们提出了两个近似，即最小外接矩形和切线方法，保证误差界。我们广泛的实验证明了我们的解决方案的有效性和效率，以构建真正的2D和3D数据集的VCM。
2013-10-28 cs.DB
GriT-DBSCAN: A Spatial Clustering Algorithm for Very Large Databases
DBSCAN是一种基本的空间聚类算法，具有许多实际应用。然而，该算法的一个瓶颈是在最坏的情况下，运行时间复杂度为$O(n^2)$。为了解决这个问题，我们提出了一个新的基于网格的算法，精确DBSCAN在欧几里得空间称为GriT-DBSCAN，这是基于以下两种技术。首先，我们引入了一个网格树来组织非空网格的目的，有效的非空相邻网格查询。其次，通过利用点之间的空间关系，我们提出了一种技术，迭代修剪不必要的距离计算时，确定两组之间的最小距离是否小于或等于一定的阈值。我们从理论上证明了GriT-DBSCAN的复杂度与数据集大小成线性关系。此外，我们得到两个变种的GriT-DBSCAN通过将philistics，或通过将第二种技术与现有的算法相结合。在合成数据集和真实数据集上进行实验，以评估GriT-DBSCAN及其变体的效率。我们的分析结果表明，我们的算法优于现有的算法。
2022-11-06 cs.DB cs.DS
Forecasting Across Time Series Databases using Recurrent Neural Networks on Groups of Similar Series: A Clustering Approach
Monash University（莫纳什大学）；Uber Technologies Inc（优步科技公司）
随着大数据的出现，现在在许多应用程序中，包含大量相似时间序列的数据库是可用的。用传统的单变量预测程序预测这些领域的时间序列，留下了巨大的潜力，产生准确的预测尚未开发。循环神经网络（RNN），特别是长短期记忆（LSTM）网络，最近已经证明，当在所有可用的时间序列上进行训练时，它们能够在这种情况下胜过最先进的单变量时间序列预测方法。然而，如果时间序列数据库是异构的，准确性可能会退化，因此在这个空间中走向全自动预测方法的道路上，需要将时间序列之间的相似性的概念构建到方法中。为此，我们提出了一种预测模型，可以与不同类型的RNN模型一起使用，这些模型可以通过时间序列聚类技术识别。我们使用LSTM网络来评估我们提出的方法，LSTM网络是一种广泛流行的RNN变体。我们的方法在竞争评估程序下的基准数据集上取得了有竞争力的结果。特别是在平均sMAPE准确性方面，它始终优于基线LSTM模型，并且在CIF 2016预测竞赛数据集上优于所有其他方法。
2018-09-12 cs.DB cs.LG econ.EM
Simulation of clustering algorithms in OODBs in order to evaluate their performances
良好的对象聚类对面向对象数据库的性能至关重要。但是，它总是涉及系统的某种开销。本文的目的是提出一种建模方法，以评估不同的聚类政策的性能。这种方法已被用来比较三个聚类算法的性能发现在文献中（Cactis，CK和ORION），我们认为目前的研究领域的对象聚类的代表。使用模拟进行实际性能评估。仿真实验表明，Cactis算法优于ORION算法，CK算法在响应时间和分簇开销方面完全优于其他两种算法。
2016-11-28 cs.DB
Mine Blood Donors Information through Improved K-Means Clustering
事故和健康疾病的数量以惊人的速度增加，导致对血液的需求大幅增加。有必要对献血者数据库或血库储存库进行有组织的分析。聚类分析是数据采掘的应用之一，K-均值聚类算法是现代聚类技术的基本算法。K-means聚类算法是一种传统的方法和迭代算法。在每次迭代中，它试图找到从每个聚类的质心到每个数据点的距离。本文对原始的k-means算法进行了改进，根据数据的分布情况对初始质心进行了改进。实验结果表明，改进的K-means算法能够在更短的计算时间内得到更准确的聚类结果，从而更好地找到捐助者信息。
2013-09-10 cs.DB
Rk-means: Fast Clustering for Relational Data
relational AI；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Oxford University（牛津大学）
传统的机器学习算法不能被应用，直到数据矩阵可用于处理。当需要经由特征提取查询从关系数据库获得数据矩阵时，由于数据矩阵可能比总输入关系大小大（多），计算成本可能是过高的。本文介绍了Rk-均值，或关系k -均值算法，聚类关系数据元组，而不必访问完整的数据矩阵。这样，我们就不必运行昂贵的特征提取查询并存储其输出。我们的算法利用关系数据中的底层结构。它涉及构建数据矩阵的小{ \it网格核心集}，用于后续的集群构建。这给出了k均值目标的恒定近似，同时与首先运行数据库查询然后聚类的标准方法相比具有渐进的运行时改进。实证结果显示了数量级的加速，Rk均值在数据库上的运行速度甚至比计算数据矩阵更快。
2019-10-11 cs.DB cs.LG stat.ML
Unsupervised clustering of Roman pottery profiles from their SSAE representation
Centre for Mathematical Sciences（数学科学中心）；Faculty of Classics（古典学系）
本文介绍了罗马陶器数据库（ROCOPOT），它包括2000多个黑白图像轮廓的陶器形状提取自11个罗马目录和相关的不同的挖掘地点。在这个新的数据库中，形状片段的随机性和手工方差使得它们的无监督聚类成为一个非常具有挑战性的问题：因此，通过在堆叠稀疏自动编码器（SSAE）网络的潜在表示空间中学习的非线性特征的分层聚类来探索轮廓相似性，从而揭示新的轮廓匹配。从数学和考古学的角度对结果进行了评论，以解锁各自社区的新研究方向。
2020-06-04 cs.CV cs.DB cs.LG
Spatial Clustering of Galaxies in Large Datasets
拥有数千万个星系的数据集为空间聚类分析提出了新的挑战。我们已经建立了一个框架，它集成了一个对象目录的数据库，用于创建坏区域的掩模的工具，和一个快速（NlogN）的相关代码。该系统在SDSS星表中进行星系聚类分析方面实现了前所未有的效率。类似的方法被用来计算非常大尺度上星系的三维空间聚类。我们描述了我们的策略，估计使用数据库的光度误差的影响。我们讨论我们的努力作为数据密集型科学的早期例子。虽然在没有我们描述的框架的情况下可以得到这些结果，但如果不使用这个框架，在未来的大型数据集上执行这些计算将是不可行的。
2002-08-07 cs.DB cs.DS
Fast Mining of Spatial Frequent Wordset from Social Database
在本文中，我们提出了一个算法，提取空间频繁模式来解释一个特定的位置从可用的社会数据的相对特征。提出了一种空间社会数据模型，该模型包括空间社会数据、空间支持度、空间频繁模式、空间划分和空间聚类等概念，用于描述空间频繁模式的探索算法。在此基础上，提出了一种既保留了频繁词又保留了频繁单元的SFP-树结构，并在此基础上提出了一种挖掘频繁模式的SFP-生长算法.
2019-12-26 cs.DB
Data Management and Mining in Astrophysical Databases
我们分析了天体物理数据的管理和挖掘所涉及的问题。天体物理学领域的传统数据管理方法无法跟上现代探测器收集的数据量的增长。从大型数据集中自动提取信息抽取的工具，即数据采掘技术，如聚类和分类算法，将在天体物理学研究中发挥重要作用。这就需要一种基于数据仓库的数据管理方法，强调数据访问的效率和简单性;使用多维访问方法获得效率，通过正确处理元数据实现简单性。在大型数据集上的聚类和分类技术提出了额外的要求：在数据大小、聚类或分类结果的可解释性和客观性方面的计算和内存可扩展性。在这项研究中，我们提出了一些可能的解决方案。
2003-07-16 astro-ph cs.DB physics.data-an
Canonical PSO Based k-Means Clustering Approach for Real Datasets
"聚类"这一技术的意义和应用遍及各个领域。聚类是数据采掘中的一个无监督的过程，因此对聚类结果的正确评价以及聚类结果的紧密性和可分性的度量是一个重要的问题，评价聚类结果的过程称为聚类有效性度量。针对不同类型的问题需要不同类型的指标来解决，指标的选择取决于数据的种类，本文首先提出了基于标准粒子群算法的K-means聚类算法，并分析了几种重要的聚类指标（集群间，集群内），然后使用典型的K均值评估这些指数对实时空气污染数据库，批发客户，葡萄酒和车辆数据集的影响，本文介绍了基于K-means的标准PSO算法、基于K-means的简单PSO算法、DBSCAN算法和层次聚类算法，并对聚类的性质进行了描述，最后通过有效性评估对这些聚类算法的性能进行了比较。它还定义了在所有这些算法中，哪种算法更适合在这个特定的现实生活数据集上进行适当的紧凑聚类。它实际上处理这些聚类算法的行为相对于验证指标，并表示其结果的数学和图形形式的评价。
2014-11-27 cs.DB
The Revolution In Database System Architecture
数据库系统架构正在经历革命性的变化。通过将程序设计语言与数据库系统相结合，算法和数据正在得到统一。这给出了一个可扩展的对象关系系统，其中非过程关系运算符操作对象集。与此相结合，每个DBMS现在都是一个Web服务。这对我们如何构建应用程序有着巨大的影响。DBMS现在是对象容器。对象是要添加的第一个对象。这些队列是事务处理和工作流应用程序的基础。未来的工作流系统很可能建立在这个核心之上。数据立方体和在线分析处理现在已经融入到大多数DBMS中。除此之外，DBMS还有一个数据采掘和机器学习算法的框架。决策树、贝叶斯网、聚类和时间序列分析都内置在内置的中;可以添加新的算法。文本、时间和空间数据访问方法以及它们的概率推理已经被添加到数据库系统中。允许近似和概率的答案是必不可少的许多应用程序。许多人认为XML和XQuery将成为主要的数据结构和访问模式。数据库系统必须适应这种观点，这些变化要求采用更加动态的查询优化策略。智能正在向网络的外围移动。每个磁盘和每个传感器都将是一台合格的数据库机器。关系代数是一种方便的方法来编程这些系统。数据库系统现在被期望能够自我管理、自我修复和始终保持运行。
2004-08-14 cs.DB
ENFrame: A Platform for Processing Probabilistic Data
介绍了一个用于概率数据查询和挖掘的统一数据处理平台ENFrame。使用ENFrame，用户可以用Python的一个片段编写程序，其中包含有界范围循环、列表解析、列表上的聚合操作以及对外部数据库引擎的调用等结构。该程序然后解释概率ENFrame。ENFrame的实现需要在几个方向上做出新的贡献。我们提出了一种事件语言，表达足够简洁地编码任意相关性，跟踪用户程序的计算，并允许计算程序变量的离散概率分布。我们介绍了三种聚类算法：k-means，k-medoids和马尔可夫聚类。我们引入顺序和分布式算法计算的概率互连事件准确或近似的错误保证。从能源网络的传感器读数的k-medoids聚类的实验表明，在每个可能的世界中，使用ENFrame的精确聚类的数量级的改进，近似超过精确，分布超过顺序算法。
2013-09-02 cs.DB
Improved Approximation Algorithms for Relational Clustering
Department of Computer Science, University of Illinois Chicago（伊利诺伊芝加哥大学计算机科学系）
本文提出改进的关系聚类算法，通过高效的随机近似方法提高k-中位数和k-均值聚类的近似因子和运行效率。
2026-02-17 cs.DB cs.DS
Relational Algorithms for k-means Clustering
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
本文给出了一种在关系算法模型中有效的k-均值近似算法。这是一种直接在关系数据库上操作的算法，无需执行连接将其转换为矩阵，矩阵的行表示数据点。运行时间可能比$N$（关系数据库表示的要聚类的数据点的数量）小得多。很少有关系算法是已知的，本文提供了设计关系算法的技术，以及其局限性的特点。我们表明，给定两个数据点作为聚类中心，如果我们根据它们最近的中心对点进行聚类，则在一般关系输入上近似聚类中的点的数量是NP-困难的。这对于传统的数据输入来说是微不足道的，并且该结果证明了在设计有效的关系算法时可能不直接应用标准算法技术。然后，本文介绍了一种新的方法，利用拒绝采样和$k$ -means++算法来构造O（1）-近似的k-均值解。
2021-05-20 cs.DB cs.DS cs.LG
