Rank Based Clustering For Document Retrieval From Biomedical Databases
如今,搜索引擎被广泛用于从世界各地的各种资源中提取信息。其中,大多数检索位于生物医学领域,用于从各种生物医学数据库中检索相关文献。目前的搜索引擎缺乏对文档的聚类和对文档相关性的表征。为了克服这些缺陷,基于文本的搜索引擎已被开发用于从Medline和PubMed生物医学数据库中检索文档。该搜索引擎引入了基于聚类的网页排序概念,自动表示聚类基础上的相关性。除此之外,图树构造用于表示联网在一起的文档的相关性水平。基于搜索引擎的生物医学文档的这种高级功能整合发现在基于相关性的审查相关文档中提供更好的结果。
2009-12-11 cs.DB cs.IR
An improvement on fragmentation in Distribution Database Design Based on Knowledge-Oriented Clustering Techniques
分布式数据库的优化问题包括:数据分片和数据定位。已经提出了几种不同的方法和算法来解决这个问题。本文提出了一种基于距离阈值的初始等价关系建立算法。这一阈值也是基于面向知识的横向和纵向碎片化聚类技术。算法中使用的相似性度量是从经典度量发展而来的度量。在小数据集上进行了基于经典算法的碎片化结果匹配实验。执行时间和数据碎片显着减少,而我们的算法的复杂性在一般情况下是稳定的。
2015-05-06 cs.DB
A comparison study of object-oriented database clustering techniques
人们普遍认为,一个好的对象聚类是关键的OODBs的性能。群集意味着将相关对象紧密地存储在辅存上,以便当从磁盘访问一个对象时,所有相关对象也都被带入内存。然后访问这些相关的对象是一个主存访问,比磁盘访问快得多。本文的目的是比较三种聚类算法:Cactis,CK和ORION的性能。仿真实验表明,Cactis算法在响应时间和分簇开销方面优于ORION算法,CK算法在性能上完全优于其他两种算法。
2016-11-28 cs.DB
Clustering with Obstacles in Spatial Databases
空间数据库聚类是一个重要的问题,它试图在空间区域中发现密集的区域,以用于数据采掘,知识发现或有效的信息检索。然而,大多数算法都忽略了这样一个事实,即物理障碍物,如河流,湖泊,公路存在于现实世界中,从而可能影响聚类结果。在本文中,我们提出了CPO,一个有效的聚类技术来解决存在障碍的聚类问题。该算法将空间区域划分为矩形单元。每个单元与用于将单元标记为密集或非密集的统计信息相关联。它还将每个单元格标记为有障碍(即与任何障碍物相交)或无障碍。对于每个被遮挡的单元,该算法找到多个未被遮挡的子单元。然后通过广度优先搜索找到非遮挡细胞或子细胞的密集区域作为所需的聚类,每个区域都有一个中心。
2009-09-24 cs.DB
Automatic Clustering in Hyrise
物理数据布局是现代数据库的重要性能因素。聚类,即,邻近地存储相似的值可以以几种方式导致性能增益。我们提出了一个自动化的模型,以确定有益的集群列和面向列的,内存驻留数据库Hyrise的聚类算法。为了自动选择集群列,该模型分析数据库的工作负载,并根据某些集群列对工作负载延迟的影响程度提供估计。我们评估模型估计的精度,以及其聚类建议的整体质量。为了应用一个确定的聚类配置,我们开发了一个在线聚类算法。聚类算法支持任意数量的聚类维度。我们表明,该算法对并发运行的数据修改查询是强大的。当对lineitem表进行聚类时,TPC-H基准测试的延迟减少了5%,当对store_sales表进行聚类时,TPC-DS基准测试的延迟减少了4%。
2021-03-29 cs.DB
Analysis and Study of Incremental DBSCAN Clustering Algorithm
本文描述了基于密度的聚类的增量行为。重点介绍了基于密度的噪声应用空间聚类算法(DBSCAN)及其增量方法,DBSCAN算法基于密度的聚类概念,在噪声空间数据库中发现任意形状的聚类,增量方法将DBSCAN算法应用于数据更新频繁的动态数据库中,并在此基础上提出了一种基于密度的噪声应用空间聚类算法。在对动态数据库进行插入或删除操作之后,必须更新DBSCAN发现的聚类。DBSCAN算法通过直接计算新数据进入到已有聚类中的数据来度量新聚类,而不是重新运行算法,最终发现新的更新聚类和离群点,从而描述了在原始数据库中增量变化的百分比下,实际DBSCAN算法和增量DBSCAN算法的行为是相同的,DBSCAN算法被广泛应用于大型多维数据库的维护,如数据仓库。
2014-06-18 cs.DB cs.IR
Feature Level Clustering of Large Biometric Database
NIT Rourkela(鲁尔克拉国家技术学院);IIT Kanpur(坎普尔印度理工学院)
提出了一种在身份识别过程中对大型生物特征数据库进行有效划分的方法。该方法从离线签名中提取全局和局部特征向量,利用模糊聚类技术对数据库进行划分。由于生物特征没有自然的排序顺序,因此很难对其进行分类或数字索引。因此,需要一些监督标准来划分搜索空间。在识别过程中引入模糊聚类准则来寻找最近的聚类,以声明查询样本的身份。该系统进行了测试,使用箱错过率和传统的k均值方法相比,表现更好。
2010-02-02 cs.CV cs.DB cs.LG
GriT-DBSCAN: A Spatial Clustering Algorithm for Very Large Databases
DBSCAN是一种基本的空间聚类算法,具有许多实际应用。然而,该算法的一个瓶颈是在最坏的情况下,运行时间复杂度为$O(n^2)$。为了解决这个问题,我们提出了一个新的基于网格的算法,精确DBSCAN在欧几里得空间称为GriT-DBSCAN,这是基于以下两种技术。首先,我们引入了一个网格树来组织非空网格的目的,有效的非空相邻网格查询。其次,通过利用点之间的空间关系,我们提出了一种技术,迭代修剪不必要的距离计算时,确定两组之间的最小距离是否小于或等于一定的阈值。我们从理论上证明了GriT-DBSCAN的复杂度与数据集大小成线性关系。此外,我们得到两个变种的GriT-DBSCAN通过将philistics,或通过将第二种技术与现有的算法相结合。在合成数据集和真实数据集上进行实验,以评估GriT-DBSCAN及其变体的效率。我们的分析结果表明,我们的算法优于现有的算法。
2022-11-06 cs.DB cs.DS
New Proximity Estimate for Incremental Update of Non-uniformly Distributed Clusters
传统的聚类算法挖掘静态数据库,生成一组聚类形式的模式。许多现实生活中的数据库都在不断增长。对于这样的动态数据库,从原始数据库中提取的模式变得过时。因此,传统的聚类算法是不适合的增量数据库,由于缺乏能力,以修改聚类结果,根据最近的更新。在本文中,作者提出了一种新的增量聚类算法CFICA(基于聚类分析的增量聚类方法数值数据)来处理数值数据,并提出了一种新的接近度度量称为逆接近估计(IPE),它考虑了数据点的接近聚类代表以及它的接近最远的点在其附近。CFICA利用所提出的邻近度量来确定数据点到聚类中的成员资格。
2013-10-25 cs.DB
Efficient techniques for mining spatial databases
聚类是数据采掘的主要任务之一。近几年来,空间数据的聚类得到了广泛的研究.空间数据库是许多高级信息系统的组成部分,如地理信息系统超大规模集成电路设计系统。在这篇论文中,我们介绍了几种有效的空间数据聚类算法。首先,我们提出了一个基于网格的聚类算法,具有几个优点和性能相媲美的著名的高效聚类算法。该算法有几个优点。该算法不需要很多输入参数。它只需要三个参数,数据空间中的点的数量,网格中的单元格的数量和百分比。网格中单元的数量反映了算法应达到的精度。该算法能够发现任意形状的簇。该算法的计算复杂性与最有效的聚类算法的复杂性相当。该算法已被实施和测试对不同范围的数据库大小。性能结果表明,该算法的运行时间优于最知名的算法(CRANANS [23])。实验结果还表明,该算法的性能不随数据点数目的增加而降低。
2012-06-01 cs.DB
Evaluating the Dynamic Behavior of Database Applications
本文探讨了改变访问模式对数据库管理系统性能的影响。访问模式的变化在确定关键性能优化技术(如动态群集、预取和缓冲区替换)的效率方面起着重要作用。然而,所有现有的基准测试或评估框架都产生静态访问模式,其中对象总是以相同的顺序重复访问。因此,我们提出了动态评估框架(DEF),模拟访问模式的变化,使用可配置的风格的变化。DEF被设计为开放和完全可扩展的(例如,可以容易地添加新的访问模式改变模型)。在本文中,我们实例DEF到动态对象评估框架(DoEF),这是专为对象数据库,即,面向对象或对象关系数据库,如多媒体数据库或大多数XML数据库。DoEF的能力已经通过模拟四种不同的动态聚类算法的执行进行了评估。结果证实了我们的分析,灵活的保守重新聚类是决定聚类算法的能力,以适应访问模式的变化的关键。这些结果表明,DoEF在确定每个动态聚类算法的适应性,在模拟环境中的访问模式的变化的有效性。在第二组实验中,我们使用DoEF来比较两个现实生活中的对象存储的性能:Platypus和SHORE。DoEF帮助揭示了鸭嘴兽糟糕的交换性能。
2017-01-02 cs.DB
Forecasting Across Time Series Databases using Recurrent Neural Networks on Groups of Similar Series: A Clustering Approach
Monash University(莫纳什大学);Uber Technologies Inc(优步科技公司)
随着大数据的出现,现在在许多应用程序中,包含大量相似时间序列的数据库是可用的。用传统的单变量预测程序预测这些领域的时间序列,留下了巨大的潜力,产生准确的预测尚未开发。循环神经网络(RNN),特别是长短期记忆(LSTM)网络,最近已经证明,当在所有可用的时间序列上进行训练时,它们能够在这种情况下胜过最先进的单变量时间序列预测方法。然而,如果时间序列数据库是异构的,准确性可能会退化,因此在这个空间中走向全自动预测方法的道路上,需要将时间序列之间的相似性的概念构建到方法中。为此,我们提出了一种预测模型,可以与不同类型的RNN模型一起使用,这些模型可以通过时间序列聚类技术识别。我们使用LSTM网络来评估我们提出的方法,LSTM网络是一种广泛流行的RNN变体。我们的方法在竞争评估程序下的基准数据集上取得了有竞争力的结果。特别是在平均sMAPE准确性方面,它始终优于基线LSTM模型,并且在CIF 2016预测竞赛数据集上优于所有其他方法。
2018-09-12 cs.DB cs.LG econ.EM
Proposing Cluster_Similarity Method in Order to Find as Much Better Similarities in Databases
不同的数据录入方式会导致重复记录,从而导致数据库规模的增加。这是一个我们不能轻易忽视的事实。有几种方法可用于此目的。在本文中,我们试图通过使用聚类相似性而不是字段的直接相似性来提高操作的准确性。从而对数据库中的字段进行聚类,并根据完成的字段聚类得到记录的相似度。该方法利用数据库中的现有信息,对数据库中的缺失信息进行逻辑相似性分析,使得聚类相似性方法的运算效率提高了24%。
2011-12-14 cs.DB
Rk-means: Fast Clustering for Relational Data
relational AI;Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Oxford University(牛津大学)
传统的机器学习算法不能被应用,直到数据矩阵可用于处理。当需要经由特征提取查询从关系数据库获得数据矩阵时,由于数据矩阵可能比总输入关系大小大(多),计算成本可能是过高的。本文介绍了Rk-均值,或关系k -均值算法,聚类关系数据元组,而不必访问完整的数据矩阵。这样,我们就不必运行昂贵的特征提取查询并存储其输出。我们的算法利用关系数据中的底层结构。它涉及构建数据矩阵的小{ \it网格核心集},用于后续的集群构建。这给出了k均值目标的恒定近似,同时与首先运行数据库查询然后聚类的标准方法相比具有渐进的运行时改进。实证结果显示了数量级的加速,Rk均值在数据库上的运行速度甚至比计算数据矩阵更快。
2019-10-11 cs.DB cs.LG stat.ML
Spatial Clustering of Galaxies in Large Datasets
拥有数千万个星系的数据集为空间聚类分析提出了新的挑战。我们已经建立了一个框架,它集成了一个对象目录的数据库,用于创建坏区域的掩模的工具,和一个快速(NlogN)的相关代码。该系统在SDSS星表中进行星系聚类分析方面实现了前所未有的效率。类似的方法被用来计算非常大尺度上星系的三维空间聚类。我们描述了我们的策略,估计使用数据库的光度误差的影响。我们讨论我们的努力作为数据密集型科学的早期例子。虽然在没有我们描述的框架的情况下可以得到这些结果,但如果不使用这个框架,在未来的大型数据集上执行这些计算将是不可行的。
2002-08-07 cs.DB cs.DS
Efficient Dynamic Clustering: Capturing Patterns from Historical Cluster Evolution
针对高速动态场景中对象持续变化导致批处理聚类开销高的问题,提出利用历史结果的DynamicC系统,结合机器学习模型与批处理算法,实验表明其性能优于现有方法且准确性与基线相近。
2022-03-07 cs.AI cs.DB
Performance Comparison of Incremental K-means and Incremental DBSCAN Algorithms
增量K-means和DBSCAN是目前大型动态数据库(数据仓库、WWW等)中两种非常重要和流行的聚类技术。增量K-means和增量DBSCAN的时间分析特性决定了它们的性能不同。这两种算法都是有效的比较,他们现有的算法在时间,成本和精力。本文对增量式DBSCAN聚类算法进行了性能评估,重点是与增量式K-means聚类算法进行了性能比较,并根据数据库中数据的变化说明了两种算法的特点。本文还解释了这两个最流行的聚类算法之间的一些逻辑差异。本文以一个大气污染数据库为原始数据库,进行了实验研究。
2014-06-18 cs.DB cs.IR
Column2Vec: Structural Understanding via Distributed Representations of Database Schemas
Rochester Institute of Technology(罗切斯特理工学院)
我们提出了Column2Vec,一个基于列元数据的数据库列的分布式表示。我们的分布式表示有几个应用程序。使用列组的已知名称(即,表名),我们训练模型为未命名表中的列生成适当的名称。我们使用从GitHub上的开源应用程序收集的模式信息来证明我们的方法的可行性。
2019-03-20 cs.DB cs.LG
DOEF: A Dynamic Object Evaluation Framework
在面向对象或对象-关系数据库中,例如多媒体数据库或大多数XML数据库,访问模式不是静态的,即,应用程序并不总是以相同的顺序重复地访问相同的对象。然而,到目前为止,这一直是这些数据库和相关优化技术(如聚类)的评估方式。本文开辟了关于这个问题的研究,提出了一个动态对象评估框架(DOEF),通过定义可配置的风格的变化,实现访问模式的变化。这个初步的原型被设计成开放和完全可扩展的。为了说明DOEF的能力,我们用它来比较四个国家的最先进的动态聚类算法的性能。结果表明,DOEF确实是有效的,在确定每个动态聚类算法的适应性访问模式的变化。
2007-05-10 cs.DB
Structural Generalizability: The Case of Similarity Search
图相似性搜索算法通常利用数据库的结构属性。因此,这些算法仅对数据的某些结构变化有效,而对其他形式无效,这使得它们难以使用。理想情况下,人们希望设计一种结构稳健的数据分析算法,即,它在数据集的所有可能的结构变化上返回基本上相同的准确结果。我们提出了一种新的方法来创建一个结构强大的相似性搜索算法的图数据库。我们利用数据库文献中的经典见解,即示意图的变化是由数据库中的约束引起的。然后,我们提出了RelSim算法,这是可证明的结构上的这些变化下的鲁棒性。我们的实证研究表明,我们提出的算法是结构上强大的,同时是有效的,有效的,或更有效的比国家的最先进的相似性搜索算法。
2021-03-31 cs.DB
GPUSCAN$^{++}$:Efficient Structural Graph Clustering on GPUs
本文提出GPU上的结构图聚类算法GPUSCAN++,通过渐进式聚类和基于分区的策略解决并行化开销大与GPU内存受限问题,实现最高168倍加速并可处理18亿条边的大图。
2023-11-30 cs.DB
A Novel Gaussian Based Similarity Measure for Clustering Customer Transactions Using Transaction Sequence Vector
序列、时态和时间序列数据库中的事务聚类正受到数据库研究人员和软件行业的重视。重要的研究是朝着定义和验证新的相似性度量的适用性,序列,时间,时间序列数据库,可以准确,有效地发现用户之间的相似性在给定的数据库中的交易,以预测用户的行为。交易中存在的项目的分布在很大程度上有助于发现它们之间的相似程度。这形成了所提出的相似性度量的关键思想。该研究的主要目的是首先设计有效的相似性度量,该度量主要考虑了项目集中的项目在整个事务数据集上的分布,并且还考虑了事务中存在的项目的共性,这是Jaccard,Cosine,Euclidean相似性度量的主要缺点。然后,我们对最坏情况、平均情况和最佳情况进行分析。所设计的相似性度量是基于高斯的,并且保持了高斯函数的性质。所提出的相似性度量可以用于对用户事务进行聚类和分类以及预测用户行为。
2016-04-18 cs.DB
Unsupervised clustering of Roman pottery profiles from their SSAE representation
Centre for Mathematical Sciences(数学科学中心);Faculty of Classics(古典学系)
本文介绍了罗马陶器数据库(ROCOPOT),它包括2000多个黑白图像轮廓的陶器形状提取自11个罗马目录和相关的不同的挖掘地点。在这个新的数据库中,形状片段的随机性和手工方差使得它们的无监督聚类成为一个非常具有挑战性的问题:因此,通过在堆叠稀疏自动编码器(SSAE)网络的潜在表示空间中学习的非线性特征的分层聚类来探索轮廓相似性,从而揭示新的轮廓匹配。从数学和考古学的角度对结果进行了评论,以解锁各自社区的新研究方向。
2020-06-04 cs.CV cs.DB cs.LG
Parallel Index-Based Structural Graph Clustering and Its Approximation
SCAN(Structural Clustering Algorithm for Networks)是一种研究得很好、应用广泛的图聚类算法。然而,对于大型图,顺序SCAN变体非常慢,并且并行SCAN变体不能在具有不同SCAN参数设置的查询之间有效地共享工作。由于SCAN的用户经常探索许多参数设置来找到好的聚类,因此值得预先计算一个索引来加速查询。本文在最近提出的一种顺序算法GS*-Index的基础上,提出了一种实用的、可证明有效的基于索引的并行SCAN算法。我们的并行算法通过使用整数排序改进了顺序算法的渐近工作。它也是高度并行的,实现了索引构建和聚类查询的对数跨度(并行时间)。此外,我们应用局部敏感哈希(LSH)设计一种新的近似SCAN算法,并证明其聚类行为的保证。我们提出了一个实验评估我们的算法在大型现实世界的图形。在具有双向超线程的48核机器上,我们的并行索引构造比GS*-Index构造实现了50- 151 $\times$的加速。事实上,即使在单线程上,我们的索引构造算法也比GS*-Index快。我们的并行索引查询实现实现了5- 32 $\times$加速GS*-索引查询在一系列的SCAN参数值,我们的实现总是比ppSCAN,一个国家的最先进的并行SCAN算法。此外,我们的实验表明,应用LSH的结果在更快的索引建设,同时保持良好的聚类质量。
2021-03-30 cs.DB cs.DC cs.DS
Clustering RDF Databases Using Tunable-LSH
资源描述框架(RDF)是表示图结构数据的W3C标准,SPARQL是RDF的标准查询语言。信息抽取、链接数据管理和语义网的最新进展导致了可公开获得的RDF数据的数量和种类的快速增长。随着企业开始利用RDF数据,RDF数据管理系统面临的工作负载比它们设计处理的要多样化和动态得多。因此,越来越需要开发工作负载自适应和自调优的RDF数据管理系统。为了实现这一愿景,我们介绍了一种快速,有效的方法动态聚类RDF数据管理系统中的记录。具体来说,我们预先不假设工作负载,但是当执行SPARQL查询时,我们跟踪工作负载中的查询共同访问的记录,并对它们进行物理集群。为了动态地(因此,在恒定的时间)决定一个记录需要放置在存储系统中,我们开发了一个新的位置敏感的哈希(LSH)计划,可调LSH。使用Tunable-LSH,可以将跨类似查询集共同访问的记录散列到存储系统中的相同或附近的物理页面。Tunable-LSH与现有LSH方案的区别在于,它可以自动调整,即使在工作负载发生变化时也能高精度地实现上述集群目标。Tunable-LSH在我们的原型RDF数据管理系统,变色龙数据库,以及在一个独立的哈希表中的实验评估显示显着的端到端的改进现有的解决方案。
2015-04-19 cs.DB
Improved Approximation Algorithms for Relational Clustering
Department of Computer Science, University of Illinois Chicago(伊利诺伊芝加哥大学计算机科学系)
本文提出改进的关系聚类算法,通过高效的随机近似方法提高k-中位数和k-均值聚类的近似因子和运行效率。
2026-02-17 cs.DB cs.DS
HDBSCAN: Density based Clustering over Location Based Services
基于位置的服务(LBS)已经变得非常流行,并被数百万用户使用。流行的LBS涵盖了从地图服务(如谷歌地图)到餐馆(如Yelp)和房地产(如Redfin)的所有领域。LBS的公共查询接口可以抽象地建模为二维的点数据库上的kNN接口:给定任意查询点,系统返回数据库中距离查询点最近的k个点。通常,k被设置为诸如20或50的小值。在本文中,我们考虑的新问题,使基于密度的聚类在LBS只有一个有限的,kNN查询接口。由于LBS对查询速率的限制,即使检索每个元组一次也是不可行的。因此,我们寻求构造聚类分配函数f(.)通过发出少量的kNN查询,使得对于数据库中可能已经或可能尚未被访问的任何给定元组t,f(.)以高精度输出t的聚类分配。我们在基准数据集和流行的现实世界的LBS(如Yahoo!Flickr、Zillow、Redfin和谷歌地图。
2016-02-16 cs.DB
Compliance in Databases: A Study of Structural Policies and Query Optimization
IIIT Bangalore(印度理工学院班加罗尔分校);Microsoft India(微软印度)
研究探讨结构化政策对查询优化的影响,提出政策语法框架以分析合规政策对数据库系统性能的作用。
2026-04-17 cs.DB
Unsupervised classification of uncertain data objects in spatial databases using computational geometry and indexing techniques
无监督分类称为聚类,是将对象组织成成员在某些方面相似的组的过程。不确定数据对象的聚类是空间数据库中的一个挑战。本文采用概率密度函数(PDF)来表示这些不确定的数据对象,并应用不确定K均值算法来生成聚类。该聚类算法使用期望距离(ED)来计算对象和聚类代表之间的距离。为了进一步提高UK-Means的性能,我们提出了一种新的技术,称为沃罗诺伊图从计算几何修剪ED的计算数量。这种技术有效地工作,但结果修剪开销。为了减少这些在修剪开销,我们引入R*-树索引这些不确定的数据对象,使它减少了计算成本和修剪开销。我们的新方法集成UK-Means与沃罗诺伊图和R* 树应用于不确定的数据对象产生强加的结果相比,可访问的方法。
2013-12-09 cs.DB
Structural Indexing of Relational Databases for the Evaluation of Free-Connex Acyclic Conjunctive Queries
Pontificia Universidad Católica de Chile(智利天主教 Pontificia Universidad Católica 大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
该研究提出了一种基于数据库元组结构性对称性的索引方法,用于高效评估自由连通无环联接查询。
2026-01-08 cs.DB cs.LO
Une plate-forme dynamique pour l'évaluation des performances des bases de données à objets
在面向对象或对象-关系数据库中,例如多媒体数据库或大多数XML数据库,访问模式不是静态的,即,应用程序并不总是以相同的顺序重复地访问相同的对象。然而,到目前为止,这一直是这些数据库和相关优化技术(如聚类)的评估方式。本文通过提出动态对象评估框架(DOEF),开启了对这一问题的研究。DOEF通过定义可配置的更改样式来完成访问模式更改。它是一个初步的原型,被设计为开放和完全可扩展的。虽然最初是为面向对象模型设计的,但它也可以在对象-关系模型中使用,只需进行少量修改。此外,还可以添加新的访问模式改变模型。为了说明DOEF的能力,我们进行了两组不同的实验。在第一组实验中,我们使用DOEF来比较四种最先进的动态聚类算法的性能。结果表明,DOEF是有效的,在确定每个动态聚类算法的适应性,以改变访问模式。他们还使我们得出结论,动态聚类算法可以应付中等水平的访问模式的变化,但性能迅速下降,比没有集群时,积极的访问模式变化的风格被应用。在第二组实验中,我们使用DOEF来比较两种不同对象存储的性能:Platypus和SHORE。DOEF的使用暴露了鸭嘴兽较差的交换性能。
2007-04-26 cs.DB
Data Management and Mining in Astrophysical Databases
我们分析了天体物理数据的管理和挖掘所涉及的问题。天体物理学领域的传统数据管理方法无法跟上现代探测器收集的数据量的增长。从大型数据集中自动提取信息抽取的工具,即数据采掘技术,如聚类和分类算法,将在天体物理学研究中发挥重要作用。这就需要一种基于数据仓库的数据管理方法,强调数据访问的效率和简单性;使用多维访问方法获得效率,通过正确处理元数据实现简单性。在大型数据集上的聚类和分类技术提出了额外的要求:在数据大小、聚类或分类结果的可解释性和客观性方面的计算和内存可扩展性。在这项研究中,我们提出了一些可能的解决方案。
2003-07-16 astro-ph cs.DB physics.data-an
Relational Algorithms for k-means Clustering
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
本文给出了一种在关系算法模型中有效的k-均值近似算法。这是一种直接在关系数据库上操作的算法,无需执行连接将其转换为矩阵,矩阵的行表示数据点。运行时间可能比$N$(关系数据库表示的要聚类的数据点的数量)小得多。很少有关系算法是已知的,本文提供了设计关系算法的技术,以及其局限性的特点。我们表明,给定两个数据点作为聚类中心,如果我们根据它们最近的中心对点进行聚类,则在一般关系输入上近似聚类中的点的数量是NP-困难的。这对于传统的数据输入来说是微不足道的,并且该结果证明了在设计有效的关系算法时可能不直接应用标准算法技术。然后,本文介绍了一种新的方法,利用拒绝采样和$k$ -means++算法来构造O(1)-近似的k-均值解。
2021-05-20 cs.DB cs.DS cs.LG
Matching, Merging and Structural Properties of Data Base Category
本文的主要贡献是调查的表现力的数据库类别DB。此类别中的对象是数据库实例(n元关系的集合)。态射不是函数,而是具有基于一组复杂查询计算的复杂树结构。它们表示数据库之间基于视图的映射的语义。数据库之间的更高(逻辑)级别的模式映射,通常用某种高表达性逻辑语言编写,可以在函数上转换为这种基本的“计算”DB类别。数据库的行为的观点是假设,与行为等价的数据库对应的同构的对象在DB类别。引入的观测,这是基于视图的计算,没有副作用,是基于(从泛代数)单子endofunctor T,这是封闭的对象和态射的操作。证明了DB是对称的(箭与物之间有一个双射)2-范畴,等价于它的对偶范畴、完备范畴和余完备范畴。在本文中,我们证明了DB是具体的,局部小和可重构的。此外,它是丰富了自己的monoidal对称范畴张量积匹配,并具有参数化的合并数据库操作。我们证明它是一个代数格,我们定义了一个数据库度量空间和一个子对象分类器:因此,DB范畴是一个monoidal基本拓扑。
2011-02-11 cs.DB cs.LO math.CT
Representation Independent Analytics Over Structured Data
数据库分析算法利用数据的可量化结构属性来预测有趣的概念和关系。然而,相同的信息可以使用许多不同的结构来表示,并且在特定表示上观察到的结构属性不一定适用于替代结构。因此,无论选择什么结构来组织数据库,都不能保证当前的数据库分析算法仍然提供正确的见解。由于这些算法往往对某些结构选择非常有效,例如用于验证它们的数据库的结构,但对其他结构的选择则不那么有效,因此数据库分析在很大程度上仍然是可以为这些算法找到所需形式的专家的领域。我们认为,为了使数据库分析可用,我们应该使用或开发算法,有效的结构组织的广泛选择。我们介绍了表示独立性的概念,研究其基本属性的广泛的数据分析算法,并实证分析了一些流行的数据库分析算法的表示独立性的数量。我们的研究结果表明,大多数算法通常不是表示独立的,并找到更多的表示独立的算法在一定的代表性转变的特点。
2014-09-09 cs.DB
Perspects in astrophysical databases
天体物理学已经成为一个科学数据极其丰富的领域。数据采掘工具需要从这样大的数据集中进行信息抽取。这就要求采用一种数据管理方法,强调数据访问的效率和简单性;使用多维访问方法可以获得效率,通过适当处理元数据可以实现简单性。此外,大型数据集上的聚类和分类技术在计算和存储器可扩展性以及结果的可解释性方面提出了额外的要求。在这项研究中,我们回顾了一些可能的解决方案。
2004-02-09 astro-ph cs.DB
Cross-Layer Decision Timing Orchestration in Cost-Based Database Systems: Resolving Structural Temporal Misalignment
Independent Researcher Daegu, Republic of Korea
本文提出一种跨层决策时间协调框架,通过延迟绑定操作级选择,提升基于成本的数据库系统在不确定性下的执行稳定性。
2026-02-27 cs.DB
Simulation of clustering algorithms in OODBs in order to evaluate their performances
良好的对象聚类对面向对象数据库的性能至关重要。但是,它总是涉及系统的某种开销。本文的目的是提出一种建模方法,以评估不同的聚类政策的性能。这种方法已被用来比较三个聚类算法的性能发现在文献中(Cactis,CK和ORION),我们认为目前的研究领域的对象聚类的代表。使用模拟进行实际性能评估。仿真实验表明,Cactis算法优于ORION算法,CK算法在响应时间和分簇开销方面完全优于其他两种算法。
2016-11-28 cs.DB
Mine Blood Donors Information through Improved K-Means Clustering
事故和健康疾病的数量以惊人的速度增加,导致对血液的需求大幅增加。有必要对献血者数据库或血库储存库进行有组织的分析。聚类分析是数据采掘的应用之一,K-均值聚类算法是现代聚类技术的基本算法。K-means聚类算法是一种传统的方法和迭代算法。在每次迭代中,它试图找到从每个聚类的质心到每个数据点的距离。本文对原始的k-means算法进行了改进,根据数据的分布情况对初始质心进行了改进。实验结果表明,改进的K-means算法能够在更短的计算时间内得到更准确的聚类结果,从而更好地找到捐助者信息。
2013-09-10 cs.DB
Optimally Rewriting Formulas and Database Queries: A Confluence of Term Rewriting, Structural Decomposition, and Complexity
King’s College London(伦敦国王学院);Univ. Artois, CNRS, Centre de Recherche en Informatique de Lens (CRIL)(阿图瓦大学、法国国家科学研究中心、伦斯信息学研究中心)
本文研究了通过语法重写规则最小化逻辑等价句子宽度的问题,提出了一个算法以确定给定正则一阶句子在应用规则后的最小宽度句子,填补了该领域通用设置下的空白。
2026-04-15 cs.DB cs.LO
A Structural Query System for Han Characters
University of Manitoba(曼尼托巴大学)
本文介绍了一个面向汉字字典的IDSgrep结构化查询系统。该系统包括一个数据模型和语法,用于使用基于Unicode IDS语法的扩展表意文字描述序列(EIDS)描述汉字的空间结构;一个用于查询EIDS数据库的语言,旨在满足字体开发人员和外语学习者的需要;一个受Bloom过滤器启发的位向量索引,用于更快的查询操作;一个免费提供的实现;以及从流行的第三方IDS和XML字符数据库进行格式转换。包括实验结果,与其他软件用于类似的应用程序进行比较。
2014-04-22 cs.CL cs.DB
Database Workload Characterization with Query Plan Encoders
University of Utah(犹他大学)
智能数据库正在采用人工智能(AI)技术来实现{\em实例优化},未来,数据库将在其核心组件中提供预打包的AI模型。原因是每个数据库都运行在不同的工作负载上,需要特定的资源和设置来实现最佳性能。它提示了全面了解系统中运行的工作负载及其特性的必要性,我们称之为工作负载表征。为了解决这个工作负载表征问题,我们提出了我们的查询计划编码器,学习基本功能和它们的相关性查询计划。我们的预训练编码器独立地捕获查询的{\em结构}和{\em计算性能}。我们证明了我们的预训练编码器能够适应加速迁移学习过程的工作负载。我们对具有多个下游任务的结构编码器和性能编码器进行了独立评估。对于我们的查询计划编码器的总体评估,我们架构了两个下游任务(i)查询延迟预测和(ii)查询分类。这些任务显示了基于功能的工作负载表征的重要性。我们还对单个编码器进行了广泛的实验,以验证表示学习和领域适应性的有效性。
2021-05-26 cs.AI cs.DB
LitMOF: An LLM Multi-Agent for Literature-Validated Metal-Organic Frameworks Database Correction and Expansion
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出LitMOF框架,利用大语言模型多智能体从原始文献验证并修复MOF数据库中的结构错误,成功修复9227个无效条目并发现8771个新MOF,通过直接空气捕获案例证明结构错误严重影响材料筛选可靠性。
2026-06-29 cond-mat.mtrl-sci cs.DB