MaaSDB: Spatial Databases in the Era of Large Language Models (Vision Paper)
本文提出 MaaSDB 愿景,探讨将大语言模型引入空间数据管理,构建可同时学习结构化与非结构化空间数据、并向公众和各类组织提供无缝空间知识访问的数据库系统。
2023-09-29 cs.DB
A Sample-Based Approach to Data Quality Assessment in Spatial Databases with Application to Mobile Trajectory Nearest-Neighbor Search
空间数据在网络和移动制图以及地理信息系统等新技术中发挥着新兴作用。政治、社会和现代人类生活的许多其他方面的重要决策正在使用位置数据做出。许多国家的决策者正在利用空间数据库来收集信息、分析信息和规划未来。事实上,并不是所有的空间数据库都适合这种类型的应用。位置数据与任何其他类型的数据一样,存在不准确、不精确和其他缺陷,可能对基于未经提炼的信息采取的任何行动的可信度产生负面影响。因此,我们需要一种方法来评估空间数据的质量,并将有用的数据与导致弱决策的误导性数据分开。另一方面,空间数据库通常规模巨大,因此使用此类数据会对效率产生负面影响。为了提高使用空间大数据的效率,我们需要一种方法来缩小数据量。抽样是其中一种方法,但它对数据质量的负面影响是不可避免的。在本文中,我们试图显示和评估这种变化的空间数据的质量是抽样的结果。我们使用这种方法来评估在中国的移动用户轨迹相关的采样空间数据的质量,这是在一个著名的空间数据库。结果表明,基于样本的数据质量控制将显着提高查询性能,而不会失去太多的准确性。基于此结果,一些未来的改进指出,这将有助于处理基于位置的查询比以前更快,并在有限的时间内做出更准确的基于位置的决策。
2016-05-14 cs.DB
Consistent Query Answering under Spatial Semantic Constraints
一致性查询应答是一种容忍不一致的方法,用于从可能与其完整性约束不一致的数据库中获得语义正确的答案。在这项工作中,我们形式化的概念一致的查询回答空间数据库和空间语义完整性约束。为了做到这一点,我们首先描述冲突的空间数据,接下来,我们定义允许的实例,恢复一致性,同时保持接近原始实例。通过这种方式,我们得到一个修复语义,这是作为一个工具的概念来定义和可能得到一致的查询答案。然后,我们集中在一类空间拒绝约束和空间查询,存在一个有效的策略来计算一致的查询答案。本研究将不一致容限应用于空间资料库,将研究目标由空间资料库的一致性转移至查询回应的一致性。
2011-06-08 cs.DB
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库,必须进行可视化和挖掘,以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快,但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案,这些方案本质上遵循数据的底层,高度不均匀的分布:它们是分层的均匀网格索引,分层的二进制空间分区,以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间,拥有超过2.7亿个数据点,我们表明这些技术可以大大加快数据采掘操作,例如通过实例查找类似对象,对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具,并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
Reliable Diversity-Based Spatial Crowdsourcing by Moving Workers
随着移动设备和众包平台的快速发展,空间众包引起了数据库界的广泛关注,空间众包是指根据工作人员的位置向其发送基于位置的请求。在本文中,我们考虑了一个重要的空间众包问题,即可靠的基于多样性的空间众包(RDB-SC),其中空间任务(如拍摄地标或烟花表演的视频/照片,并检查是否有停车位)是有时间限制的,工人正在向一些方向移动。我们的RDB-SC问题是分配工人的空间任务,使完成的可靠性和空间/时间的空间任务的分散性最大化。我们证明RDB-SC问题是NP-难的和棘手的。因此,我们提出了三种有效的近似方法,包括贪婪,采样和分治算法。为了提高效率,设计了一种基于成本模型的索引,能够以较低的成本动态维护移动的工作者和空间任务,并有效地促进RDB-SC答案的检索。通过大量的实验,我们证明了我们提出的方法在真实和合成数据集的效率和有效性。
2015-11-10 cs.DB
Exploiting Information-centric Networking to Federate Spatial Databases
本文探讨的方法,挑战和预期的优势,使用信息为中心的网络(ICN)技术联合空间数据库。ICN服务可以简化联合过程的设计,提高其性能,并提供所谓的以数据为中心的安全性。在这项工作中,我们提出了一个架构,能够联邦空间数据库,并评估其性能使用一个真正的数据集来自OpenStreetMap在一个异构的联邦由MongoDB和CouchBase空间数据库系统形成。
2019-11-23 cs.DB cs.NI
Clustering with Obstacles in Spatial Databases
空间数据库聚类是一个重要的问题,它试图在空间区域中发现密集的区域,以用于数据采掘,知识发现或有效的信息检索。然而,大多数算法都忽略了这样一个事实,即物理障碍物,如河流,湖泊,公路存在于现实世界中,从而可能影响聚类结果。在本文中,我们提出了CPO,一个有效的聚类技术来解决存在障碍的聚类问题。该算法将空间区域划分为矩形单元。每个单元与用于将单元标记为密集或非密集的统计信息相关联。它还将每个单元格标记为有障碍(即与任何障碍物相交)或无障碍。对于每个被遮挡的单元,该算法找到多个未被遮挡的子单元。然后通过广度优先搜索找到非遮挡细胞或子细胞的密集区域作为所需的聚类,每个区域都有一个中心。
2009-09-24 cs.DB
GPU-Powered Spatial Database Engine for Commodity Hardware: Extended Version
鉴于空间数据量的大规模增长,非常需要能够有效地评估大型数据集上的空间查询的系统。使用传统的数据库解决方案,这些查询是非常昂贵的。虽然通过强大的集群或具有大内存的服务器可以实现更快的响应时间,但由于成本和复杂性,这些选项对于构成长尾的许多数据科学家和分析师来说是遥不可及的。图形处理单元(GPU)现在甚至在商用台式机和笔记本电脑中也广泛使用,它提供了一种支持高性能计算的经济高效的替代方案,为有效评估空间查询开辟了新的机会。虽然文献中提出的基于GPU的方法在性能上有很大的改进,但它们与特定的GPU硬件相关联,并且只处理固定几何类型的特定查询。在本文中,我们提出了SPADE,GPU驱动的空间数据库引擎,支持丰富的空间查询。我们讨论了在大型数据集上实现高效查询评估以及跨不同GPU硬件的可移植性所面临的挑战,以及如何在SPADE中解决这些问题。我们进行了详细的实验评估,以评估广泛的查询和数据集的系统的有效性,并报告结果表明,SPADE是可扩展的,能够处理大于主内存的数据,其性能在笔记本电脑上是与其他系统,需要集群或大内存服务器。
2022-03-27 cs.DB
Efficient techniques for mining spatial databases
聚类是数据采掘的主要任务之一。近几年来,空间数据的聚类得到了广泛的研究.空间数据库是许多高级信息系统的组成部分,如地理信息系统超大规模集成电路设计系统。在这篇论文中,我们介绍了几种有效的空间数据聚类算法。首先,我们提出了一个基于网格的聚类算法,具有几个优点和性能相媲美的著名的高效聚类算法。该算法有几个优点。该算法不需要很多输入参数。它只需要三个参数,数据空间中的点的数量,网格中的单元格的数量和百分比。网格中单元的数量反映了算法应达到的精度。该算法能够发现任意形状的簇。该算法的计算复杂性与最有效的聚类算法的复杂性相当。该算法已被实施和测试对不同范围的数据库大小。性能结果表明,该算法的运行时间优于最知名的算法(CRANANS [23])。实验结果还表明,该算法的性能不随数据点数目的增加而降低。
2012-06-01 cs.DB
Probabilistic Counting in Uncertain Spatial Databases using Generating Functions
由于许多原因,位置数据本质上是不确定的,包括1)不精确的位置测量,2)经常被内插的过时观测,以及3)故意混淆以保护位置隐私。处理不确定性数据的挑战在于,对于具有N个不确定对象的数据库,可能世界的数量呈指数级增长,其数量为O(2^N),因为已经表明,不确定空间数据中的一般查询处理是NP-难的。许多使用空间数据的应用程序需要计算区域内空间对象的数量。一个例子是k-最近邻(kNN)查询:询问对象A是否是另一个对象Q的kNN相当于询问是否有不超过k-1个对象位于以Q为中心的圆内,该圆的半径等于Q和A之间的距离。针对区域内不确定对象的计数问题,提出了一种基于生成函数的有效解决方案,并成功应用于范围计数查询、kNN查询、距离排序查询和反向kNN查询等领域。这个空间宝石描述了概率计数的生成函数技术,并提供了示例和实现细节。
2021-12-12 cs.DB
OpenGeoBase: Information Centric Networking meets Spatial Database applications - Extended Version
本文探讨了使用信息中心网络(ICN)实现分布式空间数据库的方法,优势和挑战。我们的研究结果表明,ICN功能完全符合数据库的要求:按名称路由可用于调度查询和插入,网络内缓存可加速查询,以数据为中心的安全性可实现安全的多租户。我们提出了一个基于ICN的分布式空间数据库,命名为OpenGeoBase,并描述其设计选择。得益于ICN,OpenGeoBase可以快速高效地向数据库用户提供信息;轻松地以分布式方式运行,并行部署和使用多个数据库引擎;保护每一条内容;自然地切片资源,以便多个租户和用户可以同时独立地使用数据库。我们还展示了如何OpenGeoBase可以支持一个真实世界的智能交通系统的应用程序,使地理参考公共交通信息的发现。
2016-11-19 cs.DB cs.NI
Coherence of linear and surface data: Methodological proposal from the example of road data
真实世界及其地理对象在不同的空间数据库中建模和表示。这些数据库中的每一个只提供所表示的地理对象的部分描述(在空间和时间上)。有时,数据库的生产者和使用者需要连接几个数据库进行更新或比较。空间数据库管理的大部分工作集中在匹配这些空间数据库,更具体地说,是匹配网络数据库,如道路网络。关于网络数据,有一种情况仍然被忽略,即将线性数据库(具有多段线对象)与曲面数据库(具有多边形对象)进行匹配。在任何情况下,用户还需要连接这两种类型的空间数据库。本文使用法国案例(巴黎附近的卡尚)以及国际案例研究(法国波尔多、加拿大维多利亚和丹麦哥本哈根)进行案例研究,提出一种旨在在两个不同的参考系(线性和表面)中建立连贯网络地理对象的方法。这里通过道路数据的例子来解决这个问题。然后,对表面数据进行形式化处理,以使其适应描述相同地理对象的线性数据。最后,表面数据中的多边形对应于线性数据中的单个线段。这种一致性应简化从一个参考框架(线性或表面)到另一个参考框架的信息传输。换句话说,开发的方法旨在使线性和表面地理数据具有互操作性。
2022-09-14 cs.DB
Aggregate Analytic Window Query over Spatial Data
分析窗口查询是关系数据库中一种常用的查询。它通过一个滑动窗口回答数据的聚合。例如,获取股票每天的平均价格。但是,空间数据库中不支持此功能。由于空间数据不是一维空间,没有直接的方法将原有的分析窗口查询扩展到空间数据库。但是这些查询是有用的和有意义的。例如,为了找到以每个POI的固定半径作为中心的圆中的所有POI的平均访问次数。本文定义了空间数据的聚集分析窗口查询,并提出了网格索引和树索引的算法。并对算法的复杂度进行了分析,证明了算法的有效性和实用性.
2023-03-06 cs.DB
MCTuner: Spatial Decomposition-Enhanced Database Tuning via LLM-Guided Exploration
MCTuner提出一种基于LLM引导和空间分解的数据库调优框架,通过MoE识别关键旋钮并递归划分配置空间进行贝叶斯优化,在OLAP、OLTP和HTAP基准上实现高达19.2%的性能提升和1.4倍更快的配置发现。
2025-09-08 cs.DB
Efficient Spatial Keyword Search in Trajectory Databases
越来越多的轨迹数据被文本描述注释,以更好地捕捉与位置相关的语义。融合的空间位置和文字描述的轨迹产生了一种新类型的顶部$k$查询,考虑到这两个方面。所考虑的每个轨迹由与文本描述相关联的一系列地理空间位置组成。给定用户位置$λ$和关键字集合$ψ$,顶部$k$查询返回其文本描述覆盖关键字$ψ$并且具有最短匹配距离的$k$轨迹。据我们所知,以前的研究查询轨迹数据库集中在没有任何文字描述的轨迹数据,并没有现有的工作已经研究了这种顶部的$k$查询轨迹。本文提出了一种新的方法来有效地计算顶部$k$轨迹。该方法是基于一个新的混合索引,细胞关键字意识B $^+$树,表示为\cellbtree,这使我们能够利用文本相关性和位置接近,以促进高效和有效的查询处理。我们广泛的实证研究的结果与BerkeleyDB上的实现所提出的算法表明,我们提出的方法能够实现优异的性能和良好的可扩展性。
2012-05-13 cs.DB
A Neural Database for Differentially Private Spatial Range Queries
移动应用程序和基于位置的服务产生大量的位置数据,这些数据可以有利于交通优化、上下文感知通知和公共健康(例如,传染病的传播)。为了保护个人隐私,必须首先净化位置数据,这通常使用强大的差分隐私(DP)概念来完成。然而,现有的解决方案没有适当地捕获空间数据固有的密度模式和相关性,并且因此产生差的精度。我们提出了一种基于机器学习的方法来回答位置数据与DP保证的统计查询。我们专注于对抗困扰现有方法的主要误差源(即均匀性误差),我们设计了一个神经数据库系统,该系统对空间数据集进行建模,即使添加了符合DP的噪声,也可以保留数据中存在的重要密度和相关性特征。我们采用了一组神经网络,它们从数据集的不同区域和不同的粒度进行学习,从而获得更高的准确性。我们还设计了一个框架,有效的系统参数调整的公共数据,这有助于从业者设置重要的系统参数,而不必花费稀缺的隐私预算。在具有异构特征的真实数据集上的大量实验结果表明,我们提出的方法显着优于现有技术。
2021-08-03 cs.DB
A Survey on Spatial Co-location Patterns Discovery from Spatial Datasets
空间数据采掘或空间数据库中的知识发现是指提取数据库中没有显式存储的隐含知识、空间关系和空间模式。共址模式发现是发现经常位于同一地理区域内的特征子集的过程。在本文中,我们讨论了不同的方法,如基于规则的方法,Join-less方法,部分连接方法和基于约束邻域的方法来寻找co-location模式。
2014-02-06 cs.DB
Space Program Language (SPL/SQL) for the Relational Approach of the Spatial Databases
在这个项目中,我们提出了一个语法,统一的空间数据库的设计和开发。为了使它,我们结合了名义和空间信息,前者是由关系模型和后者由同一模型的修改表示。该修改允许表示空间数据结构(如四叉树、八叉树等)。in a integrated综合way.这种语法很重要,因为有了它,我们可以创建工具来构建结合空间-名称特征的系统,如地理信息系统(GIS)、超媒体系统、计算机辅助设计系统(CAD)等
2007-03-16 cs.CG cs.DB
The Maximum Trajectory Coverage Query in Spatial Databases
随着支持GPS的移动设备的广泛使用,从Bikely、GPS-wayPoints和Uber等各种来源可以获得前所未有的大量轨迹数据。创新交通服务的兴起和最近自动驾驶汽车的突破将导致轨迹数据和相关应用的持续增长。在新兴平台中支持这些服务将需要在轨迹数据库中进行更有效的查询处理。在本文中,我们提出了两个新的覆盖查询轨迹数据库:(i)k最大化反向范围搜索轨迹(kMaxRounds);和(ii)最大k覆盖范围搜索轨迹(MaxkCovests)。我们提出了一种新的索引结构,轨迹四叉树(TQ-tree),利用四叉树层次化组织轨迹到不同的四叉树节点,然后应用z排序进一步组织轨迹的空间位置内的每个节点。这种结构在修剪轨迹搜索空间方面是非常有效的,这是独立感兴趣的。通过利用TQ树数据结构,我们开发了一个分治的方法来计算轨迹的“服务值”,和最好的第一个策略,探索轨迹使用适当的上限上的服务值,以有效地处理一个kMaxRisk查询。此外,为了解决MaxkCovenant,这是一个non-submodular NP-hard问题,我们提出了一个贪婪的近似,也利用了TQ-树。我们评估我们的算法,通过广泛的实验研究几个真实的数据集,并证明我们的TQ树为基础的算法优于常见的基线两到三个数量级。
2018-04-02 cs.DB
Accelerating Pathology Image Data Cross-Comparison on CPU-GPU Hybrid Systems
作为空间数据库在病理成像分析中的一个重要应用,交叉比较大量分割的显微解剖对象的空间边界需要极其数据和计算密集型的操作,需要以可承受的成本的高吞吐量。然而,空间数据库系统的性能并不令人满意,因为它们的空间操作的实现不能充分利用现代并行硬件的能力。在本文中,我们提供了一种定制的软件解决方案,该解决方案利用GPU和多核CPU以经济高效的方式加速空间交叉比较。我们的解决方案包括一个高效的GPU算法和一个流水线的系统框架,任务迁移支持。大量的实验与真实世界的数据集证明了我们的解决方案的有效性,它提高了空间交叉比较的性能超过18倍,与并行空间数据库的方法。
2012-08-01 cs.DB
Unsupervised classification of uncertain data objects in spatial databases using computational geometry and indexing techniques
无监督分类称为聚类,是将对象组织成成员在某些方面相似的组的过程。不确定数据对象的聚类是空间数据库中的一个挑战。本文采用概率密度函数(PDF)来表示这些不确定的数据对象,并应用不确定K均值算法来生成聚类。该聚类算法使用期望距离(ED)来计算对象和聚类代表之间的距离。为了进一步提高UK-Means的性能,我们提出了一种新的技术,称为沃罗诺伊图从计算几何修剪ED的计算数量。这种技术有效地工作,但结果修剪开销。为了减少这些在修剪开销,我们引入R*-树索引这些不确定的数据对象,使它减少了计算成本和修剪开销。我们的新方法集成UK-Means与沃罗诺伊图和R* 树应用于不确定的数据对象产生强加的结果相比,可访问的方法。
2013-12-09 cs.DB
SIMD-ified R-tree Query Processing and Optimization
本文研究空间数据库中R树索引的SIMD向量化,提出范围选择与空间连接的向量化算法及两种存储布局,引入优化后延迟提升高达9倍。
2023-09-29 cs.DB
Guidelines to the Problem of Location Management and Database Architecture for the Next Generation Mobile Networks
在不久的将来,预期的大量移动用户可能会引入非常大的集中式数据库,并增加HLR-VLR数据库上的位置注册和呼叫传递的端到端延迟,并且将变得不可行。在观察了几个问题后,我们提出了一些指导方针。采用了多树分布式数据库、高吞吐量索引结构、面向内存的数据库组织方式。采用重叠网络中移动用户的位置管理准则、邻居发现协议(NDP)和全局漫游规则。分析模型和例子来评估建议的指南的效率。
2013-04-10 cs.DB cs.NI
Towards a Scalable Dynamic Spatial Database System
随着支持GPS的智能手机和其他类似移动设备的兴起,大量的位置数据可用。然而,还没有可扩展的解决方案,软实时空间查询的大型移动对象集尚未出现。在本文中,我们探索和测量的限制,实际算法和实现不同的应用场景。最后,我们提出了一种新的分布式架构,以解决可扩展性问题。
2012-11-19 cs.CG cs.DB cs.DC
Evaluating the Impact Of Spatial Features Of Mobility Data and Index Choice On Database Performance
TU Berlin(柏林工业大学)
本文通过 PostGIS 基准测试结合真实与合成数据,系统评估索引、数据格式及空间重叠和偏斜特征对读写性能的联合影响。
2025-10-21 cs.DB cs.DC
A Scalable Algorithm for Maximizing Range Sum in Spatial Databases
研究了空间数据库中的MaxRS问题。给定一组加权点O和一个给定大小的矩形区域r,MaxRS问题的目标是找到r的位置,使得r覆盖的所有点的权重之和最大化。这个问题在许多基于位置的应用中是有用的,例如为具有有限交付范围的新特许经营店找到最佳位置,以及为具有有限可达范围的游客找到最有吸引力的地方。然而,这个问题主要是在理论上,特别是在计算几何的研究。现有的计算几何算法都是内存算法,不能保证可扩展性。在本文中,我们提出了一个可扩展的外部存储器算法(ExactMaxRS)的MaxRS问题,这是最佳的I/O复杂度。此外,我们提出了一个近似算法(ApproxMaxCRS)的MaxCRS问题,是一个圆形版本的MaxRS问题。我们证明了ExactMaxRS算法的正确性和最优性以及ApproxMaxCRS算法的逼近界。从大量的实验结果,我们表明,ExactMaxRS算法是两个数量级的速度比现有的算法适应的方法,在实践中的近似界是远远优于理论界的ApproxMaxCRS算法。
2012-08-01 cs.DB
Spatial database implementation of fuzzy region connection calculus for analysing the relationship of diseases
Isfahan University of Technology(伊斯法罕理工大学)
分析海量的空间数据在医疗、城市规划、农业等新兴分析和决策领域起着重要作用,为了从地理数据中提取有意义的知识,需要分析空间数据对象之间的关系。一类重要的关系是拓扑关系,如区域之间的连通性或重叠。而现实世界中的地理区域,如湖泊或森林,没有确切的边界,是模糊的,大多数现有的分析方法忽略了拓扑关系的这一固有特性。提出了一种基于模糊区域连接演算(RCC)的空间数据库拓扑关系处理方法。该方法在PostGIS空间数据库中实现,并在分析疾病之间的关系作为一个重要的应用领域进行了评估。我们还使用我们的模糊RCC实现模糊化的天际线运营商在空间数据库。评估的结果表明,我们的方法提供了一个更现实的空间关系视图,并提供了更大的灵活性,数据分析师提取有意义的和准确的结果相比,现有的方法。
2016-05-10 cs.AI cs.CG cs.DB
The Revolution In Database System Architecture
数据库系统架构正在经历革命性的变化。通过将程序设计语言与数据库系统相结合,算法和数据正在得到统一。这给出了一个可扩展的对象关系系统,其中非过程关系运算符操作对象集。与此相结合,每个DBMS现在都是一个Web服务。这对我们如何构建应用程序有着巨大的影响。DBMS现在是对象容器。对象是要添加的第一个对象。这些队列是事务处理和工作流应用程序的基础。未来的工作流系统很可能建立在这个核心之上。数据立方体和在线分析处理现在已经融入到大多数DBMS中。除此之外,DBMS还有一个数据采掘和机器学习算法的框架。决策树、贝叶斯网、聚类和时间序列分析都内置在内置的中;可以添加新的算法。文本、时间和空间数据访问方法以及它们的概率推理已经被添加到数据库系统中。允许近似和概率的答案是必不可少的许多应用程序。许多人认为XML和XQuery将成为主要的数据结构和访问模式。数据库系统必须适应这种观点,这些变化要求采用更加动态的查询优化策略。智能正在向网络的外围移动。每个磁盘和每个传感器都将是一台合格的数据库机器。关系代数是一种方便的方法来编程这些系统。数据库系统现在被期望能够自我管理、自我修复和始终保持运行。
2004-08-14 cs.DB
Spatial Co-location Pattern Mining - A new perspective using Graph Database
空间共位模式挖掘是指发现在多个地方同时发生的一组对象或事件的任务。由于空间数据类型、空间关系和空间自相关的复杂性,从空间数据中提取这些模式是非常困难的。这些模式在公共安全、地理营销、犯罪预测和生态学等领域都有应用。以前的工作集中在使用空间连接。虽然这些方法提供了最先进的结果,但由于多路空间连接,它们的计算非常昂贵,并且将它们扩展到真实世界的数据集是一个开放的问题。我们解决这些局限性,制定的协同定位模式发现作为一个集团枚举问题的邻域图(这是使用分布式图形数据库物化)。我们提出了三个新的基于遍历的算法,即$CliqueEnum_G$,$CliqueEnum_K$和$CliqueExtend$。我们提供的经验证据,我们提出的算法的有效性,通过评估他们的一个大型的现实生活中的数据集。这三种算法允许在时间和内存需求之间进行权衡,并支持交互式数据分析,而无需重新计算所有中间结果。这些属性使我们的算法适用于不同数据大小的各种用例。
2018-10-21 cs.DB cs.DC
A Study on Application of Spatial Data Mining Techniques for Rural Progress
本文着重于空间数据采掘技术的应用,以有效地管理所面临的挑战,在分析和预测市场的情况下,周边农村地区,更好地管理其经济。空间数据采掘是揭示隐藏在空间数据库中的隐含知识的任务。空间数据库包含所研究地区的空间和非空间属性。寻找隐藏在空间数据库中的隐含的规则或模式是一项重要的任务,例如地理营销,交通控制或环境研究。本文的研究重点是空间数据采掘技术在农村经济地理领域的有效应用
2013-03-03 cs.CY cs.DB
An Entropy Maximizing Geohash for Distributed Spatiotemporal Database Indexing
我们提出了一个修改的标准geohash算法的最大熵编码的基础上,其中的数据量是近似恒定的一个给定的哈希前缀长度。分布式时空数据库通常需要将空间和时间元素交织到单个键中,通过在空间和时间精度之间创建一致的比率,即使在数据密度不同的区域中,也可以从平衡的geohash中获得很大的好处。此属性对于索引纯空间数据集也很有用,其中大范围扫描的负载分布是查询性能的一个重要方面。我们将我们的算法应用于与人口成比例生成的数据,这些数据由美国人口普查局提供的人口普查块人口计数给出。
2015-06-16 cs.DB cs.DC
Latent table discovery by semantic relationship extraction between unrelated sets of entity sets of structured data sources
查询是数据库系统的基本功能之一。参与表数量的增加会对查询效率产生不利影响。此外,基于语法的查询在很大程度上限制了数据库系统可以处理的查询的范围。语法查询依赖于数据库表结构,这是大型组织关注的一个原因,因为存储分布在不同地理位置的数据的异构系统之间不兼容。这些问题的解决方案在某种程度上是通过使数据和数据库有意义而转向语义技术来回答的。在这样做时,实体集合的集合之间的关系将不仅限于句法约束,而且还将允许语义连接,尽管这样的关系可以是隐性的、无形的和不可见的。这项工作的目标是提取这种隐藏的关系之间的不相关的实体集,并存储在一个有形的形式。一些示例情况下,提供了辩护,建议的工作,提高查询显着。
2011-04-07 cs.DB
Reliable Querying of Very Large, Fast Moving and Noisy Predicted Interaction Data using Hierarchical Crowd Curation
大量预测和挖掘但不确定的生物数据表明,对大规模、高效和可扩展的策展工作有着巨大的需求。任何成功的策展企业所保证的人类专业知识通常在经济上是禁止的,特别是对于可能最终不会产生结果的推测性最终用户查询。因此,挑战仍然是设计一个低成本的引擎,能够提供一组数据项的快速但试探性的注释和管理,这些数据项可以由专家进行授权验证,随后需要非常小的投资。因此,目标是在策展继续进行的同时,尽可能早地提供大量预测数据,并对其准确性具有可接受的置信度。在本文中,我们提出了一种新的方法,使用人群计算的生物数据库内容的注释和策展。其技术贡献在于识别和管理机械土耳其人的信任,以及支持ad hoc声明式查询,这两者都被用来支持使用噪声预测交互的可靠分析。
2016-06-06 cs.DB
GeT_Move: An Efficient and Unifying Spatio-Temporal Pattern Mining Algorithm for Moving Objects
定位技术的最新改进导致了大量移动对象数据的更广泛的可用性。一个关键的任务是找到一起运动的运动物体。通常,这些对象集被称为时空模式。由于近年来出现了许多不同类型的时空模式,已经提出了不同的方法来提取它们。然而,每种方法都只关注于挖掘特定类型的模式。除了由于用于挖掘和管理模式的大量算法而成为一项艰苦的任务之外,它也很耗时。此外,每当向现有数据库添加新数据时,我们必须再次执行这些算法。为了解决这些问题,我们首先在项集上下文中重新定义时空模式。其次,我们提出了一个统一的方法,命名为GeT_Move,它使用一个基于频繁闭项集的时空模式挖掘算法来挖掘和管理不同的时空模式。GeT_Move有两个版本,分别是GeT_Move和Incremental GeT_Move。为了优化效率和自由的参数设置,我们还提出了一个无参数增量GeT_Move算法。在真实数据集和大型合成数据集上进行了全面的实验,以证明我们的方法的有效性和效率。
2012-04-04 cs.DB
The Asilomar Report on Database Research
数据库研究界对基础研究的成功及其在技术转让方面的卓越记录感到自豪。现在,该领域需要从根本上扩大其研究重点,以解决捕获,存储,分析和呈现大量在线数据的问题。数据库研究界应该接受更广泛的研究议程-扩大数据库管理的定义,以涵盖Web和其他在线数据存储的所有内容,并根据技术变化重新思考我们的基本假设。为了加速这一转变,我们建议改变研究结果的评估和呈现方式。特别是,我们提倡鼓励更多的投机性和长期的工作,移动会议海报格式,并在网络上发布所有的研究文献。
1998-11-09 cs.DB cs.DL
GriT-DBSCAN: A Spatial Clustering Algorithm for Very Large Databases
DBSCAN是一种基本的空间聚类算法,具有许多实际应用。然而,该算法的一个瓶颈是在最坏的情况下,运行时间复杂度为$O(n^2)$。为了解决这个问题,我们提出了一个新的基于网格的算法,精确DBSCAN在欧几里得空间称为GriT-DBSCAN,这是基于以下两种技术。首先,我们引入了一个网格树来组织非空网格的目的,有效的非空相邻网格查询。其次,通过利用点之间的空间关系,我们提出了一种技术,迭代修剪不必要的距离计算时,确定两组之间的最小距离是否小于或等于一定的阈值。我们从理论上证明了GriT-DBSCAN的复杂度与数据集大小成线性关系。此外,我们得到两个变种的GriT-DBSCAN通过将philistics,或通过将第二种技术与现有的算法相结合。在合成数据集和真实数据集上进行实验,以评估GriT-DBSCAN及其变体的效率。我们的分析结果表明,我们的算法优于现有的算法。
2022-11-06 cs.DB cs.DS
Natural Language Interfaces for Spatial and Temporal Databases: A Comprehensive Overview of Methods, Taxonomy, and Future Directions
Department of Computer Science, Marquette University, Milwaukee, Wisconsin, USA(计算机科学系,马凯特大学,密尔沃基,威斯康星州,美国)
本文综述了空间和时间数据库的自然语言接口研究,分析了现有方法的分类、数据集和评估指标,并指出现有研究中的趋势、差异和开放挑战,为未来研究方向提供指导。
2026-03-24 cs.AI cs.CL cs.DB
Finding Logic Bugs in Spatial Database Engines via Affine Equivalent Inputs
本文提出几何感知SQL生成器和仿射等价输入(AEI)验证方法,并实现为Spatter工具,在四个主流空间数据库中发现34个未知逻辑错误,其中30个已确认、18个已修复。
2024-10-17 cs.DB cs.PL cs.SE
A triangle-based logic for affine-invariant querying of spatial and spatio-temporal data
在空间数据库中,由于原点或测量单位的不同选择(例如,厘米对英寸)。通过以仿射不变的方式表示和查询数据,我们可以避免这些不兼容性。在实践中,空间(分别为,时空)数据通常被表示为三角形的有限并集(分别,移动三角形)。由于两个任意三角形在平面的唯一亲和度上相等,因此它们似乎是作为仿射不变查询语言的基本单元的完美候选者。我们提出了一个所谓的“三角逻辑”,一个查询语言,是仿射通用的,三角形作为基本元素。我们表明,这种语言具有相同的表达能力的仿射通用片段的一阶逻辑在三角形数据库上的实数。我们说明,所提出的语言是简单和直观的。它也可以作为迈向时空数据的“移动三角逻辑”的第一步。
2008-11-01 cs.DB cs.LO
The Tensor Data Platform: Towards an AI-centric Database System
Microsoft(微软)
数据库引擎在历史上吸收了数据处理中的许多创新,增加了处理图形数据、XML、面向对象和文本等的功能。在本文中,我们提出了这样一个观点,即现在是时候为人工智能做同样的事情了--但要有一个转折!虽然现有的方法试图通过将数据库与外部ML工具集成来实现这一目标,但在本文中,我们声称实现真正以AI为中心的数据库需要将DBMS引擎从其核心从关系抽象转移到张量抽象。这使我们能够:(1)支持多模态数据处理,例如图像、视频、音频、文本以及关系数据;(2)利用HW和运行时中的创新源泉进行张量计算;以及(3)利用自动微分来实现可以学习执行任务的新型“可训练”查询。为了支持上述场景,我们引入了TDP:一个建立在我们之前将关系查询映射到张量的工作基础上的系统。由于与张量运行时更紧密地集成,TDP能够更广泛地覆盖需要访问多模态数据和自动微分的新兴场景。
2022-11-04 cs.DB cs.LG
Analysis and Study of Incremental DBSCAN Clustering Algorithm
本文描述了基于密度的聚类的增量行为。重点介绍了基于密度的噪声应用空间聚类算法(DBSCAN)及其增量方法,DBSCAN算法基于密度的聚类概念,在噪声空间数据库中发现任意形状的聚类,增量方法将DBSCAN算法应用于数据更新频繁的动态数据库中,并在此基础上提出了一种基于密度的噪声应用空间聚类算法。在对动态数据库进行插入或删除操作之后,必须更新DBSCAN发现的聚类。DBSCAN算法通过直接计算新数据进入到已有聚类中的数据来度量新聚类,而不是重新运行算法,最终发现新的更新聚类和离群点,从而描述了在原始数据库中增量变化的百分比下,实际DBSCAN算法和增量DBSCAN算法的行为是相同的,DBSCAN算法被广泛应用于大型多维数据库的维护,如数据仓库。
2014-06-18 cs.DB cs.IR
PyODDS: An End-to-End Outlier Detection System
Texas A&M University(德州农工大学)
PyODDS是一个端到端的Python系统,用于数据库支持的离群值检测。PyODDS提供离群点检测算法,满足不同领域用户的需求,w/wo数据科学或机器学习背景。PyODDS提供了在数据库中执行机器学习算法的能力,而无需将数据移出数据库服务器或通过网络。它还提供了广泛的离群值检测算法,包括统计分析和最近的基于深度学习的方法。PyODDS是在MIT开源许可下发布的,目前可在(https://github.com/datamllab/pyodds)获得,官方文档在(https://pyodds.github.io/)。
2019-10-11 cs.DB cs.LG stat.ML
The Zones Algorithm for Finding Points-Near-a-Point or Cross-Matching Spatial Datasets
区域索引N维欧几里德或度量空间,以有效地支持数据集内或两个数据集之间的点附近的点查询。该方法使用了关系代数和几乎所有关系数据库系统中的B树机制。因此,Zones算法提供了一个可移植的关系实现的点附近的点,空间交叉匹配,和自匹配查询。这篇文章纠正了我们之前写的关于区域算法的文章中的一些错误,并描述了一些算法改进。附录包括使用美国地质勘探局城市和河流测量数据库的点-近点、自匹配和交叉匹配的实现。
2007-01-26 cs.DB cs.DS
Discovery of Convoys in Trajectory Databases
随着具有定位能力的移动设备继续激增,捕获移动对象群体的历史移动的所谓轨迹数据库的数据管理变得重要。本文认为查询这样的数据库的车队,车队是一组对象,一起走过了一段时间。更具体地说,本文形式化的概念,车队查询使用密度为基础的概念,以捕捉组的任意范围和形状。关联发现与卡车的吞吐量规划和车辆的拼车中的现实应用相关。虽然有大量的研究文献中的轨迹,这都可以应用到正确检索精确的车队结果集。出于这一动机,我们开发了三个有效的算法,车队发现,采用著名的过滤器细化框架。在过滤步骤中,我们对轨迹应用线简化技术,并建立简化轨迹之间的距离界限。这允许在简化的轨迹上有效地发现车队,而不会错过任何实际的车队。在细化步骤中,候选车队被进一步处理以获得实际车队。我们全面的实证研究提供了深入了解该文件的建议的属性,并表明该建议是有效的和高效的真实世界的轨迹数据。
2010-02-04 cs.CG cs.DB
GeoCMS : Towards a Geo-Tagged Media Management System
在本文中,我们提出了新的地理标记媒体管理系统的设计和实现。由用户的智能手机、移动终端、仪表盘摄像头和摄像头生成的大量日常地理标记媒体数据。地理标记的媒体,如地理视频和照片,可以与时空信息,如时间,位置,可见区域,相机方向,移动方向和可见距离信息捕获。随着地理标记多媒体数据的不断增加,对地理标记多媒体数据的有效管理和挖掘成为数据库和数据采掘的一个新的研究领域。本文提出了一个地理标记的媒体管理系统,所谓的开放GeoCMS(地理标记的媒体内容管理系统)。Open GeoCMS是一个新的框架,用于管理网络上的地理标记媒体数据。我们的框架支持各种类型的移动点,移动照片-由无人机,移动双和移动视频的照片序列。此外,GeoCMS有标签查看器和编辑器系统的照片和视频。Open GeoCMS是一个开源系统。
2020-01-10 cs.DB cs.SI
Manycore processing of repeated k-NN queries over massive moving objects observations
Università Ca’ Foscari(威尼斯卡福斯卡里大学)
提出一种混合CPU/GPU流水线,通过定制数据结构和非平凡内存访问模式,加速大规模移动物体上重复k-NN查询处理,实现10-20倍加速。
2014-12-18 cs.DB cs.DC cs.DS
Empowering Domain-Specific Language Models with Graph-Oriented Databases: A Paradigm Shift in Performance and Model Maintenance
Pontificia Universidad Catolica Argentina(阿根廷天主教大学);Accenture(埃森哲)
本研究针对领域特定短文本数据管理处理的需求,提出将领域特定语言模型与图导向数据库集成的方法,可优化指标使用、缓解延迟、提升可解释性与调试能力、改善模型性能,并为相关产品全生命周期维护提供经验。
2024-10-04 cs.AI cs.DB cs.LG
Manycore processing of repeated range queries over massive moving objects observations
Università Ca’ Foscari(威尼斯福斯卡里大学);Aalborg University(奥尔堡大学)
针对大规模移动对象重复范围查询问题,提出一种基于CPU/GPU混合流水线的空间索引方法,利用点区域四叉树分解和GPU优化数据结构,实现14x-20x的加速比。
2014-11-12 cs.DB cs.DC cs.DS