D4M 3.0
D4M工具被数百名研究人员用于对非结构化数据进行复杂的分析。在过去的几年里,D4M工具箱已经发展到支持与各种数据库引擎的连接,Apache Accumulo数据库中的图形分析,以及使用Julia程序设计语言的实现。在本文中,我们将介绍D4M工具箱的一些最新功能以及即将发布的D4M 3.0版本。
2017-01-19 cs.DB cs.DC
D4M 3.0: Extended Database and Language Capabilities
D4 M工具的开发是为了满足当今的许多数据需求。数百名研究人员使用该工具对非结构化数据进行复杂的分析。在过去的几年里,D4 M工具箱已经发展到支持与各种新数据库引擎(包括SciDB)的连接。D4 M-Graphulo提供了在Apache Accumulo数据库中进行图形分析的能力。最后,使用Julia程序设计语言的实现现在也可用。在本文中,我们将介绍D4 M工具箱的一些最新功能以及即将发布的D4 M 3.0版本。我们通过基准测试和扩展结果表明,我们可以使用D4 M-SciDB连接器实现快速SciDB摄取,使用Graphulo可以在内存有限的范围内启用图形算法,并且D4 M的Julia实现了与现有MATLAB(R)实现相当的性能或超过现有MATLAB(R)实现。
2017-08-09 cs.DB
Version 0.1 of the BigDAWG Polystore System
多存储系统是由集成的异构数据库引擎和多种程序设计语言组成的数据库管理系统(DBMS)。通过将数据与最适合其需求的存储引擎相匹配,复杂的分析可以更快地运行,灵活的存储选择有助于改善数据组织。BigDAWG(Big Data Working Group)是我们对polystore系统的参考实现。在本文中,我们描述了当前的BigDAWG软件版本,支持PostgreSQL,Accumulo和SciDB。我们描述了将BigDAWG应用于MIMIC II医疗数据集的整体架构、API和初步结果。
2017-07-03 cs.DB
Graphulo: Linear Algebra Graph Kernels for NoSQL Databases
大数据和物联网时代继续挑战计算系统。已经开发了一些技术解决方案,如NoSQL数据库,以应对这一挑战。为了从大型数据集生成有意义的结果,分析师通常使用图形表示,它提供了一种直观的数据处理方式。图的顶点可以表示用户和事件,边可以表示顶点之间的关系。图算法用于从这些非常大的图中提取有意义的信息。在麻省理工学院,Graphulo计划是一项直接在NoSQL数据库(如Apache Accumulo或SciDB)中执行图形算法的努力,这些数据库具有固有的稀疏数据存储方案。稀疏矩阵运算具有高效实现的历史,并且图形基本线性代数子程序(GraphBLAS)社区已经开发了一组可用于开发高效线性代数运算的关键内核。然而,为了使用GraphBLAS内核,重要的是使用线性代数构建块重新构建常见的图形算法。在本文中,我们将研究常见的图算法类,并使用GraphBLAS构建块将它们转换为线性代数运算。
2015-10-06 cs.DB cs.DS
Bridging the Gap Between Theory and Practice on Insertion-Intensive Database
随着在线平台的普及,今天,用户正在以非常高的速度生成和访问数据。此外,诸如股票交易或高频交易之类的应用需要保证低延迟来对数据库执行操作。因此,设计数据库,保证数据插入和查询在一个一致的高速率,而不引入任何长时间的延迟插入期间。在本文中,我们提出了嵌套B树(NB树),索引,可以实现一致的高插入率在大量的数据,同时提供渐近最优的查询性能,是非常有效的实践。嵌套B树支持比LSM树更高的插入率,LSM树是插入密集型工作负载的最先进索引,同时避免了长插入延迟并提高了查询性能。当与Bloom过滤器补充时,它们接近B树的查询性能。在我们的实验中,NB树的最坏情况延迟比LevelDB、RocksDB和bLSM(常用的LSM树数据存储)小1000倍,执行查询的速度比LevelDB快4倍,比bLSM和RocksDB快1.5倍,同时在平均插入率方面也优于它们。
2020-03-02 cs.DB
D4M: Bringing Associative Arrays to Database Engines
收集和分析大量数据的能力在科学界是一个日益严重的问题。数据和用户之间的差距越来越大,需要创新的工具来解决大数据量,速度和多样性所面临的挑战。存在许多工具,允许用户存储,查询和索引这些大量的数据。每个存储或数据库引擎都有处理复杂数据的承诺。希望使用这些系统的科学家和工程师通常很快就会发现,没有一种技术可以为信息的复杂性提供灵丹妙药。然而,当使用多种技术时,在设计存储和数据库引擎之间的信息移动以支持端到端应用程序方面存在很大的麻烦,同时与学习每种底层技术的细微差别相关的学习曲线也很陡峭。在本文中,我们提出了动态分布式维度数据模型(D4 M)作为统一数据库和存储引擎操作的潜在工具。以前关于D4 M的文章展示了D4 M与流行的NoSQL Accumulo数据库交互的能力。然而最近,D4 M现在在各种后端存储或数据库引擎上运行,同时通过使用关联数组向最终用户提供联邦外观。为了展示D4 M如何支持新数据库,我们描述了构建D4 M-SciDB连接器的过程,并介绍了该连接的性能。
2015-08-28 cs.DB
Insert-Only versus Insert-Delete in Dynamic Query Evaluation
该研究对比动态查询评估中仅插入与插入-删除场景的复杂度,证明仅插入更新总时间匹配静态查询复杂度,插入删除场景通过扩展元组生命周期变量实现最优摊销更新时间。
2024-09-13 cs.DB
Managing Periodically Updated Data in Relational Databases: A Stochastic Modeling Approach
信息管理的最新趋势涉及在网络环境中将数据周期性地转录到辅助设备上,并且这些转录的适当调度对于有效的数据管理至关重要。为了协助调度过程中,我们有兴趣在建模的关系和它的副本,称为过时的数据之间的一致性随着时间的推移减少。建模是基于随机过程领域的技术,并提供了几个随机模型的内容演变的基础关系的数据库,参考完整性约束考虑。这些模型足够通用,可以适应数据库中的大多数常见场景,包括批量插入和使用内存和不使用内存的生命周期。作为我们的方法的适用性的初始“概念证明”,我们通过实验验证了我们的模型框架的插入部分与真实的数据源。我们还讨论了一组转录协议,利用所提出的随机模型。
2001-06-11 cs.DB
SPSW: Database Watermarking Based on Fake Tuples and Sparse Priority Strategy
针对伪造元组数据库水印插入量大、透明性低的问题,本文提出 SPSW,通过优先嵌入含最多 0 比特的稀疏水印序列减少伪造元组数量,并提升透明性与鲁棒性。
2024-05-08 cs.DB
Tracking Network Events with Write Optimized Data Structures: The Design and Implementation of TWIAD: The Write-Optimized IP Address Database
访问网络流量记录是识别和解决网络安全漏洞的一个组成部分。即使随着网络攻击的日益复杂,基本网络事件(如两个IP地址之间的连接)在任何网络防御中都起着重要作用。考虑到当前攻击的持续时间,长期数据存档至关重要,但通常很少有数据被访问。以前的工作提供了工具,并确定了跟踪连接的需要。然而,传统的数据库会引起性能问题,因为它们是针对查询而不是摄取进行优化的。写优化数据结构(WODS)的研究是一个新的和不断增长的领域,其为传统的存储结构(例如,B树)。WODS以查询性能的轻微下降换取快速插入更多数据元素的能力的显著提高,通常是每秒插入10到100倍。这些高效的内存不足数据结构在实现对网络事件的长期稳健跟踪方面发挥着关键作用。在本文中,我们提出了TWIAD,写优化的IP地址数据库。TWIAD使用称为B ε树的写优化B树来跟踪网络流量流中的所有IP地址连接。我们最初的实施重点是利用低成本的硬件,证明基本的长期跟踪可以在没有先进设备的情况下完成。我们在一个普通的桌面系统上测试了TWIAD,并显示出每秒约20,000次插入的持续摄取率。
2015-11-30 cs.CR cs.DB
A Script Language for Data Integration in Database
本文设计了一种脚本语言,通过计算公式将原始数据转换为目标数据。脚本语言可以翻译成相应的SQL语言,计算最终由第一类动态SQL实现。脚本语言对数据库中的表进行插入、更新、删除、并、交、减等操作,脚本语言通过文本文件编辑,可以方便地修改文本文件中的计算公式,以应对计算公式发生变化的情况。所以你只需要修改脚本语言的文本,而不需要改变已经编译的程序。
2003-01-13 cs.DB
OpenGeoBase: Information Centric Networking meets Spatial Database applications - Extended Version
本文探讨了使用信息中心网络(ICN)实现分布式空间数据库的方法,优势和挑战。我们的研究结果表明,ICN功能完全符合数据库的要求:按名称路由可用于调度查询和插入,网络内缓存可加速查询,以数据为中心的安全性可实现安全的多租户。我们提出了一个基于ICN的分布式空间数据库,命名为OpenGeoBase,并描述其设计选择。得益于ICN,OpenGeoBase可以快速高效地向数据库用户提供信息;轻松地以分布式方式运行,并行部署和使用多个数据库引擎;保护每一条内容;自然地切片资源,以便多个租户和用户可以同时独立地使用数据库。我们还展示了如何OpenGeoBase可以支持一个真实世界的智能交通系统的应用程序,使地理参考公共交通信息的发现。
2016-11-19 cs.DB cs.NI
Benchmarking database performance for genomic data
基因组区域代表基因注释、转录因子结合位点和表观遗传修饰等特征。执行各种基因组操作,如识别重叠/非重叠区域或最近的基因注释是常见的研究需求。数据可以保存在数据库系统中,便于管理,然而,目前还没有全面的数据库内置算法来识别重叠区域。因此,我开发了一个基于SQL的区域映射(RegMap)算法来执行基因组操作,并对不同数据库的性能进行了基准测试。基准测试表明,PostgreSQL提取重叠区域的速度比MySQL快得多。PostgreSQL中的插入和数据上传也更好,尽管两个数据库的一般搜索能力几乎相同。此外,使用该算法成对地,报道了从以前的出版物收集的>1000个转录因子结合位点和组蛋白标记的数据集的重叠,并且发现HNF 4G与粘附素亚基STAG 1(SA 1)显著共定位。
2020-08-16 cs.DB
Machine Unlearning in Learned Databases: An Experimental Analysis
本文首次系统实验分析学习型数据库中机器遗忘的影响,评估多种遗忘算法在选择性估计、近似查询处理、数据生成及数据分类等任务上的效果、效率与批量删除敏感性,并探索与插入处理算法结合以实现数据库全面可更新性。
2023-11-28 cs.DB
Stretching Your Data With Taffy Filters
流行的近似成员查询结构,如布隆过滤器和布谷鸟过滤器,广泛用于数据库,安全和网络。这些结构近似地表示集合,并且支持至少两个操作-插入和查找;查找总是在插入到结构中的元素上返回true;它还在未插入到结构中的元素上以一定概率$0 < \varepsilon < 1$返回true。后一种元素称为假阳性。为了补偿这些误报,过滤器可以比表示相同集合的哈希表小得多。然而,与哈希表不同,布谷鸟过滤器和布隆过滤器必须使用要执行的插入的预期数量来初始化,并且不能增长更大-超过这个数量的插入失败或显著增加误报概率。本文介绍了过滤器的设计和实现,可以增长,插入失败,没有有意义地增加误报概率,即使过滤器创建的初始大小很小。生成的代码在GitHub上以许可的开源许可证提供。
2022-01-14 cs.DB cs.DS
Exploring Distributed Vector Databases Performance on HPC Platforms: A Study with Qdrant
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
本研究在Polaris超级计算机上实证评估了分布式向量数据库Qdrant的性能,使用生物文本工作负载和Qwen3嵌入,测量插入、索引和查询延迟,为HPC平台上的向量数据库优化提供指导。
2025-10-16 cs.DB cs.DC
Repairing Inconsistent Databases: A Model-Theoretic Approach and Abductive Reasoning
在本文中,我们考虑两个观点的问题,分布式数据的相干集成。首先,我们给出了一个纯模型理论分析的可能方法来“修复”数据库。我们这样做的特征的可能性,以“恢复”一致的数据从不一致的数据库中的那些模型的数据库,表现出尽可能少的不一致的信息,合理的可能。然后,我们介绍了一个溯因应用程序来恢复一个给定的数据库的一致性。这个应用程序是基于一个溯因求解器(A系统),实现了一个SLDNFA的决议程序,并计算一个列表的数据事实,应该插入到数据库或从它撤回,以保持数据库一致。相干数据集成的两种方法是相关的健全性和完整性的结果。
2002-07-25 cs.DB cs.LO
Benchmarking SciDB Data Import on HPC Systems
SciDB是一个可扩展的计算数据库管理系统,使用数组模型进行数据存储。SciDB的阵列数据模型使其非常适合存储和管理大量成像数据。SciDB旨在支持数据库中的高级分析,从而减少提取数据进行分析的需求。它被设计为大规模并行,可以在高性能计算(HPC)环境中的商用硬件上运行。在本文中,我们提出了性能的SciDB使用模拟图像数据。动态分布式维度数据模型(D4M)软件用于在运行MIT SuperCloud软件栈的集群上实现基准测试。在该系统的单个节点上实现了每秒2.2M数据库插入的峰值性能。我们还表明,SciDB和D4M工具箱提供了更有效的方法来访问海量数据集的随机子卷相比,从单个文件读取体积数据的传统方法。这项工作描述了我们开发的D4M和SciDB工具,并提出了初步的性能结果。这种性能是通过使用并行插入、数据库内的数组合并以及超级计算技术(如分布式数组和单程序多数据编程)来实现的。
2016-09-24 cs.DB cs.DC cs.PF
GraphChi-DB: Simple Design for a Scalable Graph Database System -- on Just a PC
我们提出了一种新的数据结构,并行邻接表(PAL),有效地管理图与磁盘上的数十亿条边。PAL结构基于GraphChi的图存储模型(Kyrola et.例如,OSDI 2012),但我们对其进行了扩展,以支持在线数据库功能,如查询和快速插入。此外,我们扩展了模型的边和顶点属性。与以前的数据结构相比,PAL可以更复杂地存储图形,同时允许快速访问顶点的传入和传出边,而不复制数据。在PAL的基础上,我们设计了一个图形数据库管理系统GraphChi-DB,它也可以执行强大的分析图形计算。我们通过实验评估了我们的设计,并证明GraphChi-DB在比可用内存大得多的图形上实现了最先进的性能。GraphChi-DB使任何只有笔记本电脑或PC的人都可以处理非常大的图形。
2014-03-04 cs.DB
Incremental extraction of a NoSQL database model using an MDA-based process
近年来,使用NoSQL系统存储和利用大数据的需求一直在稳步增长。这些系统中的大多数的特征在于属性“无模式”,这意味着在创建数据库时不存在数据模型。该属性通过允许在基础开发期间模型的演变带来了不可否认的灵活性。然而,查询的表达需要对该模型有精确的了解。在本文中,我们提出了一个增量过程中提取模型,同时操作面向文档的NoSQL数据库。为此,我们使用模型驱动架构(MDA),它为自动模型转换提供了一个正式的框架。从数据库上执行的插入、删除和更新查询中,我们提出了QVT形式化转换规则来生成NoSQL数据库的物理模型。在医学应用上进行了提取过程的实验。
2019-11-04 cs.DB cs.IR
A Storage Advisor for Hybrid-Store Databases
借助SAP HANA数据库,SAP提供了一个高性能的内存混合存储数据库。混合存储数据库--即支持面向行和面向列的数据管理的数据库--正变得越来越突出。虽然列式管理提供了分析大量数据的高性能功能,但面向行的存储可以更有效地处理事务点查询以及插入和更新。为了同时有效地利用这两种存储,出现了一个新的问题,即是面向行还是面向列存储给定的数据。我们使用存储顾问工具来解决这个问题,该工具支持数据库管理员做出这一决定。我们提出的存储顾问建议基于数据和查询特征的最佳存储;其核心是一个成本模型,用于估计和比较不同存储的查询执行时间。除了按表决策之外,我们的工具还考虑对数据进行水平和垂直分区并管理不同存储上的分区。我们评估了存储顾问在SAP HANA数据库中的使用情况;我们展示了建议的质量以及将数据存储在最佳存储中对于提高查询性能的好处。
2012-08-21 cs.DB
Analysis and Study of Incremental DBSCAN Clustering Algorithm
本文描述了基于密度的聚类的增量行为。重点介绍了基于密度的噪声应用空间聚类算法(DBSCAN)及其增量方法,DBSCAN算法基于密度的聚类概念,在噪声空间数据库中发现任意形状的聚类,增量方法将DBSCAN算法应用于数据更新频繁的动态数据库中,并在此基础上提出了一种基于密度的噪声应用空间聚类算法。在对动态数据库进行插入或删除操作之后,必须更新DBSCAN发现的聚类。DBSCAN算法通过直接计算新数据进入到已有聚类中的数据来度量新聚类,而不是重新运行算法,最终发现新的更新聚类和离群点,从而描述了在原始数据库中增量变化的百分比下,实际DBSCAN算法和增量DBSCAN算法的行为是相同的,DBSCAN算法被广泛应用于大型多维数据库的维护,如数据仓库。
2014-06-18 cs.DB cs.IR
System G Distributed Graph Database
由于需要从互联数据中提取知识和价值,大数据的图形分析是工业界和学术界非常活跃的研究领域。为了有效地支持图形分析,出现了大量的内存图形库、图形处理系统和图形数据库。这些类别中的每一个项目都集中在特定的方面,如静态与动态图形,离线与在线处理,小与大图形等,虽然在过去的几十年中,图形处理有很大的进步,仍然需要一个快速的图形处理,使用一个集群的机器与分布式存储。在本文中,我们讨论了一种新的分布式图形数据库称为系统G设计的高效的图形数据存储和处理的现代计算架构。特别是,我们描述了一个单节点的图形数据库和运行时和通信层,使我们能够组成一个分布式的图形数据库,从多个单节点的实例。从各种行业的需求,我们发现,快速插入和大量并发查询的图形数据库的关键部分,我们优化我们的数据库,这样的功能。我们的实验表明,系统G的效率存储数据和处理图形查询的最先进的平台上。
2018-02-08 cs.DB
Compact and Efficient Representation of General Graph Databases
在本文中,我们提出了一个紧凑的数据结构来存储标记属性图的基础上的k2树,这是一个非常紧凑的数据结构,旨在表示一个简单的有向图。我们提出的想法可以被看作是一个扩展的k2树,以支持属性图。除了静态的方法,我们还提出了一个动态版本的存储表示,它允许灵活的模式和插入或删除的数据。我们提供了一组基本操作的实现,这些操作可以组合在一起,形成对这些具有属性的图的复杂查询。我们评估我们的建议与现有的图形数据库系统的性能,并证明我们的紧凑的属性图表示也获得竞争力的时间结果。
2018-12-28 cs.DB cs.DS
Believe It or Not: Adding Belief Annotations to Databases
Department of Computer Science and Engineering, University of Washington(华盛顿大学计算机科学与工程系)
我们提出了一个数据库模型,允许用户注释数据的信念声明。我们的动机来自于科学数据库应用程序,在这些应用程序中,一个用户社区正在一起工作,以组装、修改和管理一个共享数据存储库。随着社区知识的积累和数据库内容的演变,它可能包含相互冲突的信息,成员可能会对它应该存储的信息产生分歧。例如,Alice可能认为元组应该在数据库中,而Bob不同意。他还可以插入他认为Alice认为元组应该在数据库中的原因,并解释他认为正确的元组应该是什么。我们提出了一个正式的模型,信仰数据库,解释用户的信仰声明的注释。这些注释既可以引用基础数据,也可以引用其他注释。我们给出了一个形式化的语义的基础上的一个片段的多智能体认知逻辑,并定义了一个查询语言信念数据库。然后,我们证明了一个关键的技术结果,说明每个信念数据库可以被编码为一个规范的Kripke结构。我们使用这种结构来描述信念数据库的关系表示,并给出了一个算法,翻译查询的信念数据库成标准的关系查询。最后,我们报告早期的实验结果与我们的原型实现合成数据。
2009-12-30 cs.AI cs.DB
Database Optimization to Recommend Software Developers using Canonical Order Tree
本文针对增量更新数据库的频繁模式挖掘效率问题,提出基于规范序树(Canonical Order Tree)的优化技术,实现快速高效的模式发现,从而优化数据库并为软件开发人员提供推荐信息。
2020-06-21 cs.DB
Tata Kelola Database Perguruan Tinggi Yang Optimal Dengan Data Warehouse
新的高等教育机构的出现创造了高等教育市场的竞争,而数据仓库可以作为提高高等教育市场竞争力的有效技术工具。数据仓库在短时间内为机构的高层管理人员生成可靠的报告,以便更快更好地做出决策,不仅是增加学生的入学人数,而且还可以为机构找到特殊的非常规资金。效率比较基于OLTP数据库和数据仓库上处理的记录的长度和数量、处理的总字节、处理的表的数量、运行查询的时间和产生的记录。通过百分比增长公式计算效率百分比,平均效率百分比为461.801.04%,表明使用数据仓库比使用OLTP数据库更强大和高效。数据仓库是基于超立方体的数据仓库模型,超立方体是由有限的高需求的报告,通常被高层管理人员使用。在每个事实和维度表中,将插入表示加载建设性合并的字段,其中ETL(提取,转换和加载)过程基于旧文件和新文件运行。
2010-06-08 cs.DB
Curator: Efficient Indexing for Multi-Tenant Vector Databases
Duke University(杜克大学);Yale University(耶鲁大学);Emerald Innovations
本文提出 Curator,一种面向多租户向量数据库的内存索引,通过将租户特定聚类树编码为共享聚类树的子树,同时实现低内存开销和高查询、插入、删除性能。
2024-01-13 cs.DB cs.DC cs.IR
A Spatial Data Model for Moving Object Databases
移动对象数据库将在地理空间信息系统中发挥重要作用,因为它们允许用户对数据库中实体的连续移动进行建模并执行时空分析。为了表示和查询移动对象,需要具有用户定义类型的综合框架的代数以及这些类型上的一组函数。此外,对于现实世界的应用,移动对象沿着交通网络等受约束的环境移动,因此也需要额外的代数来建模网络。这些代数可以插入到任何数据模型中,如果它们的设计是基于可用的标准,例如为现有DBMS提供公共模型的开放地理空间联盟。在本文中,我们专注于扩展的空间数据模型的约束移动对象。我们模型中的静态和移动几何图形基于开放地理空间联盟标准。我们还扩展了结构化的查询语言检索,查询和操纵时空数据相关的移动对象作为一个简单的和富有表现力的查询语言。最后,作为概念证明,我们实现了一个生成器来生成受交通网络约束的移动对象的数据。这种生成器主要针对交通规划应用。
2014-03-13 cs.DB
AstroServ: Distributed Database for Serving Large-Scale Full Life-Cycle Astronomical Data
在时域天文学中,短时间尺度大视场巡天(STLF)是最新的天空观测方法。与传统的只能发现天文现象的巡天相比,STLF巡天甚至可以揭示天文现象的演变过程。这种差异不仅导致了新的调查数据,也导致了新的分析风格。这就要求STLF巡天数据库支持数据流的连续分析、短期数据的实时分析和长期历史数据的复杂分析。此外,插入和查询延迟都有严格的要求,以确保科学现象可以被发现。然而,现有的数据库无法支持我们的场景。在本文中,我们提出了AstroServ,一个分布式系统的分析和管理的大规模和全生存周期天文数据。AstroServ的核心组件包括三个数据服务层和一个查询引擎。每个数据服务层服务于特定时间段的数据,查询引擎可以对不同的数据提供统一的分析接口。此外,我们还提供了包括交互式分析界面和数据采掘工具在内的许多应用程序,以帮助科学家有效地使用数据。实验结果表明,AstroServ能够满足严格的性能要求,具有良好的识别精度。
2018-11-27 cs.DB
75,000,000,000 Streaming Inserts/Second Using Hierarchical Hypersparse GraphBLAS Matrices
SuiteSparse GraphBLAS C库实现了高性能的超解析矩阵,并绑定到各种语言(Python,Julia和Matlab/Octave)。GraphBLAS提供超解析矩阵的轻量级内存数据库实现,非常适合分析多种类型的网络数据,同时提供严格的数学保证,如线性。超解析矩阵的流式更新给存储层次结构带来了巨大的压力。这项工作的基准实现的层次hypersarse矩阵,减少内存压力,并显着增加到hypersarse矩阵的更新速率。分层超解析矩阵的参数依赖于在级联更新之前控制分层结构中每个级别中的条目数量。这些参数很容易调整,以实现各种应用的最佳性能。分层超解析矩阵在单个实例中每秒可实现超过1,000,000次更新。在MIT SuperCloud上的1,100个服务器节点上扩展到31,000个分层超解析矩阵阵列实例,实现了每秒75,000,000,000次更新的持续更新速率。这种能力使MIT SuperCloud能够分析非常大的流网络数据集。
2020-03-16 cs.DB cs.DC cs.DS
Selecting Walk Schemes for Database Embedding
Technion(以色列理工学院);RWTH Aachen University(亚琛工业大学)
本文针对关系数据库元组嵌入中的随机游走方案选择问题,基于 FoRWaRD 设计多种选择策略,证明可在保持质量和可扩展性的同时显著提速并提升部分任务精度。
2024-01-20 cs.DB cs.LG
Rule-and Dictionary-based Solution for Variations in Written Arabic Names in Social Networks, Big Data, Accounting Systems and Large Databases
Mu'tah University(穆塔大学)
本文探讨了一些阿拉伯名字可以用多种方式书写的问题。当某人只搜索名称的一种形式时,精确匹配或近似匹配都不适合返回名称的多个变体。精确匹配要求用户输入所有形式的名称进行搜索,而近似匹配产生的名称不属于正在搜索的名称的变体。在本文中,我们试图解决这个问题的字典映射到他们不同的(替代)写作形式的所有阿拉伯名字。我们根据我们从审查990万约旦公民和前公民的名字中得出的规则生成了替代方案。这本字典既可以用于标准化的书面形式时,插入一个新的名称到数据库中,并为搜索的名称及其所有替代的书面形式。根据规则自动创建字典导致至少7%的错误接受错误和7.9%的错误拒绝错误。我们通过手动编辑词典来解决这些错误。该词典可以帮助现实世界的数据库,条件是手工编辑不能保证100%的正确性。
2015-02-18 cs.CL cs.DB cs.IR
Cloud based Real-Time and Low Latency Scientific Event Analysis
天文学被公认为大数据驱动的科学。随着新型观测基础设施的发展,巡天周期已从几天缩短到几秒钟,导致数据处理压力从离线转移到在线。然而,现有的科学数据库专注于对长期历史数据的离线分析,而不是对大规模新到达的数据进行实时的【形】低延迟分析。在本文中,提出了一种基于云的方法来有效地分析大规模新到达的数据上的科学事件。该解决方案被实现为一个高效的系统,即Aserv。提出了一组紧凑的数据存储和索引结构来描述所提出的科学事件,并将典型的分析模式公式化为一组查询操作。领域感知过滤器、精确感知数据划分、高效索引和常用统计数据设计是优化Aserv性能的四个关键方法。典型云环境下的实验结果表明,该优化机制能够满足大数据插入和科学事件分析的低延迟需求。Aserv可以在3秒内插入350万行数据,并在3秒内对67亿行数据执行最重的查询。此外,给出了一个性能模型,帮助Aserv选择合适的云资源设置,以满足保证实时的【形】性能要求。
2018-11-27 cs.DB
The LDBC Financial Benchmark
本文介绍LDBC FinBench,一个面向反欺诈和风险控制金融场景的图数据库基准测试,定义了事务工作负载并详细说明其数据、查询及使用方法。
2023-06-30 cs.DB cs.PF