Guidelines to the Problem of Location Management and Database Architecture for the Next Generation Mobile Networks
在不久的将来,预期的大量移动用户可能会引入非常大的集中式数据库,并增加HLR-VLR数据库上的位置注册和呼叫传递的端到端延迟,并且将变得不可行。在观察了几个问题后,我们提出了一些指导方针。采用了多树分布式数据库、高吞吐量索引结构、面向内存的数据库组织方式。采用重叠网络中移动用户的位置管理准则、邻居发现协议(NDP)和全局漫游规则。分析模型和例子来评估建议的指南的效率。
2013-04-10 cs.DB cs.NI
DooML: A new Database & Object-Oriented Modeling Language for database-driven web application design and development
数据库驱动的Web应用程序是一个非常常见的软件解决方案,以解决日益增长的业务问题。对数据库和软件架构进行建模可能具有挑战性,因此没有一种用于数据库和软件架构的组合建模语言,特别适合于Web应用程序开发。在本文中,我们提出了数据库面向对象的建模语言(DooML)和它的主要原型图:一个符号指定的数据库模式和相应的面向对象的软件体系结构的设计。它结合了绘制实体关系图、关系模型和通用建模语言类图的语法,并创建了一个混合图,说明了数据库设计和软件设计规范。默认情况下,DooML确保高级Web应用程序开发的方法是模型驱动的,既面向数据库又面向对象。
2022-10-05 cs.DB cs.SE
An Empirical Analysis of Just-in-Time Compilation in Modern Databases
本文针对数据库JIT编译技术,对比基于LLVM的PostgreSQL与基于WASM的Mutable两种架构,通过全面实验探究不同JIT方案的性能表现与技术特点。
2023-11-09 cs.DB
Document Selection in a Distributed Search Engine Architecture
分布式搜索引擎体系结构(DSEA)托管许多独立的特定主题的搜索引擎,并选择数据库的子集在体系结构内进行搜索。这种方法的目的是通过仅查询可用总数据的子集来减少执行搜索所需的空间量。为了跨多个数据库操作数据,最有效的方法是识别一个较小的数据库子集,这些数据库最有可能返回特定感兴趣的数据,然后可以更详细地检查这些数据。选择索引最常用作选择最适用的数据库的方法,因为它捕获关于每个数据库及其索引文件的广泛信息。使用这种类型的数据库可以让研究人员更快地找到信息,不仅成本更低,而且还可以最大限度地减少偏见的可能性。本文研究了在分布式搜索引擎体系结构的框架和范围内选择的不同数据库的有效性。研究的目的是提高分布式信息检索的质量。
2016-03-31 cs.DB cs.IR
Serving Database Information Using a Flexible Server in a Three Tier Architecture
费米实验室的D0实验依赖于一个中央Oracle数据库来存储所有探测器校准信息。分布在世界各地的数百个物理应用程序需要访问这些数据。为了满足这些应用程序的需求,从稀缺的资源,我们已经创建了一个分布式系统,隔离的用户应用程序的数据库设施。这个系统被称为数据库应用程序网络(DAN),在三层体系结构中作为中间层运行。DAN服务器采用分层缓存方案和数据库连接管理工具,限制对数据库资源的访问。模块化设计允许通过运行时配置来确定缓存策略和数据库访问组件。为了解决可伸缩性问题,代理数据库组件允许将DAN服务器布置在层次结构中。还包括一个基于事件的监控系统,目前正用于收集性能分析和问题诊断的统计数据。DAN服务器目前被实现为使用CORBA进行网络通信和接口规范的Python多线程程序。DAN的需求细节,设计和实施进行了讨论,以及操作经验和未来的计划。
2003-07-01 cs.DB cs.DC
GeoGauss: Strongly Consistent and Light-Coordinated OLTP for Geo-Replicated SQL Database
Northeastern University(东北大学);Huawei Technology Co., Ltd(华为技术有限公司);Tsinghua University(清华大学)
本文提出GeoGauss,一种全复制多主架构的OLTP数据库,通过多主OCC机制实现高效数据合并与并发处理,提供强一致性与轻量协调协议,实验显示其在TPC-C基准测试中吞吐量和延迟均优于CockroachDB。
2023-04-19 cs.DB
Building Scalable AI-Powered Applications with Cloud Databases: Architectures, Best Practices and Performance Considerations
Sr. Solutions Architect(高级解决方案架构师)
本文系统分析了云原生数据库与AI工作负载集成的架构模式与最佳实践,涵盖向量、图、NoSQL及关系型数据库,并通过性能评估和行业案例为企业构建高性能、可扩展且成本高效的AI应用提供实用指导。
2025-04-26 cs.AI cs.DB
PQStream: A Data Stream Architecture for Electrical Power Quality
本文提出了一种用于电能质量分析的数据流体系结构PQStream。PQStream的开发是为了处理和管理来自土耳其电力传输系统的电力PQ参数的全国移动测量的时间演变数据。它是一个功能齐全的系统,具有一个数据测量模块,用于处理连续PQ数据,一个流数据库,用于存储测量模块的输出,以及最后一个图形用户界面,用于回顾分析存储在流数据库中的PQ数据。所提出的模型部署,并提供给PQ专家,学者和研究人员的区域。作为进一步的研究,数据采掘方法,如分类和聚类算法将被应用,以推断有用的PQ信息,从这个数据库的PQ数据。
2015-04-18 cs.DB
An Empirical Study on Database Usage in Microservices
本研究对约1000个GitHub微服务项目进行实证分析,发现其数据库使用以关系型、键值型、文档型和搜索型为主,52%组合多种数据库,并给出18项发现和9条建议。
2025-10-23 cs.DB
Multi-layer Architecture For Storing Visual Data Based on WCF and Microsoft SQL Server Database
在本文中,我们提出了一种新的体系结构存储视觉数据。有效地存储、浏览和搜索图像集是计算机科学最重要的挑战之一。存储这些数据的架构设计需要一组工具和框架,如SQL数据库管理系统和面向服务的框架。所提出的解决方案是基于一个多层架构,它允许更换任何组件,而无需重新编译其他组件。该方法由模型、基础引擎、具体引擎、CBIR服务和表示五个部分组成。它们基于两种著名的设计模式:依赖注入和反向控制。为了实验的目的,我们实现了SURF局部兴趣点检测器作为特征提取器和$K$ -均值聚类作为索引器。所提出的架构是为了基于内容的检索系统模拟的目的,以及为现实世界的CBIR任务。
2015-04-26 cs.DB cs.IR
The Architecture of an Autonomic, Resource-Aware, Workstation-Based Distributed Database System
被设计为在组织内的工作站机器上运行的分布式软件系统被称为基于工作站的。基于工作站的系统的特点是动态改变主要用于其他以用户为中心的任务的机器集。它们必须能够适应和利用随时随地可用的备用能力,并确保单个机器的不可用不会影响系统的可用性。本论文的重点是基于工作站的数据库系统的需求和设计,这是出于对现有的数据库体系结构,通常是运行在静态的,专门提供的机器集的分析。一个典型的集群数据库系统--运行在许多专门配置的机器上--交互地执行查询,向应用程序返回同步响应,使其数据具有持久性和对机器故障的弹性。没有基于工作站的现有数据库。此外,其他基于工作站的系统不试图达到交互性和持久性的要求,因为它们通常用于执行异步批处理作业,这些作业允许数据丢失--结果可以重新计算。这些系统使用外部服务器来存储计算的最终结果,而不是工作站机器。本文描述了一个基于工作站的数据库系统的设计和实现,并通过评估其性能对现有的集群数据库系统和测试其在机器故障时的可用性,研究其可行性。
2012-07-19 cs.DB cs.DC
SQL and NoSQL Databases Software architectures performance analysis and assessments -- A Systematic Literature review
内容:大数据的有效处理对于SQL和NoSQL数据库来说是一项具有挑战性的任务,其中称职的软件架构起着至关重要的作用。SQL数据库旨在构建数据并支持垂直可伸缩性。相比之下,水平可扩展性由NoSQL数据库支持,可以有效地处理大量非结构化数据。人们可以根据组织的需求选择正确的范式;然而,做出正确的选择往往具有挑战性。SQL和NoSQL数据库遵循不同的架构。此外,每个类别的NoSQL数据库都遵循混合模型。因此,跨多个云服务提供商(CSP)的云消费者的数据移动变得困难。此外,每个云平台IaaS、PaaS、SaaS和DBaaS也监控各种范例。目的:本系统性文献综述(SLR)旨在研究与SQL和NoSQL数据库软件架构相关的相关文章,并解决各种云平台之间的数据可移植性和互操作性。通过观察可伸缩性、性能、可用性、一致性和分片特性,提出了SQL和NoSQL数据库的许多性能比较研究。根据研究,NoSQL数据库设计的结构可以是大数据分析的正确选择,而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据移动相关的方法。开发了基于平台的API,这使得用户的数据移动变得困难。因此,在跨多个CSP的数据移动期间,注意到数据可移植性和互操作性问题。为了最大限度地减少开发人员的工作量和互操作性,需要统一API来使数据在各种云平台之间的移动相对更容易访问。
2022-09-14 cs.AI cs.DB cs.PL
A fixed storage distributed graph database hybrid with at-scale OLAP expression and I/O support of a relational DB: Kinetica-Graph
本文将讨论一种分布式图形数据库体系结构,该体系结构与分布式关系数据库共存,用于I/O和大规模OLAP表达式支持,具有数百个PostGIS兼容的几何函数。这种实现的独特性主要源于其双链路拓扑结构,因为其固定的存储特性独立于节点到边缘连接的变化。该实现的另一个值得注意的贡献是其分布式图服务器之间的非阻塞客户端-服务器通信架构。还实现了基于节点重复的非检查分区方案,确保使用地理空间、随机和显式分片选择的分布式过滤进行最小通信。最后,一个有效的重新平衡算法,其次是一个分布式的最短路径求解器将展示与地理空间和社交网络的例子。
2022-01-03 cs.DB
Towards a Unified Architecture for in-RDBMS Analytics
在企业应用程序中越来越多地使用统计数据分析,这在数据库供应商之间引发了一场军备竞赛,以提供更复杂的数据库内分析。这场竞赛中的一个挑战是,每一种新的统计技术都必须在RDBMS中从头开始实现,这导致了漫长而复杂的开发过程。我们认为,这种开销的根本原因是缺乏统一的数据库内分析架构。我们在这项工作中的主要贡献是朝着这样一个统一的架构迈出了一步。我们的统一架构的一个关键好处是,可以对分析技术的性能优化进行一般性研究,而不是以特定的方式进行研究。特别是,我们的技术贡献是理论和实证研究的两个关键因素,我们发现影响性能:顺序数据存储,并在单节点多核RDBMS的计算并行化。我们通过将几种流行的分析技术集成到两个商业和一个开源的RDBMS中来证明我们的架构的可行性。我们的架构只需要更改几十行代码就可以集成新的统计技术。然后,我们将我们的方法与商业RDBMS在各种分析任务上提供的本地分析工具进行比较,并验证我们的方法是否具有竞争力或更高的性能,同时仍然达到相同的质量。
2012-03-14 cs.DB
HTAP Databases: A Survey
本文全面综述了HTAP数据库,按四种存储架构对最先进的系统进行分类,回顾了混合工作负载处理等关键技术,并探讨了现有基准测试及未来的研究挑战与机遇。
2024-04-24 cs.DB
Automated Database Indexing using Model-free Reinforcement Learning
Pontifical Catholic University of Rio Grande do Sul (PUCRS)(南里奥格兰德天主大学)
针对数据库索引配置依赖专业知识、易造成资源浪费与性能下降的问题,提出基于无模型强化学习的自动索引架构,性能优于现有强化学习与遗传算法方案,可适配大型数据库。
2020-07-25 cs.AI cs.DB
The Vertica Analytic Database: C-Store 7 Years Later
本文介绍了系统架构的Vertica分析数据库(Vertica),商业化的设计的C-商店的研究原型。Vertica展示了一个现代商业RDBMS系统,它提供了一个经典的关系接口,同时通过适当的架构选择实现了现代“网络规模”分析系统所期望的高性能。Vertica也是学术系统研究如何直接商业化为成功产品的有益教训。
2012-08-21 cs.DB
SQL Queries for Declarative Process Mining on Event Logs of Relational Databases
灵活的业务流程通常可以更容易地使用声明式建模方法而不是过程式建模方法进行建模。流程挖掘旨在自动发现业务流程模型。现有的声明式流程挖掘方法要么遭受现实生活中的事件日志的性能问题,要么将其表达能力限制在一组特定的constaint类型。最近,通过JavaXES引入了一种用于存储事件日志数据的关系数据库体系结构。在本技术报告中,我们介绍了一种挖掘方法,该方法通过使用常规SQL查询日志来直接处理关系事件数据。我们提供了一个SQL查询列表,用于发现一组常用和挖掘的流程约束。
2015-12-03 cs.DB
Database Reasoning Over Text
University of Cambridge(剑桥大学);Facebook AI(脸书人工智能);Sapienza University, Rome(罗马萨皮恩扎大学);University College London(伦敦大学学院)
神经模型在回答来自自然语言文本的查询方面表现出令人印象深刻的性能提升。然而,现有的作品无法支持数据库查询,如“列出/计数所有女运动员谁出生在20世纪”,这需要推理的相关事实集的操作,如加入,过滤和聚合。我们表明,虽然国家的最先进的Transformer模型表现非常好的小型数据库,他们表现出的局限性,在处理嘈杂的数据,数值运算,查询聚合的事实。我们提出了一个模块化的体系结构,以回答这些数据库风格的查询多个跨度从文本和聚合这些规模。我们使用WikiNLDB,一个新的数据集探索这样的查询的架构进行评估。我们的架构可以扩展到包含数千个事实的数据库,而当代模型则受到可以编码多少事实的限制。在小型数据库的直接比较中,我们的方法将整体答案准确率从85%提高到90%。在更大的数据库上,我们的方法保持了它的准确性,而Transformer基线不能对上下文进行编码。
2021-06-02 cs.AI cs.CL cs.DB
Serving Deep Learning Model in Relational Databases
Arizona State University(亚利桑那州立大学);Amazon(亚马逊公司);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Hong Kong University of Science and Technology(香港科技大学);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
本文探讨了在关系型数据库中服务深度学习模型的三种架构范式,分析了阻碍其无缝集成的差距,并提出建立新型RDBMS以支持数据密集型DL推理应用的路径。
2024-09-26 cs.AI cs.DB
Cost-Intelligent Data Analytics in the Cloud
本文提出云数据库优化中的成本智能概念,给出云数据仓库架构,并围绕自动资源部署与面向成本的自动调优识别关键研究方向。
2023-08-18 cs.DB
DB-GPT: Empowering Database Interactions with Private Large Language Models
本文提出DB-GPT项目,通过整合私有LLM与传统数据库,结合RAG知识系统、自适应学习机制和面向服务的多模型框架,实现自然语言查询与高准确率SQL生成,提升数据库交互的效率与安全性。
2024-01-03 cs.DB
Relational Databases Ingestion into a NoSQL Data Warehouse
企业的数字化转型导致了数据库向大数据的演变。我们的工作是这种情况下的一部分,更具体地说,涉及的机制,提取存储在数据湖的数据集,并存储在一个数据仓库的数据。后者将允许第二次进行决策分析。在本文中,我们提出的抽取机制限于关系数据库。为了自动化这个过程,我们使用了模型驱动架构(MDA),它为模式转换提供了一个形式化的环境。从描述数据湖的物理模式,我们提出了转换规则,允许创建一个数据仓库存储在面向文档的NoSQL系统。已在医学应用上进行了转换过程的实验。
2022-03-14 cs.DB
Indices in XML Databases
随着XML成为商业信息表示和交换的标准,XML文档的存储、索引和查询已迅速成为数据库研究的主要问题。在这种情况下,查询处理和优化是原始的,原生XML数据库还不成熟。诸如索引之类的数据结构有助于大大提高性能,因此得到了广泛的研究,特别是因为XML数据具有相对于关系数据的许多特性。在本文中,我们调查国家的最先进的XML索引,并讨论了主要问题,权衡和未来的趋势,XML索引。我们还提出了一个索引,我们专门设计的XML数据仓库的特定体系结构。
2017-01-27 cs.DB
Columnar Database Techniques for Creating AI Features
AI Perf(AI Perf 公司)
内存中列式数据库技术的最新进展提高了对超大型数据库和数据仓库的分析查询的性能。与此同时,人工智能(AI)算法的进步提高了分析数据的能力。我们使用术语AI来涵盖深度学习(DL或神经网络)和机器学习(ML又名大数据分析)。我们对人工智能全栈的探索使我们实现了跨栈列式数据库创新,有效地为人工智能分析创建了功能。创新是创建增强字典值(ADV)添加到现有的列式数据库字典,以通过最大限度地减少数据移动和数据重复来提高特征化的效率。我们展示了如何在柱状数据库中有效地计算各种形式的特征化(特征选择,特征提取和特征创建)。全栈AI研究也促使我们提出了一个集成的列式数据库和AI架构。该架构具有信息流和反馈循环,以在从数据源提取数据、特征化和分析的多次迭代期间改进整个分析周期。
2017-12-07 cs.DB cs.LG
A survey on data and transaction management in mobile databases
移动数据库的普及日益增加,因为人们需要的信息,即使在移动中的快速变化的世界。这种数据库技术允许员工使用移动设备连接到他们的公司网络,存储所需的数据,在断开连接的模式下工作,并重新连接到网络以与公司数据库同步。在这种情况下,数据被移动到更接近应用程序的位置,以提高性能和自主性。这就引出了移动数据库研究中的许多有趣的问题,移动数据库已经成为众多研究者的一片沃土。本文对2000年以来移动数据库中的数据和事务管理进行了调查。该调查的重点是对移动数据库和移动事务模型中使用的各种类型的体系结构的完整研究。它还解决了数据管理问题,即复制和缓存策略以及事务管理功能,如并发控制和提交协议、同步、查询处理、恢复和安全。它还提供移动数据库中的研究方向。
2012-11-23 cs.DB
A journey towards the most efficient state database for Hyperledger Fabric
本文针对 Hyperledger Fabric 世界状态数据库的性能瓶颈,探索并评估 RocksDB、Boltdb、BadgerDB 等可插拔替代方案及其在不同工作负载下的表现。
2023-03-15 cs.DB cs.DC
Survey: On the Landscape of Graph Databases
INESC-ID;IST(里斯本理工大学);Faculty of Information Technology, CTU in Prague(布拉格捷克理工大学信息技术学院);Department of Computer Science (DVRG), Pontificia Universidad Católica de Chile(智利天主教大学计算机科学与技术系)
本文综述图数据库,分析其属性模型、查询语言和存储架构,并评估在架构、部署、使用和开发方面的最新进展,指出其面临的数据不规则性、查询计算需求高和分布式事务管理等挑战。
2026-07-02 cs.DB cs.DC
SteelDB: Diagnosing Kernel-Space Bottlenecks in Cloud OLTP Databases
NTT, Inc.(日本电报电话公司)
本文通过分析云数据库中内核空间I/O行为,发现传统架构中归因于网络或存储的瓶颈实为内核空间所致。SteelDB通过零补丁架构优化I/O,实现性能提升与成本降低。
2026-03-30 cs.DB cs.DC cs.OS
Exploiting Information-centric Networking to Federate Spatial Databases
本文探讨的方法,挑战和预期的优势,使用信息为中心的网络(ICN)技术联合空间数据库。ICN服务可以简化联合过程的设计,提高其性能,并提供所谓的以数据为中心的安全性。在这项工作中,我们提出了一个架构,能够联邦空间数据库,并评估其性能使用一个真正的数据集来自OpenStreetMap在一个异构的联邦由MongoDB和CouchBase空间数据库系统形成。
2019-11-23 cs.DB cs.NI
Bag-of-Features Image Indexing and Classification in Microsoft SQL Server Relational Database
Institute of Computational Intelligence Cz e stochowa University of Technology al. Armii Krajowej 36, 42-200 Cz e stochowa, Poland Email
本文提出了一种新的关系数据库体系结构,旨在视觉对象的分类和检索。该框架是基于袋的特征图像表示模型结合支持向量机分类,并集成在Microsoft SQL Server数据库。
2015-06-26 cs.CV cs.DB
io_uring in Oracle Database: A Hybrid Storage I/O Architecture at Production Scale
Oracle America Inc.(甲骨文美国公司)
本文介绍 Oracle 数据库集成 io_uring 的混合存储 I/O 架构,通过每进程环形上下文和回退机制,在异步批处理 I/O 上降低 CPU 消耗并提升吞吐量,同时保留同步路径的 pread/pwrite。
2026-09-22 cs.DB cs.PF
Baihe: SysML Framework for AI-driven Databases
Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
我们介绍了白河,一个用于AI驱动数据库的SysML框架。使用百合,现有的关系数据库系统可以被改造为使用学习的组件用于查询优化或其他常见任务,诸如例如用于索引的学习的结构。为了确保百合的实用性和现实世界的适用性,其高层架构基于以下要求:与核心系统分离,最小的第三方依赖,鲁棒性,稳定性和容错,以及稳定性和可配置性。基于高级架构,我们然后描述了一个具体的实现百合PostgreSQL和学习查询优化器的示例用例。为了服务于实践者,以及DB和AI4DB社区的研究人员,百和PostgreSQL将在开源许可下发布。
2021-12-29 cs.AI cs.DB cs.SY
Role of Databases in GenAI Applications
本文探讨数据库在 GenAI 应用中的关键作用,提出按对话、情境和语义三类上下文选择不同数据库架构,以优化性能、准确性与可扩展性。
2025-04-11 cs.AI cs.DB
Unlocking Advanced Graph Machine Learning Insights through Knowledge Completion on Neo4j Graph Database
University of Messina(墨西拿大学)
本文提出一种整合知识补全的图数据库机器学习架构,通过揭示隐藏知识提升数据集表现和模型性能。
2025-11-14 cs.DB cs.IR
TerraServer SAN-Cluster Architecture and Operations Experience
Microsoft TerraServer在可通过Internet访问的SQL数据库中显示地球的航空、卫星和地形图像。它是最受欢迎的在线地图集之一,展示了来自美国地质调查局(USGS)的17 TB图像数据。该系统最初于1998年部署,展示了PC硬件和软件(Windows和SQL Server)在单个大型机级处理器上的可扩展性。2000年9月,后端数据库应用程序迁移到连接到18 TB存储区域网络(SAN)的4节点主动/被动群集。新配置旨在实现后端应用程序的99.99%可用性。本文介绍了TerraServer集群和SAN的硬件和软件组件,并介绍了我们三年来配置和操作该系统的经验。毫不奇怪,硬件和架构提供了超过4个9的可用性,但操作错误提供了3个9。
2005-02-02 cs.DB cs.DC
Database Semantics
这篇文章是将关系数据库与系统结果连接起来的第一步(Kent:“System Consequence”2009),关注关系数据库的语义。目的是研究关系数据库逻辑/语义系统中的系统推论。这篇论文的灵感来自于最近的一组关于关系数据库系统理论的论文(Spivak:“Functional Data Migration”2012),并扩展了这些论文,这篇论文与关于信息流框架(IFF)[http://suo.ieee.org/IFF/]的工作相关联,该工作与本体标准工作(SUO)相关联,因为关系数据库自然地嵌入到一阶逻辑中。这里讨论的数据库语义与数据库体系结构的概念级有关。我们提供直观和技术讨论。对应于主键和外键的概念,关系数据库语义有两种形式:实体与关系相区别的区别形式,以及关系和实体一致的统一形式。区别形式对应于(Spivak:“Simplicial databases”2009)[arXiv:0904.2012]中提出的理论。统一形式是区分形式的特殊情况,对应于(Spivak:“Functional Data Migration”2012)中提出的理论。后面的文章将讨论关系数据库的各种形式,如关系代数和一阶逻辑,并将完成对关系数据库逻辑环境的描述。
2012-09-13 cs.DB math.CT
A Migratory Near Memory Processing Architecture Applied to Big Data Problems
主流供应商生产的服务器在处理大数据查询时效率低下,因为这些系统的基本架构中存在固有的瓶颈。当前的服务器刀片包含通过互连芯片组连接到DRAM存储器和磁盘的多核处理器。多核处理器芯片执行所有计算,而DRAM和磁盘存储数据,但没有处理能力。要执行数据库查询,数据必须在DRAM和小型缓存之间以及DRAM和磁盘之间来回移动。对于大数据应用程序来说,这种数据移动是繁重的。迁移近内存服务器通过将大量轻量级处理器直接放置到内存系统中来解决这个瓶颈。这些处理器直接在大数据应用程序的关系、顶点和边缘上运行,而无需在DRAM、缓存和重量级多核处理器之间来回穿梭大量数据。本文讨论了这种体系结构在关系数据库SELECT和JOIN查询中的应用。初步结果表明,端到端的数量级加速。
2020-03-20 cs.DB cs.DC
Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks
University of Stuttgart, Stuttgart, Germany(斯图加特大学);Internet Science Research Group, University of Southampton, Southampton, United Kingdom(互联网科学研究组,南安普顿大学)
本文提出结合语言模型和图神经网络的混合架构,通过关系实体图建模提升关系数据库的预测性能,实验表明其在多个任务中表现优异,接近监督基线并缩小与RDL的差距。
2026-05-15 cs.AI cs.DB
Transformers Meet Relational Databases
Department of Computer Science, Czech Technical University in Prague(计算机科学系,布拉格捷克技术大学)
针对 Transformer 难以处理关系数据库的问题,本文提出遵循关系模型的模块化神经消息传递方案,支持从数据库存储端到端学习,并在广泛数据集上验证其性能优于多个相关领域的代表性模型。
2024-12-06 cs.DB cs.LG
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS,一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务,通过公共模式支持分布式查询处理,实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
Designing a Multi-petabyte Database for LSST
3.2千兆像素的LSST相机每月将产生大约0.5 PB的存档图像。这些数据需要在一分钟内减少,以产生实时的瞬时警报,然后添加到累积目录中进行进一步分析。该目录预计每年将增长约300 TB。数据量,实时瞬态报警要求的LSST,其时空方面需要创新的技术,以建立一个有效的数据访问系统在合理的成本。按照目前的设想,该系统将依赖于目录和元数据的数据库。正在评估几个数据库系统,以了解它们在这些数据率、数据量和访问模式下的性能。本文介绍了LSST的要求,他们施加的挑战,数据访问的哲学,结果从评估可用的数据库技术对LSST的要求,并提出了数据库架构,以满足数据的挑战。
2006-04-28 cs.DB cs.DL
Database Views as Explanations for Relational Deep Learning
Northeastern University(东北大学)
本文提出了一种基于视图定义的关系深度学习解释框架,通过可学习掩码实现模型特定的解释方法,提升了解释效率和质量。
2026-01-09 cs.DB cs.LG
ActorDB: A Unified Database Model Integrating Single-Writer Actors, Incremental View Maintenance, and Zero-Trust Messaging
Jun Kawasaki
本研究提出新型数据库架构ActorDB,将单写入者actor模型、增量视图维护与零信任安全模型紧密整合,旨在降低数据密集型应用的架构复杂度,提供更稳健安全的开发平台,并定义了MVP性能验证标准。
2025-09-29 cs.CL cs.DB cs.DC
IBM Functional Genomics Platform, A Cloud-Based Platform for Studying Microbial Life at Scale
生物序列数据的快速增长正在彻底改变我们对基因型多样性的理解,并挑战传统的信息学方法。随着基因组数据的可用性越来越高,传统的生物信息学工具需要大量的计算时间,并且每次研究人员试图从数据中获得洞察力时都需要创建更大的索引。为了应对这些挑战,我们预先计算了跨越分子生物学中心法则的生物实体之间的重要关系,并在关系数据库中捕获了这些信息。该数据库可以跨数亿个实体进行查询,并在传统方法所需时间的一小部分内返回结果。在本文中,我们描述了\textit{IBM Functional Genomics Platform}(以前称为OMXWare),一个综合性的数据库相关的基因型表型的细菌生活。不断更新,IBM功能基因组学平台今天包含来自200,000个精心策划的自一致组装基因组的数据。该数据库存储了超过6800万个基因、5200万个蛋白质和2.39亿个结构域的功能数据,以及来自Gene Ontology、KEGG、MetaCyc和Reactome的相关生物活性注释。IBM Functional Genomics Platform可映射每个生物实体之间的所有多对多连接,包括原始基因组、基因、蛋白质和蛋白质结构域。从传染病到环境健康的各种微生物研究都可以从丰富的数据和联系中受益。我们描述了数据选择,创建和更新IBM功能基因组学平台的管道,以及开发人员工具(Python SDK和REST API),这些工…
2020-03-30 cs.DB q-bio.QM
Heterogeneous Data-Centric Architectures for Modern Data-Intensive Applications: Case Studies in Machine Learning and Databases
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当今的计算系统需要在计算资源之间来回移动数据(例如,CPU、GPU、加速器)和片外主存储器,以便可以对数据进行计算。不幸的是,这种数据移动是系统性能和能耗的主要瓶颈。在现代和新兴的应用程序中,一个有前途的执行范例是内存中处理(PIM),其中通过将计算能力放置在内存附近来降低数据移动到主内存/从主内存移动的成本。简单地采用PIM来加速数据密集型工作负载可能会导致次优性能,因为PIM基板施加了许多设计约束。因此,许多最近的作品共同设计专门的PIM加速器和算法,以提高性能并降低(i)来自各种应用领域的应用程序的能耗;以及(ii)各种计算环境,包括云系统,移动系统和边缘设备。我们展示了共同设计算法和硬件的好处,这种方式有效地利用了PIM范式用于两个现代数据密集型应用:(1)边缘设备的机器学习推理模型和(2)云系统的混合事务/分析处理数据库。我们在系统设计中遵循两步走的方法。在第一步中,我们广泛分析每个应用程序的计算和内存访问模式,以深入了解其硬件/软件要求以及以处理器为中心的系统中的性能和能源瓶颈的主要来源。在第二步中,我们利用第一步的见解来共同设计算法和硬件加速器,为每个应用程序实现高性能和高能效的以数据为中心的架构。
2022-05-29 cs.AI cs.AR cs.DB
State-of-the-Art on Query & Transaction Processing Acceleration
现代图形处理单元(GPU)提供的巨大处理能力和内存带宽使其成为数据密集型应用程序的平台。数据库社区将GPU视为数据处理的有效协处理器。在过去的几年里,有许多方法可以在数据库系统的不同级别上使用GPU。在本内部技术报告中,基于[1]和其他一些研究论文,我们确定了LIP6中GPU加速数据库管理系统的可能研究领域。我们描述了一些关键属性,GPU感知数据库架构的典型挑战,并确定主要的开放挑战。
2019-06-27 cs.DB cs.DC cs.PF