NoSQL Database: New Era of Databases for Big data Analytics - Classification, Characteristics and Comparison
数字世界正在快速发展,并且在数量(TB到PB),种类(结构化和非结构化以及混合),速度(高速增长)方面变得更加复杂。大数据是一种全球现象。这通常被认为是已经增长得如此之大以至于不能使用常规数据管理工具来有效地管理或利用的数据汇集:例如,典型的关系数据库管理系统(RDBMS)或常规的搜索引擎。为了解决这个问题,传统的RDBMS由专门设计的一组丰富的替代DBMS补充;例如NoSQL,NewSQL和基于搜索的系统。本文的动机是提供大数据分析中NoSQL数据库的分类,特征和评估。本报告旨在帮助用户,特别是组织,独立了解各种NoSQL数据库方法的优点和缺点,以支持处理大量数据的应用程序。
2013-06-30 cs.DB
In-RDBMS Hardware Acceleration of Advanced Analytics
Georgia Institute of Technology(佐治亚理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
机器学习、数据库和硬件设计的进步推动了数据革命。可编程加速器正在独立地进入这些领域。因此,在这些不相交的字段的交集处实现硬件加速的解决方案是空白的。本文旨在成为高级分析(DAnA)数据库内加速统一解决方案的第一步。为数据库内分析部署专用硬件(如FPGA)目前需要手动设计硬件并手动路由数据。相反,DAnA自动将高级分析查询的高级规范映射到FPGA加速器。加速器实现是为用户定义函数(UDF)生成的,它使用Python嵌入的域特定语言(DSL)表示为SQL查询的一部分。为了实现有效的数据库内集成,DAnA加速器包含一种新颖的硬件结构Striders,它直接与数据库的缓冲池接口。Striders提取、清理和处理执行分析算法的多线程FPGA引擎所消耗的训练数据元组。我们将DAnA与PostgreSQL集成,为运行各种ML算法的一系列真实世界和合成数据集生成硬件加速器。结果表明,DAnA增强的PostgreSQL为真实数据集提供了平均8.3倍的端到端加速,最高可达28.2倍。此外,DAnA增强的PostgreSQL平均比Greenplum上运行的多线程Apache MADLib快4.0倍。DAnA提供了这些好处,同时向数据科学家隐藏了硬件设计的复杂性,并允许他们用30-60行Python来表达算法。
2018-09-18 cs.AR cs.DB cs.LG
The Vertica Analytic Database: C-Store 7 Years Later
本文介绍了系统架构的Vertica分析数据库(Vertica),商业化的设计的C-商店的研究原型。Vertica展示了一个现代商业RDBMS系统,它提供了一个经典的关系接口,同时通过适当的架构选择实现了现代“网络规模”分析系统所期望的高性能。Vertica也是学术系统研究如何直接商业化为成功产品的有益教训。
2012-08-21 cs.DB
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下,当代图形数据库管理系统(GDBMS)。与面向列的RDBMS类似,GDBMS支持读取繁重的分析工作负载,但与传统的分析工作负载相比,这些工作负载具有根本不同的数据访问模式。首先,我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后,我们提出了设计的列存储,压缩和查询处理技术的基础上,这些desiderata。除了显示从列式RDBMS的现有技术的直接集成,我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器,它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本,一个新的数据结构,我们称之为单索引的边缘属性页和一个伴随的边缘ID计划,以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验,我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
The Storage And Analytics Potential Of HBase Over The Cloud: A Survey
Apache HBase是新兴的Hadoop生态系统的支柱,是一个NoSQL键值和列族混合数据库,与传统的RDBMS不同,它旨在可扩展地托管大型,半结构化和异构数据。这种数据的主要例子是生物信号,其特征在于大容量,高波动性和固有的多维性。本文回顾了生物医学工程最近如何利用HBase,重点是云,以可靠地主机心血管和呼吸时间序列。此外,离线生物医学分析的部署在HBase进行了探索。
2017-02-22 cs.DB
Serving Deep Learning Model in Relational Databases
Arizona State University(亚利桑那州立大学);Amazon(亚马逊公司);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Hong Kong University of Science and Technology(香港科技大学);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
本文探讨了在关系型数据库中服务深度学习模型的三种架构范式,分析了阻碍其无缝集成的差距,并提出建立新型RDBMS以支持数据密集型DL推理应用的路径。
2024-09-26 cs.AI cs.DB
Big Data: Challenges, Opportunities and Realities
随着物联网(IoT)和Web 2.0技术的出现,生成的数据量大幅增长。本章强调了对大数据的需求,讨论了用于处理大数据的技术进步、工具和技术。技术改进和现有的存储技术的局限性也提出。由于传统技术如关系数据库管理系统(RDBMS)在处理大数据方面有其自身的局限性,因此开发了新技术来处理它们并获得有用的见解。本章概述了大数据分析、其应用、优势和局限性。本章提出了一些研究问题和未来的发展方向。
2017-05-14 cs.DB
In-Browser Split-Execution Support for Interactive Analytics in the Cloud
今天的规范分析架构由连接到云中后端的浏览器组成。在我们所知道的所有部署中,浏览器只是一个愚蠢的渲染端点。作为替代方案,本文探讨了将分析功能推入浏览器的分割执行架构。我们表明,通过利用类型化数组和asm.js,有可能在浏览器中运行的JavaScript中构建分析型RDBMS,从而实现与本地数据库相媲美的性能。为了支持交互式数据探索,我们的Afterburner原型从后端数据库自动生成本地物化视图,然后将其发送到浏览器,以无缝有效地促进后续交互。我们比较这种架构的几种替代部署,实验证明性能的奇偶性,而在同一时间提供额外的优势,在管理和操作简单性。
2018-04-24 cs.DB cs.DC
A Distributed Approach to Privacy on the Cloud
基于云的数据处理和存储的日益普及带来了许多隐私问题。用户希望保留对其敏感数据的完全控制,并且不能接受外部存储提供商完全访问这些数据。以前在这方面的研究主要是解决技术,以保护存储在不受信任的数据库服务器上的数据;然而,我认为,云架构提出了一些具体的问题和问题。本论文包含了一个开放的问题进行了详细的分析。为了处理它们,我提出了一种新的方法,其中机密数据存储在高度分布式的分区数据库中,部分位于云上,部分位于客户端上。在我的方法中,数据可以是私有的,也可以是共享的;后者通过简单的授予和撤销权限以安全的方式共享。我开发了一个概念验证实现,它使用具有行级数据加密的内存RDBMS来实现细粒度的数据访问控制。在传统的外包RDBMS中很少采用这种方法,因为它需要几个复杂的步骤。我的proofofof-concept实现的基准测试表明,我的方法克服了大多数问题。
2015-03-27 cs.CR cs.DB
From Schema to Signal: Retrieval-Augmented Modeling for Relational Data Analytics
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Renmin University of China(中国人民大学)
本文提出RAM框架,结合图结构与属性语义,通过检索增强学习提升关系数据分析性能,实验表明其在多种预测任务中优于现有方法。
2026-05-14 cs.DB
Extensible Database Simulator for Fast Prototyping In-Database Algorithms
随着数据规模的快速增长,数据库内分析和学习已经成为数据科学界研究最多的课题之一,因为它对缩小数据管理和分析之间的差距具有重要意义。通过扩展数据库在分析和学习方面的能力,数据科学家可以节省大量在数据库和外部分析工具之间交换数据的时间。为了实现这一目标,研究人员正在尝试将更多的数据科学算法集成到数据库中。然而,在主流数据库中实现这些算法是非常耗时的,特别是当需要深入研究数据库内核时。因此,需要一个易于扩展的数据库模拟器,以帮助快速原型化和验证数据库中的算法,然后再将它们实现在真正的数据库中。在这个演示中,我们展示了这样一个可扩展的关系数据库模拟器DBSim,以帮助数据科学家原型化他们的数据库内分析和学习算法,并以最小的成本验证他们的想法的有效性。DBSim通过集成主流关系数据库系统中的所有主要组件,包括SQL解析器、关系运算符、查询优化器等,模拟出一个真实的关系数据库。此外,DBSim还提供了各种接口,使用户可以在不修改内核的情况下,灵活地将自定义扩展模块插入到任何一个主要组件中。通过这些接口,DBSim支持对SQL语法、关系运算符、查询优化器规则和成本模型以及物理计划执行的简单扩展。此外,DBSim还提供了查询计划可视化工具和优化规则交互分析器等实用工具,方便用户进行开发和调试。我们使用纯Python开发DBSim,以支持大多数数据科学算法的无缝实现,因为其中许多算法都是用Pytho…
2022-10-10 cs.DB
DiNoDB: an Interactive-speed Query Engine for Ad-hoc Queries on Temporary Data
随着数据集规模的增长,分析应用程序很难即时洞察大型数据集。现代应用程序涉及大量数据的繁重批处理工作,同时需要对临时数据进行高效的自组织交互式分析。然而,现有的解决方案通常集中在这两个方面之一,在很大程度上忽略了两者之间协同增效的需要。因此,交互式查询需要重新遍历整个数据集(例如,数据加载),其可以仅在长时间段内查询数据时提供有意义的投资回报。在本文中,我们提出了DiNoDB,一个交互式的速度查询引擎临时数据的临时查询。DiNoDB避免了传统RDBMS和当前交互式分析解决方案所特有的昂贵的加载和转换阶段。它专为机器学习和数据探索用例中的现代工作流量身定制,这些用例通常涉及对数据进行批处理和交互式分析的循环迭代,这通常适用于狭窄的处理窗口。DiNoDB的关键创新是在批处理阶段创建元数据,DiNoDB利用元数据加快交互式查询。我们的实验分析表明,DiNoDB实现了很好的性能,为广泛的ad-hoc查询相比,替代%,如Hive,Stado,SparkSQL和Impala。
2016-09-16 cs.DB cs.DC
Powering In-Database Dynamic Model Slicing for Structured Data Analytics
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Duke University(杜克大学);Renmin University of China(中国人民大学)
LEADS提出SQL感知动态模型切片技术,利用专家混合与门控网络在数据库内定制模型,集成于PostgreSQL,提升结构化数据预测效率并降低推理延迟。
2024-11-03 cs.AI cs.DB
Multi Query Optimization in GLADE
Hadoop上的SQL系统、查询优化、多个节点上的数据分布和并行化技术是目前研究的几个领域。亚马逊、谷歌、微软等知名企业正在努力实现从多个节点更快地访问数据的系统,以减少数据移动性并提高并行性。通过在携带数据的不同节点上并行运行相同的查询,引入各种并行化技术,数据库系统以有效的方式在最少的时间量内检索和检查查询。除了多线程并行化之外,还有另一种并行化方式可以执行,以进一步减少检索时间,从而提高系统的效率;在DBMS/RDBMS之上对用户查询进行并行化。在本文中,我们将研究这样一种技术,如何多个查询可以同时运行在一个系统上,以提高效率,减少从存储的数据检索。通过为一组查询生成最佳和无处不在的连接计划,然后将其馈送到GLADE(广义线性聚合分布引擎),这是一个可扩展的分布式系统,用于大规模数据分析,从而最大限度地分担工作量。我们的主要工作是集中在生成GLADE连接计划的多查询满足最大数量的查询,以最大限度地提高数据共享和最小化数据检索每个单独的查询。
2016-08-16 cs.DB
Evaluating NoSQL Databases for OLAP Workloads: A Benchmarking Study of MongoDB, Redis, Kudu and ArangoDB
本研究通过标准化数据处理管道,基准测试了MongoDB、Redis、Kudu和ArangoDB四种NoSQL数据库在OLAP工作负载下的性能,为选择最优数据管道提供了实验依据。
2024-05-28 cs.DB
Analytical Engines With Context-Rich Processing: Towards Efficient Next-Generation Analytics
EPFL(洛桑联邦理工学院)
本文提出一种与丰富上下文分析组件协同优化的下一代分析引擎,通过模型辅助在线数据集成、跨关系与模型操作符的整体优化以及即时适应异构硬件和负载的系统设计,将机器学习与传统分析处理结合以高效利用暗数据。
2022-12-14 cs.AI cs.DB cs.DC
io_uring in Oracle Database: A Hybrid Storage I/O Architecture at Production Scale
Oracle America Inc.(甲骨文美国公司)
本文介绍 Oracle 数据库集成 io_uring 的混合存储 I/O 架构,通过每进程环形上下文和回退机制,在异步批处理 I/O 上降低 CPU 消耗并提升吞吐量,同时保留同步路径的 pread/pwrite。
2026-09-22 cs.DB cs.PF
Toward Efficient In-memory Data Analytics on NUMA Systems
数据分析系统通常利用内存查询处理技术来实现更好的吞吐量和更低的延迟。现代计算机越来越依赖于非统一内存访问(NUMA)架构,以实现可伸缩性。NUMA体系结构的一个主要缺点是,许多现有的软件解决方案不知道底层NUMA拓扑,因此不能充分利用硬件。现代操作系统的设计目的是为NUMA系统提供基本支持。然而,默认的系统配置对于大型数据分析应用程序来说通常是次优的。此外,通过从头开始重写应用程序来实现NUMA感知并不总是可行的。在这项工作中,我们评估了各种旨在加速NUMA系统上内存密集型数据分析工作负载的策略。我们分析了不同的内存分配器,内存放置策略,线程放置,内核级的负载均衡和存储管理机制的影响。通过广泛的实验评估,我们证明了这些技术的有条不紊的应用可以用于在三种不同的硬件架构上,在四种常见的内存数据分析工作负载中获得显着的加速。此外,我们表明,这些策略可以加快两个流行的数据库系统运行TPC-H工作负载。
2020-01-25 cs.DB
Asynchronous Complex Analytics in a Distributed Dataflow Architecture
可扩展的分布式XML系统最近经历了广泛的采用,其中商品XML引擎(诸如Hadoop和Spark),甚至商品SQL引擎常规地支持日益复杂的分析任务(例如,支持向量机、逻辑回归、协同过滤)。然而,这些系统的同步(通常是批量同步并行)并行执行模型与机器学习社区中越来越重要的趋势不一致:通过共享的可变状态(即,数据竞赛)在凸规划任务中,它-在单节点上下文中-提供了值得注意的经验性能增益,并激发了对异步算法的新研究。在这项工作中,我们试图弥合这一差距,通过评估使用轻量级的,异步状态传输内的商品的Crocklow引擎。具体来说,我们调查使用异步横向信息传递(ASIP),提出了单级并行迭代器与火山般的内部操作迭代器,可用于异步信息传递。我们移植了两个同步凸规划算法,随机梯度下降和交替方向乘子法(ADMM),使用ASIPs。我们评估了Apache Spark上ASIP的实现,该实现在使用这些异步算法时表现出相当大的加速比以及丰富的性能权衡。
2015-10-24 cs.DB
Cost-Intelligent Data Analytics in the Cloud
本文提出云数据库优化中的成本智能概念,给出云数据仓库架构,并围绕自动资源部署与面向成本的自动调优识别关键研究方向。
2023-08-18 cs.DB
Enterprise Data Science Platform: A Unified Architecture for Federated Data Access
Waseda University(早稻田大学);CyberAgent, Inc.(CyberAgent公司)
EDSP通过统一架构实现多查询引擎环境下的联合数据访问,减少数据重复和供应商锁定问题,提升数据共享效率。
2025-12-03 cs.DB
Finding Your Way Through the Jungle of Big Data Architectures
本文对基于DAMA-DMBOK和ArchiMate的常见分析数据架构进行了系统回顾。该文件正在进行中,并提供了Gartner的逻辑数据仓库范式,数据结构和Dehghani的数据网格建议以及它们的相互依赖关系的第一个视图。此外,它还概述了如何通过覆盖更多的体系结构范例(包括)来扩展这项工作。经典的数据仓库、数据保险库、数据湖、Lambda和Kappa架构),并引入一个包含“上下文”、“问题”和“解决方案”描述的模板,最终形成一个模式系统,为针对正确情况选择正确的架构范式提供指导。
2022-01-11 cs.DB
MobilityDuck: Mobility Data Management with DuckDB
Université Libre de Bruxelles(布鲁塞尔自由大学)
本文提出MobilityDuck,一个基于DuckDB的扩展,集成MEOS库以支持时空数据,利用列式内存架构实现高效分析,并在BerlinMOD-Hanoi基准上验证其性能优于MobilityDB。
2025-10-09 cs.DB
ArchaeoDAL: A Data Lake for Archaeological Data Management and Analytics
随着卫星和无人机等新兴技术的出现,考古学家可以在大面积上收集数据。然而,很难及时处理这些数据。考古数据也有许多不同的格式(图像,文本,传感器数据),可以是结构化,半结构化和非结构化的。这种多样性使得数据难以有效地收集、存储、管理、搜索和分析。已经提出了一些方法,但它们都没有覆盖整个数据生命周期,也没有提供有效的数据管理系统。因此,我们建议使用数据湖来提供集中式数据存储来托管异构数据,以及用于数据质量检查,清理,转换和分析的工具。在本文中,我们提出了一个通用的,灵活的和完整的数据湖架构。我们的元数据管理系统利用goldMEDAL,这是目前可用的最完整的元数据模型。最后,我们详细介绍了这种架构致力于考古项目的具体实施。
2021-07-23 cs.DB
Data-driven Analytics for Business Architectures: Proposed Use of Graph Theory
IBM Research - Almaden(IBM阿尔马登研究中心)
业务架构(BA)在帮助组织理解企业结构和流程,并使其与战略目标保持一致方面发挥着重要作用。然而,传统的BA是以静态模型元素的固定结构表示的,并且无法动态地捕获基于内部和外部数据的业务洞察。为了解决这个问题,本文将图论引入到BA中,旨在构建可扩展的数据驱动分析并自动生成业务洞察。我们使用IBM的组件业务模型(CBM)作为一个例子来说明各种方法,其中图论可以利用数据驱动的分析,包括什么和如何获得业务见解。未来的方向应用图论的业务架构分析进行了讨论。
2018-06-05 cs.DB cs.LG cs.SE
Research on the efficiency of data loading and storage in Data Lakehouse architectures for the formation of analytical data systems
Ternopil Ivan Puluj National Technical University(捷尔诺波尔伊万普鲁日国立技术大学)
本文研究了三种主流数据湖系统在不同数据规模下的加载和存储效率,通过Apache Spark分析其处理结构化和半结构化数据的表现,确定最优架构以构建分析数据系统。
2026-04-23 cs.DB cs.DC
Serverless Data Analytics with Flint
围绕松耦合函数调用组织的无服务器架构代表了许多应用程序的新兴设计。最近的工作主要集中在面向用户的产品和事件驱动的处理管道。在本文中,我们探索了应用程序空间的一个完全不同的部分,并研究了使用无服务器架构对大数据进行分析处理的可行性。我们介绍Flint,这是一个原型Spark执行引擎,它利用AWS Lambda提供纯按需付费的成本模型。使用Flint,开发人员可以像以前一样使用PySpark,但不需要实际的Spark集群。我们描述了Flint的设计、实现和性能,以及与无服务器分析相关的挑战。
2018-10-10 cs.DB cs.DC
Abstracting data in distributed ledger systems for higher level analytics and visualizations
通过设计,分布式账本技术保留了低级数据,这使得对记录的操作进行复杂的业务分析具有挑战性。现有的区块链可视化和分析工具,如区块浏览器,往往依赖于这种低级数据和复杂的接口来提供丰富的分析水平。通过提供更高级别的数据抽象,可以提高获得更丰富分析的能力。本文提出了一种抽象层架构,可以设计分布式账本系统的高级分析和在其上运行的分散式应用程序。基于对现有计划的分析和对相关用户需求的识别,这项工作旨在建立关键的见解和规范,以通过利用未来用户界面的开发来提高分布式账本系统的可扩展性和直观性。为了说明所提出的抽象层架构提供的好处,监管部门的用例进行了探讨。
2021-02-19 cs.CY cs.DB
EPIC: Generative AI Platform for Accelerating HPC Operational Data Analytics
National Center for Computational Sciences(国家计算科学中心);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出EPIC平台,通过分层多智能体架构结合大语言模型与专用分析智能体,实现对HPC多模态运维数据的动态分析,并在Frontier系统上验证了其高准确率与显著成本节省。
2025-08-29 cs.AI cs.DB
Discovery Agents for Real-Time Analytics: Toward Proactive Insight Systems
IBM
提出一种多智能体架构,通过持续发现循环(假设生成、编译、验证、可视化)实现实时数据流的自主洞察发现,支持从查询驱动向主动发现的范式转变。
2026-05-26 cs.AI cs.CL cs.DB
Fast Data in the Era of Big Data: Twitter's Real-Time Related Query Suggestion Architecture
我们提出了Twitter的实时的【形】相关查询建议和拼写纠正服务背后的架构。虽然这些任务在网络搜索文献中受到了很多关注,但Twitter上下文引入了一个实时的【形】“扭曲”:在重大突发新闻事件发生后,我们的目标是在几分钟内提供相关结果。本文提供了一个案例研究,说明了“大数据”时代实时的【形】数据处理的挑战。我们讲述了我们的系统是如何构建两次的故事:我们的第一个实现是构建在一个典型的基于Hadoop的分析堆栈上的,但后来被替换了,因为它不符合生成有意义的实时的【形】结果所需的延迟要求。第二个实现是部署在生产环境中的系统,是专门为任务设计的自定义内存处理引擎。这一经验告诉我们,Hadoop目前作为“大数据”平台的典型用途虽然非常适合实验,但并不适合低延迟处理,并为未来处理“大”和“快”数据的数据分析平台指明了方向。
2012-10-27 cs.DB cs.IR
Advances in Big Data Bio Analytics
提供有效的数据分析对于解释目前由越来越多的高通量技术生成的大量生物数据集至关重要。逻辑编程在这个领域有很多贡献。在这里,我们详细介绍的进展,突出了两个优势的逻辑形式主义在生物环境中开发数据分析解决方案:访问大型关系数据库和建立分析管道收集图形信息从多个来源。我们提出了生物数据库的bio_db包,它作为Prolog事实,可以通过内存加载或通过数据库后端提供服务的显着进步。这些进展包括模块化的基础架构和纳入数据集从第二个有机体(小鼠)。此外,我们还介绍了一些数据分析工具,这些工具对这些数据集进行操作,并捆绑在分析包中:bio_analytics。这两个软件包都强调易于安装和使用。我们强调我们的组件为基础的方法的一般架构。还提供了一个通过SWISH进行本地安装的实验性图形用户界面。最后,我们主张生物数据分析是一个肥沃的领域,可以推动应用逻辑编程的进一步创新。
2019-09-18 cs.DB cs.LO q-bio.QM
A Big Data Lake for Multilevel Streaming Analytics
School of Computing(计算机学院)
大型组织正在寻求创建新的体系结构和可扩展的平台,以有效地应对过去罕见的数据爆炸性带来的数据管理挑战。这些数据管理挑战主要由来自多种格式的各种源的高速流数据的可用性提出。数据范式的变化导致了新的数据分析和管理架构的出现。本文主要研究在一种称为数据湖的数据存储架构中以原始格式存储大容量、高速度和多样化的数据。首先,我们提出了我们的研究传统的数据仓库在处理最近的数据范式的变化的局限性。我们讨论并比较了可用于开发数据湖的不同开源和商业平台。然后,我们描述了我们的端到端数据湖设计和实施方法,使用Hadoop分布式文件系统(HDFS)在Hadoop数据平台(HDP)。最后,我们提出了一个现实世界的数据湖开发用例,用于数据流摄取,分段和多级流分析,它结合了结构化和非结构化数据。这项研究可以作为个人或组织计划为他们的用例实施数据湖解决方案的指南。
2020-09-25 cs.AI cs.DB cs.DC
Data Agent: A Holistic Architecture for Orchestrating Data+AI Ecosystems
Department of Computer Science, Tsinghua University(计算机科学系,清华大学)
本文提出 Data Agent 整体架构,通过融合大语言模型的知识理解、推理与规划能力来编排 Data+AI 生态系统,并系统讨论了其设计挑战、典型智能体示例及开放问题。
2025-07-02 cs.AI cs.CL cs.DB
PIMDAL: Mitigating the Memory Bottleneck in Data Analytics using a Real Processing-in-Memory System
本文提出PIMDAL库,在真实UPMEM存内计算系统上实现四大数据库算子,克服硬件限制,在五个TPC-H查询上平均性能达高端CPU的3.9倍,有效缓解数据分析中的内存瓶颈。
2025-04-02 cs.AR cs.DB cs.DC