Evaluating Hive and Spark SQL with BigBench
这项工作的目标是利用BigBench [1]作为大数据基准，并评估和比较两个处理引擎：MapReduce [2]和Spark [3]。MapReduce是Hadoop上处理数据的成熟引擎。Spark是一个流行的替代引擎，它承诺比现有的MapReduce引擎更快的处理时间。BigBench之所以被选中进行比较，是因为它是第一个端到端分析大数据基准，目前正作为TPCx-BB接受公众审查[4]。我们的目标之一是通过执行各种可伸缩性测试来评估基准测试，并验证它能够对处理引擎进行压力测试。首先，我们分析了在Spark上执行BigBench [1]的可用MapReduce实现所需的步骤。然后，在MapReduce/Hive上以不同的比例因子执行所有30个BigBench查询，以查看性能如何随着数据大小的增加而变化。接下来，这组HiveQL查询在Spark SQL上执行，并与它们各自的Hive运行时进行比较。本报告详细介绍了如何设置实验性Hadoop集群并在Hive和Spark SQL上执行BigBench。它提供了针对不同比例因子执行的所有实验的绝对时间以及可用于验证正确基准执行的查询结果。此外，在我们的工作中遇到并解决了多个问题和解决方法。代表BigBench查询的一个子集的资源利用率（CPU，内存，磁盘和网络使用）的评估，以说明两个处理引擎上的不同查询组的行为。最后但并非最不重要的一点是，…
2016-01-13 cs.DB cs.DC
Intensional RDB Manifesto: a Unifying NewSQL Model for Flexible Big Data
在本文中，我们提出了一个新的内涵关系数据库（IRDB）系列，它通过大数据和灵活的“开放模式”功能扩展了传统的关系数据库，能够保留用户定义的关系数据库模式和所有预先存在的用户应用程序，其中包含用于部署此类关系数据的SQL语句。标准RDB数据被解析为内部向量键/值关系，因此我们获得了大数据应用中使用的数据的列表示，涵盖了键/值和基于列的大数据应用，成为统一的RDB框架。我们定义了一个查询重写算法，GAV数据集成方法的基础上，使每个用户定义的SQL查询被重写成SQL查询这个向量关系，因此，用户定义的标准RDB模式被保持为一个空的全局模式的RDB模式建模的数据和SQL接口存储的向量关系。这样的IRDB架构通过提供大数据和新的灵活模式特性，足以从现有的慢速RDBMS大规模迁移到这个新的快速IRDBMS家族。
2014-04-10 cs.DB
SQL-GEN: Bridging the Dialect Gap for Text-to-SQL Via Synthetic Data And Model Merging
Google Cloud AI（谷歌云人工智能部门）
SQL-GEN利用方言教程生成合成数据并采用专家混合初始化合并多方言模型，显著提升跨方言文本到SQL的执行准确率。
2024-10-02 cs.AI cs.CL cs.DB
Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
TextQL
Argo-Bench是一个评估框架，通过模拟纽约市外卖平台并构建企业级数据仓库，测试数据智能体在复杂工作流中的推理与行动能力，超越传统文本到SQL基准。
2026-10-02 cs.AI cs.CL cs.DB
Intensional RDB for Big Data Interoperability
在[1]中引入的一个新的Intensional RDB（IRDB）家族扩展了具有大数据和灵活的“开放模式”特征的传统RDB，能够保留用户定义的关系数据库模式和所有预先存在的包含用于部署这种关系数据的SQL语句的用户应用程序。标准RDB数据被解析为内部向量键/值关系，因此我们获得了大数据应用中使用的数据的列表示，涵盖了键/值和基于列的大数据应用，成为统一的RDB框架。这样的IRDB架构通过提供大数据和新的灵活模式特性，足以从现有的慢速RDBMS大规模迁移到这个新的快速IRDBMS家族。在这里，我们提出了IRDBs的互操作性功能，允许查询也在内部向量关系创建的每个联邦数据库在一个给定的多数据库系统的解析。我们表明，SchemaLog与二阶语法和ad hoc逻辑编程及其查询片段可以嵌入到标准的SQL IRDBMS，使我们获得一个完整的IRDBs的互操作性功能，通过使用标准的关系SQL查询数据和元数据。
2014-04-10 cs.DB
SQL and NoSQL Databases Software architectures performance analysis and assessments -- A Systematic Literature review
内容：大数据的有效处理对于SQL和NoSQL数据库来说是一项具有挑战性的任务，其中称职的软件架构起着至关重要的作用。SQL数据库旨在构建数据并支持垂直可伸缩性。相比之下，水平可扩展性由NoSQL数据库支持，可以有效地处理大量非结构化数据。人们可以根据组织的需求选择正确的范式;然而，做出正确的选择往往具有挑战性。SQL和NoSQL数据库遵循不同的架构。此外，每个类别的NoSQL数据库都遵循混合模型。因此，跨多个云服务提供商（CSP）的云消费者的数据移动变得困难。此外，每个云平台IaaS、PaaS、SaaS和DBaaS也监控各种范例。目的：本系统性文献综述（SLR）旨在研究与SQL和NoSQL数据库软件架构相关的相关文章，并解决各种云平台之间的数据可移植性和互操作性。通过观察可伸缩性、性能、可用性、一致性和分片特性，提出了SQL和NoSQL数据库的许多性能比较研究。根据研究，NoSQL数据库设计的结构可以是大数据分析的正确选择，而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据移动相关的方法。开发了基于平台的API，这使得用户的数据移动变得困难。因此，在跨多个CSP的数据移动期间，注意到数据可移植性和互操作性问题。为了最大限度地减少开发人员的工作量和互操作性，需要统一API来使数据在各种云平台之间的移动相对更容易访问。
2022-09-14 cs.AI cs.DB cs.PL
Fast Data Management with Distributed Streaming SQL
为了在当今数据驱动的经济中保持竞争力，大大小小的企业都在转向流处理平台，以在数据到达时处理大容量、高速度和多样化的数据流（快速数据）。由当今流行的系统提供的低级编程模型缺乏对变化的响应：增强需要伴随着大量周转时间的代码变化。尽管分布式SQL查询引擎已经可用于大数据，但我们仍然缺乏对分布式流处理系统中基于SQL的流查询功能的支持。在本白皮书中，我们确定了一组要求，并提出了一个标准的基于SQL的流查询模型，用于管理所谓的快速数据。
2015-11-12 cs.DB
Forecasting SQL Query Cost at Twitter
Twitter, Inc.（推特公司）
随着大数据时代的到来，使用传统的DBMS方法来计算SQL查询的资源使用量通常是计算昂贵的。我们是否可以更有效地估计每个查询的成本，而无需在SQL引擎内核中进行任何计算？机器学习技术能否帮助估计SQL查询资源利用率？答案是肯定的。我们提出了一个SQL查询成本预测服务，它采用机器学习技术，训练模型，从历史查询请求日志和快速预测的CPU和内存资源的使用，而无需在SQL引擎中进行任何计算。在Twitter，基础设施工程师正在维护一个跨本地和云数据中心的大规模SQL联合系统，以服务于临时查询。建议的服务可以通过缓解SQL引擎集群中不平衡的在线分析处理（OLAP）工作负载的问题来帮助改善查询调度。它还可以帮助实现抢先扩展。此外，所提出的方法使用普通SQL语句进行模型训练和在线预测，这表明它与硬件和软件无关。该方法可以推广到更广泛的SQL系统和异构环境。该模型对CPU使用率的预测精度达到97.9%，对内存使用率的预测精度达到97%.
2022-04-12 cs.AI cs.DB
nvBench: A Large-Scale Synthesized Dataset for Cross-Domain Natural Language to Visualization Task
Tsinghua University（清华大学）；American School of Doha（多哈美国学校）
NL2VIS是一种将自然语言（NL）查询转换为相应可视化（VIS）的技术，已经引起了商业可视化厂商和学术研究者的越来越多的关注。在过去的几年里，基于深度学习的先进模型在许多自然语言处理（NLP）任务中实现了类似人类的能力，这清楚地告诉我们，基于深度学习的技术是推动NL2VIS领域的一个很好的选择。然而，一个很大的障碍是缺乏大量（NL，VIS）对的基准。我们提出了nvBench，第一个大规模的NL2VIS基准测试，包含来自105个域的750个表的25，750个（NL，VIS）对，由（NL，SQL）基准测试合成，以支持跨域NL2VIS任务。nvBench的质量已经过23位专家和300多名群众工作者的广泛验证。使用nvBench进行的基于深度学习的模型训练表明，nvBench可以推动NL2VIS领域的发展。
2021-12-24 cs.AI cs.HC
Multi-SQL: An extensible multi-model data query language
大数据管理的目标是建立数据中心，全面支持多种模型和类型的数据。因此，多模型数据库系统是一个很有前途的体系结构，用于建立这样的多模型数据存储。对于一个集成的数据中心来说，一个统一而灵活的查询语言是非常必要的。本文提出了一种可扩展的实用查询语言--Multi-SQL，从多模型数据协同处理的角度出发，实现了多模型数据的统一管理。据我们所知，Multi-SQL是第一种基于各种数据模型的查询语言。Multi-SQL还可以扩展以适应更复杂的场景，因为它可以灵活地支持其他数据模型。此外，我们还对Multi-SQL的核心特性进行了形式化的语义定义，包括多模型定义、多模型过滤、多模型连接等。此外，我们还提出了一种两级查询实现方法，充分利用底层引擎的现有查询优化能力，大大提高了查询执行效率。
2021-05-16 cs.DB
SemBench: A Benchmark for Semantic Query Processing Engines
SemBench是一个针对语义查询处理引擎的基准测试，涵盖多场景、多模态和多操作符，评估不同系统在处理多模态数据时的性能。
2026-03-16 cs.DB cs.LG
SQL Query Completion for Data Exploration
在大数据海啸中，关系数据库和SQL仍然存在，并且在大多数情况下仍然是访问数据的必需品。一方面，SQL易于非专业人士使用，并允许在数据探索过程的最初阶段识别相关的初始数据。另一方面，制定SQL查询并不总是那么容易：现在，一个应用程序域越来越频繁地有多个数据库，其中一些数据库具有数百个表和/或属性。识别相关条件以选择所需的数据，甚至识别相关属性，这绝非易事。为了更容易编写SQL查询，我们提出了SQL查询完成的概念：给定一个查询，它建议将附加条件添加到其WHERE子句中。这种补全是语义的，因为它依赖于来自数据库的数据，而不像当前的补全工具大多是语法的。由于这个过程可以一遍又一遍地重复--直到数据分析师找到她感兴趣的数据--SQL查询完成促进了数据库的探索。SQL查询完成已经在数据库管理系统之上的SQL编辑器中实现。对于评估，需要研究两个问题：第一，完成是否加快了SQL查询的编写速度？第二，是否容易被用户接受？对70名计算机科学专业的学生进行了一次彻底的实验，他们被分成两组（一组完成了实验，另一组没有完成）来回答这些问题。结果是积极的和非常有希望的。
2018-02-08 cs.DB
The Stochastic Shift: A New Evaluation Paradigm for Text-to-SQL with AI Operators
Google（谷歌）
本文提出一种多层评估框架，将确定性数据库逻辑与灵活AI语义解耦，分别验证关系逻辑与AI操作，以解决Text-to-SQL中AI操作符非确定性输出的评估难题，在BigQuery和ThalamusDB上实现高达97.2%的整体准确率。
2026-09-21 cs.AI cs.DB
Can the Elephants Handle the NoSQL Onslaught?
在这个“大数据”的新时代，传统的DBMS正受到来自两方面的攻击。一方面，文档存储NoSQL系统（例如MongoDB）的使用威胁着现代Web 2.0应用程序远离传统的RDBMS。在另一端，曾经是并行RDBMS领域的大数据DSS分析现在受到另一类NoSQL数据分析系统的攻击，例如Hadoop上的Hive。那么，传统的RDBMS，也就是“大象”，是否注定要受到来自“大数据”频谱两端的挑战？在本文中，我们比较了一个有代表性的NoSQL系统，从这个频谱的两端与SQL Server，并分析了性能和可扩展性方面的每一个这些方法（NoSQL与SQL）的两个工作负载（决策支持分析和交互式数据服务），代表两端的应用程序频谱。我们从这次评估中提出见解，并推测未来的潜在趋势。
2012-08-21 cs.DB
MFTune: An Efficient Multi-fidelity Framework for Spark SQL Configuration Tuning
Peking University（北京大学）
本文提出MFTune框架，通过查询驱动的保真度划分策略和密度优化机制，有效解决Spark SQL配置调优中的高成本与低效率问题，实验表明其在TPC-H和TPC-DS基准测试中优于现有方法。
2026-07-14 cs.DB
Beyond Text-to-SQL: Autonomous Research-Driven Database Exploration with DAR
DAR是一种多代理系统，通过自主探索数据完成端到端数据库研究，显著提升分析效率并生成基于证据的洞察。
2026-02-09 cs.DB
Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows
University of Hong Kong（香港大学）；Salesforce Research（Salesforce 研究院）；Sea AI Lab（Sea AI 实验室）；Google Deepmind（谷歌DeepMind）；Google Cloud AI Research（谷歌云 AI 研究院）；University of Waterloo（滑铁卢大学）
本文提出含632个真实企业问题的 Spider 2.0 基准，评估语言模型在复杂跨库、多方言 SQL 工作流中的能力，结果显示最强代码智能体仅解决21.3%任务。
2025-03-17 cs.AI cs.CL cs.DB
Leveraging Data Preparation, HBase NoSQL Storage, and HiveQL Querying for COVID-19 Big Data Analytics Projects
流行病学家、科学家、统计学家、历史学家、数据工程师和数据科学家正在努力寻找描述性模型和理论来解释COVID-19扩张现象，或建立分析预测模型来学习COVID-19确诊病例、康复病例和死亡演变曲线的顶点。在CRISP-DM生存周期中，75%的时间仅用于数据准备阶段，这给构建机器学习模型的科学家和数据科学家带来了大量的麻烦和压力。本文旨在通过提供详细的模式设计和数据准备技术脚本来帮助减少数据准备工作，这些脚本用于在HBase NoSQL数据存储中格式化和存储约翰霍普金斯大学的COVID-19日常数据，并以类似关系Hive SQL的风格启用HiveQL COVID-19数据查询。
2020-04-01 cs.DB
A Frequency Scaling based Performance Indicator Framework for Big Data Systems
对于大数据系统来说，识别其性能瓶颈非常重要。然而，诸如资源利用等流行的指标往往具有误导性，并且彼此之间不可比。本文提出了一种新的指标框架，可以直接比较不同的指标相互之间的影响，有效地识别和分析的性能瓶颈。一种方法，它可以构造的指标，从性能变化与CPU频率缩放。以Spark作为大数据系统的实例，以两个典型的SQL基准测试作为工作负载，对所提方法进行了评估。实验结果表明，与资源利用率方法相比，该方法具有较高的准确性，与白盒方法相比，该方法易于实现。同时，通过对指标的分析，得出了一些有趣的结论，并为大数据系统的性能优化提供了有价值的建议。
2018-11-27 cs.DB cs.DC
Approximate Computation for Big Data Analytics
在过去的几年里，研究和开发在大数据分析方面取得了重大进展。大数据分析的一个基本问题是效率。如果最佳解决方案无法实现或不需要，或需要付出高昂的代价，则合理的做法是牺牲最佳性，而采用一个可以有效计算的“好”可行解决方案。现有的近似技术一般可以分为近似算法、用于聚集SQL查询的近似查询处理和用于系统栈的多个层的近似计算。本文系统地介绍了近似计算，即，查询近似和数据近似，用于大数据分析的效率和有效性。我们首先解释的想法和基本原理的查询近似，并显示效率可以获得高效率的实际分析任务：图模式匹配，轨迹压缩和密集的子图计算。然后，我们解释的想法和理由的数据近似，并显示效率，甚至可以在实践中不牺牲有效性与三个分析任务：最短路径/距离，网络异常检测和链接预测。
2019-01-02 cs.DB
Incremental Query Processing on Big Data Streams
本文讨论了分布式流处理引擎（DSPE）上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比，我们得到的增量程序返回准确的结果，而不是近似的答案。这是通过在查询计算生存期内保留最小状态，并使用增量计算技术在每个时间间隔（取决于当前状态和最新批次的数据）返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询，包括迭代和嵌套查询、具有聚合的分组和等价连接。最后，我们报告了我们的框架的原型实现，称为MRQL流，运行在Spark之上，我们通过实验验证了我们的方法的有效性。
2016-03-06 cs.DB cs.DC
NewSQL: Towards Next-Generation Scalable RDBMS for Online Transaction Processing (OLTP) for Big Data Management
解决大数据问题的关键进展之一是替代数据库技术的出现。今天，经典的RDBMS得到了一组丰富的替代数据管理系统（DMS）的补充，这些DMS系统专门设计用于处理大数据汇集的数量，种类，速度和可变性;这些DMS系统包括NoSQL，NewSQL和基于搜索的系统。NewSQL是一类现代关系数据库管理系统（RDBMS），其为在线事务处理（OLTP）读写工作负载提供与NoSQL系统相同的可扩展性能，同时仍然保持传统数据库系统的ACID保证。本文讨论了NewSQL数据管理系统，并与NoSQL和传统数据库系统进行了比较。介绍了面向大数据管理的在线事务处理（OLTP）的NewSQL数据库的体系结构、特点、分类。它还在单独的分类表中提供了流行的NoSQL和NewSQL数据库的列表。本文对基于SQL的RDBMS、NoSQL和NewSQL数据库进行了比较，并提出了NoSQL和NewSQL的一些研究问题。
2014-11-26 cs.DB
Agentic Cost-Aware Query Planning with Knowledge Distillation for Big Data Analytics
Research Division, BrightMind AI（BrightMind AI 研究部）；Texas Tech University（德克萨斯理工大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一种结合规则基教师规划器、UCB1老虎机探索、成本感知预测和知识蒸馏的轻量级学生规划器，以解决大数据分析中查询优化计算成本高且资源受限环境下的内存和延迟约束问题，实验结果显示在纽约出租车和IMDB数据集上相比默认规划器降低了23%的延迟并保持了94%的约束满足率。
2026-05-18 cs.DB cs.LG
LogRouter: Adaptive Two-Level LLM Routing for Log Question Answering in Big Data Systems
TUBITAK BILGEM（土耳其国家研究 institute）
本文提出LogRouter，一种自适应两级LLM路由系统，用于在大数据系统中实现日志问题解答，通过结合PySpark-based Drain3数据摄入管道、GPU加速的嵌入和Apache Druid和PostgreSQL with pgvector的双索引存储，实现高效的日志查询处理。
2026-05-18 cs.DB cs.LG cs.SE
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
HRDBMS: Combining the Best of Modern and Traditional Relational Databases
HRDBMS是一种新型的分布式关系数据库，它使用一种混合模型，结合了传统分布式关系数据库和大数据分析平台（如Hive）的优点。这使得HRDBMS能够利用多年来关于查询优化的研究成果，同时还可以利用大数据平台的可扩展性。该系统使用了一个为关系处理量身定制的执行框架，从而解决了在MapReduce和Spark等平台上运行SQL的一些性能挑战。这些问题包括中间结果的过度具体化、缺乏基于全局成本的优化、不必要的排序、缺乏索引支持、没有统计数据、不支持DML和ACID，以及这些平台强制执行的严格通信模式导致的过度通信。
2019-01-24 cs.DB cs.DC
M3: Conversational LLMs Simplify Secure Clinical Data Access, Understanding, and Analysis
Massachusetts Institute of Technology（麻省理工学院）；Technical University of Munich（慕尼黑技术大学）；Universitat Pompeu Fabra（庞培法华大学）；St. Jude Children’s Research Hospital（圣犹大儿童研究医院）；Beth Israel Deaconess Medical Center（贝斯以色列医疗中心）；Harvard T.H. Chan School of Public Health（哈佛大学T.H. Chan公共卫生学院）
本文提出M3系统，通过模型上下文协议实现对MIMIC-IV数据库的自然语言查询，降低了临床数据访问和分析的技术门槛，并展示了其在安全性和性能上的优势。
2026-05-20 cs.AI cs.DB cs.IR
SiriusHelper: An LLM Agent-Based Operations Assistant for Big Data Platforms
TEG, Tencent Inc.（腾讯科技（TEG））；School of Computer Science, Peking University（北京大学计算机学院）
SiriusHelper通过统一在线助手自动识别用户意图并路由查询，结合深度搜索机制和优先级知识库，提升回答可靠性与响应速度，减少专家负担，实测降低20.8%的在线工单量。
2026-04-29 cs.AI cs.DB cs.MA
Overlook: Differentially Private Exploratory Visualization for Big Data
提供差分隐私的数据探索系统必须管理隐私预算，以衡量跨多个查询丢失的隐私量。管理隐私预算的一个有效策略是计算数据的一次性私有概要，用户可以对其进行无限次的查询。然而，使用概要的现有系统是为离线用例构建的，其中一组查询是提前已知的，并且系统仔细地为其优化概要。这些系统构建的概要计算成本高，并且存储成本也高。我们介绍了Overlook，这是一个系统，可以在交互式平台上为数据分析师和数据管理员提供私人数据探索。Overlook的关键思想是一个虚拟的概要，可以增量评估，而无需额外的空间存储或昂贵的预先计算。Overlook只是使用现有引擎（如SQL DBMS）执行查询，并在结果中添加噪声。由于Overlook的概要不需要昂贵的预先计算或存储，数据管理员还可以使用Overlook交互式地探索隐私参数的影响。Overlook提供了一个基于开源Hillview系统的丰富的可视化查询界面。Overlook实现了与现有基于概要的系统相当的准确性，同时提供了更好的性能并消除了对额外存储的需求。
2020-06-22 cs.CR cs.DB
A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)
COVID-19的快速全球传播推动了大数据分析的创新工具。这些指导了卫生行业所有领域的组织跟踪和最大限度地减少病毒的影响。研究人员需要通过人工智能、机器学习和自然语言处理来检测冠状病毒，并对这种疾病有一个完整的了解。COVID-19发生在世界上不同的国家，只有大数据应用和NOSQL数据库的工作才适合。有很多平台用于处理NOSQL数据库模型，如：Spark，H2O和Hadoop HDFS/MapReduce，它们适合控制和管理大量数据。大型应用程序开发人员面临许多挑战，特别是那些通过不同API和查询使用混合数据模型处理COVID-19数据库的程序员。在这种情况下，本文提出了一个存储框架，用于处理COVID-19数据集的SQL和NOSQL数据库（COVID-QF），以便通过减少处理时间来处理和处理病毒在全球范围内传播引起的问题。对于NoSQL数据库，COVID-QF使用Hadoop HDFS/Map Reduce和Apache Spark。COVID-QF由三层组成：数据汇集层、存储层和查询处理层。数据收集在数据汇集层。存储层将数据划分为数据存储和处理块的集合，并将火花机的连接器与不同的数据库引擎连接，以减少存储和检索的时间。而处理层执行请求查询并发送结果。该框架使用了三个随时间增加的COVID-19数据集（COVID-19-Merging，COVID-19-inside-Hubei和…
2020-05-25 cs.DB cs.DC
Odysseus/DFS: Integration of DBMS and Distributed File System for Transaction Processing of Big Data
关系数据库管理系统（RDBMS）由于支持O/S文件系统中不存在的SQL、模式、索引和事务等各种高级功能而得到广泛使用。但是，最近大数据技术的出现促进了牺牲DBMS功能以有效管理大规模数据的新系统的开发。这些所谓的NoSQL系统使用分布式文件系统，支持可伸缩性和可靠性。它们通过将数据存储到大量低成本商品硬件中来支持系统的可扩展性，并通过将数据存储在副本中来支持可靠性。然而，它们有一个缺点，即它们不能充分支持高级DBMS功能。在本文中，我们提出了一个体系结构的DBMS，使用DFS作为存储。通过这种新的体系结构，DBMS能够支持DFS的可扩展性和可靠性以及DBMS的高级功能。因此，DBMS可以利用DFS提供的几乎无限的存储空间，使其适用于大数据分析。作为DBMS体系结构的一部分，我们提出了Meta DFS文件的概念，它允许DBMS使用DFS作为存储，以及一个有效的事务管理方法，包括恢复和并发控制。我们在Odysseus/DFS中实现了这种体系结构，Odysseus关系数据库管理系统的集成，已经在KAIST开发了24年多，与DFS。我们对事务处理的实验表明，由于Odysseus/DFS的高级功能，它优于Hbase，这是一个代表性的开源NoSQL系统。我们还表明，与具有本地存储的RDBMS相比，Odysseus/DFS的性能相当或略有下降，表明Odysseus/DFS通过使用DFS作为存储来…
2014-06-02 cs.DB
AsterixDB: A Scalable, Open Source BDMS
AsterixDB是一个全新的全功能BDMS（大数据管理系统），其功能集将其与当今开源大数据生态系统中的其他平台区分开来。它的特性使其非常适合Web数据仓库、社交数据存储和分析等应用程序，以及与大数据相关的其他用例。AsterixDB具有灵活的NoSQL风格数据模型;支持广泛查询的查询语言;可扩展的运行时;分区的、基于LSM的数据存储和索引（包括B+树、R树和文本索引）;支持外部和本地存储的数据;丰富的内置类型集;支持模糊、空间和时间类型和查询;内置的数据馈送概念，用于摄取数据;以及类似于NoSQL存储的事务支持。AsterixDB的开发始于2009年，并于2013年中期发布了最初的开源版本。本文是第一个完整的描述所产生的开源AsterixDB系统。本文介绍了系统的数据模型、查询语言及其软件体系结构。还包括该项目的当前状态的摘要，以及与替代技术相比AsterixDB的表现，包括并行关系DBMS，流行的NoSQL存储和流行的基于Hadoop的SQL数据分析平台，这两种技术都可以做的事情。还包括对该系统所经历的一些初步试验的简要描述，以及基于这些早期“客户”参与的经验教训（和制定的计划）。
2014-07-02 cs.DB
Dataspace architecture and manage its components class projection
描述了大数据技术。大数据是一个流行的术语，用于描述结构化和非结构化数据的指数增长和可用性。构建了数据空间体系结构。Dataspace一直专注于-并充满激情-在商业智能和数据仓库战略和实施方面提供无与伦比的专业知识。数据空间是数据管理中的一个抽象概念，其目的是克服数据集成系统中遇到的一些问题。在我们的例子中，它是用于异构数据表示的块向量。传统上，数据集成和数据交换系统旨在提供数据空间系统的许多声称的服务。数据空间可以被看作是数据集成体系结构发展的下一步，但在以下方面与当前的数据集成系统不同。数据集成系统需要在提供任何服务之前进行语义集成。因此，尽管不存在所有数据都符合的单个模式并且数据驻留在多个主机系统中，但是数据集成系统知道每个模式中使用的术语之间的精确关系。因此，需要大量的前期工作，以建立一个数据整合系统。为了实现来自不同来源的数据集成，我们使用了SQL Server Integration Services，SSIS。为了将门户开发为一种体系结构模式，我们使用了模型-视图-控制器（MVC）模式。数据空间作为一个复杂的系统，有其特殊的调试操作.给出了Backus/Naur格式的查询翻译器。
2019-05-03 cs.DB cs.DC
Multi Query Optimization in GLADE
Hadoop上的SQL系统、查询优化、多个节点上的数据分布和并行化技术是目前研究的几个领域。亚马逊、谷歌、微软等知名企业正在努力实现从多个节点更快地访问数据的系统，以减少数据移动性并提高并行性。通过在携带数据的不同节点上并行运行相同的查询，引入各种并行化技术，数据库系统以有效的方式在最少的时间量内检索和检查查询。除了多线程并行化之外，还有另一种并行化方式可以执行，以进一步减少检索时间，从而提高系统的效率;在DBMS/RDBMS之上对用户查询进行并行化。在本文中，我们将研究这样一种技术，如何多个查询可以同时运行在一个系统上，以提高效率，减少从存储的数据检索。通过为一组查询生成最佳和无处不在的连接计划，然后将其馈送到GLADE（广义线性聚合分布引擎），这是一个可扩展的分布式系统，用于大规模数据分析，从而最大限度地分担工作量。我们的主要工作是集中在生成GLADE连接计划的多查询满足最大数量的查询，以最大限度地提高数据共享和最小化数据检索每个单独的查询。
2016-08-16 cs.DB
