Data Warehouse and Decision Support on Integrated Crop Big Data
Ho Chi Minh City Open University(胡志明市开放大学);University College Dublin(都柏林大学学院)
近年来,精准农业正变得越来越流行。采用现代信息和通信技术收集和处理农业数据,使农业生产发生了革命性变化。这已经开始了一段时间前(20世纪初),它是由收集有关一切的数据的低成本驱动的;从种子,土壤,肥料,害虫等领域的信息到天气数据,无人机和卫星图像。特别是今天的农业数据采掘,无论从数量、种类、速度还是准确性上都被认为是大数据应用。因此,它导致了处理大量复杂多样的信息以为农民、农学家和其他企业提取有用知识的挑战。它是建立作物智能平台的关键基础,这将使高效的资源管理和高质量的农艺决策和建议成为可能。本文设计并实现了一个大陆级农业数据仓库(ADW)。ADW的特点是(1)灵活的模式;(2)来自真实农业多数据集的数据集成;(3)数据科学和业务智能支持;(4)高性能;(5)高存储;(6)安全性;(7)治理和监控;(8)一致性,可用性和分区容忍;(9)云兼容性。我们还评估了ADW的性能,并提出了一些复杂的查询,以提取和返回有关作物管理的必要知识。
2021-04-12 cs.DB cs.DC cs.LG
Towards the Next Generation of Data Warehouse Personalization System: A Survey and a Comparative Study
多维数据库是决策的重要资产。他们的用户表达复杂的OLAP(联机分析处理)查询,通常返回大量的事实,有时提供很少或根本没有信息。此外,由于DW中存储了大量的历史数据,OLAP应用程序可能会返回大量的无关信息,这可能会使数据探索过程效率低下且缓慢。OLAP个性化系统在减少决策者寻找最感兴趣的信息的努力方面发挥着重要作用。在过去的几年中,提出了几个作品处理OLAP个性化。本文的目的是提供一个全面的审查文献的OLAP个性化方法。提出了OLAP个性化方法的基准测试研究。若干评价标准用于确定是否存在趋势以及是否需要进一步调查。
2012-08-01 cs.DB
Hopping over Big Data: Accelerating Ad-hoc OLAP Queries with Grasshopper Algorithms
本文提出了一个快速子集过滤算法族内的整数表示的组合键的有序集。应用程序包括针对数据仓库的(ad-hoc)分析查询的显著加速,而无需任何额外的索引。该算法适用于多个属性的点、范围和集合限制,可以任意组合,并且本质上是多维的。其主要思想是将顺序爬行与跳过大部分不相关的键相结合。组合它们的方式是自适应的基础数据存储的特征。
2015-02-25 cs.DB
An Efficient Data Warehouse for Crop Yield Prediction
如今,与现代信息和通信技术相结合的精准农业在农业活动中变得越来越普遍,例如自动灌溉系统,精确种植,养分和农药的变量应用以及农业决策支持系统。在后者中,基于机器学习和数据采掘的作物管理数据分析主要关注如何有效地预测和提高作物产量。近年来,原始和半加工的农业数据通常是使用传感器、机器人、卫星、气象站、农业设备、农民和农业综合企业收集的,而物联网(IoT)应该能够实现农业生态系统中物体和设备的无线连接。农业数据通常捕获有关农业实体和操作的信息。每个农业实体都封装了一个单独的农业概念,如田地、作物、种子、土壤、温度、湿度、害虫和杂草。农业数据集具有空间性、时间性、复杂性、异构性、非标准化性和庞大性等特点。特别是,农业数据在数量、种类、速度和准确性方面被认为是大数据。设计和开发面向精准农业的数据仓库是建立作物智能平台的重要基础,可以实现资源高效的农艺决策和建议。对这种农业数据仓库的一些要求是隐私、安全和其利益相关者之间的实时访问(例如,农民、农业设备制造商、农业综合企业、合作社、客户和可能的政府机构)。然而,目前文献中很少有报道关注设计高效的数据仓库,以实现农业大数据分析和数据采掘。在本文中...
2018-06-26 cs.CY cs.DB
Kimball's Data Warehouse Architecture: Evaluating the Challenges of Conformed Data against the Inmon Model
INESC TEC – INESC Technology and Science(INESC科技研究所);IEETA / LASI, University of Aveiro(阿威罗大学);Department of Engineering, School of Sciences and Technology, UTAD(UTAD科学与技术学院)
本文比较Kimball和Inmon的数据仓库架构,从信息质量、系统质量、个人影响和组织影响四个方面分析一致性维度框架的优劣。
2026-11-05 cs.DB
X-WACoDa: An XML-based approach for Warehousing and Analyzing Complex Data
如今,数据仓库和OLAP应用程序必须处理复杂的数据,而不仅仅是数字或符号。XML语言非常适合在逻辑上和物理上表示复杂数据。然而,它的使用在建模、存储和分析层面上引发了新的理论和实践挑战,并且XML仓库的新趋势已经出现了几年。不幸的是,没有标准的XML数据仓库体系结构出现。在本文中,我们提出了一个统一的XML仓库参考模型,综合和增强相关的工作,并适合到一个全球性的XML仓库和分析方法,我们已经开发。我们还提出了一个软件平台,是基于这个模型,以及一个案例研究,说明了它的用法。
2017-01-27 cs.DB
Big Data: Challenges, Opportunities and Realities
随着物联网(IoT)和Web 2.0技术的出现,生成的数据量大幅增长。本章强调了对大数据的需求,讨论了用于处理大数据的技术进步、工具和技术。技术改进和现有的存储技术的局限性也提出。由于传统技术如关系数据库管理系统(RDBMS)在处理大数据方面有其自身的局限性,因此开发了新技术来处理它们并获得有用的见解。本章概述了大数据分析、其应用、优势和局限性。本章提出了一些研究问题和未来的发展方向。
2017-05-14 cs.DB
Can the Elephants Handle the NoSQL Onslaught?
在这个“大数据”的新时代,传统的DBMS正受到来自两方面的攻击。一方面,文档存储NoSQL系统(例如MongoDB)的使用威胁着现代Web 2.0应用程序远离传统的RDBMS。在另一端,曾经是并行RDBMS领域的大数据DSS分析现在受到另一类NoSQL数据分析系统的攻击,例如Hadoop上的Hive。那么,传统的RDBMS,也就是“大象”,是否注定要受到来自“大数据”频谱两端的挑战?在本文中,我们比较了一个有代表性的NoSQL系统,从这个频谱的两端与SQL Server,并分析了性能和可扩展性方面的每一个这些方法(NoSQL与SQL)的两个工作负载(决策支持分析和交互式数据服务),代表两端的应用程序频谱。我们从这次评估中提出见解,并推测未来的潜在趋势。
2012-08-21 cs.DB
Algorithm and approaches to handle large Data- A Survey
数据采掘环境产生了大量的数据,需要对这些数据进行分析,从中提取模式来获取知识。在这个结构化和非结构化数据蓬勃发展的新时代,在基因组学,气象学,生物学,环境研究和许多其他领域,使用传统的数据库和架构来处理,管理和分析模式已经变得困难。因此,应该了解适当的架构以获得有关大数据的知识。本文回顾了1994年至2013年处理如此大的数据集所需的各种算法。这些算法定义了处理大数据的各种结构和方法,本文还列出了为分析它们而开发的各种工具。
2013-07-20 cs.DB
Pre-Execution Query Slot-Time Prediction in Cloud Data Warehouses: A Feature-Scoped Machine Learning Approach
Independent Researcher(独立研究员)
本文提出一种基于特征范围的机器学习方法,通过预执行时可观察的信号预测BigQuery槽时间,减少预算超支和调度退化,实验显示在成本显著查询上模型性能优于基线方法。
2026-04-22 cs.DB cs.LG
Mining CFD Rules on Big Data
现有的条件函数依赖(CFD)发现算法通常需要一个准备良好的训练数据集。这使得它们很难应用于大型数据集,这些数据集总是质量低下。为了处理大数据量的问题,我们开发了抽样算法来获得一个小的代表性的训练集。针对大数据的低质量问题,设计了容错规则发现算法和冲突消解算法。为保证CFD发现算法的有效性,提出了CFD发现算法的参数选择策略.实验结果表明,该方法可以在合理的时间内发现有效的十亿元组数据的CFD规则。
2018-08-05 cs.DB
A Survey of State Management in Big Data Processing Systems
状态管理及其在不同应用程序中的使用在大数据处理系统中有很大差异。这在研究文献和现有系统中都很明显,例如Apache Flink,Apache Samza,Apache Spark和Apache Storm。鉴于状态管理在各种用例中发挥的关键作用,在本次调查中,我们提出了一些最重要的使用状态作为一个使能者,讨论了用于处理和实现状态的替代方法,提出了一个分类来捕捉状态管理的许多方面,并强调了新的研究方向。我们的目的是提供洞察不同的状态管理技术,激励他人在这一领域进行研究,并提请注意一些开放的问题。
2018-08-01 cs.DB
Modeling Data Lake Metadata with a Data Vault
随着大数据的兴起,商业智能必须找到解决方案来管理比数据仓库更大的数据量和种类,而事实证明,数据仓库并不适应。数据湖从存储的角度满足了这些需求,但需要管理足够的元数据以保证对数据的有效访问。从一个多维元数据模型设计的工业遗产数据湖缺乏模式进化,我们在本文中提出使用集成建模,更准确地说,一个数据仓库,来解决这个问题。为了说明这种方法的可行性,我们将元数据概念模型实例化为关系和面向文档的逻辑和物理模型。我们还比较了物理模型的元数据存储和查询响应时间。
2018-07-11 cs.DB
Pregelix: Big(ger) Graph Analytics on A Dataflow Engine
人们越来越需要能够优雅地扩展到非常大的图数据集的分布式图处理系统。不幸的是,由于许多图形处理系统遵循的以流程为中心的消息传递设计所施加的强烈内存压力,这个挑战并不容易满足。Pregnancy是一个新的开源分布式图形处理系统,它基于迭代的并行设计,可以更好地处理内存和核外工作负载。因此,Pregnant提供了优于当前开源系统的改进的性能特性和缩放特性(例如,我们已经看到,与Apache GitHub相比,加速高达15倍,与分布式GraphLab相比,加速高达35倍),并更有效地利用可用的机器资源来支持Big(ger)Graph Analytics。
2014-07-02 cs.DB
SWARM: Adaptive Load Balancing in Distributed Streaming Systems for Big Spatial Data
支持GPS的设备的激增导致了许多基于位置的服务的发展。这些服务需要实时处理大量的空间数据。目前的空间数据规模无法使用集中式系统处理。这导致了分布式空间流系统的发展。现有系统使用静态空间分区来分配工作负载。相比之下,实时流式传输的空间数据遵循随时间连续变化的非均匀空间分布。分布式空间流系统需要对空间数据和查询的分布变化做出反应。本文介绍了SWARM,一个轻量级的自适应协议,连续监测的数据和查询工作负载跨分布式进程的空间数据流系统,并重新分配和重新平衡的工作负载的性能瓶颈得到检测。SWARM能够处理多个查询执行和数据持久化模型。分布式流系统可以直接使用SWARM来自适应地在其机器之间重新平衡系统的工作负载,而对底层空间应用程序的原始代码的更改最小。使用真实和合成数据集进行的广泛实验评估表明,平均而言,SWARM比静态网格分区实现了200%的改进,静态网格分区是根据观察数据和查询工作负载的有限历史来确定的。此外,与其他技术相比,SWARM平均减少了4倍的执行延迟。
2020-02-27 cs.DB
NoSQL Database: New Era of Databases for Big data Analytics - Classification, Characteristics and Comparison
数字世界正在快速发展,并且在数量(TB到PB),种类(结构化和非结构化以及混合),速度(高速增长)方面变得更加复杂。大数据是一种全球现象。这通常被认为是已经增长得如此之大以至于不能使用常规数据管理工具来有效地管理或利用的数据汇集:例如,典型的关系数据库管理系统(RDBMS)或常规的搜索引擎。为了解决这个问题,传统的RDBMS由专门设计的一组丰富的替代DBMS补充;例如NoSQL,NewSQL和基于搜索的系统。本文的动机是提供大数据分析中NoSQL数据库的分类,特征和评估。本报告旨在帮助用户,特别是组织,独立了解各种NoSQL数据库方法的优点和缺点,以支持处理大量数据的应用程序。
2013-06-30 cs.DB
Modeling Big Data-based Systems through Ontological Trading
信息社会面临的巨大挑战之一是处理每天在互联网上产生和处理的大量信息。今天,大数据提案的进展试图解决这个问题,但信息搜索和检索存在一定的局限性,主要是由于大量处理的信息的异质性,以及其在众多来源中的分散性。在这篇文章中,一个正式的框架定义,以方便设计和开发的环境管理信息系统,它的作品与异构和大量的数据。然而,该框架可以应用于使用大数据的其他信息系统,因为它不依赖于数据的类型,并且可以在其他领域中使用。该框架基于本体论网络交易模型(OntoTrader),该模型遵循模型驱动的工程和本体驱动的工程指南,将系统架构与其实现分开。该建议是伴随着一个案例研究,SOLERES-KRS,环境知识表示系统的设计和开发使用软件代理和多代理系统。
2022-06-06 cs.DB cs.SE
NewSQL: Towards Next-Generation Scalable RDBMS for Online Transaction Processing (OLTP) for Big Data Management
解决大数据问题的关键进展之一是替代数据库技术的出现。今天,经典的RDBMS得到了一组丰富的替代数据管理系统(DMS)的补充,这些DMS系统专门设计用于处理大数据汇集的数量,种类,速度和可变性;这些DMS系统包括NoSQL,NewSQL和基于搜索的系统。NewSQL是一类现代关系数据库管理系统(RDBMS),其为在线事务处理(OLTP)读写工作负载提供与NoSQL系统相同的可扩展性能,同时仍然保持传统数据库系统的ACID保证。本文讨论了NewSQL数据管理系统,并与NoSQL和传统数据库系统进行了比较。介绍了面向大数据管理的在线事务处理(OLTP)的NewSQL数据库的体系结构、特点、分类。它还在单独的分类表中提供了流行的NoSQL和NewSQL数据库的列表。本文对基于SQL的RDBMS、NoSQL和NewSQL数据库进行了比较,并提出了NoSQL和NewSQL的一些研究问题。
2014-11-26 cs.DB
A Big Data Lake for Multilevel Streaming Analytics
School of Computing(计算机学院)
大型组织正在寻求创建新的体系结构和可扩展的平台,以有效地应对过去罕见的数据爆炸性带来的数据管理挑战。这些数据管理挑战主要由来自多种格式的各种源的高速流数据的可用性提出。数据范式的变化导致了新的数据分析和管理架构的出现。本文主要研究在一种称为数据湖的数据存储架构中以原始格式存储大容量、高速度和多样化的数据。首先,我们提出了我们的研究传统的数据仓库在处理最近的数据范式的变化的局限性。我们讨论并比较了可用于开发数据湖的不同开源和商业平台。然后,我们描述了我们的端到端数据湖设计和实施方法,使用Hadoop分布式文件系统(HDFS)在Hadoop数据平台(HDP)。最后,我们提出了一个现实世界的数据湖开发用例,用于数据流摄取,分段和多级流分析,它结合了结构化和非结构化数据。这项研究可以作为个人或组织计划为他们的用例实施数据湖解决方案的指南。
2020-09-25 cs.AI cs.DB cs.DC
A Survey on Sampling and Profiling over Big Data (Technical Report)
由于互联网技术和计算机科学的发展,数据正以指数级的速度爆炸。大数据给我们带来了新的机遇和挑战。一方面,我们可以对大数据进行分析和挖掘,发现隐藏的信息,获得更多的潜在价值。另一方面,大数据的5V特性,特别是Volume(海量数据),给存储和处理带来了挑战。对于一些传统的数据采掘算法、机器学习算法和数据剖析任务来说,处理如此大量的数据是非常困难的。大量的数据对硬件资源的要求很高,并且非常耗时。采样方法可以有效地减少数据量,并有助于加快数据处理速度。因此,采样技术已被广泛研究并用于大数据环境中,例如,确定样本量的方法,将抽样与大数据处理框架相结合。数据剖析是发现数据集的元数据的活动,并且具有许多用例,例如,对关系数据、图形数据和时间序列数据执行数据剖析任务,以进行异常检测和数据修复。然而,数据分析在计算上是昂贵的,特别是对于大型数据集。因此,本文重点研究大数据环境下的抽样和分析,并研究抽样在不同类别的数据分析任务中的应用。从这些研究的实验结果来看,从采样数据得到的结果接近甚至超过了全部数据量的结果。因此,采样技术在大数据时代扮演着重要的角色,我们也有理由相信,采样技术将成为未来大数据处理中不可或缺的一步。
2020-05-08 cs.DB
Reshape: Adaptive Result-aware Skew Handling for Exploratory Analysis on Big Data
数据分析的过程,特别是在基于GUI的分析系统中,是高度探索性的。在到达最终工作流之前,用户迭代地多次细化工作流。在这样的探索性设置中,如果工作流的初始结果代表最终答案,则对于用户是有价值的,使得用户可以细化工作流而无需等待其执行的完成。分区偏斜可能会导致在执行过程中产生误导性的初始结果。在本文中,我们将从显示给用户的结果的角度探讨偏斜及其缓解策略。我们提出了一个新的框架,称为重塑,可以自适应地处理分区倾斜流水线执行。Reshape采用两阶段方法,以微调的方式转移负载,以在执行期间迭代地减轻偏斜,从而使其能够处理输入数据分布中的变化。Reshape具有自适应调整偏斜处理参数的能力,这减轻了用户的技术负担。Reshape支持多种运算符,如HashJoin、Group-by和Sort。我们在Amber和Flink两个大数据引擎上实现了Reshape,以证明其通用性和效率,并使用真实和合成数据集进行了实验评估。
2022-08-28 cs.DB cs.DC
Exploration and Visualization in the Web of Big Linked Data: A Survey of the State of the Art
数据探索和可视化系统在大数据时代非常重要。探索和可视化非常大的数据集已经成为一个主要的研究挑战,其中可扩展性是一个至关重要的要求。在这次调查中,我们描述了现代勘探和可视化系统应该解决的主要先决条件和挑战。考虑到这些挑战,我们提出了如何从数据库和信息可视化社区的最先进的方法试图处理它们。最后,我们调查的语义Web社区的关联数据的背景下开发的系统,并讨论在何种程度上满足当代的要求。
2016-01-29 cs.DB cs.HC
Big Data: Understanding Big Data
史蒂夫·乔布斯,我们这个时代最伟大的梦想家之一,在1996年被引用说:“很多时候,人们不知道他们想要什么,直到你向他们展示它”[38],这表明他提倡产品开发基于人类的直觉,而不是研究。随着移动设备、社交网络和物联网的发展,大量复杂的结构化和非结构化数据正在被捕获,希望使组织能够做出更好的业务决策,因为数据现在对组织的成功至关重要。这些大量的数据被称为大数据,当适当地处理和分析时,它可以使竞争对手获得竞争优势。然而,大数据分析有一些问题,包括数据生命周期管理,隐私和安全以及数据表示。本文回顾了大数据的基本概念,数据存储域,用于处理这些大型数据集的MapReduce编程范式,并重点介绍了两个案例研究,展示了大数据分析的有效性,并介绍了如果处理得当,它如何在未来发挥更大的作用。
2016-01-15 cs.DB cs.DC
Flood Analytics Information System (FAIS) Version 4.00 Manual
Clemson University(克莱姆森大学)
该项目是首次尝试使用大数据分析方法和机器学习以及自然语言处理(NLP)的推文进行洪水风险评估和决策。开发了多个Python软件包,并将其集成到洪水分析信息系统(FAIS)中。FAIS工作流包括使用IoT API和各种机器学习方法来传输、处理和加载大数据,应用程序通过这些方法从各种数据服务器收集信息并将其复制到数据仓库(IBM数据库服务)。用户可以直接从美国地质调查局(USGS)和交通部(DOT)下载洪水相关的图像/视频,并将数据保存在本地存储器上。河流测量、图像和表格数据的结果显示在基于Web的远程仪表板上,并且可以实时绘制信息。事实证明,FAIS是一个强大的和用户友好的工具,用于在区域范围内进行洪水数据分析,可以帮助利益攸关方快速评估洪水情况和损失。FAIS还提供洪水频率分析(FFA),以估计洪水分位数,包括相关的不确定性,结合了观测分析,随机概率分布和设计重现期的元素。FAIS是公开可用的,并部署在Clemson-IBM云服务上。
2021-11-30 cs.AI cs.DB cs.LG
Transparent, Evaluable, and Accessible Data Agents: A Proof-of-Concept Framework
University Health Network (UHN)(大学健康网络)
本文提出模块化、可解释且带自动评估的数据智能体框架,利用 BigQuery 将自然语言转为可审计查询,并在保险理赔案例中验证其可靠性。
2025-09-28 cs.AI cs.DB
A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)
COVID-19的快速全球传播推动了大数据分析的创新工具。这些指导了卫生行业所有领域的组织跟踪和最大限度地减少病毒的影响。研究人员需要通过人工智能、机器学习和自然语言处理来检测冠状病毒,并对这种疾病有一个完整的了解。COVID-19发生在世界上不同的国家,只有大数据应用和NOSQL数据库的工作才适合。有很多平台用于处理NOSQL数据库模型,如:Spark,H2O和Hadoop HDFS/MapReduce,它们适合控制和管理大量数据。大型应用程序开发人员面临许多挑战,特别是那些通过不同API和查询使用混合数据模型处理COVID-19数据库的程序员。在这种情况下,本文提出了一个存储框架,用于处理COVID-19数据集的SQL和NOSQL数据库(COVID-QF),以便通过减少处理时间来处理和处理病毒在全球范围内传播引起的问题。对于NoSQL数据库,COVID-QF使用Hadoop HDFS/Map Reduce和Apache Spark。COVID-QF由三层组成:数据汇集层、存储层和查询处理层。数据收集在数据汇集层。存储层将数据划分为数据存储和处理块的集合,并将火花机的连接器与不同的数据库引擎连接,以减少存储和检索的时间。而处理层执行请求查询并发送结果。该框架使用了三个随时间增加的COVID-19数据集(COVID-19-Merging,COVID-19-inside-Hubei和…
2020-05-25 cs.DB cs.DC
Fast Data in the Era of Big Data: Twitter's Real-Time Related Query Suggestion Architecture
我们提出了Twitter的实时的【形】相关查询建议和拼写纠正服务背后的架构。虽然这些任务在网络搜索文献中受到了很多关注,但Twitter上下文引入了一个实时的【形】“扭曲”:在重大突发新闻事件发生后,我们的目标是在几分钟内提供相关结果。本文提供了一个案例研究,说明了“大数据”时代实时的【形】数据处理的挑战。我们讲述了我们的系统是如何构建两次的故事:我们的第一个实现是构建在一个典型的基于Hadoop的分析堆栈上的,但后来被替换了,因为它不符合生成有意义的实时的【形】结果所需的延迟要求。第二个实现是部署在生产环境中的系统,是专门为任务设计的自定义内存处理引擎。这一经验告诉我们,Hadoop目前作为“大数据”平台的典型用途虽然非常适合实验,但并不适合低延迟处理,并为未来处理“大”和“快”数据的数据分析平台指明了方向。
2012-10-27 cs.DB cs.IR
DualTable: A Hybrid Storage Model for Update Optimization in Hive
Hive是Hadoop生态系统中最成熟和流行的数据仓库工具,提供类似SQL的接口。它在许多互联网公司中得到成功应用,并显示出其对传统行业大数据处理的价值。然而,智能电网应用中的企业大数据处理系统通常需要复杂的业务逻辑,并涉及许多数据操作操作,如更新和删除。Hive无法在保持高查询性能的同时提供足够的支持。Hive使用Hadoop分布式文件系统(HDFS)存储,不能有效地实现数据操作,而Hive在HBase上虽然可以支持更快的数据操作,但查询性能很差。有一个基于Hive的项目issue Hive-5317来支持更新操作,但在Hive的最新版本中还没有完成。由于该ACID兼容扩展在HDFS上采用相同的数据存储格式,因此无法解决更新性能问题。在本文中,我们提出了一个混合存储模型称为DualTable,它结合了高效的HDFS的流式读取和HBase的随机写入能力。DualTable上的Hive提供了更好的数据操作支持,同时保留了查询性能。在TPC-H数据集和实际智能电网数据集上的实验表明,在执行更新和删除操作时,DualTable上的Hive比Hive快10倍。
2014-12-01 cs.DB cs.DC
Incremental Query Processing on Big Data Streams
本文讨论了分布式流处理引擎(DSPE)上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比,我们得到的增量程序返回准确的结果,而不是近似的答案。这是通过在查询计算生存期内保留最小状态,并使用增量计算技术在每个时间间隔(取决于当前状态和最新批次的数据)返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询,包括迭代和嵌套查询、具有聚合的分组和等价连接。最后,我们报告了我们的框架的原型实现,称为MRQL流,运行在Spark之上,我们通过实验验证了我们的方法的有效性。
2016-03-06 cs.DB cs.DC