Big Data Energy Systems: A Survey of Practices and Associated Challenges
本文综述能源系统大数据管理实践，分析传统及 NoSQL、云平台方案的局限，并探讨数据空间、P2P、区块链等技术在共享与合规中的机遇和挑战。
2025-07-25 cs.DB cs.DC
DualTable: A Hybrid Storage Model for Update Optimization in Hive
Hive是Hadoop生态系统中最成熟和流行的数据仓库工具，提供类似SQL的接口。它在许多互联网公司中得到成功应用，并显示出其对传统行业大数据处理的价值。然而，智能电网应用中的企业大数据处理系统通常需要复杂的业务逻辑，并涉及许多数据操作操作，如更新和删除。Hive无法在保持高查询性能的同时提供足够的支持。Hive使用Hadoop分布式文件系统（HDFS）存储，不能有效地实现数据操作，而Hive在HBase上虽然可以支持更快的数据操作，但查询性能很差。有一个基于Hive的项目issue Hive-5317来支持更新操作，但在Hive的最新版本中还没有完成。由于该ACID兼容扩展在HDFS上采用相同的数据存储格式，因此无法解决更新性能问题。在本文中，我们提出了一个混合存储模型称为DualTable，它结合了高效的HDFS的流式读取和HBase的随机写入能力。DualTable上的Hive提供了更好的数据操作支持，同时保留了查询性能。在TPC-H数据集和实际智能电网数据集上的实验表明，在执行更新和删除操作时，DualTable上的Hive比Hive快10倍。
2014-12-01 cs.DB cs.DC
A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)
COVID-19的快速全球传播推动了大数据分析的创新工具。这些指导了卫生行业所有领域的组织跟踪和最大限度地减少病毒的影响。研究人员需要通过人工智能、机器学习和自然语言处理来检测冠状病毒，并对这种疾病有一个完整的了解。COVID-19发生在世界上不同的国家，只有大数据应用和NOSQL数据库的工作才适合。有很多平台用于处理NOSQL数据库模型，如：Spark，H2O和Hadoop HDFS/MapReduce，它们适合控制和管理大量数据。大型应用程序开发人员面临许多挑战，特别是那些通过不同API和查询使用混合数据模型处理COVID-19数据库的程序员。在这种情况下，本文提出了一个存储框架，用于处理COVID-19数据集的SQL和NOSQL数据库（COVID-QF），以便通过减少处理时间来处理和处理病毒在全球范围内传播引起的问题。对于NoSQL数据库，COVID-QF使用Hadoop HDFS/Map Reduce和Apache Spark。COVID-QF由三层组成：数据汇集层、存储层和查询处理层。数据收集在数据汇集层。存储层将数据划分为数据存储和处理块的集合，并将火花机的连接器与不同的数据库引擎连接，以减少存储和检索的时间。而处理层执行请求查询并发送结果。该框架使用了三个随时间增加的COVID-19数据集（COVID-19-Merging，COVID-19-inside-Hubei和…
2020-05-25 cs.DB cs.DC
An Extended Classification and Comparison of NoSQL Big Data Models
在过去的几年里，数据量增长了许多倍。以Facebook、Twitter等社交媒体为代表的各种不同的潜在数据出口已经淹没了数据存储。现有的数据模型在很大程度上无法充分发挥大数据的潜力;可能作为解决若干复杂问题的关键解决方案的信息尚未得到开发。现有的计算能力不足以满足日益扩大的存储容量。无组织数据的快速体积膨胀需要在新时代的数据计算的一个完整的范式转变，并见证了新的能力的数据工程技术，如捕获，策展，可视化，分析等的演变。在本文中，我们提供了现代大数据模型的第一级分类。还讨论了每个分类的一些主要代表，这些代表声称以可靠和有效的方式最好地处理大数据。此外，通过对所采用的大数据模型进行类内和类间比较和讨论，进一步加强了分类。
2015-10-06 cs.DB
Characterizing Big Data Management
University of São Paulo（圣保罗大学）
大数据管理是许多领域中越来越多的组织的现实，并且代表了涉及大数据建模、存储和检索、分析和可视化的一系列挑战。然而，技术资源、人员和流程对于促进任何类型组织的大数据管理至关重要，可以从大量数据中获得信息和知识来支持决策。大数据管理可以通过技术、人员和流程这三个维度来支撑。因此，本文讨论了这些维度：与大数据的存储，分析和可视化相关的技术维度;大数据的人性化方面;以及，此外，涉及技术和业务方法的流程管理维度-大数据管理方面。
2022-01-15 cs.AI cs.CY cs.DB
Odysseus/DFS: Integration of DBMS and Distributed File System for Transaction Processing of Big Data
关系数据库管理系统（RDBMS）由于支持O/S文件系统中不存在的SQL、模式、索引和事务等各种高级功能而得到广泛使用。但是，最近大数据技术的出现促进了牺牲DBMS功能以有效管理大规模数据的新系统的开发。这些所谓的NoSQL系统使用分布式文件系统，支持可伸缩性和可靠性。它们通过将数据存储到大量低成本商品硬件中来支持系统的可扩展性，并通过将数据存储在副本中来支持可靠性。然而，它们有一个缺点，即它们不能充分支持高级DBMS功能。在本文中，我们提出了一个体系结构的DBMS，使用DFS作为存储。通过这种新的体系结构，DBMS能够支持DFS的可扩展性和可靠性以及DBMS的高级功能。因此，DBMS可以利用DFS提供的几乎无限的存储空间，使其适用于大数据分析。作为DBMS体系结构的一部分，我们提出了Meta DFS文件的概念，它允许DBMS使用DFS作为存储，以及一个有效的事务管理方法，包括恢复和并发控制。我们在Odysseus/DFS中实现了这种体系结构，Odysseus关系数据库管理系统的集成，已经在KAIST开发了24年多，与DFS。我们对事务处理的实验表明，由于Odysseus/DFS的高级功能，它优于Hbase，这是一个代表性的开源NoSQL系统。我们还表明，与具有本地存储的RDBMS相比，Odysseus/DFS的性能相当或略有下降，表明Odysseus/DFS通过使用DFS作为存储来…
2014-06-02 cs.DB
Semantic Intelligence in Big Data Applications
今天，数据正在以惊人的速度增长，根据国际数据公司的数据，预计到2025年将达到175泽字节。国际数据公司还预测，到2025年，全球将有超过1500亿台设备连接，其中大部分将实时创建数据，而物联网设备将创建90泽字节的数据。大量的数据为现代企业创造了一些新的机会，特别是在分析更广泛意义上的企业价值链方面。为了利用真实数据的潜力并在传感数据之上构建智能应用程序，基于物联网的系统集成了领域知识和上下文相关信息。语义智能（Semantic Intelligence）是一种弥合人类和计算机理解之间的语义鸿沟的过程，它教会机器像人类一样以面向对象的概念进行思考。语义智能技术是开发人工智能知识系统的最重要组成部分，因为它们可以帮助机器根据上下文智能地集成和处理资源。本章旨在揭开分布式、企业和基于Web的信息系统中语义智能的神秘面纱。它还讨论了利用语义，处理大规模数据和解决不同工业应用中的挑战（例如异构性，互操作性，机器学习可解释性）的突出工具。
2021-07-08 cs.DB
Cold Storage Data Archives: More Than Just a Bunch of Tapes
从地球观测计划、射电天文学巡天和高能物理等大型科学实验中获得的大量可用传感器和衍生数据已经超过了全球每年制造的存储硬件。为此，冷存储数据归档是科学、数据密集型应用领域中现代大数据分析的先锋，但经常被忽视。虽然高性能数据分析受到了研究界的广泛关注，但在设计和部署冷存储归档方面越来越多的问题却很少受到关注。在本文中，我们采取的第一步弥合这一差距的知识，提出了四个现实世界的冷存储档案从三个不同的应用领域的分析。在此过程中，我们强调了（i）将这些归档与传统的性能敏感型数据分析区分开来的工作负载特征，（ii）为这些归档构建冷存储系统所涉及的设计权衡，以及（iii）迁移到公共云的部署权衡。基于我们的分析，我们讨论了其他几个重要的研究挑战，需要解决的数据管理社区。
2019-04-09 cs.DB cs.DC
Big Data: Understanding Big Data
史蒂夫·乔布斯，我们这个时代最伟大的梦想家之一，在1996年被引用说：“很多时候，人们不知道他们想要什么，直到你向他们展示它”[38]，这表明他提倡产品开发基于人类的直觉，而不是研究。随着移动设备、社交网络和物联网的发展，大量复杂的结构化和非结构化数据正在被捕获，希望使组织能够做出更好的业务决策，因为数据现在对组织的成功至关重要。这些大量的数据被称为大数据，当适当地处理和分析时，它可以使竞争对手获得竞争优势。然而，大数据分析有一些问题，包括数据生命周期管理，隐私和安全以及数据表示。本文回顾了大数据的基本概念，数据存储域，用于处理这些大型数据集的MapReduce编程范式，并重点介绍了两个案例研究，展示了大数据分析的有效性，并介绍了如果处理得当，它如何在未来发挥更大的作用。
2016-01-15 cs.DB cs.DC
BVLSM: Write-Efficient LSM-Tree Storage via WAL-Time Key-Value Separation
本文提出 BVLSM，在 WAL 阶段提前分离键值并以轻量元数据和多队列并行存储大值，从而降低 LSM 键值存储的写放大、内存浪费与 I/O 抖动。
2025-06-09 cs.DB
Big Data Systems Meet Machine Learning Challenges: Towards Big Data Science as a Service
最近，我们目睹了我们在几乎所有事情中常规生成和收集的数据规模的巨大进步，以及我们利用现代技术处理，分析和理解这些数据的能力。这些趋势的交叉点现在被称为大数据科学。云计算代表了一种实用且经济高效的解决方案，用于支持大数据存储、处理和复杂的分析应用程序。我们详细分析了支持大数据科学作为数据科学家商品服务的软件堆栈的构建块。我们提供有关该领域最新持续发展和开放挑战的各种见解。
2017-09-21 cs.DB
Big Data: Challenges, Opportunities and Realities
随着物联网（IoT）和Web 2.0技术的出现，生成的数据量大幅增长。本章强调了对大数据的需求，讨论了用于处理大数据的技术进步、工具和技术。技术改进和现有的存储技术的局限性也提出。由于传统技术如关系数据库管理系统（RDBMS）在处理大数据方面有其自身的局限性，因此开发了新技术来处理它们并获得有用的见解。本章概述了大数据分析、其应用、优势和局限性。本章提出了一些研究问题和未来的发展方向。
2017-05-14 cs.DB
Statistical Validity and Consistency of Big Data Analytics: A General Framework
信息学和技术进步引发了大量数据的产生，其管理和分析具有不同的复杂性。大数据分析是揭示数据隐藏的方面并从中进行推理的实践。尽管通过高效的算法和系统开发，大数据的存储、检索和管理似乎是可能的，但鉴于其特定的特点，统计一致性问题仍然需要解决。由于大数据不符合标准分析，我们需要适当修改现有的统计理论和工具。在这里，我们提出了一个通用的统计框架和大数据分析的算法原则，以确保结论的统计准确性。拟议的框架有可能推动大数据分析朝着正确的方向发展。这里提出的划分-重复方法足够广泛，可以涵盖所有实际的数据分析问题。
2018-03-29 cs.DB cs.DC stat.ME
Bivariate, Cluster and Suitability Analysis of NoSQL Solutions for Different Application Areas
大数据系统开发充满了挑战，因为该技术承诺服务于各种应用领域和领域。通常，大数据系统设计中涉及的基本设计决策包括选择适当的存储和计算基础设施。在这个异构系统的时代，集成不同的技术来开发针对特定现实世界问题的优化解决方案，大数据系统也不例外。就任何大数据系统的存储方面而言，这方面的主要方面是存储基础设施，NoSQL是满足其需求的正确技术。然而，每个大数据应用程序都具有可变的数据特征，因此，相应的数据适合不同的数据模型。此外，不同应用程序的要求因预算和功能而异。本文对80种NoSQL解决方案进行了功能分析，详细阐述了开发人员在做出可能的选择时必须考虑的标准和要点。对为所识别的NoSQL解决方案创建的数据集进行双变量分析，以建立9个特征之间的关系。此外，使用数据集的聚类分析来创建解决方案的类别，以提供统计支持的分类方案。最后，对不同解决方案的应用进行了审查，并按特定领域分类。使用随机森林分类来确定应用程序的最相关特征，并且相应地提出了基于决策树的预测模型，以Web应用程序的形式实现和部署，以确定NoSQL解决方案对应用领域的适用性。
2019-11-01 cs.DB
Big Data Technology Accelerate Genomics Precision Medicine
在基因组学生命科学研究中，整个基因组学和生命科学算法的数据量越来越大，以TB、PB或EB等计算，如何以最优化的方式存储和分析这些数据将是关键问题。本文展示了英特尔大数据技术和架构如何在数据存储和利用方面帮助促进和加速基因组学生命科学研究。英特尔为变异调用数据查询定义了高性能GenomicsDB，为基因组数据存储定义了具有分层存储管理的Lustre文件系统。基于这些伟大的技术，英特尔定义了基因组学知识共享和交换架构，并在华大基因中国和上海儿童医院落地验证，获得了非常积极的反馈。这些大数据技术绝对可以扩展到世界上更多的基因组学生命科学合作伙伴。
2017-01-29 cs.DB
Overlook: Differentially Private Exploratory Visualization for Big Data
提供差分隐私的数据探索系统必须管理隐私预算，以衡量跨多个查询丢失的隐私量。管理隐私预算的一个有效策略是计算数据的一次性私有概要，用户可以对其进行无限次的查询。然而，使用概要的现有系统是为离线用例构建的，其中一组查询是提前已知的，并且系统仔细地为其优化概要。这些系统构建的概要计算成本高，并且存储成本也高。我们介绍了Overlook，这是一个系统，可以在交互式平台上为数据分析师和数据管理员提供私人数据探索。Overlook的关键思想是一个虚拟的概要，可以增量评估，而无需额外的空间存储或昂贵的预先计算。Overlook只是使用现有引擎（如SQL DBMS）执行查询，并在结果中添加噪声。由于Overlook的概要不需要昂贵的预先计算或存储，数据管理员还可以使用Overlook交互式地探索隐私参数的影响。Overlook提供了一个基于开源Hillview系统的丰富的可视化查询界面。Overlook实现了与现有基于概要的系统相当的准确性，同时提供了更好的性能并消除了对额外存储的需求。
2020-06-22 cs.CR cs.DB
BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework
大数据被认为是公司、组织甚至国家的专有资产。把大数据变成真正的宝藏，需要大数据系统的支撑。各种商业和开源产品已经被释放用于大数据存储和处理。当大数据用户面临选择最适合他们需求的系统时，大数据系统开发人员面临的问题是如何根据一般大数据处理需求评估他们的系统。系统基准测试是满足上述需求的经典方法。然而，现有的大数据基准测试要么无法代表各种大数据处理需求，要么只针对一个特定的平台，例如Hadoop。在本文中，与我们的工业合作伙伴，我们提出了BigOP，一个端到端的系统基准测试框架，具有代表性的操作集，工作负载模式和规定的测试的抽象。BigOP是开源大数据基准测试项目BigDataBench的一部分。BigOP的抽象模型不仅指导了BigDataBench的开发，还支持自动生成具有全面工作负载的测试。我们通过实现一个自动测试生成工具和对三个广泛使用的大数据处理系统，即Hadoop，Spark和MySQL集群进行基准测试来说明BigOP的可行性。针对三种不同的应用场景规定了三个测试。测试涉及关系数据、文本数据和图形数据，以及所有操作和工作负载模式。我们按照测试规范报告结果。
2017-12-27 cs.DB cs.DC cs.PF
A Survey on Array Storage, Query Languages, and Systems
由于科学研究是大量有序数据的最重要提供者之一，因此在大数据背景下对阵列数据处理的兴趣重新燃起。据我们所知，一个统一的资源，总结和分析阵列处理研究在其长期存在的是目前失踪。在这次调查中，我们提供了一个指南，过去，现在和未来的研究在阵列处理。调查围绕三个主要主题进行。数组存储讨论了与数组分区成块相关的所有方面。在多个这样的建议，分析了一组减少数组运算符的识别，形成数组查询语言的基础。最后，我们调查实际系统的阵列处理。其结果是对阵列数据存储和处理的全面调查，任何对此研究主题感兴趣的人都应该咨询，无论经验水平如何。但调查并不完整。我们非常感谢对我们可能忘记提到的任何工作的指点。
2013-02-19 cs.DB
A Minimal Variance Estimator for the Cardinality of Big Data Set Intersection
近年来，人们对开发用于连续数据流的高效处理和查询的“流算法”越来越感兴趣。这些算法寻求提供准确的结果，同时最大限度地减少所需的存储和处理时间，在其输出中的一个小的不准确性的代价。感兴趣的基本查询是两个大数据流的交集大小。这个问题出现在许多不同的应用领域，如网络监控，数据库系统，数据集成和信息检索。在本文中，我们开发了一个新的算法，这个问题的基础上，最大似然法（ML）。我们表明，该算法优于所有已知的计划，它渐近达到最佳的方差。
2016-06-03 cs.DB cs.DS
The BigDAWG Polystore System and Architecture
组织经常面临为可能具有不同底层数据和编程模型的大型异构数据集提供数据管理解决方案的挑战。例如，医疗数据集可以具有非结构化文本、关系数据、时间序列波形和图像。试图将这些数据集放入单个数据管理系统中可能会对性能和效率产生不利影响。作为英特尔大数据科学技术中心的一部分，我们正在开发一种针对此类问题设计的聚合存储系统。BigDAWG（Big Data Analytics Working Group的缩写）是一个聚合存储系统，旨在处理自然跨越不同处理或存储引擎的复杂问题。BigDAWG提供了一种体系结构，支持使用不同数据模型的各种数据库系统，通过岛和提供统一多岛接口的中间件支持位置透明性和语义完整性的竞争概念。BigDAWG系统应用于医疗数据集的原型的初步结果验证了polystore概念。在本文中，我们将描述polystore数据库，当前的BigDAWG架构及其在MIMIC II医疗数据集上的应用，初始性能结果以及我们未来的发展计划。
2016-09-24 cs.DB
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs（英特尔实验室）
我们引入了可视化数据管理系统（VDMS），它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的，并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同，因为其主要关注于支持使用视觉数据（图像、视频和特征向量）的机器学习和数据分析管道，将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS，以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
Role of Bloom Filter in Big Data Research: A Survey
大数据是最流行的新兴趋势，成为人类的福祉，是日常生活的必需品。比如Facebook。每个人都直接或间接地参与生产数据。因此，大数据是由各种数据组成的具有指数增长率的大量数据。大数据涉及所有领域，包括政府部门，IT行业，商业，经济，工程，生物信息学和其他基础科学。因此，大数据形成了一个数据筒仓。大多数数据是重复的和非结构化的。为了处理这种数据孤岛，Bloom Filter是一种宝贵的资源，可以过滤掉重复数据。此外，在大数据存储系统中，布隆过滤器是不可避免的，以优化内存消耗。毫无疑问，布隆过滤器使用少量的内存空间来过滤非常大的数据量，并且它存储了大量数据的信息。然而，布隆过滤器的功能限于成员资格过滤器，但它可以适用于各种应用。此外，Bloom Filter被广泛应用于不同的领域，也被用于跨学科的研究领域。例如生物信息学。在本文中，我们将展示Bloom Filter在大数据研究中的有用性。
2019-03-15 cs.DB
Compact Representations for Efficient Storage of Semantic Sensor Data
如今，由各种传感器和设备生成的传感器数据的数量迅速增加。数据语义促进了多个传感器和设备之间的信息交换、适应性和互操作性。传感器数据及其含义可以使用本体来描述，例如，语义传感器网络（SSN）本体。尽管如此，语义丰富，语义传感器数据的大小基本上大于原始传感器数据。此外，一些测量值可以被传感器多次观察到，并且可以产生关于传感器数据的大量重复事实。我们提出了一个紧凑的或因式分解表示的语义传感器数据，重复的测量值只描述一次。此外，这些紧凑的表示能够增强语义传感器数据的存储和处理。为了扩展到大型数据集，利用基于因子分解的表格表示来使用大数据技术存储和管理因子分解的语义传感器数据。我们实证研究的有效性语义传感器的建议紧凑的表示和它们对查询处理的影响。此外，我们评估的影响，存储不同的RDF实现的建议表示。结果表明，所提出的紧凑表示授权的传感器数据的存储和查询处理在不同的RDF实现，并高达两个数量级可以减少查询执行时间。
2020-11-19 cs.DB
A Survey on Sampling and Profiling over Big Data (Technical Report)
由于互联网技术和计算机科学的发展，数据正以指数级的速度爆炸。大数据给我们带来了新的机遇和挑战。一方面，我们可以对大数据进行分析和挖掘，发现隐藏的信息，获得更多的潜在价值。另一方面，大数据的5V特性，特别是Volume（海量数据），给存储和处理带来了挑战。对于一些传统的数据采掘算法、机器学习算法和数据剖析任务来说，处理如此大量的数据是非常困难的。大量的数据对硬件资源的要求很高，并且非常耗时。采样方法可以有效地减少数据量，并有助于加快数据处理速度。因此，采样技术已被广泛研究并用于大数据环境中，例如，确定样本量的方法，将抽样与大数据处理框架相结合。数据剖析是发现数据集的元数据的活动，并且具有许多用例，例如，对关系数据、图形数据和时间序列数据执行数据剖析任务，以进行异常检测和数据修复。然而，数据分析在计算上是昂贵的，特别是对于大型数据集。因此，本文重点研究大数据环境下的抽样和分析，并研究抽样在不同类别的数据分析任务中的应用。从这些研究的实验结果来看，从采样数据得到的结果接近甚至超过了全部数据量的结果。因此，采样技术在大数据时代扮演着重要的角色，我们也有理由相信，采样技术将成为未来大数据处理中不可或缺的一步。
2020-05-08 cs.DB
Mr. Plotter: Unifying Data Reduction Techniques in Storage and Visualization Systems
随着数据汇集的速度持续快速增长，开发可扩展到巨大数据集的可视化工具是一个严峻且不断增长的挑战。现有的方法通常寻求解耦存储和可视化系统，执行即时数据减少以透明地避免可视化器过载。我们提出了一种新的体系结构，其中可视化和数据存储是紧密耦合的。与从存储中读取原始数据的系统不同，我们的系统的性能与最终可视化的大小呈线性关系，基本上与数据的大小无关。因此，它可以扩展到大量数据集，同时支持交互性能（低于100 ms的查询延迟）。这使得一类新的可视化客户端能够自动管理数据，快速透明地从底层数据库请求数据，而无需用户显式地发起查询。它为支持大数据的真正交互式探索奠定了基础，并为可扩展信息可视化系统的研究开辟了新的方向。
2021-06-23 cs.DB cs.HC
Qd-tree: Learning Data Layouts for Big Data Analytics
Microsoft Research（微软研究院）；Microsoft（微软公司）；University of California, Berkeley（加州大学伯克利分校）
如今，企业以前所未有的速度收集数据，这使得在大型数据集上运行查询的需求变得越来越重要。诸如基于列块的数据组织和压缩之类的技术已经成为大多数商业数据库系统中的标准实践。然而，如何将记录最好地分配给存储器上的数据块的问题仍然没有解决。例如，今天的系统通常通过到达时间将数据划分为行组，或者基于所选字段对数据进行范围/散列划分。然而，对于给定的工作负载，这样的技术不能针对由查询访问的块的数量的重要度量进行优化。这个指标直接关系到I/O成本，因此也关系到大多数分析查询的性能。此外，他们无法利用额外的可用存储来进一步降低这一指标。在本文中，我们提出了一个新的框架，称为查询数据路由树，或qd树，以解决这个问题，并提出了两个算法，其建设的基础上贪婪和深度强化学习技术。在基准测试和真实工作负载上的实验表明，与当前的阻塞方案相比，QD树可以提供超过一个数量级的物理加速，并且可以达到基于选择性的数据跳过下限的2倍以内，同时提供创建块的完整语义描述。
2020-04-22 cs.DB cs.DS cs.LG
Accelerating Big-Data Sorting Through Programmable Switches
排序是一个基本的和研究得很好的问题，已被广泛研究。排序在数据库领域起着重要的作用，因为如果首先对关系进行排序，则可以更快地服务于许多查询。数据库中最流行的排序算法之一是归并排序。在现代数据中心中，数据存储在存储服务器中，而处理发生在计算服务器中。因此，为了计算对数据的查询，它必须通过网络从存储服务器传输到计算服务器。这为利用可编程交换机执行部分排序以加速服务器侧的排序过程创造了可能性。这是可能的，因为如上所述，数据包在任何情况下都要通过交换机到达服务器。可惜的是，可编程交换机提供了一个非常有限和非直观的编程模型，这就是为什么实现这一点并不容易。我们设计了一种新的部分排序算法，适合编程模型和可编程交换机的限制，可以加快归并排序在服务器上。我们还利用交换机中的内置并行性将数据划分为顺序范围。因此，服务器需要分别对每个范围进行排序，然后将它们连接到一个已排序的流。这样，服务器需要对较小的部分进行排序，并且这些部分中的每一个都已经部分排序。因此，服务器做的工作更少，访问模式变得对虚拟内存更友好。我们评估了性能的改善时，利用我们的部分排序算法在几个数据流组合与各种开关配置。我们的研究表明，使用我们的方法相比，在原始流上的普通排序的排序运行时间的20%-75%的改善。
2021-03-25 cs.DB cs.NI
Designing and Implementing Data Warehouse for Agricultural Big Data
University College Dublin（都柏林大学学院）
近年来，利用现代信息和通信技术的精准农业正变得非常流行。原始和半加工的农业数据通常通过各种来源收集，例如：物联网（IoT）、传感器、卫星、气象站、机器人、农业设备、农民和农业企业等。此外，农业数据集非常庞大、复杂、非结构化、异构、非标准化和不一致。因此，农业数据采掘在数量、种类、速度和准确性上都被认为是大数据应用。它是建立作物智能平台的关键基础，这将使资源有效的农艺决策和建议。本文结合Hive、MongoDB和Cassandra设计并实现了一个大陆级农业数据仓库。我们的数据仓库功能：（1）灵活图式;（2）来自真实农业多数据集的数据集成;（3）数据科学和业务智能支持;（4）高性能;（5）高存储;（6）安全性;（7）治理和监控;（8）复制和恢复;（9）一致性、可用性和分区容忍;（10）分布式和云部署。我们还评估了我们的数据仓库的性能。
2019-05-29 cs.AI cs.DB cs.LG
