Sampling Based Approximate Skyline Calculation on Big Data

容错大数据处理

Error-Tolerant Big Data Processing

真实世界的数据包含各种错误。在分析数据之前，通常需要处理原始数据。然而，传统的基于精确匹配的数据处理往往会遗漏大量的有效信息。为了得到高质量的分析结果，适应大数据时代的要求，本文对大数据容错处理进行了研究。由于现实世界中的大部分数据都可以表示为一个序列或一个集合，本文利用广泛使用的基于序列和基于集合的相似函数来容忍数据处理中的错误，研究了近似实体提取、相似连接和相似搜索问题。本文的主要贡献包括：1.本文提出了一个统一的框架，同时支持基于序列和基于集合的相似性函数的近似实体提取。实验结果表明，该统一框架可以将现有方法提高1 ~ 2个数量级。2.本文分别针对序列相似连接和集合相似连接设计了两种方法。对于序列相似性连接，本文提出了将序列均匀划分为段的方法。只有当一个序列的子序列与另一个序列的片段相同时，才能保证两个序列相似。对于集合的相似连接，本文提出了基于论域的划分方法。本文对这两种基于划分的方法进行了进一步的扩展，使其能够支持大规模数据处理框架Map-Reduce和Spark。基于划分的方法赢得了EDBT举办的字符串相似性连接比赛，并击败了第二名10倍。3.本文提出了一种关键的前缀过滤技术来解决序列相似性搜索问题。本文的研究表明，关键前缀滤波器与现有的滤波器相比，具有更强的剪枝能力和更低的滤波代价。

SUM聚集体的有效谱系

Efficient Lineage for SUM Aggregate Queries

人工智能系统通常基于对数据属性的聚合和特别是求和函数的计算（表示为查询）来做出决策并找到数据中的模式。当这些查询涉及整个数据或大部分数据时，这种计算可能会变得昂贵甚至低效，特别是当我们处理大数据时。新型的智能分析还需要解释为什么会发生某些事情。在本文中，我们提出了一种随机算法，构建了一个小的数据摘要，称为聚合血统，它可以很好地近似和解释所有的总和与大值的时间，只取决于它的大小。聚合世系的大小实际上与原始数据的大小无关。我们的算法不假设任何知识的总和查询集近似。

有质量保证的大数据等深度直方图构建

Equi-depth Histogram Construction for Big Data with Quality Guarantees

在云系统中生成和存储的数据量一直在呈指数级增长。数据的示例包括用户生成的数据、机器生成的数据以及从互联网抓取的数据。有几个框架已经证明了存储和处理PB级数据的效率，例如Apache Hadoop，HDFS和几个NoSQL框架。这些系统已广泛应用于工业中，因此进行了几项研究。拟议的数据处理技术应与上述框架兼容，以便实用。其中一个关键的数据操作是导出等深度直方图，因为它们对于理解底层数据的统计特性至关重要，具有许多应用，包括查询优化。本文针对大数据的近似等深度直方图构造问题，提出了一种基于合并的直方图构造方法，该方法采用直方图处理框架，在给定时间间隔内构造等深度直方图。该方法通过合并分区数据的精确等深度直方图来构造近似等深度直方图，保证桶中项目数（桶大小）以及直方图上任何范围的最大误差界。

Approximate sorting and its application in I/O model

The approximate sorting for big data is considered in this paper. The goal of approximate sorting for big data is to generate an approximate sorted result, but using less CPU and I/O cost. For big data, we consider the approximate sorting in I/O model. The existing metrics on permutation space are not available for external approximate sorting algorithms. Thus, we propose a new kind of metric named External metric, which ignores the errors and dislocation that happened in each I/O block.The External Spearmans footrule metric is an example of external metric for Spearmans footrule metric. Furth…

水平数据联邦上的隐私近似查询

Private Approximate Query over Horizontal Data Federation

针对水平联邦多维数据的范围查询，本文结合AQP与DP，提出数据分布感知的在线采样方法，在保证精度与形式化隐私的同时实现最高8倍加速。

大数据流上的增量查询处理

Incremental Query Processing on Big Data Streams

本文讨论了分布式流处理引擎（DSPE）上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比，我们得到的增量程序返回准确的结果，而不是近似的答案。这是通过在查询计算生存期内保留最小状态，并使用增量计算技术在每个时间间隔（取决于当前状态和最新批次的数据）返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询，包括迭代和嵌套查询、具有聚合的分组和等价连接。最后，我们报告了我们的框架的原型实现，称为MRQL流，运行在Spark之上，我们通过实验验证了我们的方法的有效性。

Updatable Materialization of Approximate Constraints

Modern big data applications integrate data from various sources. As a result, these datasets may not satisfy perfect constraints, leading to sparse schema information and non-optimal query performance. The existing approach of PatchIndexes enable the definition of approximate constraints and improve query performance by exploiting the materialized constraint information. As real world data warehouse workloads are often not limited to read-only queries, we enhance the PatchIndex structure towards an update-conscious design in this paper. Therefore, we present a sharded bitmap as the underlying…

一种使用多模型线性回归的高效大数据分析方法

An Efficient Data Analysis Method for Big Data using Multiple-Model Linear Regression

本研究提出基于多模型线性回归的大数据分析方法，搭配基于$(ε,δ)$-估计量的近似构建算法，兼具线性时间复杂度与可比的预测性能，效率更优。

LAQP：基于学习的近似查询处理

LAQP: Learning-based Approximate Query Processing

由于数据量的快速增长，对大数据的查询是一项具有挑战性的任务。近似查询处理（AQP）是满足快速响应要求的一种方法。在本文中，我们提出了一种基于学习的AQP方法称为LAQP。LAQP建立一个从历史查询中学习的误差模型，以预测每个新查询的基于采样的估计误差。它结合了基于采样的AQP、预先计算的聚合和学习误差模型，以小的离线样本提供高精度的查询估计。实验结果表明，我们的LAQP优于基于采样的AQP，基于预聚合的AQP和最新的基于学习的AQP方法。

基于规则和字典的解决方案，用于社交网络、大数据、会计系统和大型数据库中书面阿拉伯姓名的变化

Rule-and Dictionary-based Solution for Variations in Written Arabic Names in Social Networks, Big Data, Accounting Systems and Large Databases

本文探讨了一些阿拉伯名字可以用多种方式书写的问题。当某人只搜索名称的一种形式时，精确匹配或近似匹配都不适合返回名称的多个变体。精确匹配要求用户输入所有形式的名称进行搜索，而近似匹配产生的名称不属于正在搜索的名称的变体。在本文中，我们试图解决这个问题的字典映射到他们不同的（替代）写作形式的所有阿拉伯名字。我们根据我们从审查990万约旦公民和前公民的名字中得出的规则生成了替代方案。这本字典既可以用于标准化的书面形式时，插入一个新的名称到数据库中，并为搜索的名称及其所有替代的书面形式。根据规则自动创建字典导致至少7%的错误接受错误和7.9%的错误拒绝错误。我们通过手动编辑词典来解决这些错误。该词典可以帮助现实世界的数据库，条件是手工编辑不能保证100%的正确性。