SOCRATES: A System For Scalable Graph Analytics
Cetin Savkli, Ryan Carr, Matthew Chapman, Brant Chee, David Minch
提出了一种分布式语义图处理系统，该系统提供局部控制、索引、图查询和并行处理能力。
A distributed semantic graph processing system that provides locality control, indexing, graph query, and parallel processing capabilities is presented.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Big Data Analytic based on Scalable PANFIS for RFID Localization
RFID技术已经得到普及，以解决本地化问题，在制造车间，由于其负担得起的，易于部署。该技术用于跟踪制造对象的位置，以提高生产效率。然而，用于定位任务的数据是不容易分析，因为它是从非平稳环境中产生的。它还随着时间的推移不断到达并产生大量数据。因此，需要先进的大数据分析来克服这个问题。提出了一种基于PANFIS（Scalable PANFIS）的分布式大数据分析框架，其中PANFIS是一种进化算法，具有单遍学习数据流的能力。可扩展的PANFIS可以通过处理数据流的多个块/分区来学习大数据流。可扩展的PANFIS还配备了规则结构合并，以消除规则之间的冗余。可扩展的PANFIS通过测量其与单个PANFIS和其他Spark可扩展机器学习算法的性能来验证。实验结果表明，可扩展的PANFIS的运行时间比单一的PANFIS快20倍以上。Scalable PANFIS中的规则合并过程表明，分类任务的准确率没有显着下降，准确率为96.67%，而单个PANFIS的准确率为98.71%。可扩展的PANFIS通常也优于一些Spark MLib机器学习来分类RFID数据，在运行时间上具有可比的速度。
Scalable Analytics over Distributed Time-series Graphs using GoFFish
图表是大数据的一种关键形式，对它们进行可扩展的分析对许多领域都是非常宝贵的。随着我们收集数据的能力的增长，出现了一类新兴的相互关联的数据，这些数据会随着时间的推移而积累或变化，并且需要对网络结构和时变属性值进行新的分析。我们引入了时间序列图分析的概念，并提出了Gopher，一个可扩展的编程抽象来开发算法和分析这些数据集。我们的抽象利用了以子图为中心的编程模型，并使用迭代BSP（批量同步并行）方法将其扩展到时间维度。Gopher是与GoFS共同设计的，GoFS是专门用于时间序列图的分布式存储，是GoFFish分布式分析平台的一部分。我们研究了GoFS的存储优化，在Gopher中设计模式以利用分布式数据布局，并使用商品集群上的时间序列图数据和应用程序评估GoFFish平台。
Taming Hybrid-Cloud Fast and Scalable Graph Analytics at Twitter
近年来，我们见证了Twitter对图形分析的需求激增，图形分析已成为Twitter大规模数据分析和机器学习的关键部分之一，用于推动参与度，提供最相关的内容，并促进更健康的对话。然而，图形分析的基础设施历来不是Twitter的投资领域，导致每个项目都需要很长的时间轴和巨大的工程工作来处理Twitter规模的图形。我们如何构建统一的图分析用户体验，以实现从数千到数千亿个顶点和边的各种图规模的现代数据分析？为了将快速和可扩展的图形分析能力带入生产，我们调查了Twitter在大规模图形分析方面面临的挑战，并提出了一个统一的图形分析平台，用于跨内部部署和云进行高效，可扩展和可靠的图形分析，以满足不同图形用例和具有挑战性的规模的要求。我们还对Twitter的生产级图用例在流行的图分析框架之间进行定量基准测试，以证明我们的解决方案。
BigSUMO: A Scalable Framework for Big Data Traffic Analytics and Parallel Simulation
BigSUMO是一种开源框架，用于大数据交通分析和并行模拟，通过描述性分析和预测性分析优化交通性能。
In-situ data analytics for highly scalable cloud modelling on Cray machines
MONC是一个高度可扩展的建模工具，用于研究大气流动，湍流和云微物理学。典型的模拟会产生大量的原始数据，然后必须对这些数据进行分析以进行科学研究。出于性能和可伸缩性的原因，这种分析和随后写入磁盘的操作应该在数据生成时就地执行，但是人们不希望在执行分析时暂停计算。在本文中，我们提出了MONC的分析方法，其中节点的核心在计算和数据分析之间共享。通过将数据异步发送到分析核心，计算核心可以连续运行，而不必暂停数据写入或分析。我们描述了我们的IO服务器框架和分析工作流，这是高度异步的，以及解决方案，这种方法提出的挑战和一些常见的配置选择的性能影响。这项工作的结果是一个高度可扩展的分析方法，我们说明了高达32768个计算核心的Cray XC30，有最小的性能影响时，使数据分析在MONC运行时，还调查我们的方法的性能和适用性的KNL。
DiG: Enabling Out-of-Band Scalable High-Resolution Monitoring for Data-Center Analytics, Automation and Control (Extended)
数据中心的规模和复杂性不断增加，我们需要可扩展的方法来支持其自动化分析和控制。性能计数器和功耗是它们的关键“生命体征”。最先进的（SoA）监控系统提供内置工具来收集性能测量结果，并提供定制解决方案来了解其功耗。然而，随着测量分辨率（在时间和空间上）的增加以及随之而来的要处理的大量测量数据，出现了新的挑战，例如网络带宽上的瓶颈、监控单元上的存储和软件开销。为了应对这些挑战，我们提出了一种用于数据中心的新型监控平台，该平台能够实现实时高分辨率分析（即，所有可用的性能计数器和插头处功耗的整个信号带宽-采样高达20 μ s-误差低于1%），以及边缘处（节点级分析）和集中单元上（集群级分析）的分析。监控基础设施完全是带外的、可扩展的、技术无关的和低成本的，并且它已经安装在SoA高性能计算集群中（即，D.A.V.I.D.E. - 2017年11月在Green 500上排名第18位）。
Cloud Kotta: Enabling Secure and Scalable Data Analytics in the Cloud
研究人员的分布式社区越来越依赖于有价值的、专有的或敏感的数据集。鉴于此类数据的增长，特别是在社会科学和人文科学等数据驱动、计算密集型研究的新领域，再加上通常严格而复杂的数据使用协议，许多研究团体现在需要能够实现安全、可扩展和经济高效的存储和分析的方法。在这里，我们介绍了CLOUD KOTTA：一个基于云的数据管理和分析框架。CLOUD KOTTA提供端到端解决方案，用于协调对大型数据集的安全访问，以及提供自动化基础设施扩展和支持在数据附近执行分析的执行模型。CLOUD KOTTA实现了细粒度的安全模型，确保只有授权用户才能访问、分析和下载受保护的数据。它还实现了自动化方法，用于在需要时获取和配置低成本存储和计算资源。我们介绍了CLOUD KOTTA的架构和实现，并展示了它在提高性能和灵活性方面的优势。我们表明，与静态配置模型相比，CLOUD KOTTA的弹性配置模型可以将成本降低高达16倍。
Designing a Real-Time IoT Data Streaming Testbed for Horizontally Scalable Analytical Platforms: Czech Post Case Study
企业级物联网（IoT）应用需要实时的【形】水平可扩展的数据处理平台，这是一个不断增长的趋势。从传感器网络接收数据流实时的【形】处理平台（例如，自动驾驶和联网车辆、企业和家庭的智能安全、智能手表、健身追踪器和其他可穿戴设备）需要分布式MQTT代理。本案例研究介绍了为捷克邮政准备的物联网数据流测试平台。该平台已达到每24小时200万条信息（包括短信和电子邮件）的吞吐量要求。经过测试的MQTT代理运行在水平可扩展测试平台的单个虚拟节点上。不久，捷克邮政将对其电子服务进行现代化改造，以增加符合电子商务和电子政务需求的包裹递送。所提出的测试平台满足所有要求，它也是每秒处理数千条消息的能力。所提出的平台和概念可转移到医疗保健系统，交通运营，汽车行业和其他领域，如智能城市。
Enabling Cross-Language Data Integration and Scalable Analytics in Decentralized Finance
针对学术与企业机构敏捷开发下后端系统适配多变数据需求的挑战，提出一种数据与语言无关的DeFi领域数据系统，集成借贷协议数千万数据点，支持多语言接入，经测试验证了其相对高性能系统的性能及高负载表现。
Extremely Scalable Distributed Computation of Contour Trees via Pre-Simplification
针对大规模科学数据集中分布式层次等高线树分析任务内存开销大、阻碍可扩展性的问题，提出预简化策略显著降低内存开销，并在15分钟内构建了包含超5000亿节点的已知最大等高线树。
A Scalable and Dependable Data Analytics Platform for Water Infrastructure Monitoring
随着天气变得更加极端，干旱期更长，降雨更严重，市政供水网络面临越来越大的压力。影响包括管道损坏，街道上的山洪暴发和下水道溢出。改造地下基础设施非常昂贵，因此水务基础设施运营商越来越多地寻求部署物联网解决方案，这些解决方案有望以一小部分成本缓解问题。在本文中，我们报告了一个正在进行的联合研究项目的初步结果，特别是其数据分析平台的设计和评估。整个系统由节能传感器节点组成，这些节点将其观察结果发送到流处理引擎，该引擎分析和丰富数据并将结果传输到基于GIS的前端。由于所提出的解决方案旨在监控城市的大型和关键基础设施，因此系统架构中考虑了一些非功能性要求，如可扩展性，响应能力和可靠性。我们提出了一个可扩展的流处理平台，它与其他组件的集成，以及用于数据处理的算法。我们讨论了重大的挑战和设计决策，介绍了一个有效的数据丰富的程序，并提出了实证结果，以验证符合目标要求。用于部署我们的平台和运行数据丰富作业的整个代码都可以在本文中公开获得。
Smartpick: Workload Prediction for Serverless-enabled Scalable Data Analytics Systems
本研究提出结合无服务器与虚拟机的可扩展数据分析系统Smartpick，通过带贝叶斯优化的随机森林预测资源配置，借助中继实例和事件驱动重训练适配动态负载，在云平台测试中实现高预测准确率与最高50%的成本降低。
FluxSieve: Unifying Streaming and Analytical Data Planes for Scalable Cloud Observability
FluxSieve通过统一流式与分析数据平面，实现高并发下查询性能的显著提升，同时保持低存储和计算开销。
Distributed rank-1 dictionary learning: Towards fast and scalable solutions for fMRI big data analytics
脑功能成像在研究和诊断中的应用极大地受益于神经成像技术的最新进展，以及fMRI数据的规模和可用性的爆炸性增长。虽然在文献中已经表明，使用多个和大规模的fMRI数据集可以提高再现性并导致新的发现，但支持此类fMRI大数据的分析和可视化的计算和信息学系统非常有限，并且在很大程度上未得到讨论。我们建议在这项工作中解决这些缺点，基于以前的成功使用字典学习方法的功能网络分解研究的功能磁共振成像数据。提出了一种基于稀疏约束秩1矩阵分解的分布式词典学习框架（D-r1 DL框架）。该框架使用Spark分布式计算引擎实现，并部署在三个不同的处理单元上：内部服务器、内部高性能集群和Amazon Elastic Compute Cloud（EC2）服务。整个分析管道与我们的神经信息学系统集成，用于数据管理、用户输入/输出和实时可视化。D-r1 DL在个体和组fMRI人类连接组计划（HCP）数据集上的性能和准确性表明，所提出的框架是高度可扩展的。由此产生的分组功能网络分解是高度准确的，快速的处理时间证实了这一说法。此外，D-r1 DL可以提供实时用户反馈和结果可视化，这对于大规模数据分析至关重要。
STRIELAD -- A Scalable Toolkit for Real-time Interactive Exploration of Large Atmospheric Datasets
针对高精度天气气候模拟带来的大规模数据可视化与分析挑战，提出可扩展天气分析工具包STRIELAD，结合高性能计算的并行分布式特征提取与智能细节层次渲染，实现大规模大气数据集的实时交互式探索与可视化。
Big Data Meets HPC Log Analytics: Scalable Approach to Understanding Systems at Extreme Scale
当今的高性能计算（HPC）系统被大量地仪表化，从而生成包含关于异常事件的信息的日志，异常事件诸如关键条件、故障、错误和失败、系统资源利用以及关于用户应用的资源使用。这些日志一旦得到充分分析和关联，就可以生成有关系统健康状况、故障根本原因的详细信息，并分析应用程序与系统的交互，为领域科学家和系统管理员提供有价值的见解。但是，处理HPC日志需要深入了解系统堆栈多个层的硬件和软件组件。此外，大多数日志数据都是非结构化的，并且数量庞大，这使得系统用户和管理员更难以手动检查数据。随着HPC系统规模和复杂性的快速增长，日志数据处理正在成为一个大数据挑战。本文介绍了一种基于分布式NoSQL数据库技术的HPC日志数据分析框架，该框架提供了可扩展性和高可用性，以及用于日志数据快速内存处理的Apache Spark框架。分析框架可以提取有关系统的一系列信息，以便系统管理员和最终用户都可以获得针对其特定需求的必要见解。我们描述了我们的经验，使用这个框架收集的见解，从日志数据的系统行为泰坦超级计算机在橡树岭国家实验室。
CUTTANA: Scalable Graph Partitioning for Faster Distributed Graph Databases and Analytics
针对大规模图无法单存、现有流式划分质量低的问题，提出带缓冲、粗化细化技术的CUTTANA流式划分器，在保证延迟相当的同时提升划分质量，优化图分析与数据库性能。
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中，我们提出了DGL，一个快速，并行和内存高效的分布式图形布局策略，是专门为小世界网络（低直径图与倾斜的顶点度分布）。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明，DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能：PageRank，一个并行子图枚举程序，调整实现的广度优先搜索和单源最短路径，和RDF 3X-MPI，一个分布式SPARQL查询处理引擎。使用这些基准测试，我们还提供了一个全面的分析，关于图布局如何影响具有可变计算和通信特性的图分析的性能。
Fast and Scalable Distributed Deep Convolutional Autoencoder for fMRI Big Data Analytics
近年来，分析基于任务的功能磁共振成像（tfMRI）数据已成为了解大脑功能和网络的重要工具。然而，由于tfMRI数据的庞大规模，其内在的复杂结构，以及缺乏底层神经活动的基础事实，建模tfMRI数据是困难和具有挑战性的。以前提出的数据建模方法，包括独立成分分析（ICA）和稀疏字典学习只提供了一个弱建立模型的基础上盲声源分离的强烈假设下，原始的fMRI信号可以线性分解成时间序列分量与相应的空间映射。与此同时，分析和学习大量的tfMRI数据，从各种主题已被证明是非常苛刻的，但仍然具有挑战性，即使在计算硬件的技术进步。鉴于卷积神经网络（CNN）是一种从tfMRI时间序列等低级数据中学习高级抽象的鲁棒方法，在这项工作中，我们提出了一种快速可扩展的分布式深度卷积自动编码器模型的新框架。该模型旨在学习tfMRI数据的复杂层次结构，并以分布式方式利用多个GPU的处理能力。为了实现这样一个模型，我们在Apache Spark和Tensorflow库之上创建了一个增强的处理管道，利用了一个非常大的GPU机器集群。将该模型应用于人类连接组计划（HCP）的实验数据表明，该模型对tfMRI大数据分析是有效的，可扩展的，从而在未来实现从海量fMRI大数据中数据驱动的层次神经科学信息提取。
Scalable Cloud-Native Architectures for Intelligent PMU Data Processing
本文提出了一种可扩展的云原生架构，结合人工智能与边缘云计算，用于高效处理大规模智能PMU数据，提升电网监控的实时性和可靠性。
A Unified Ontology for Scalable Knowledge Graph-Driven Operational Data Analytics in High-Performance Computing Systems
本文提出首个面向HPC运维数据分析的统一本体，建模两大公开数据集，通过36个胜任力问题验证，并优化知识图谱存储开销最高达38.84%，支持跨系统分析。
Scalable, Fast Cloud Computing with Execution Templates
大规模云数据分析应用程序通常是CPU受限的。这些周期中的大多数都被浪费了：用C++编写的基准测试比Naiad和Spark等框架快10-51倍。然而，从这些框架调用更快的实现只能看到适度的（3- 5倍）加速，因为它们的控制平面不能足够快地调度工作。本文介绍了执行模板，一个控制平面抽象的CPU绑定的云应用程序，如机器学习。执行模板利用高度重复的控制流将调度决策缓存为{ \it模板}。节点实例化这些模板，而不是在每次循环执行时重新调度数十万个任务。控制器的模板指定了所有工作节点上的执行，并将其划分为每个工作节点的模板。为了确保模板正确执行，控制器动态地修补模板以匹配程序控制流。我们已经在Nimbus（一个C++云计算框架）中实现了执行模板。在Nimbus中运行，分析基准可以比Naiad和Spark快16-43倍。Nimbus的控制平面可以扩展到多达100个节点（800个核心）上运行这些更快的基准测试。
A Fast, Scalable, Universal Approach For Distributed Data Aggregations
在当前的大数据时代，数据工程已经成为许多科学分支的重要研究领域。人工智能（AI）的进步扩大了数据工程的范围，并在企业和研究界开辟了新的应用。聚合（在函数式编程中也称为reduce）是这些应用程序中不可或缺的功能。传统上，它们的目标是在大型数据集上生成有意义的信息，而今天，它们被用于为复杂的AI模型设计更有效的功能。聚合通常在数据抽象（如表/数组）之上执行，并与其他操作（如值分组）相结合。有些框架在上述领域中表现出色。但是，我们认为，数据分析工具必须能够与现有框架普遍集成，从而提高整个数据分析管道的生产力和效率。赛昂人努力填补这一空白。在本文中，我们提出了Cylon的快速和可扩展的聚合操作上实现的分布式内存表结构，普遍集成与现有的框架。
GoFFish: A Sub-Graph Centric Framework for Large-Scale Graph Analytics
大规模图形处理是大数据探索的主要研究领域。像Pregel这样的以顶点为中心的编程模型由于其简单的抽象而越来越受欢迎，这些抽象允许在分布式系统上自然地可扩展执行。然而，这种方法存在限制，这导致顶点为中心的算法由于计算通信开销比差和迭代超步收敛慢而表现不佳。在本文中，我们介绍了GoFFish，一个可扩展的子图为中心的框架共同设计的分布式持久图存储的大规模图形分析商品集群。我们引入了一个以子图为中心的编程抽象，它结合了以顶点为中心的方法的可扩展性和共享内存子图计算的灵活性。我们映射连接组件，SSSP和PageRank算法到这个模型来说明它的灵活性。此外，我们实证分析GoFFish使用几个现实世界的图形，并证明其显着的性能改善，在某些情况下，数量级相比，Apache GitHub，领先的开源顶点为中心的实现。
Scalable and Differentially Private Distributed Aggregation in the Shuffled Model
联邦学习通过使用安全聚合方法实现梯度下降，有望使机器学习在分布式私有数据集上变得可行。这个想法是计算全局权重更新，而不显示单个用户的贡献。当前用于安全聚合的实际协议在“诚实但好奇”的设置中工作，其中好奇的对手观察到所有去往和来自服务器的通信，无法获知任何私人信息，假设服务器是诚实的并且遵循协议。隐私保护协议的一个更可扩展和鲁棒的原语是用户数据的混洗，以便隐藏每个数据项的来源。用于混洗的高度可扩展和安全的协议，即所谓的混合网，已经被提出作为Bittau等人的编码-混洗-分析框架中的隐私保护分析的原语，后来Erlingsson等人和Cheu等人对其进行了分析研究。Cheu等人最近的论文，和Balle等人已经给出了用于安全聚集的协议，其在该“混洗模型”中实现了差分隐私保证。然而，他们的协议是有代价的：预期的聚合错误或每个用户的通信量都是用户数$n$的多项式$n^{Ω(1)}$。在本文中，我们提出了简单且更有效的洗牌模型聚合协议，其中通信和错误在$n$中仅呈多对数增加。我们的新技术是一种概念上的“隐形斗篷”，它使用户的数据几乎无法与随机噪声区分开来，同时在总和上引入零失真。
Scalable Graph Embedding LearningOn A Single GPU
图嵌入技术由于能将图数据转换成连续的低维空间而引起了人们越来越多的兴趣。有效的图形分析为用户提供了对数据背后内容的更深入理解，因此可以使各种机器学习任务受益。随着当前现实世界应用的规模，大多数图分析方法都具有较高的计算和空间成本。这些方法和系统可以处理具有数千到几百万个节点的网络。然而，扩展到大规模网络仍然是一个挑战。训练图嵌入系统的复杂性需要使用现有的加速器，如GPU。在本文中，我们介绍了一个混合的CPU-GPU框架，解决了学习嵌入大规模图的挑战。我们的方法的性能进行了比较，定性和定量与现有的嵌入系统的共同基准。我们还表明，我们的系统可以将训练扩展到比单个机器的总内存容量大一个数量级的数据集。在多个下游应用中评估学习嵌入的有效性。实验结果表明，学习嵌入的有效性的性能和准确性。
Towards Optimised Data Transport and Analytics for Edge Computing
工业组织，特别是中小企业（SME），在采用工业物联网（IIoT）技术和方法方面面临着许多挑战。可以对来自支持IIoT的工业流程的数据执行的分析处理的范围通常受到可用计算和存储资源的限制，并且在足够灵活和可扩展的额外硬件方面的任何投资都难以证明投资回报率（ROI）。我们描述了一种分布式数据传输和处理模型，该模型可以简化IIoT的使用，同时还能够安全地提供比传统网络架构更复杂的分析和未来洞察发现。
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今，以高效和可扩展的方式对大规模生产的数据（如移动轨迹）执行高级分析操作的需求势在必行。然而，发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中，我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的，因为要聚类的子轨迹是事先不知道的，但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标，我们将原问题分解为三个子问题，即子轨迹连接，轨迹分割和聚类以及离群点检测，并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域，并通过比较与两个国家的最先进的子轨迹聚类算法。
Cache-based Multi-query Optimization for Data-intensive Scalable Computing Frameworks
在现代大规模分布式系统中，不同用户提交的分析作业通常共享类似的工作，例如扫描和处理相同的数据子集。多查询优化技术可以节省大量的集群资源，而不是单独优化作业，这可能会导致冗余和浪费的处理。在这项工作中，我们介绍了一种新的方法相结合的内存缓存原语和多查询优化，以提高数据密集型，可扩展的计算框架的效率。通过仔细选择和利用共同（子）表达式，同时满足内存限制，我们的方法将一批查询转换成一个新的，更有效的，避免不必要的重新计算。为了找到可行和有效的执行计划，我们的方法使用了基于成本的优化配方类似于多选择背包问题。在我们的系统的原型实现上进行的大量实验表明，工作共享对于TPC-DS工作负载和详细的微基准测试都有显着的好处。
Scaling Real-Time Traffic Analytics on Edge-Cloud Fabrics for City-Scale Camera Networks
本文提出了一种可扩展的AI驱动智能交通系统，通过边缘-云织物实现城市级摄像头网络的实时交通分析，利用DNN和ST-GNN实现高吞吐量检测与预测，并通过持续联邦学习提升系统适应性。
OCEP: An Ontology-Based Complex Event Processing Framework for Healthcare Decision Support in Big Data Analytics
针对大数据环境下复杂事件处理面临的语义异构与互操作挑战，提出基于本体的OCEP框架，集成RDF、SPARQL及Hadoop生态，实现医疗事件流推理，检测准确率达85%，支持早期疾病检测与决策。
CheetahGIS: Architecting a Scalable and Efficient Streaming Spatial Query Processing System
针对现有系统处理大量移动对象和实时空间查询的局限性，本研究基于Apache Flink Stateful Functions构建CheetahGIS系统，通过模块化架构、优化方法和通用范式提升性能，并验证了其处理三种流查询的通用性。
Privacy Preserving Stream Analytics: The Marriage of Randomized Response and Approximate Computing
如何在保护用户隐私的同时支持高实用性分析，以实现低延迟流处理？回答这个问题：我们描述的设计，实施和评估的PRIVAPPROX，数据分析系统的隐私保护流处理。PRIVAPPROX提供了三个属性：（i）隐私：为用户提供零知识隐私保证，比最先进的差分隐私更严格的隐私约束;（ii）效用：数据分析师系统地探索输出准确性之间的权衡的接口（具有误差估计）和查询执行预算;（iii）延迟：基于可扩展的“无同步”分布式架构的近实时流处理。我们的方法背后的关键思想是将两种现有技术结合在一起：即采样（用于近似计算的背景下）和随机响应（用于隐私保护分析的背景下）。由此产生的婚姻是互补的-它实现了更强的隐私保证，并提高了性能，这是实现低延迟流分析的必要因素。
MovePattern: Interactive Framework to Provide Scalable Visualization of Movement Patterns
全球定位系统轨迹、交通网络和社交媒体等移动数据源的迅速增长，为分析人员提供了以近乎实时的方式探索地理移动的集体模式的机会。一个快速和交互式的可视化框架可以帮助分析人员理解这些大量的动态变化的数据集。然而，以往的研究运动可视化要么忽略了地理运动的独特属性或无法处理今天的海量数据。在本文中，我们开发MovePattern，一个新的框架，1）有效地构建一个简洁的多层次的运动视图，使用可扩展的和空间感知的MapReduce为基础的方法和2）提出了一个快速和高度交互式的基于Web的环境，从事基于矢量的可视化，包括在飞行中的定制和能力，以增强分析功能，通过存储元数据的地方和运动。我们评估的框架使用的Twitter用户从地理标记的推文捕获的运动。实验证实，我们的框架能够在几分钟内聚合近1.8亿个动作。此外，我们在框架的前端运行了一系列压力测试，以确保并发的用户查询不会导致用户响应的长延迟。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。