Parallel and Streaming Algorithms for K-Core Decomposition
Google Research（谷歌研究院）
$k$ -核心分解是许多机器学习和数据采掘应用中的基本原语。我们提出了第一个分布式和第一个流算法来计算和维护一个近似的$k$核心分解与可证明的保证。我们的算法实现了严格的界限上的空间复杂度，同时边界的通过或计算轮数。我们这样做，提出了一个新的强大的草图技术$k$核心分解，然后通过显示它可以有效地计算流和MapReduce模型。最后，我们证实了我们的素描技术的有效性经验上的一些公开的图形。
2018-11-23 cs.DC cs.DS cs.LG
A Comparative Study of Scheduling Techniques for Multimedia Applications on SIMD Pipelines
为了利用流应用中固有的并行性，并行架构是必不可少的。其中一个特定分支采用硬件SIMD流水线。在本文中，我们分析了几种调度技术，即ad hoc重叠执行，模调度和展开模调度，所有这些都旨在有效地利用特殊的体系结构设计。我们的调查重点是提高吞吐量，同时分析其他指标，如寄存器压力，缓冲区大小和代码大小是重要的流应用程序。通过几个媒体基准进行的实验，我们提出并讨论权衡时，选择这些调度技术中的任何一个。
2015-02-26 cs.DC cs.PL
Parallel Triangle Counting in Massive Streaming Graphs
图中三角形的数量是一个基本的度量，用于社会网络分析、链接分类和推荐等。在这些应用程序和现代图形数据集都是大型和动态的趋势的驱动下，我们提出了一个快速和高速缓存高效的并行算法的设计和实现，用于估计三角形的数量在一个巨大的无向图的边缘到达流。它结合了流算法和并行算法的优点。通过构建流算法框架，该算法具有较小的内存占用。通过利用Cache-Oblivious框架，它可以有效地利用现代多核机器的存储层次结构，而无需知道其特定参数。我们证明了理论界的准确性，内存访问成本，并行运行时的复杂性，以及经验表明，该算法产生准确的结果和大幅加速相比，优化的顺序实现。(This是CIKM'13论文的扩展版本。
2013-08-09 cs.DB cs.DC cs.DS
Sampling Streaming Data with Parallel Vector Quantization -- PVQ
企业数据在云中的积累吸引了更多的企业应用程序到云计算中，从而产生了数据引力。因此，网络流量变得更加以云为中心。这种以云为中心的流量的增加对由于类不平衡而设计用于流数据的学习系统提出了新的挑战。类的数量在从数据流构建的分类器的准确性中起着至关重要的作用。在本文中，我们提出了一种基于矢量量化的采样方法，它大大减少了数据流中的类不平衡。我们通过使用常用的ML模型构建方法对网络流量和异常数据集进行实验来证明其有效性; TensorFlow后端的多层感知器，支持向量机，K-最近邻和随机森林。我们使用并行处理、批处理和随机选择样本构建模型。我们表明，分类模型的准确性提高时，数据流与我们的方法进行预处理。我们使用这些分类器的开箱即用超参数和自动sklearn进行超参数优化。
2022-10-04 cs.DC cs.LG
Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach
National University of Defense Technology（国防科技大学）；University of Leeds（利兹大学）
本文提出了一种自动化的方法来快速获得一个很好的解决方案，硬件资源划分和任务粒度的基于任务的并行应用程序的异构众核架构。我们的方法采用了一个性能模型来估计目标应用程序在给定的资源分区和任务粒度配置下的性能。该模型被用作在运行时快速搜索良好配置的实用程序。我们采用机器学习技术来自动学习分析模型，而不是手工制作分析模型，因为这需要专家对底层硬件细节的深入了解。我们首先使用训练程序离线学习预测模型。然后，学习的模型可以用于预测运行时任何看不见的程序的性能。我们将我们的方法应用于39个代表性的并行应用程序，并在两个代表性的异构众核平台上进行评估：一个CPU-XeonPhi平台和一个CPU-GPU平台。与单流版本相比，我们的方法在XeonPhi和GPU平台上平均分别实现了1.6倍和1.1倍的加速。这些结果转化为理论上完美的预测器所提供的性能的93%以上。
2020-03-05 cs.DC cs.LG cs.PF
Nephele Streaming: Stream Processing Under QoS Constraints At Scale
近年来，以近乎实时的方式处理大量连续数据流的能力已成为许多科学和工业用例的关键先决条件。虽然单个数据流通常处理起来微不足道，但它们的聚合数据量很容易超过传统流处理系统的可扩展性。与此同时，像MapReduce或Dryad这样的并行数据处理系统目前在数据密集型应用程序中非常受欢迎，并且已经证明可以扩展到大量节点。这些系统中的许多还提供流传输能力。然而，与传统的流处理器，这些系统已经忽视了预期的流处理应用的QoS要求，到目前为止。在本文中，我们解决这个差距。首先，我们分析当今的并行数据处理框架的共同设计原则，并确定这些原则，提供自由度在权衡QoS目标的延迟和吞吐量。其次，我们提出了一个高度分布式的计划，允许这些框架来检测违反用户定义的QoS约束，优化作业执行，而无需手动交互。作为概念证明，我们为我们的并行数据处理框架Nephele实现了我们的方法，并通过与Hadoop Online的比较来评估其有效性。对于一个示例流媒体应用程序从多媒体域上运行的集群的200个节点，我们的方法提高了至少13倍的处理延迟，同时保持高的数据吞吐量时，需要的。
2013-08-05 cs.DC
Shared Arrangements: practical inter-query sharing for streaming dataflows
目前的系统，数据并行，增量处理和视图维护高速率流隔离独立查询的执行。这在存在并发增量维护的查询时产生了不必要的冗余和开销：每个查询必须独立地在相同的输入流上维护相同的索引状态，并且新查询必须在开始发出其第一个结果之前从头开始构建此状态。本文介绍了共享的安排：索引视图的维护状态，允许并发查询重用相同的内存中的状态，而不损害数据并行性能和伸缩。我们实现了共享的安排在一个现代的流处理器，并显示了数量级的改进，查询响应时间和资源消耗的交互式查询对高吞吐量的流，同时也显着提高性能，在其他领域，包括业务分析，图形处理，和程序分析。
2020-06-11 cs.DC
SPEED: Streaming Partition and Parallel Acceleration for Temporal Interaction Graph Embedding
Fudan University（复旦大学）；University of California, Davis（加州大学戴维斯分校）；Tencent Weixin Group（腾讯微信事业群）
针对时序交互图无法并行处理且难以扩展至GPU的问题，提出SPEED方法，通过流式边划分与并行加速组件实现多GPU训练加速，最高提速19.29倍并降低69%资源消耗，同时保持下游任务竞争力。
2023-09-11 cs.DC cs.LG cs.SI
BigGraphVis: Leveraging Streaming Algorithms and GPU Acceleration for Visualizing Big Graphs
图形布局是探索海量图形的关键。大量的节点和边不允许网络分析软件产生有意义的普适网络的可视化。长计算时间，内存和显示限制包围软件的能力，探索大量的图形。介绍了一种新的并行图形可视化方法BigGraphVis，该方法利用GPU的并行处理和社区发现算法来实现图形社区的可视化。将并行流媒体社区发现算法与概率数据结构相结合，充分利用图形处理器（GPU）的并行处理。据我们所知，这是第一次尝试将流算法的强大功能与GPU计算相结合，以应对大图形可视化挑战。我们的方法提取社区信息，在几个通过的边缘列表，并使用Forcephilas2算法呈现社区结构。我们对大量真实图形的实验表明，通过可视化图形社区可以实现大约70%到95%的加速，并且可视化似乎是有意义和可靠的。我们检查的最大的图包含超过300万个节点和3400万条边，布局计算大约花了五分钟。我们还观察到，BigGraphVis着色策略可以成功地应用于生成信息量更大的Forcebrahas2布局。
2021-08-01 cs.CG cs.DC cs.GR
Skew Handling in Aggregate Streaming Queries on GPUs
如今，数据库系统要处理的数据已经变得如此之大，以至于任何传统的集中式技术都是不够的。与此同时，基于GPU的通用计算（GPGPU）最近成功地引起了数据管理社区的关注，因为它能够以较小的成本实现显著的速度提升。高效的偏斜处理是并行查询中的一个众所周知的问题，与执行环境无关。在这项工作中，我们调查的问题，在GPU上的并行聚合查询的负载不平衡的解决方案是由偏斜的数据。我们提出了一个通用的负载平衡框架，以及几个实例，我们的实验评估。据我们所知，这是第一次尝试在GPU上为数据库操作提供运行时负载平衡技术。
2013-09-03 cs.DB cs.DC
Continuous Outlier Mining of Streaming Data in Flink
Department of Informatics, Aristotle University of Thessaloniki, Greece（塞萨洛尼基亚里士多德大学信息学系）；The University of Manchester, UK（曼彻斯特大学）
在这项工作中，我们专注于度量空间中基于距离的离群值，其中实体是否是离群值的状态是基于其邻域中其他实体的数量。近年来，有几种解决方案已经解决了数据流中基于距离的离群值问题，其中离群值必须随着新元素的可用而不断挖掘。一个有趣的研究问题是将流环境与大规模并行系统相结合，以提供可扩展的基于流的算法。然而，先前提出的技术中没有一个涉及大规模并行设置。我们的提案填补了这一空白，并调查了将最先进的技术转移到Apache Flink的挑战，这是一个用于密集流媒体分析的现代平台。我们全面介绍了遇到的技术挑战和可能应用的替代方案。我们显示的速度高达117（分别。2076）倍于一个天真的平行（resp.非并行）解决方案，只使用一个普通的四核机器和一个真实世界的数据集。当迁移到三台机器集群时，由于竞争较少，我们能够在窗口幻灯片大小和数据维度方面实现更好的可扩展性，甚至更高的加速，例如，是510倍总的来说，我们的研究结果表明，oulier挖掘可以以一种高效和可扩展的方式实现。由此产生的技术已作为开源软件公开提供。
2019-02-21 cs.DB cs.DC cs.LG
Optimized Video Streaming over Cloud: A Stall-Quality Trade-off
随着视频流媒体服务的扩展和改进，基于云的视频已经发展成为任何成功企业的必要功能，以接触内部和外部受众。在本文中，视频流在分布式存储被认为是使用纠删码更好的可靠性编码的视频片段。在每个服务器和边缘路由器之间存在多个并行流。对于每个客户端请求，我们需要确定获取数据的服务器子集，以及来自每个所选服务器的并行流之一。为了实现这种调度，本文提出了一种两阶段概率调度算法。视频质量的选择也是以一定的概率分布来选择的。利用这些参数，通过表征每个视频片段的每个编码块的下载时间来确定视频片段的回放时间。使用回放时间，失速持续时间的矩母函数上的界限被用于限制平均失速持续时间。在此基础上，我们制定了一个优化问题，共同优化的凸组合的平均停滞时间和平均视频质量的所有请求，其中两阶段的概率调度，概率视频质量选择，并行流之间的带宽分割，和辅助边界参数可以选择。这个非凸的问题是解决使用一个有效的迭代算法。评估结果显示，与所考虑的基线相比，基于云的视频的QoE指标有显着改善。
2018-06-22 cs.DC cs.NI
Parallel Streaming Signature EM-tree: A Clustering Algorithm for Web Scale Applications
Game Analytics ApS；Queensland University of Technology（昆士兰科技大学）
网络的激增提出了自动分析数十亿页自然语言的未解决问题。我们引入了一个可扩展的算法，集群数亿的网页到数十万集群。它使用高效的算法和压缩的文档表示在一台中型机器上完成这项工作。它适用于两个网络规模的爬行，覆盖数十TB。Cocktail Web09和Cocktail Web12包含5亿和7.33亿个网页，并被聚类为50万到70万个集群。据我们所知，这种细粒度的聚类以前还没有被证明。以前的方法对样本进行聚类，限制了可聚类的最大数量。建议EM树算法使用整个集合的聚类和产生几个数量级以上的集群比现有的算法。细粒度聚类对于大规模集合中有意义的聚类是必要的，其中不同主题的数量随着集合大小线性增长。这些细粒度的集群表现出一个改进的集群质量进行评估时，两个新的评价，使用特设的搜索相关性判断和垃圾邮件分类的外部验证。这些评估解决了分类标签不可用和不可行的聚类质量评估问题。
2015-05-21 cs.AI cs.DC cs.IR
Streaming Task Graph Scheduling for Dataflow Architectures
针对数据流架构上的应用调度难题，本文提出 canonical task graphs 模型，通过稳态静态分析将任务图划分为时间复用的空间执行组件，从而实现流式调度并提升加速比与设备利用率。
2023-06-05 cs.DC
DéjàVu: KV-cache Streaming for Fast, Fault-tolerant Generative LLM Serving
针对分布式 LLM 服务中的流水线气泡、GPU 显存浪费和故障恢复慢问题，提出 DéjàVu 系统，基于 DéjàVuLib 实现 prompt-token 分离、微批次交换与状态复制。
2024-03-04 cs.DC
A Study on Messaging Trade-offs in Data Streaming for Scientific Workflows
本研究通过模拟Deleria和LCLS工作流，探讨RabbitMQ消息传递框架中影响科学工作流流传输需求的参数配置，揭示了可靠消息传输的吞吐量权衡与实用配置见解。
2025-09-08 cs.DC
A Visual Analytics Framework for Reviewing Streaming Performance Data
University of California Davis（加州大学戴维斯分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Argonne National Laboratory（阿贡国家实验室）
理解和调整极端规模的并行计算系统的性能需要一个流的方法，由于大量的性能日志数据应用离线算法的计算成本。分析大型流数据是具有挑战性的，因为接收数据的速率和理解数据的有限时间使得分析师难以在不错过重要变化或模式的情况下充分检查数据。为了支持流数据分析，我们引入了一个可视化分析框架，包括三个模块：数据管理，分析和交互式可视化。数据管理模块使用流数据处理技术从被监控系统收集各种计算和通信性能度量，并将数据馈送到其他两个模块。分析模块在所需的延迟时间内自动识别重要的更改和模式。特别是，我们引入了一套在线和渐进的分析方法，不仅控制计算成本，但也帮助分析师更好地遵循分析结果的关键方面。最后，交互式可视化模块为分析人员提供连续捕获的性能数据中的变化和模式的连贯视图。通过一个多方面的并行离散事件仿真性能分析的案例研究，我们证明了我们的框架识别瓶颈和定位离群值的有效性。
2020-01-26 cs.DC cs.HC cs.LG
sPIN: High-performance streaming Processing in the Network
由于通信开销限制了并行应用程序的可伸缩性，因此优化通信性能对于大规模计算是必不可少的。今天的网卡包含为数据移动而优化的相当强大的处理器。然而，这些设备仅限于固定功能，例如远程直接存储器访问。我们开发了sPIN，一个便携式的编程模型，以卸载简单的数据包处理功能的网卡。为了证明该模型的潜力，我们设计了一个周期精确的仿真环境相结合的网络模拟器LogGOPSim和CPU模拟器gem 5。我们实现了卸载消息匹配，数据类型处理和集体通信，并展示了透明的全应用程序加速。此外，我们还展示了如何使用sPIN来加速内存中的冗余文件系统和其他几个用例。我们的工作研究了一个便携式数据包处理网络加速模型，类似于CUDA或OpenCL的计算加速。我们展示了这样的网络加速如何实现一个生态系统，可以显着加快应用程序和系统服务。
2017-10-19 cs.DC
Data Streaming and Traffic Gathering in Mesh-based NoC for Deep Neural Network Acceleration
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；Southern China Institute of Technology（华南理工学院）
深度神经网络（DNN）应用的日益普及要求高计算能力和高效的硬件加速器架构。DNN加速器使用大量处理元件（PE）和片上存储器来存储权重和其他参数。作为DNN加速器的通信骨干，片上网络（NoC）在支持各种并行模式和实现DNN加速器中具有通信并行性的处理方面起着重要作用。然而，广泛使用的基于网格的NoC架构本质上不能支持DNN工作负载中大量存在的高效的一对多和多对一流量。在本文中，我们提出了一个修改后的网状结构与单向/双向流总线，以加快一对多（多播）流量，并使用收集数据包，以支持多对一（收集）流量。对卷积层的运行时延迟的分析表明，对于输出固定（OS）卷积低架构，双向流传输架构比单向流传输架构实现了更好的改进。仿真结果表明，收集数据包可以帮助减少运行时延迟高达1.8倍，网络功耗高达1.7倍，相比重复单播方法的修改后的网状结构，支持双向流。
2021-08-01 cs.AR cs.DC cs.LG
$(1-ε)$-Approximate Maximum Weighted Matching in Distributed, Parallel, and Semi-Streaming Settings
针对CONGEST模型中一般图的最大权匹配问题，本文提出确定性$\text{poly}(1/ε, \log n)$轮$(1-ε)$-近似算法，并扩展至CREW PRAM和半流式设置，解决了该领域的开放问题。
2023-05-17 cs.DC cs.DS
