Stream parallel skeleton optimization
本文探讨了 pipelines 和 farms 等 stream parallel skeletons 组合的性质,提出将其重写为围绕顺序 worker 代码构建的单个 farm 形式的 normal form,从而优化服务时间并提升处理器利用率。
2024-08-22 cs.DC
Adaptive Scheduling for Efficient Execution of Dynamic Stream Workflows
在线异常检测或在线流量监控等流工作流应用将多个流大数据应用集成到数据分析管道中。这个应用程序在本质上是高度动态的,其中数据速度可能在运行时改变,因此资源应该随时间进行管理。为了管理这些变化,这个应用程序的编排需要一个动态的执行环境和动态调度技术。对于前一个需求,多云环境是一个可见的解决方案,以应对这个工作流应用程序的动态方面。而对于后一种需求,动态调度技术不仅需要满足最终用户在数据处理和决策截止时间方面的需求,以及数据流源位置约束,而且需要在运行时调整供应和调度计划,以应对流数据率的动态变化。因此,我们提出了一个两阶段的自适应调度技术,以有效地调度在多云环境中的动态工作流应用程序,可以响应在运行时的数据速度的变化。实验结果表明,该方法接近下限,对不同的实验场景是有效的。
2019-12-18 cs.DC
Parallelizing Windowed Stream Joins in a Shared-Nothing Cluster
并行和分布式计算环境中大量处理节点的可用性使得能够在高速数据流上进行复杂的实时的处理,如许多新兴应用所要求的。滑动窗口流连接是流处理系统中最重要的操作之一。在本文中,我们考虑的问题,并行化的滑动窗口流连接运算符在一个没有共享集群。我们提出了一个框架,固定或预定义的通信模式的基础上,分配加入处理负载的无共享集群。我们考虑各种开销,同时扩展了大量的节点,并提出解决方案的方法来应对这些问题。我们实现了一个集群使用的消息传递系统的算法,并提出了实验结果表明连接处理算法的有效性。
2013-07-24 cs.DB cs.DC
PAGANI: A Parallel Adaptive GPU Algorithm for Numerical
针对大规模并行结构上的多维数值积分这一具有挑战性的问题,提出了一种新的自适应并行算法。自适应算法已经证明了最好的性能,但有效的众核利用率是难以实现的,因为自适应的工作负载可以在整个集成空间变化很大,是不可能预测的先验。现有的并行算法利用独立的处理器上的顺序计算,这导致由于需要数据重新分配和处理器同步的瓶颈。我们的算法采用了高吞吐量的方法,其中所有现有的子区域进行处理,并在并行细分。重复的子区域分类和过滤改进了蛮力方法,并允许算法有效地利用计算和存储器资源。CUDA实现显示了比最快的开源CPU方法高出几个数量级的加速,并扩展了困难被积体的可实现精度。我们的算法通常优于其他现有的确定性并行方法。
2021-06-23 cs.DC
Learning from the Past: Adaptive Parallelism Tuning for Stream Processing Systems
本文提出 StreamTune,通过预训练与微调框架利用历史执行数据和 DAG 结构进行流处理系统自适应并行度调优,在 Apache Flink 和 Timely Dataflow 上显著减少重配置次数与并行度,同时保持处理性能。
2025-07-07 cs.DB cs.DC
Fast Histograms using Adaptive CUDA Streams
直方图在医学成像、网络入侵检测、数据包分析等基于流的高吞吐量应用中有着广泛的应用。然而,在将此类软件栈移植到GPU时,直方图的计算是一个典型的瓶颈,主要是由于原子操作对内核速度产生很大影响。在这项工作中,我们提出了一个基于流的模型,在CUDA中实现,使用一个新的自适应内核,可以根据延迟隐藏的CPU计算进行优化。我们还探讨了使用新内核与股票NVIDIA SDK内核的权衡,并讨论了智能内核切换方法的流的基础上退化标准,自适应地计算从输入流。
2010-11-01 cs.DC cs.PF
PDSP-Bench: A Benchmarking System for Parallel and Distributed Stream Processing
本文提出PDSP-Bench基准测试系统,针对分布式异构环境中的并行流处理性能,支持集成机器学习模型,通过对Apache Flink的测试及成本模型比较,揭示并行性对性能的非线性等趋势。
2025-04-14 cs.DB cs.DC
Sampling Streaming Data with Parallel Vector Quantization -- PVQ
企业数据在云中的积累吸引了更多的企业应用程序到云计算中,从而产生了数据引力。因此,网络流量变得更加以云为中心。这种以云为中心的流量的增加对由于类不平衡而设计用于流数据的学习系统提出了新的挑战。类的数量在从数据流构建的分类器的准确性中起着至关重要的作用。在本文中,我们提出了一种基于矢量量化的采样方法,它大大减少了数据流中的类不平衡。我们通过使用常用的ML模型构建方法对网络流量和异常数据集进行实验来证明其有效性; TensorFlow后端的多层感知器,支持向量机,K-最近邻和随机森林。我们使用并行处理、批处理和随机选择样本构建模型。我们表明,分类模型的准确性提高时,数据流与我们的方法进行预处理。我们使用这些分类器的开箱即用超参数和自动sklearn进行超参数优化。
2022-10-04 cs.DC cs.LG
Parallel clustering of high-dimensional social media data streams
我们引入云DIKW作为一个分析环境,支持科学发现,通过集成的并行批处理和流处理,并将其应用到一个代表性的领域应用:社交媒体数据流聚类。最近的工作表明,可以通过使用反映文本内容和社交网络信息的高维向量表示数据点来生成高质量的聚类。由于相似性计算的高成本,即使是单遍算法的顺序实现也无法跟上真实世界流的速度。本文介绍了我们的努力,以满足实时社会流聚类通过并行化的限制。我们关注两个系统层面的问题。像Apache Storm这样的大多数流处理引擎都以有向非循环图的形式组织分布式工作器,这使得动态同步并行工作器的状态变得困难。我们通过使用发布-订阅消息传递系统创建单独的同步通道来应对这一挑战。由于高维向量的稀疏性,随着新数据点被分配到聚类,质心的大小快速增长。传统的同步,直接广播集群质心变得过于昂贵,限制了并行算法的可扩展性。我们解决这个问题的通信集群,而不是整个质心向量的动态变化。我们的算法在云DIKW下可以实时处理Twitter 10%的数据流,具有96路并行度。通过对Cloud DIKW的自然改进,包括在Harp项目中开发的高级集体通信技术,我们将能够以1000路并行实时处理完整的Twitter流。我们使用强大的通用软件子系统将使许多其他需要集成流和批处理数据分析的应用程序成为可能。
2015-02-01 cs.DB cs.DC cs.SI
Stream-K: Work-centric Parallel Decomposition for Dense Matrix-Matrix Multiplication on the GPU
我们介绍Stream-K,一个以工作为中心的矩阵乘法(GEMM)和稠密线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的,我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用,而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上,我们对GEMM的Stream-K并行化可产生高达14 $\times$和6.7 $\times$的峰值加速比,以及在32,824个GEMM问题几何中比最先进的数学库(如CUTLASS和cuBLAS)更高且更一致的平均性能响应。此外,我们从每个浮点精度的单个瓦片大小配置中实现了这种性能,而今天的数学库采用复杂的内核选择算法来从大量的内核变体中进行选择。
2023-01-09 cs.DC cs.DS
Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs
University of Cologne(科隆大学);University of Ostrava(俄斯特拉发大学);NVIDIA(英伟达)
提出Streami,一个可扩展的GPU加速库,用于在高性能计算机上计算流体流场中的场线,支持后处理或原位分析,并与现有MPI应用交互。
2026-05-29 cs.CE cs.DC cs.GR
Data stream fusion for accurate quantile tracking and analysis
UDDSKETCH是一种用于精确跟踪数据流中分位数的最新算法,源自DDSKETCH算法。UDDSKETCH提供覆盖独立于输入分布的全部分位数范围的精度保证,并大大提高了DDSKETCH的精度。在本文中,我们展示了如何压缩和融合数据流(或数据集),通过使用UDDSKETCH数据摘要,融合到一个新的摘要相关的工会的流(或数据集)处理的输入摘要,同时保留错误和大小保证UDDSKETCH提供。草图的这种属性称为可合并性,它支持并行和分布式处理。我们证明了UDDSKETCH是完全可合并的,并介绍了一个并行版本的UDDSKETCH适合基于消息传递的架构。我们正式证明其正确性,并将其与DDSKETCH的并行版本进行比较,通过大量的实验结果表明,我们的并行算法几乎总是优于并行DDSKETCH算法在确定分位数的整体精度。
2021-01-17 cs.DB cs.DC cs.DS
Adaptive Bitrate Video Streaming for Wireless nodes: A Survey
在当今的互联网中,视频是最占主导地位的应用,除此之外,诸如WiFi、蜂窝和蓝牙的无线网络已经变得无处不在。因此,大多数互联网流量是无线节点上的视频。有大量的研究来改进视频流以在互联网上实现高质量的体验(QoE)。他们中的许多人专注于无线节点。最近的测量研究经常表明,视频的QoE在许多无线客户端通过互联网受到影响。最近,许多研究论文提出了模型和方案,以优化自适应比特率(ABR)为基础的视频流的无线和移动用户。在这次调查中,我们提出了一个全面的概述,最近的工作在该地区的互联网视频专为无线网络。最近的研究表明,通过无线连接客户端增加了一些新的挑战。而且,当这些节点是移动的时,这些挑战变得更加难以处理。该调查还讨论了由于无线频谱日益稀缺而导致的未来研究的新的潜在领域。
2020-07-27 cs.DC cs.NI
Stream Processing With Dependency-Guided Synchronization (Extended Version)
具有低延迟要求的实时数据处理应用已经导致流处理系统的日益普及。虽然此类系统提供了可用于自动实现数据并行的方便API,但它们对需要在并行节点之间同步的计算提供了有限的支持。在本文中,我们提出了 * 依赖引导同步(DGS)*,一种替代的编程模型,用于具有复杂同步要求的有状态流计算。在该模型中,输入被视为部分有序的,程序由一组并行化结构,适用于分解的偏序和过程事件独立。我们的编程模型映射到一个名为 * 同步计划 * 的执行模型,它支持并行节点之间的同步。我们的评估表明,两个广泛使用的系统- Flink和Timely Dataflow -提供的API不能适当地暴露一些代表性应用程序中的并行性。相比之下,DGS使实现具有可扩展的性能,由此产生的同步计划在现有系统中手动实现时提供吞吐量改进,并且与编写顺序代码相比,编程开销很小。
2022-01-03 cs.DC cs.PL
Single Stream Parallelization of Recurrent Neural Networks for Low Power and Fast Inference
由于神经网络算法在许多应用中表现出了很高的性能,因此在移动和嵌入式系统上进行有效的推理具有重要的意义。当在嵌入式系统中为个人用户执行单流递归神经网络(RNN)时,它需要大量的DRAM访问,因为网络大小通常比缓存大小大得多,并且RNN的权重在每个时间步仅使用一次。我们克服了这个问题,并行化的算法,并执行它多个时间步骤的时间。这种方法还通过降低DRAM访问的次数来降低功耗。基于QRNN(Quasi循环神经网络)和SRU(Simple Recurrent Unit)的循环神经网络被用于实现。在基于ARM处理器的系统中,当多时间步数分别为4和16时,SRU的加速比分别为300%和930%。
2018-03-30 cs.DC cs.NE
MorphStream: Scalable Processing of Transactions over Streams on Multicores
本文提出多核事务流处理引擎 MorphStream,通过规划、调度、执行三阶段范式支持动态调度与并行处理,实验表明其在多场景下优于现有 TSPE。
2023-07-24 cs.DB cs.DC
Adaptive parallelism with RMI: Idle high-performance computing resources can be completely avoided
在实践中,并行计算作业的标准调度几乎总是留下可用硬件的显著部分未被使用,即使许多作业仍在队列中等待。原因很简单,这些等待作业的资源请求是固定的,与可用的、未使用的资源不匹配。然而,利用替代的但现有的和完善的技术,可以实现不需要预设的固定资源的完全自动化的自适应并行。在这里,我们证明了这样的自适应并行程序确实可以填补所有这样的调度差距,即使在现实生活中的情况下,大型超级计算机。
2019-02-01 cs.DC physics.chem-ph physics.comp-ph
Parallel and distributed asynchronous adaptive stochastic gradient methods
随机梯度法(SGM)是训练深度学习模型的主要方法。自适应版本(例如,Adam和AMSGrad)在实践中得到了广泛的使用,部分原因是它们比非自适应版本实现了更快的收敛,同时产生的开销很少。另一方面,异步(异步)并行计算表现出显着更高的速度比同步(同步)对应。异步并行非自适应SGM已经在文献中从理论和实际性能的角度进行了很好的研究。自适应SGM也可以以并行方式实现,没有太大困难。然而,据我们所知,没有理论结果的并行自适应SGM已建立。自适应SGM的二阶矩项是自适应SGM分析的难点。在本文中,我们提出了一种基于AMSGrad的并行自适应SGM。我们表明,所提出的方法继承了收敛保证AMSGrad的凸和非凸问题,如果老化(也称为延迟)所造成的dupy是有界的。我们的收敛速度的结果表明,如果$τ=o(K^{\frac{1}{4}})$,其中$τ$是陈旧性和$K$是迭代次数接近线性的并行化加速。该方法在凸和非凸机器学习问题上进行了测试,数值结果表明其明显优于同步对应和并行非自适应SGM。
2022-04-13 cs.DC cs.NA math.NA