Benchmarking Message Brokers for IoT Edge Computing: A Comprehensive Performance Study
University of North Texas（北德克萨斯大学）；Argonne National Laboratory and University of Chicago（阿贡国家实验室和芝加哥大学）
本文通过统一的基准框架评估了八个主流消息中间件，揭示了轻量级中间件在低延迟方面的优势及企业级平台的高开销问题，为物联网部署提供了实用指导。
2026-03-23 cs.DC
sPIN: High-performance streaming Processing in the Network
由于通信开销限制了并行应用程序的可伸缩性，因此优化通信性能对于大规模计算是必不可少的。今天的网卡包含为数据移动而优化的相当强大的处理器。然而，这些设备仅限于固定功能，例如远程直接存储器访问。我们开发了sPIN，一个便携式的编程模型，以卸载简单的数据包处理功能的网卡。为了证明该模型的潜力，我们设计了一个周期精确的仿真环境相结合的网络模拟器LogGOPSim和CPU模拟器gem 5。我们实现了卸载消息匹配，数据类型处理和集体通信，并展示了透明的全应用程序加速。此外，我们还展示了如何使用sPIN来加速内存中的冗余文件系统和其他几个用例。我们的工作研究了一个便携式数据包处理网络加速模型，类似于CUDA或OpenCL的计算加速。我们展示了这样的网络加速如何实现一个生态系统，可以显着加快应用程序和系统服务。
2017-10-19 cs.DC
A Study on Messaging Trade-offs in Data Streaming for Scientific Workflows
本研究通过模拟Deleria和LCLS工作流，探讨RabbitMQ消息传递框架中影响科学工作流流传输需求的参数配置，揭示了可靠消息传输的吞吐量权衡与实用配置见解。
2025-09-08 cs.DC
StreamNet: A DAG System with Streaming Graph Computing
为了在基于POW的区块链系统中实现高吞吐量，研究人员提出了一系列方法，其中DAG是最活跃和最有前途的领域之一。我们设计并实现了StreamNet，旨在设计一个可扩展和耐用的DAG系统。在DAG中附加新块时，仅选择两个尖端。一种是父端，其定义与Conflux[1]中的定义相同;另一种是使用马尔可夫链蒙特卡罗（MCMC）技术，其定义与IOTA [2]相同。我们沿着图中每个时期的路径推断出一个枢轴链，并且可以在没有集中权威的情况下计算图的总阶数。为了扩大规模，我们利用了图流属性;即使DAG不断增长，也可以实现高事务验证速度。为了向外扩展，我们设计了直接信号流言协议来帮助在网络中传播块更新，从而可以更有效地在网络中传递消息。我们基于IOTA的参考代码（IRI）实现了我们的系统，并在多种网络拓扑的不同大小的集群上进行了全面的实验。
2020-06-07 cs.DC
Model-driven Scheduling for Distributed Stream Processing Systems
随着物联网（IoT）的发展，分布式流处理框架被普遍使用。这些框架旨在通过伸缩来适应动态输入消息速率。Apache Storm最初由Twitter开发，是一个广泛使用的流处理引擎，其他包括Flink，Spark流。为了保证流媒体应用的成功运行，需要知道流媒体应用的最优资源需求，而过高的资源估计会增加额外的成本，因此需要一些策略来为给定的流媒体应用提出最优的资源需求。在这篇文章中，我们提出了一个模型驱动的方法调度流应用程序，有效地利用先验知识的应用程序提供可预测的调度行为。具体来说，我们使用应用程序性能模型来提供所需的资源分配的可靠估计。此外，这种直觉还驱动资源映射，并有助于缩小估计和实际的低性能和资源利用率。总之，这种模型驱动的调度方法给出了用于在分布式资源上以目标输入流速率执行给定DSPS应用的可预测的应用性能和资源利用行为。
2017-02-06 cs.DC
Parameterized verification of synchronization in constrained reconfigurable broadcast networks
可重构广播网络提供了一个方便的形式主义建模和推理的移动代理广播消息到其他代理的网络以下一些（不断发展的）通信拓扑结构。这些模型的参数化验证旨在检查给定的属性是否与初始配置（代理数量，初始状态和初始通信拓扑结构）无关。我们在这里集中在同步属性，询问是否所有代理收敛到一组目标状态后，一些执行。这个问题是已知的，在多项式时间内，当没有约束的通信拓扑结构的演变（而它是不可判定的静态广播网络）是可判定的。在本文中，我们研究如何重新配置的各种约束影响的可判定性和复杂性的同步问题。特别是，我们表明，当绑定的数量重新配置的链接之间的两个通信步骤由一个常数，同步变得不可判定;另一方面，同步仍然是可判定的PTIME时，绑定的代理数量的增长。
2018-02-23 cs.DC cs.FL cs.LO
Tiga: Compiling Graph Message Passing at Scale
Tiga是一个即时编译器，通过多级中间表示和流式分区执行，在内存受限设备上高效编译图消息传递，减少运行时和内存使用，支持分布式执行。
2026-09-22 cs.DC
Some Problems in Compact Message Passing
本文旨在解决的问题，设计分布式算法的设置紧凑的内存，即亚线性位的工作内存为任意连接的网络。我们网络中的节点可能具有比其可能邻居的数量低得多的内部存储器，这意味着节点可能无法存储其邻居的所有ID。这些算法对于诸如物联网之类的小型设备的大型网络、对于无线或自组织网络是有用的，并且通常作为存储器高效算法。我们介绍了紧凑的消息传递（CMP）模型，标准的消息传递模型的扩展，考虑在一个更细的粒度，节点可以交错的读取和写入与内部计算，使用一个端口只有一次在一轮。由于低存储器需求，需要交错来进行有意义的计算，并且交错类似于具有执行流算法的节点的分布式网络。请注意，内部内存大小限制了消息大小的上限，因此例如对于日志内存，该模型比Congest模型弱;对于此类模型，我们的算法也将直接工作。我们给出了具有log^2-记忆节点的CMP模型的早期结果。我们介绍了局部紧函数和紧协议的概念，并给出了一些经典的分布式问题（领导选举，树的建设和遍历）的解决方案。在此基础上，我们通过设计用于查找标记二叉树的特定子树的局部紧凑函数，解决了在自修复树中的紧凑路由消息（TCS 2017）中提出的紧凑自修复路由算法CompactFTZ的紧凑预处理的开放问题。因此，我们介绍了第一个完全紧凑的自愈路由算法。我们还给出了独立的完全紧凑版本的宽恕树[PODC 08]和Thorup-Zwick的基于树的紧凑路由[SPAA 01]。
2018-05-21 cs.DC
Reconfigurable Broadcast Networks and Asynchronous Shared-Memory Systems are Equivalent (Long Version)
我们证明了两个分布式计算模型，即可重构广播网络（RBN）和异步共享内存系统（ASMS），这是独立介绍的等价性。RBN和ASMS都是一组匿名、有限状态进程运行相同协议的系统。在RBN中，进程通过选择性广播进行通信：一个进程可以广播一条消息，该消息被它的所有邻居接收，并且进程的邻居集合可以随时间任意改变。在ASMS中，进程通过共享内存进行通信：进程可以对共享寄存器进行写操作或读操作。我们的主要结果是，RBN和ASMS可以相互模拟，即它们在参数化可达性方面是等价的，其中我们给出两组（可能是无限的）配置C和C'，它们由每个状态中进程数量的上下界定义，我们想决定C中的某些配置是否可以达到C'中的某些配置。使用这种模拟等价性，我们将RBN的结果转移到ASMS，反之亦然。最后，我们证明了RBN和ASMS可以模拟第三种分布式模型，称为即时观察（IO）网。此外，对于一个稍微强一些的模拟概念（本文给出的所有模拟都满足这个概念），我们证明了IO网不能模拟RBN。
2021-08-26 cs.DC cs.LO cs.MA
Efficient Processing of Very Large Graphs in a Small Cluster
受Google的Pregel成功的启发，最近开发了许多用于大图迭代计算的系统。这些系统提供了一个用户友好的顶点为中心的编程接口，其中程序员只需要指定一个通用顶点的行为时，开发一个并行图形算法。然而，大多数现有的系统要求输入图驻留在集群中的机器的存储器中，并且少数核外系统遭受诸如稀疏计算工作量的效率差、对网络带宽的高要求以及由外部存储器连接和分组引起的昂贵成本等问题。在本文中，我们介绍了GraphD系统的用户处理非常大的图形与普通的计算资源。GraphD通过在本地磁盘上流式传输边缘和消息，同时并行传输消息，将计算与通信完全重叠。对于消息合并器适用的Pregel算法，GraphD消除了任何昂贵的外部内存连接或group-by的需要。这些关键技术使GraphD能够实现与内存中Pregel类似系统相当的性能，而无需在内存中保留边缘和消息。我们证明了使用GraphD用n台机器处理图G=（V，E），每台机器只需要O（|V| /n）的内存空间，允许GraphD扩展到非常大的图与一个小的集群。大量的实验表明，GraphD以数量级击败了现有的核外系统，并实现了与运行足够内存的内存系统相当的性能。
2016-01-21 cs.DC
D3-GNN: Dynamic Distributed Dataflow for Streaming Graph Neural Networks
University of Warwick（华威大学）；Fujitsu Research of Europe（富士通欧洲研究院）；Amazon Web Services（亚马逊网络服务）
针对流式图神经网络的算法与系统挑战，提出分布式混合并行系统D3-GNN，通过流式聚合器、分布式计算图及层间层内加窗方案处理更新，相较DGL吞吐量提升约76倍。
2024-09-10 cs.AI cs.DC cs.LG
Reconfigurable Broadcast Networks and Asynchronous Shared-Memory Systems are Equivalent
我们证明了两个分布式计算模型，即可重构广播网络（RBN）和异步共享内存系统（ASMS），这是独立介绍的等价性。RBN和ASMS都是一组匿名、有限状态进程运行相同协议的系统。在RBN中，进程通过选择性广播进行通信：一个进程可以广播一条消息，该消息被它的所有邻居接收，并且进程的邻居集合可以随时间任意改变。在ASMS中，进程通过共享内存进行通信：进程可以对共享寄存器进行写操作或读操作。我们的主要结果是，RBN和ASMS可以相互模拟，即它们在参数化可达性方面是等价的，其中我们给出两组（可能是无限的）配置C和C'，它们由每个状态中进程数量的上下界定义，我们想决定C中的某些配置是否可以达到C'中的某些配置。使用这种模拟等价性，我们将RBN的结果转移到ASMS，反之亦然。最后，我们证明了RBN和ASMS可以模拟第三种分布式模型，称为即时观察（IO）网。此外，对于一个稍微强一些的模拟概念（本文给出的所有模拟都满足这个概念），我们证明了IO网不能模拟RBN。
2021-09-17 cs.DC cs.LO cs.MA
Hybrid Communication Architecture HCA
21世纪初，出现了许多关于分布式哈希表的研究和商业项目。他们的目标之一是用可扩展的对等体系结构取代第一代文件共享软件。在其他方面，相同的技术被应用于例如内容分发网络、流网络、协作高速缓存、分布式文件系统和用于科学用途的网格计算架构。这种趋势已经出现，因为与基本的客户端-服务器架构相比，与合作对等体相比，可以渐进地增强在数据共享中资源的使用。对数据分发的需求是广泛的，有人可能会说，它是一个基本的积木作为互联网的消息传递。作为对这一需求的回答，引入了一种新的可扩展体系结构：混合通信体系结构（HCA），其提供数据共享和消息传递作为应用程序的通信原语。HCA可以被看作是一个抽象的通信层，它进一步封装了一个更高层次的中间件。HCA是针对一般用途，它不是为任何特定的应用程序而设计的。一个关键的想法是将数据共享与流相结合，因为它们一起使许多应用程序不容易实现这些功能之一。例如，游戏应用程序可以在客户端之间共享游戏世界状态，并通过使用流来修改它。该系统的另一个显著特征是在通信的优化中使用物理网络拓扑的知识。HCA具有可行的业务模型、容错和安全特性，最终将被实际采用。本文介绍了HCA的C++客户端接口规范，以及构成实现的分布式节点的体系结构和协议。
2014-07-15 cs.DC cs.NI
Accelerating Recommender Model ETL with a Streaming FPGA-GPU Dataflow
ETH Zurich（苏黎世联邦理工学院）
PipeRec通过FPGA-GPU数据流加速推荐模型ETL，提升吞吐量并降低训练时间
2026-02-25 cs.AR cs.DC cs.LG
Time- and Communication-Efficient Overlay Network Construction via Gossip
本文提出一种基于 Gossip 的分布式覆盖网络构建协议，可在 polylog n 轮内仅用 Õ(n) 条消息将任意连通图重构为常数度扩展图，并利用图草图实现时间与通信双重高效。
2023-11-28 cs.DC
FLOWER: A comprehensive dataflow compiler for high-level synthesis
FPGA已经作为加速卡进入数据中心，使可重构计算更容易用于高性能应用。与此同时，新的高级合成编译器（如Xilinx Vitis）和运行时库（如XRT）吸引了软件程序员进入可重构领域。虽然软件程序员熟悉任务级和数据并行编程，但FPGA通常需要不同类型的并行性。例如，数据驱动的并行性是强制性的，以获得令人满意的硬件设计的流水线并行架构。然而，软件程序员通常不熟悉Linux架构，导致硬件设计不佳。在这项工作中，我们提出了FLOWER，一个全面的编译器基础设施，提供自动规范转换的高层次合成从特定领域的库。这使得程序员可以专注于算法实现，而不是底层的优化。我们表明，FLOWER允许合成高性能的流媒体应用程序的目标系统芯片和FPGA加速卡，在图像处理和计算机视觉的背景下，有效的实现。
2021-12-14 cs.AR cs.DC cs.PL
On The Communication Complexity of Linear Algebraic Problems in the Message Passing Model
研究了多人消息传递模型中有限域上线性代数问题的通信复杂性，证明了一些紧下界。具体来说，对于分布在多个参与者中的矩阵，我们考虑确定其秩、计算其逆元素以及求解线性方程组的问题。我们还考虑相关的问题，如计算广义内积的向量在不同的服务器上举行。我们给出了一个一般的框架，减少这些多玩家的问题，他们的两个球员的同行，表明这些问题的随机$s$球员的通信复杂性至少是$s$倍的随机两个球员的通信复杂性。提供的问题有一定数量的代数对称性，我们正式定义，我们可以显示最难的输入分布是一个对称分布，因此适用于最近的多玩家下限技术的菲利普斯等人。此外，我们给新的两个玩家的下界为这些问题的数量。特别是，我们的最佳下界的两个玩家版本的矩阵秩问题解决了一个公开的问题孙和王。我们的下界的一个共同特征是，它们甚至适用于这些问题的特殊“阈值承诺”版本，其中潜在的数量，例如，rank被保证是两个值之一，一个在某个临界阈值的两侧。这些类型的承诺问题是常见的文献中的数据流的来源，减少给空间下限的难度。
2014-07-17 cs.CC cs.DC
Coloring Fast with Broadcasts
本文提出一种基于广播的(Δ+1)-着色分布式算法，每节点每轮仅发送O(log n)比特消息，达到O(log^3 log n)轮复杂度，与更强的CONGEST模型最新成果相当，并可在流式低内存弱模型下实现。
2023-04-19 cs.DC cs.DS
