Toward Reliable and Rapid Elasticity for Streaming Dataflows on Clouds
流数据的普遍可用性推动了对用于流应用的分布式快速数据平台的兴趣。这种延迟敏感的应用程序需要使用弹性云资源上的横向扩展来响应输入速率和任务行为的动态性。像Apache Storm这样的平台不提供强大的功能来响应这种动态性和跨VM快速迁移任务。我们提出了几种流媒体流检查点和迁移方法，允许流媒体流迁移，而不会丢失任何飞行中的消息或其内部任务状态，同时减少恢复和稳定的时间。我们在Apache Storm上实施并评估这些迁移策略，使用微和应用程序扩展来扩展到多达2-21个Azure VM。我们的结果表明，我们可以在50秒内迁移大尺寸的磁盘，相比之下，风暴的默认方法，接管$100~sec$。我们还发现，我们的方法可以更早地稳定应用程序，并且没有失败和重新处理消息。
2017-12-02 cs.DC
Holon Streaming: Global Aggregations with Windowed CRDTs
针对现有精确一次流处理系统全局聚合扩展性差、延迟受限于集中式协调的问题，提出基于新型窗口化CRDT抽象的Holon Streaming系统，通过去中心化协调实现高效故障恢复，在延迟、吞吐量及故障场景表现均显著优于现有系统。
2025-10-29 cs.DC
Graph-based Gossiping for Communication Efficiency in Decentralized Federated Learning
针对去中心化联邦学习的通信低效问题，提出基于图的gossip机制，结合最小生成树与图着色优化通信，在真实硬件实验中验证了其相比朴素洪泛方法能大幅降低带宽占用与传输时间。
2025-06-12 cs.DC
Shelby: Decentralized Storage Designed to Serve
Shelby是一种高性能去中心化存储协议，通过分离控制与数据平面、采用低开销纠删码及专用骨干网，并引入新颖审计协议，在保障去中心化的同时为Web3应用提供Web2级性能。
2025-06-24 cs.DC
Managing Large-Scale Transient Data in IoT Systems
流数据的普遍可用性推动了对用于流应用的分布式快速数据平台的兴趣。这种延迟敏感的应用程序需要使用弹性云资源上的横向扩展来响应输入速率和任务行为的动态性。像Apache Storm这样的平台不提供强大的功能来响应这种动态性和跨VM快速迁移任务。我们提出了几种流媒体流检查点和迁移方法，允许流媒体流迁移，而不会丢失任何飞行中的消息或其内部任务状态，同时减少恢复和稳定的时间。我们在Apache Storm上实施并评估这些迁移策略，使用微和应用程序扩展来扩展到多达2-21个Azure VM。我们的结果表明，我们可以在50秒内迁移大尺寸的磁盘，而Storm的默认方法需要100秒以上。我们还发现，我们的方法可以更早地稳定应用程序，并且没有失败和重新处理消息。
2018-03-24 cs.DC
Designing a Real-Time IoT Data Streaming Testbed for Horizontally Scalable Analytical Platforms: Czech Post Case Study
企业级物联网（IoT）应用需要实时的【形】水平可扩展的数据处理平台，这是一个不断增长的趋势。从传感器网络接收数据流实时的【形】处理平台（例如，自动驾驶和联网车辆、企业和家庭的智能安全、智能手表、健身追踪器和其他可穿戴设备）需要分布式MQTT代理。本案例研究介绍了为捷克邮政准备的物联网数据流测试平台。该平台已达到每24小时200万条信息（包括短信和电子邮件）的吞吐量要求。经过测试的MQTT代理运行在水平可扩展测试平台的单个虚拟节点上。不久，捷克邮政将对其电子服务进行现代化改造，以增加符合电子商务和电子政务需求的包裹递送。所提出的测试平台满足所有要求，它也是每秒处理数千条消息的能力。所提出的平台和概念可转移到医疗保健系统，交通运营，汽车行业和其他领域，如智能城市。
2021-12-10 cs.DC cs.SE
Pilot-Streaming: A Stream Processing Framework for High-Performance Computing
越来越多的科学应用依赖于流处理，以便从科学仪器、模拟和物联网（IoT）传感器的数据源中及时生成见解。流媒体应用的开发是一项复杂的任务，需要集成异构的分布式基础设施、框架、中间件和应用组件。不同的应用程序组件通常使用不同的抽象和框架以不同的语言编写。通常，需要额外的组件，例如消息代理（例如Kafka），以解耦数据生产和消费，并避免诸如背压等问题。由于诸如由数据源引起的可变数据率、自适应采样技术或网络带宽、由不同机器学习算法的使用引起的可变处理负载之类的因素，流应用可能是极其动态的。因此，能够响应这些因素之一的变化的应用程序级资源管理至关重要。我们提出试点流，一个框架，支持流框架，应用程序和他们的资源管理需求的HPC基础设施。Pilot-Streaming基于Pilot-Job概念，使开发人员能够管理复杂流应用程序的分布式计算和数据资源。它使应用程序能够通过在运行时添加/删除资源来动态响应资源需求。这种能力对于平衡复杂的流管道至关重要。为了解决开发和表征流应用的复杂性，我们提出了流迷你应用框架，其支持用于数据生成和处理的不同可插入算法，例如，用于使用不同的技术重建光源图像。我们利用迷你应用程序框架进行试点流的评估。
2018-11-11 cs.DC
ABS-NET: Fully Decentralized Runtime Adaptation for Distributed Objects
我们提出了一个正式的，完全分散的运行时语义的ABS，语言和框架建模分布式面向对象系统的核心子集。该语义结合了网络基础设施的抽象图表示，其中网络端点表示为图节点，并且链路表示为具有缓冲器的弧，对应于OSI第2层互连。我们希望解决的关键问题是如何分配计算任务的节点，使某些性能目标得到满足。为此，我们使用的语义作为基础，通过节点之间的对象迁移执行网络自适应任务执行。适应性分析的三个服务质量的目标：节点负载，弧负载和消息延迟。我们已经实现了我们的语义在模拟器中的关键部分，并评估如何以及实现目标的一些应用相关的网络拓扑结构，迁移过程和ABS程序的选择。评估表明，在去中心化环境中，持续满足节点平衡任务分配的目标并在最大限度地减少通信以及弧负载和消息延迟方面取得进展是可行的。
2013-10-17 cs.DC cs.PL
An Asynchronous, Decentralized Solution Framework for the Large Scale Unit Commitment Problem
随着对网络基础设施的日益依赖，大规模电力网络由于计算可扩展性而面临新的挑战。在本文中，我们专注于开发一个异步分散解决方案框架的机组组合（UC）问题的大规模电力网络。我们利用固有的基于区域的分解所产生的区域子问题的不平衡，以提高计算效率。提出了一种两阶段算法，该算法依赖于凸松弛和隐私保护有效不等式，以提供算法的改进。我们的算法采用了一种新的交错二进制机制，局部切换凸子问题，其二进制对应的一致的局部收敛行为的基础上。我们开发了一个面向高性能计算（HPC）的软件框架，使用消息传递接口（MPI）来驱动我们的基准测试研究。我们的模拟IEEE 3012总线的情况下进行基准对集中式和最先进的同步分散的方法。结果表明，异步方法提高了计算效率的显着数量，并提供了一个有竞争力的解决方案的质量媲美基准方法。
2019-04-12 cs.DC
Decentralized and Self-adaptive Core Maintenance on Temporal Graphs
针对时序网络的核分解计算问题，提出一种去中心化增量算法，利用历史核度值减少节点激活与消息量，在大型真实网络实验中验证了其在活跃节点、通信开销和收敛速度上的效率优势。
2025-10-01 cs.DC
sPIN: High-performance streaming Processing in the Network
由于通信开销限制了并行应用程序的可伸缩性，因此优化通信性能对于大规模计算是必不可少的。今天的网卡包含为数据移动而优化的相当强大的处理器。然而，这些设备仅限于固定功能，例如远程直接存储器访问。我们开发了sPIN，一个便携式的编程模型，以卸载简单的数据包处理功能的网卡。为了证明该模型的潜力，我们设计了一个周期精确的仿真环境相结合的网络模拟器LogGOPSim和CPU模拟器gem 5。我们实现了卸载消息匹配，数据类型处理和集体通信，并展示了透明的全应用程序加速。此外，我们还展示了如何使用sPIN来加速内存中的冗余文件系统和其他几个用例。我们的工作研究了一个便携式数据包处理网络加速模型，类似于CUDA或OpenCL的计算加速。我们展示了这样的网络加速如何实现一个生态系统，可以显着加快应用程序和系统服务。
2017-10-19 cs.DC
A Study on Messaging Trade-offs in Data Streaming for Scientific Workflows
本研究通过模拟Deleria和LCLS工作流，探讨RabbitMQ消息传递框架中影响科学工作流流传输需求的参数配置，揭示了可靠消息传输的吞吐量权衡与实用配置见解。
2025-09-08 cs.DC
Message Passing for Dynamic Network Energy Management
Stanford University（斯坦福大学）
提出一种完全去中心化的消息传递方法，通过设备间交换简单消息并独立求解局部优化问题，实现动态网络能量管理，并证明凸情况下的收敛性。
2012-04-05 cs.DC cs.SY eess.SY
Stream-based Decentralized Runtime Verification
工业控制系统（ICS）通常由地理上分布的组件构建，并且通常使用可编程逻辑控制器用于本地化过程。由于这种系统的验证是具有挑战性的，因为这两个时间敏感性的系统规范和分布式组件的固有的安全性，开发运行时保证，不仅验证不同的组件的正确性，而且还生成汇总的系统的统计数据是感兴趣的。在本文中，我们首先提出了一个通用的技术，用于分布式应用程序的运行时监控，其行为可以建模为输入/输出{ \em流}与内部计算模块的部分同步语义，其中一个不完美的时钟同步算法是假设。其次，我们提出了一个广义的基于流的分散运行时验证技术。我们还严格评估我们的算法广泛的合成实验和几个ICS和飞机SBS消息数据集。
2023-01-30 cs.DC cs.FL
D-Cliques: Compensating for Data Heterogeneity with Topology in Decentralized Federated Learning
Inria（法国国家信息与自动化研究所）；EPFL（洛桑联邦理工学院）
使用联邦学习训练的机器学习模型的收敛速度受到异构数据分区的显著影响，在没有中央服务器的完全分散设置中更是如此。在本文中，我们表明，标签分布偏斜的影响，一个重要的类型的数据异构性，可以显着减少精心设计的底层通信拓扑结构。我们提出了D-集团，一种新的拓扑结构，减少梯度偏差分组节点稀疏互连集团，使标签分布在一个集团是代表全球标签分布。我们还展示了如何适应分散SGD的更新，以获得无偏梯度，并使用D-Cliques实现有效的动量。我们对MNIST和CIFAR 10的广泛实证评估表明，我们的方法提供了与全连接拓扑相似的收敛速度，这在数据异构环境中提供了最佳收敛，并显着减少了边缘和消息的数量。在1000个节点的拓扑中，D-Cliques需要的边数减少98%，消息总数减少96%，并且使用跨团的小世界拓扑可以进一步获得收益。
2021-11-04 cs.AI cs.DC cs.LG
Topos: A Secure, Trustless, and Decentralized Interoperability Protocol
Topos是一个开放的互操作性协议，旨在通过用加密构造和去中心化替换信任假设来尽可能减少信任假设，同时表现出巨大的可扩展性。该协议不使用中央区块链，也不使用共识来确保在公共和私有区块链的异构生态系统中一致地传递消息，称为“TCE”，而是依赖于由分布式网络实现的弱因果可靠广播，我们称之为$\textit{Transmission Control Engine}$（TCE）。跨子网消息的有效性由$\textit{Universal Certificate Interface}$（UCI）确保，并且源于zkSTARK证明，该证明断言由Topos zkVM执行的“状态转换”的有效性。这种计算完整性的证明可以由协议内外的任何其他参与者公开验证，例如其他审计公司或审计公司。TCE和DRM之间的接口利用ICE-FROST协议，这是一种创新的阈值签名方案，其静态公钥允许在DRM在协议中注册后唯一地标识DRM。Topos协议被设计为向生态系统提供$\textit{uniform security}$并处理任何类型的干扰（例如，许可的、无许可的），以适应任何业务用例，并为全球采用和互联网基础层的新标准铺平道路。
2023-02-08 cs.CR cs.DC
Quantized Decentralized Stochastic Learning over Directed Graphs
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
针对有向图上去中心化随机学习的通信瓶颈，提出基于push-sum的量化算法，在凸和非凸损失下保持与精确通信相同的收敛速率，并实现显著加速。
2024-12-19 cs.DC cs.LG cs.MA
Message-Aware Graph Attention Networks for Large-Scale Multi-Robot Path Planning
University of Cambridge（剑桥大学）
针对大规模多机器人去中心化路径规划中普通GNN消息聚合无优先级的问题，提出基于类键-查询机制的MAGAT模型，性能接近集中式算法，泛化性强，超大规模场景下成功率较基准提升47%。
2021-04-25 cs.DC cs.LG cs.MA
D3-GNN: Dynamic Distributed Dataflow for Streaming Graph Neural Networks
University of Warwick（华威大学）；Fujitsu Research of Europe（富士通欧洲研究院）；Amazon Web Services（亚马逊网络服务）
针对流式图神经网络的算法与系统挑战，提出分布式混合并行系统D3-GNN，通过流式聚合器、分布式计算图及层间层内加窗方案处理更新，相较DGL吞吐量提升约76倍。
2024-09-10 cs.AI cs.DC cs.LG
Decentralized High-Dimensional Bayesian Optimization with Factor Graphs
Laboratory of Information and Decision Systems, Massachusetts Institute of Technology（麻省理工学院信息与决策系统实验室）
提出了一种新的分散式高维贝叶斯优化算法（DEC-HBO），与现有的HBO算法相比，可以利用各种输入分量对未知目标函数f的输出的相互依赖的影响来提升BO性能，并且仍然保持输入维度的数量的可缩放性，而不需要先验知识或存在低的输入空间的（有效）维数。为了实现这一点，我们提出了一个稀疏但丰富的因子图表示的f被利用设计的采集功能，可以类似地表示为一个稀疏的因子图，从而有效地优化分散的方式使用分布式消息传递。尽管DEC-HBO用因子图充分描述了输入分量对f输出的相互依赖影响，但它仍然可以渐近地保证无遗憾性能。对合成和真实世界实验的经验评估（例如，具有1811个超参数的稀疏高斯过程模型）表明DEC-HBO优于现有技术的HBO算法。
2018-01-24 cs.DC cs.LG cs.MA
