Collective Communication for Distributed LLM Systems: Planning, Runtime Adaptation, and Computation Coordination
School of Software, Beihang University（北京航空航天大学软件学院）；State Key Laboratory of Internet Architecture, Tsinghua University（清华大学互联网架构国家重点实验室）；Infrawaves（英伟拉维斯）
本文提出以集体为中心的分类法，将分布式LLM系统集体通信进展分为规划、执行适配、计算通信协调三层，探讨相关开放挑战与未来机遇。
2026-08-18 cs.DC
Proceedings First International Workshop on Decentralized Coordination of Distributed Processes
本卷包含在2010年6月10日在荷兰阿姆斯特丹举行的第一届“分布式进程的分散协调”国际研讨会（DCDP 2010）上提交的论文，同时还包含第五届分布式计算技术国际联合会议（DisCoTec 2010）。研讨会的中心主题是分布式流程的分散协调。去中心化：网络中没有任何一个权威机构，任何东西都容易受到它的攻击。协调：进程需要合作，以取得有意义的结果，可能是在相互怀疑的情况下。分布式：进程被一个潜在的不可靠的网络分开。
2010-06-09 cs.CR cs.DC cs.NI
Optimal CPU Scheduling in Data Centers via a Finite-Time Distributed Quantized Coordination Mechanism
在本文中，我们分析了数据中心的最优任务调度问题。给定可用的资源和任务，我们提出了一个快速的分布式迭代算法，该算法在一个大规模的节点网络上运行，并允许每个互连的节点在有限数量的时间步长内达成协议的最优解。更具体地，算法（i）保证在有限数量的时间步中收敛到精确的最优调度计划，并且（ii）一旦实现任务调度的目标，它就表现出分布式停止能力（即，它允许节点分布式地确定它们是否可以终止算法的操作）。此外，所提出的算法仅对量化值（即，在相邻代理之间存储、处理和交换的信息经受确定性统一量化）并且依赖于事件驱动更新（例如，以减少能量消耗、通信带宽、网络拥塞和/或处理器使用）。我们还提供了例子来说明所提出的算法的操作，性能和潜在的优势。最后，通过使用广泛的经验评估，通过模拟，我们表明，该算法具有最先进的性能。
2021-04-07 cs.DC
Quantifying and Generalizing the CAP Theorem
在分布式应用程序中，Brewer的CAP定理告诉我们，当网络变得分区时，在一致性和可用性之间存在权衡。一致性是系统中共享变量值的一致性，而可用性是响应访问这些共享变量的读写的能力。我们量化这些概念，给出数值的不一致性和不可用性。认识到网络划分不是一个全有或全无的命题，我们用L（表观延迟的数值度量）替换CAP中的P，并推导出CAL定理，即不一致性、不可用性和表观延迟之间的代数关系。这种关系表明，如果等待时间变得无限（例如，网络被分割），则不一致性和不可用性之一也必须成为无界的，因此CAP定理是CAL定理的特殊情况。我们描述了两个分布式协调机制，我们已经实现的通用语言协调语言的扩展，支持一致性和可用性之间的任意权衡明显的延迟变化。在集中协调的情况下，不一致性仍然受到所选数值的限制，代价是网络分区下的不可用性变得无界。在分散式协调下，不可用性仍然受到所选数值的限制，代价是不一致性在网络分区下变得无界。我们的集中式协调机制是历史上用于分布式仿真的技术的扩展，分布式仿真是一致性至关重要的应用程序。我们的去中心化协调机制是在可用性至关重要的情况下在分布式数据库中使用的技术的扩展。
2021-09-16 cs.DC
Exploring Blockchain for The Coordination of Distributed Energy Resources
分布式能源（DER）的快速增长，例如分布式可再生能源（例如，屋顶光伏电池板）、储能系统、电动汽车和可控电器，驱动电力系统向具有双向电力流的分散系统发展。通过公用事业公司、系统运营商或第三方协调员等集合者协调减少灾害风险机制，是一种很有前途的范例。然而，如何使聚合器和DER之间的信任能够有效地集成DER，还没有很好地理解。在本文中，我们使用区块链技术为DER开发了一个可信的分布式协调系统。我们模拟各种DERs，并制定了DERs的成本最小化问题，以优化其能源交易，调度和需求响应。我们使用交替方向的乘法器（ADMM）来解决这个问题，在一个分布式的方式。为了以可信的方式实现分布式算法，我们设计了一个智能合约来更新乘数并与区块链网络中的DER通信。我们使用真实世界的数据通过实验验证了我们的设计，仿真结果证明了我们的算法的有效性。
2021-03-10 cs.DC cs.SY eess.SY
Time-Fluid Field-Based Coordination through Programmable Distributed Schedulers
本研究提出基于因果场和可编程分布式调度器的时间流体场协调方法，重新定义场计算中的时间调度，以平衡系统响应性与资源成本，并在场演算和聚合计算框架中实现与仿真验证。
2021-11-24 cs.DC cs.LO
BuDDI: A Declarative Bloom Language for CALM Programming
协调协议帮助分布式系统的程序员分析事务对系统状态的影响，但它们并不便宜。协调协议可能涉及多轮通信，这可能会损害系统的响应能力。在分布式计算中存在用于管理协调-性能权衡的许多努力。最近的一个工作线的特点是类的工作量，协调是不必要的一致性：即，逻辑单调的程序。在本文中，我们提出了一个典型的计算生物学工作负载的逻辑单调性的案例研究。我们利用布卢姆语言编写高效的分布式程序，并比较其性能等效程序写在UPC++，一种流行的语言编写分布式程序。此外，我们利用Bloom的分析工具来确定协调点，并利用我们自己使用Bloom的经验为没有强大的分布式计算背景的用户推荐一些更高级别的抽象。
2021-09-20 cs.DC cs.PL
On Distributed Density in Tuple-based Coordination Languages
受化学隐喻的启发，本文提出了一种扩展的Linda类语言，旨在为复杂分布式系统的协调建模。新语言操纵有限的元组集，并在它们之间分配密度。这个新的概念增加了在选择匹配元组中固有的非确定性，一个非确定性的告诉，问和得到原语上的考虑不同的元组。此外，由于de Boer和Palamidessi的模块化嵌入的概念，我们建立了这种新的语言严格增加了前面介绍的密集巴赫语言的表达能力，因此，Linda类语言。
2015-02-12 cs.DC cs.MA cs.PL
Ledger-State Stigmergy: A Formal Framework for Indirect Coordination Grounded in Distributed Ledger State
本文提出基于账本状态的间接协调框架，通过状态转换形式化方法，识别三种常见链上协调模式及Commit-Reveal序列叠加，提供可重用的词汇和设计指导。
2026-04-05 cs.DC cs.MA
Distributed Coordination Based on Quantum Entanglement
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文论证并证明了利用量子纠缠可以增强分布式群体中行动的协调性。特别是，我们专注于-全球和本地同时随机行走，使用纠缠量子位，崩溃到相同（或相反）的方向，无论是随机方向或完全控制的同时运动。- 通过使用随机发送或具有预定义基的纠缠量子比特来识别恶意窃听者的窃听，这些窃听者旨在干扰同时的随机行走。- 识别试图获取秘密信息或使用纠缠量子位攻击系统的拜占庭机器人或恶意机器人。- 使用伪心灵感应来协调机器人的行动。
2022-10-19 cs.DC cs.ET cs.RO
Entanglement improves coordination in distributed systems
Delft Networks（代尔夫特网络）；QuTech, Delft University of Technology（代尔夫特理工大学 QuTech）；Quantum Computer Science, EEMCS, Delft University of Technology（代尔夫特理工大学 EEMCS 量子计算机科学）；Kavli Institute of Nanoscience, Delft University of Technology（代尔夫特理工大学 卡弗里纳米科学研究所）
针对双任务分布式系统中的协调问题，利用量子纠缠的瞬时相关性，通过排队论和非局部博弈证明纠缠辅助路由策略在基线任务吞吐量函数严格凸时实现帕累托最优，优于无通信经典策略。
2026-06-24 cs.DC quant-ph
Efficient Coordination for Distributed Discrete-Event Systems
针对分布式离散事件系统中HLA传输时序信息网络开销大的问题，提出保留DE语义的减消息方法，实验验证其可显著降低HLA时序消息量，助力分布式CPS的高效确定性时序控制。
2024-10-09 cs.DC cs.SY eess.SY
Causality, Knowledge and Coordination in Distributed Systems
在分布式系统中实现跨远程站点的协调是分布式计算的重要组成部分，也是一个固有的挑战。1978年，Leslie Lamport提出了异步系统中的通信分析。Lamport的分析确定了时间优先的概念，这是一种弱时间概念，在异步系统中是缺失的。这一概念已被广泛用于各种应用中。然而，分析仅限于异步系统。在这篇论文中，我们超越了研究因果关系的同步系统。在这样的系统中，因果影响的边界并不完全由信息传递来划定。在这里，时间本身，对所有过程来说，都以一种统一的（或几乎统一的）速率流逝，也是一种媒介，因果影响可以通过它扇出。本论文研究，并描述，时间和信息传递的组合，在同步系统中的因果关系的影响。事实证明，基于知识的分析[FHMV]提供了一个定制的正式框架内，因果概念可以研究。正如我们所展示的，知识的形式概念非常适合于用信息流来表征因果影响，扩展了Chandy和Misra在[ChM]中的分析。我们定义了几个通用类的协调问题，对参与进程提出了各种时间顺序的要求。这些协调问题提供了现实生活需求的自然概括。然后，我们分析的因果关系的条件下，这些问题的适当解决方案。分析分两个阶段进行：第一，时间顺序的要求减少到认知条件。然后，这些认知条件的特点是因果关系的沟通模式，是必要的和足够的，使他们。
2011-12-19 cs.DC cs.LO
Keeping CALM: When Distributed Consistency is Easy
现代分布式系统中的一个关键问题是在保持语义一致的同时避免协调成本。直到最近，对于何时实际上需要协调的问题还没有答案。在本文中，我们提出了一个非正式的介绍CALM定理，它回答了这个问题，正是从传统的存储一致性考虑程序的属性。CALM是“一致性作为逻辑单调性”的首字母缩写。CALM定理表明，具有一致的、无协调的分布式实现的程序正是可以用单调逻辑表示的程序。这一理论结果对分布式应用程序的开发人员具有实际意义。我们展示了如何CALM提供了一个建设性的应用级对应传统的“系统”的智慧，如CAP定理显然是负面的结果。我们还讨论了单调思维影响分布式系统设计的方式，以及新的程序设计语言设计和工具如何帮助开发人员编写一致的、无协调的代码。
2019-01-26 cs.DB cs.DC cs.PL
Mitigating the Impact of Distributed Generations on Relay Coordination Using Fault Current Limiters
分布式发电资源的使用，除了带来可观的效益外，也给电力系统带来了一些问题。在中断的情况下，最关键的问题之一是增加电网中的短路电流水平，这导致改变下游和上游电网中的保护设备设置。通过使用故障限流器（FCL），分布式发电电网中的短路电流可以降低到可接受的水平，因此不需要改变下游电网（包括分布式发电）的保护继电器设置。然而，通过将FCL定位在联络馈线中，下游电网并不比上游电网更有效，因此其可靠性指标也将改变。因此，本文表明，通过定位单向故障限流器（UFCL）在联络馈线，改变上游电网的继电保护设置的必要性是防止。在本文中，所提出的方法实施，并报告其效率在六个场景。
2021-06-23 cs.DC cs.SY eess.SY
Proceedings 13th International Workshop on Foundations of Coordination Languages and Self-Adaptive Systems
本卷包含FOCLASA 2014的会议记录，第13届协调语言和自适应系统基础国际研讨会。FOCLASA 2014于2014年9月9日在意大利罗马举行，作为CONCUR 2014的卫星活动，CONCUR 2014是第25届并发理论国际会议。现代软件系统是分布式的、并发的、移动的，并且经常涉及异构组件和独立服务的组合。服务协调和自适应是分布式系统和面向服务系统的核心特征。协调语言和形式化的方法来建模和推理的自适应行为有助于简化复杂的分布式服务为基础的系统的开发，使功能的正确性证明，并提高可重用性和可维护性的系统。FOCLASA研讨会的目标是将上述领域的研究人员和从业人员聚集在一起，交流和确定共同问题，并在协调语言和自适应系统的背景下制定一般性解决方案。
2015-02-11 cs.DC cs.LO cs.PL
Online Distributed Learning with Quantized Finite-Time Coordination
Digital Futures, KTH Royal Institute of Technology（KTH皇家理工学院数字未来中心）
本文针对无中央服务器的在线分布式学习场景，提出一种基于量化有限时间协调协议的分布式算法，支持本地随机梯度训练，并从与在线解的平均距离角度分析性能，通过逻辑回归实验验证其有效性。
2023-08-31 cs.DC cs.LG math.OC
Threshold Logical Clocks for Asynchronous Distributed Coordination and Consensus
用于异步网络的一致性协议通常是复杂和低效的，导致实际系统依赖于同步协议。本文试图简化异步共识之上建立一个新的阈值逻辑时钟抽象，使上层操作，如果在一个同步网络。这种方法为故障停止节点产生了一个异步共识协议，该协议可能比Paxos及其基于领导者的变体更简单，更强大，不需要共同的硬币，并在恒定的预期回合数中实现共识。同样的方法可以通过建立在成熟的技术上来加强对拜占庭式失败的防范，例如防篡改日志记录和流言、可问责的状态机、阈值签名和见证人共同签名以及可验证的秘密共享。现有抽象和阈值逻辑时钟的这种组合产生了一种模块化的、分层清晰的方法，用于构建实用且高效的拜占庭共识、分布式密钥生成、时间、时间戳和随机性信标以及其他关键服务。
2019-07-16 cs.CR cs.DC cs.NI
Proceedings 14th International Workshop on Foundations of Coordination Languages and Self-Adaptive Systems
本卷包含FOCLASA 2015的会议记录，第14届协调语言和自适应系统基础国际研讨会。FOCLASA 2015于2015年9月5日在西班牙马德里举行，作为CONCUR 2015的卫星活动，CONCUR 2015是第26届并发理论国际会议。现代软件系统是分布式的、并发的、移动的，并且经常涉及异构组件和独立服务的组合。服务协调和自适应是分布式系统和面向服务系统的核心特征。协调语言和形式化的方法来建模和推理自适应行为有助于简化复杂的分布式基于服务的系统的开发，使功能正确性证明，自动合成正确的建设系统，并提高可重用性和可维护性等系统。FOCLASA研讨会的目标是将上述领域的研究人员和从业人员聚集在一起，交流和确定共同问题，并在协调语言和自适应系统的背景下制定一般性解决方案。
2015-12-22 cs.DC cs.LO cs.PL
TurboKV: Scaling Up The Performance of Distributed Key-Value Stores With In-Switch Coordination
软件定义网络的强大功能和灵活性催生了可编程网络基础设施，在这种网络基础设施中，网内计算可以帮助提高应用程序的性能。这可以通过将一些计算任务卸载到网络来实现。但是，应该将什么样的计算任务委托给网络来加速应用程序的性能？在本文中，我们提出了一种方法来利用可编程开关的使用来扩展分布式键值存储的性能。此外，作为概念验证，我们提出了TurboKV，一个高效的分布式键值存储架构，利用可编程开关：1）分区管理节点存储键值存储分区和副本信息; 2）监测站来测量存储节点的负载，这些监测信息被用来平衡存储节点之间的负载。我们还提出了一个基于密钥的路由协议，根据所请求的密钥将客户端的搜索查询路由到目标存储节点。我们的初步原型的实验结果表明，我们提出的架构提高了吞吐量，减少了延迟的分布式键值存储相比，现有的架构。
2020-10-26 cs.DB cs.DC cs.NI
CPU Scheduling in Data Centers Using Asynchronous Finite-Time Distributed Coordination Mechanisms
我们提出了一个异步迭代方案，允许一组互连的节点，以分布式达成协议，在一个预先指定的范围内，在有限数量的步骤。虽然这种方案可以在各种各样的应用程序中，我们讨论它的范围内的任务调度数据中心。在这种情况下，该算法是保证近似收敛到最佳的调度计划，给定的可用资源，在有限数量的步骤。此外，由于是异步的，所提出的方案能够考虑到可以以延迟可变性的形式从离散节点或通信问题引入的不确定性，同时仍然收敛到目标。此外，通过使用广泛的经验评估，通过模拟，我们表明，所提出的方法具有最先进的性能。
2023-01-12 cs.DC cs.SY eess.SY
Coordination-Free Workload Regularization for Variable-Cost Distributed Training
LinkedIn Corporation（领英公司）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对同步数据并行训练中记录成本差异导致的空闲时间问题，提出无协调的BCL策略，可降低批次成本变异性，在多GPU训练中实现1.050-1.343倍的速度提升。
2026-10-16 cs.DC cs.LG
SwitchFS: Asynchronous Metadata Updates for Distributed Filesystems with In-Network Coordination
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所）
SwitchFS通过异步元数据更新和网络内协调，提升分布式文件系统在偏斜工作负载下的吞吐量和降低延迟。
2025-12-30 cs.DC cs.OS cs.PF
Path-Sensitive Atomic Commit: Local Coordination Avoidance for Distributed Transactions
内容：具有异步消息传递的并发对象是构造高可用性、高性能、大规模软件系统的一种越来越流行的方法。为了保证数据的一致性和支持对象间的同步，这类系统通常使用分布式事务，使用两阶段锁（2 PL）进行并发控制，使用两阶段提交（2 PC）作为原子提交协议。然而，在高可用性、高吞吐量的系统中，例如大型银行基础设施，当对象高度竞争时，当对象由于锁定而排队大量消息时，2 PL成为瓶颈。方法：在本文中，我们引入路径敏感的原子提交（PSAC）来解决这种情况。我们从消息处理程序（或方法）开始，它用前置和后置条件装饰，描述它们的保护和效果。知识：这允许PSAC锁定机制检查同时传入的两个消息的效果是否独立，并且如果是这种情况则避免锁定。结果，更多的消息被直接接受或拒绝，并获得更高的总吞吐量。基础：我们已经为一个名为Rebel的基于状态机的DSL实现了PSAC，它是在基于Akka actor框架的运行时之上。我们的性能评估表明，PSAC表现出相同的可扩展性和延迟特性的标准2 PL/2 PC，并获得高达1.8倍的平均吞吐量在拥塞的情况下。重要性：我们相信PSAC是使组织能够构建可扩展的分布式应用程序的一个步骤，即使他们的一致性要求并不是非常并行的。
2020-06-09 cs.DC cs.PL cs.SE
Handshaking Protocol for Distributed Implementation of Reo
Reo是一种外生的基于通道的协调语言，是一种服务协调模型，其中服务通过连接二进制通信通道形成的连接器进行通信。为了按照连接器语义的规定在服务之间建立事务通信，分布式端口交换握手消息，通知哪些方准备好提供或使用数据。在本文中，我们提出了一个正式的实现模型，分布式Reo的通信延迟和大纲的正确性证明的想法。为了对Reo的实现进行形式化的推理，我们引入了时间动作约束自动机（TACA），并解释了如何将TACA与现有的基于自动机的Reo语义进行比较。我们使用TACA来描述握手行为的Reo建模原语，并认为在任何分布式电路远程Reo节点和通道暴露这样的行为提交执行过渡所设想的网络语义。
2015-02-12 cs.DC cs.PL cs.SE
Decomposition of non-convex optimization via bi-level distributed ALADIN
Institute for Automation and Applied Informatics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自动化与应用信息研究所）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
本文提出了一种通过双层分布式ALADIN算法进行去中心化非凸优化的框架，解决了约束非凸优化中现有算法性能有限或缺乏收敛保证的问题，通过在内层使用去中心化共轭梯度或ADMM方案来求解简化后的凸协调QP，并通过电力系统和机器人案例验证了该框架的性能。
2019-03-27 cs.DC cs.SY eess.SY
