Centralized Congestion Control and Scheduling in a Datacenter
我们考虑的问题,设计一个数据包级的拥塞控制和调度策略的数据中心网络。当前的数据中心网络主要继承了互联网设计中的原则,其中拥塞控制和调度是分布式的。虽然分布式架构提供了健壮性,但它在性能方面受到影响。与互联网不同,数据中心基本上是一个“受控”的环境。这提高了设计集中式架构以实现更好性能的可能性。最近的解决方案,如Fastpass和Flowtune,已经证明了这一概念。这就提出了一个问题:数据中心理论上可以实现的最佳性能是什么?我们提出了一个集中式的政策,保证每个流的端到端的流延迟界限的$O$(#hops $\times$ flow-size $/$ gap-to-capacity)。实际上,这样的端到端的延迟将经历的流,即使我们删除拥塞控制和调度约束,作为结果的排队网络可以被看作是经典的可逆多类排队网络,它具有产品形式的平稳分布。在哈里森等人的语言中,我们确定该模型类的基线性能是可实现的。事实上,作为这项工作的关键贡献,我们提出了一种方法来模拟这样一个可逆的排队网络,同时满足拥塞控制和调度约束。准确地说,我们的政策是一个模拟的存储和转发(SFA)的拥塞控制结合最后来先服务的抢占式恢复(LCFS-PR)调度策略。
2017-10-06 cs.NI
Round Trip Time: A Benign Signal or an Indirect Window into Datacenter Workloads?
City University of New York(纽约市立大学)
该研究针对多租户数据中心的叶脊架构,开发框架利用RTT观测推断共置工作负载,发现间接RTT观测可实现最高97.3%的运行级准确率,仅逻辑隔离无法防止此类信息泄露。
2026-07-30 cs.NI
Randomized Local Fast Rerouting for Datacenter Networks with Almost Optimal Congestion
为了确保高可用性,数据中心网络必须依赖于本地快速重路由机制,该机制允许路由器以完全分散的方式对链路故障做出快速反应。然而,配置这些机制以提供针对多个故障的高弹性,同时避免沿故障转移路由的拥塞在算法上具有挑战性,因为重新路由规则只能依赖于本地故障信息并且必须提前定义。本文提出了一种随机本地快速重路由算法Clos网络,主要的数据中心拓扑结构。给定一个描述Clos拓扑的图$G=(V,E)$,我们的算法为每个节点$v\in V$定义了本地路由规则,这些规则只依赖于数据包的目的地,并以事件链路故障为条件。我们证明,只要在每个节点的故障数不超过一定的界限,我们的算法实现了一个渐进的最小拥塞polyloglog沿故障转移路径的因素。我们的下界是在一些自然路由假设下开发的。
2021-08-04 cs.DC cs.NI
LCMP: Distributed Long-Haul Cost-Aware Multi-Path Routing for Inter-Datacenter RDMA Networks
BUPT(北京邮电大学);State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Peking University(北京大学);Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室)
本文提出LCMP框架,通过结合控制平面路径质量评分与交换机紧凑拥塞信号,实现跨数据中心RDMA流量的多路径路由,降低传输成本和延迟,解决流量决策冲突问题。
2026-04-09 cs.NI
Slytherin: Dynamic, Network-assisted Prioritization of Tail Packets in Datacenter Networks
数据中心应用要求低延迟和高吞吐量;而交互式应用(例如,Web搜索)由于其分区聚合软件架构而要求其短消息的低尾部延迟,许多数据密集型应用(例如,Map-Reduce)需要高吞吐量的长流,因为它们在网络上移动大量的数据。最近的建议通过解决现有的分组调度和拥塞控制算法的缺点,分别改善短流的延迟和长流的吞吐量。我们的关键观察,长尾的流完成时间(FCT)的短流导致数据包,遭受拥塞在一个以上的交换机沿其路径在网络中。我们的建议,斯莱特林,专门针对在多个点遭受拥塞的数据包,并在网络中优先考虑它们。斯莱特林利用ECN机制,这是广泛使用的现有的路由器,以识别这样的尾部数据包,并动态优先级,他们使用现有的优先级队列。与现有的最先进的数据包调度方案相比,斯莱特林在没有任何吞吐量损失的情况下,实现了短流的第99百分位流完成时间降低18.6%。此外,斯莱特林大幅减少了交换机中第99百分位的队列长度,平均约为2倍。
2018-07-05 cs.NI
Reinforcement Learning for Datacenter Congestion Control
Nvidia Research(英伟达研究院)
我们使用强化学习(RL)来处理网络拥塞控制的任务。成功的拥塞控制算法可以显著改善延迟和整体网络吞吐量。直到今天,还没有这样的基于学习的算法在这一领域显示出实际的潜力。显然,最近最流行的部署依赖于基于规则的算法,这些算法在预定的基准集上进行测试。因此,这些理论不能很好地推广到新出现的场景。首先,我们设计了一个基于RL的算法,其目的是推广到现实世界的数据中心网络的不同配置。我们克服了部分可观测性,非平稳性和多目标性等挑战。我们进一步提出了一个策略梯度算法,利用奖励函数的解析结构来近似其导数并提高稳定性。我们表明,该方案优于其他流行的RL方法,并推广到训练过程中没有看到的场景。我们的实验,在一个现实的模拟器,模拟通信网络的行为,表现出改善的性能,同时对多个考虑的指标相比,今天部署在真正的网络中心的流行算法。我们的算法正在产品化,以取代世界上一些最大的物流中心的物流。
2022-06-29 cs.AI cs.LG cs.NI
ProFlow: RL-Driven and Performance-Aware Proactive Flow Placement in Datacenter Networks
City University of New York(纽约市立大学)
ProFlow是一种基于强化学习的主动式数据中心流放置框架,可利用网络拥塞早期征兆提前重路由受保护流,相比反应式方法吞吐量提升约40%且决策提前约34秒。
2026-07-30 cs.DC cs.NI
Micro Congestion Control: Every Flow Deserves a Second Chance
今天,大量的互联网流量从数据中心发送到用户。随着网络基础设施和用户设备的不断升级,网络中心的服务器所提供的连接特性通常是多样的,并且随着时间的推移而变化。因此,特定的拥塞控制算法很难适应异构性,并且在各种场景中表现良好。在这项工作中,我们提出了微拥塞控制(MCC)-一个新的框架,互联网拥塞控制。通过MCC,可以有目的地为同一服务器上的连接分配不同的算法以适应异构性,并在每个连接的生存周期中选择不同的算法以适应网络的动态变化。我们在Linux下设计并实现了MCC,实验验证了MCC能够在各种候选算法之间平滑地动态切换,从而在现实世界中获得潜在的性能增益。同时,MCC引入的管理费用适中,可以接受。
2018-10-22 cs.NI
Impact of RoCE Congestion Control Policies on Distributed Training of DNNs
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院);Meta
融合以太网上的RDMA(RoCE)由于其与传统的基于以太网的结构的兼容性而对于数据中心网络具有显著的吸引力。然而,RDMA协议仅在(几乎)无损网络上有效,强调了拥塞控制在RoCE网络上的重要作用。然而,基于优先级流控制(PFC)的本地RoCE拥塞控制方案存在许多缺点,例如不公平性、线头阻塞和死锁。因此,近年来已经提出了许多方案来为RoCE网络提供附加的拥塞控制,以最小化PFC缺点。然而,这些方案是针对一般数据中心环境提出的。与使用商用硬件构建并运行通用工作负载的一般训练中心相比,高性能分布式训练平台部署高端加速器和网络组件,并使用集体(All-Reduce,All-To-All)通信库进行通信来专门运行训练工作负载。此外,这些平台通常有一个专用网络,将其通信流量与数据中心的其余流量分开。可扩展的拓扑感知集体算法本质上是为了避免incast模式和最佳平衡流量而设计的。这些独特的功能需要重新访问以前提出的通用数据中心环境的拥塞控制计划。在本文中,我们深入分析了一些SOTA RoCE拥塞控制方案与PFC在分布式训练平台上运行时。我们的研究结果表明,以前提出的RoCE拥塞控制计划的训练工作负载的端到端的性能影响不大,激励的必要性,设计一个优化的,但低开销,拥塞控制计划的基础上的分布式训练平台和工作负载的特点。
2022-07-22 cs.AI cs.NI
SIRD: A Sender-Informed, Receiver-Driven Datacenter Transport Protocol
本文提出 SIRD 接收方驱动传输协议,通过区分单所有者链路与共享链路,结合精确调度、发送方拥塞反馈和反应式协调,在 Caladan 上实现 100Gbps、低排队与近最优延迟。
2025-05-13 cs.NI
PCM: Programmable Congestion Management for Terabit RDMA NICs
ETH Zürich(苏黎世联邦理工学院);Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼查大学);Broadcom Inc.(博通公司);Microsoft Corporation(微软公司)
本文提出PCM编程模型,分离数据中心网卡的可移植拥塞管理与平台集成,实现11种算法并在4种数据路径验证,为Ultra Ethernet可移植拥塞管理接口提供参考。
2026-10-12 cs.NI
DDCCast: Meeting Point to Multipoint Transfer Deadlines Across Datacenters using ALAP Scheduling Policy
大型云计算公司管理着全球数十个使用专用数据中心间网络连接的数据中心。这些网络的一个重要应用是数据复制,其目的是通过制作备份副本提高弹性,使数据更接近用户以减少延迟和WAN带宽使用,以及全局负载均衡。这些复制通常会导致网络传输的截止日期,该截止日期决定了所有数据中心都应该拥有数据副本的时间。数据中心间网络容量有限,需要有效利用以最大限度地提高性能。在本报告中,我们重点关注在给定期限限制的情况下,将对象的多个副本从一个数据中心传输到多个数据中心的应用程序。现有的解决方案要么是最后期限不可知的,要么只考虑点对点传输。我们提出了DDCCast,一个简单而有效的最后期限感知点到多点技术的基础上DCCast和使用Aesthetic流量分配。DDCCast使用时间规划执行仔细的准入控制,使用速率分配和速率限制来避免拥塞,并通过精心选择的转发树发送流量,以减少带宽使用并最大限度地提高最后期限满足率。我们进行实验,确认DDCCast的潜力,以减少总带宽使用量高达$45\%$,同时承认高达$25\%$更多的流量到网络相比,现有的解决方案,保证最后期限。
2017-07-07 cs.NI
Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs
NVIDIA Networking(英伟达网络部门);NVIDIA Research(英伟达研究院);Technion Institute of Technology(以色列理工学院);Bar-Ilan University(巴伊兰大学)
针对网络设备算力有限难以部署 AI 模型的问题,本研究通过将强化学习拥塞控制算法蒸馏为决策树并部署于 NVIDIA 网卡,实现了微秒级实时推理,在多项指标上优于传统算法,证明了数据驱动 CC 方法的可行性。
2024-06-01 cs.AI cs.LG cs.NI
SMaRTT: Sender-based Marked Rapidly-adapting Trimmed & Timed Transport
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软);Carnegie Mellon University(卡内基梅隆大学);Sapienza University of Rome(罗马第一大学);AMD(超威半导体);University Politehnica of Bucharest(布加勒斯特理工大学);Broadcom Inc.(博通公司);University College London(伦敦大学学院)
SMaRTT是一种基于发送方的拥塞控制算法,通过结合延迟、ECN和数据包修剪,实现快速、公平的窗口调整和多路径支持,优于现有算法并提升公平性。
2026-02-11 cs.NI
Congestion-Aware Path Selection for Load Balancing in AI Clusters
针对AI集群RDMA网络现有负载均衡依赖TCP优化或专用硬件的问题,本文提出纯主机端的Hopper,通过持续拥塞监测、动态切换低拥塞路径及控制切换时机,最多降低20%平均与14%尾流完成时间。
2025-06-09 cs.NI
Optimal Congestion Control for Time-varying Wireless Links
现代网络在链路速率方面表现出高度的可变性。蜂窝网络带宽固有地随着接收器运动和定向而变化,而数据中心和服务提供商网络中的基于类别的分组调度引起网络租户的可用容量的高度可变性。最近的工作提出了许多拥塞控制协议,以应付这种变化,提供不同的权衡之间的链路利用率和排队延迟。在本文中,我们开发了一个正式的模型,拥塞控制随时间变化的链接,我们用这个模型来推导出一个边界上的任何拥塞控制协议运行在一个随时间变化的链路与一个给定的速率变化分布的性能。利用这种分析的见解,我们得出一个最优控制法,提供了一个平稳的权衡链路利用率和排队延迟。我们将此控制律的性能与现有的几种控制算法在蜂窝链路跟踪上进行比较,以表明有显着的优化空间。
2022-02-09 cs.NI
Congestion Control for Spraying with Congested Paths
Technion(以色列理工学院);NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校)
本文研究了在拥堵路径下喷洒技术与现有拥塞控制算法的结合问题,提出使用中位反馈改进算法,提升网络服务质量。
2026-03-19 cs.NI
Scale Congestion Control to Ultra-High Speed Ethernet
目前,以太网广泛应用于局域网、数据中心和企业网、存储网络、高性能计算网络等领域,随着以太网的普及,对以太网进行拥塞控制的需求也随之而来。另一方面,以太网速度最近扩展到40Gbps和100Gbps,甚至在不久的将来达到400Gbps。超高速要求拥塞控制算法能够适应带宽的大幅度变化,并通过增大带宽时延积来突出小时延的影响。最先进的标准QCN是为1Gbps和10Gbps以太网设计的,并且没有意识到伴随超高速的挑战。为了将拥塞控制扩展到超高速以太网,提出了自适应滑模(ASM)拥塞控制算法,该算法简单、稳定、收敛过程快速平滑,能够容忍时延的影响,适应带宽的大范围变化。真实的实验和仿真证实了这些良好的性质,并表明ASM优于QCN。通过设计ASM,我们发现队列长度的导数反映了带宽和聚合发送速率之间的差异,有助于速率调整。我们还提出了拥塞控制系统应停留在拥塞边界线上,并沿此边界线自动滑向稳定点。这些见解对开发超高速网络中的其他拥塞控制算法也有参考价值。
2014-05-06 cs.NI
GraphCC: A Practical Graph Learning-based Approach to Congestion Control in Datacenters
Barcelona Neural Networking Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学巴塞罗那神经网络中心);Telefonica Research(西班牙电信研究中心);Huawei Technologies Co., Ltd.(华为技术有限公司)
GraphCC提出一种结合多智能体强化学习与图神经网络的分布式框架,通过交换机间协作优化ECN配置,在多种数据中心场景下相比ACC基线显著降低流完成时间和缓冲区占用。
2023-08-09 cs.AI cs.LG cs.MA
Fast and Efficient Bulk Multicasting over Dedicated Inter-Datacenter Networks
一些组织已经建立了通过专用广域网连接的多个数据中心,在这些广域网上进行大规模的数据中心间传输。这包括由于数据和内容复制而生成的大量多播流量。虽然可以使用单个多播转发树来执行这些传输,但这可能导致性能较差,因为每个树上最慢的接收器决定了所有接收器的完成时间。每次传输使用多棵树,每棵树连接到接收器的子集,这就消除了这个问题。多播树的选择也决定了总带宽的使用。为了进一步提高性能,可以在特定时间段内为不同的多播树划分专用数据中心间网络上的带宽,以避免拥塞并最小化平均接收器完成时间。在本文中,我们打破这个问题分为三个子问题的划分,树的选择,和速率分配。我们提出了一种算法,称为QuickCast,这是计算速度快,使我们能够显着加快多个接收器,每批量多播传输控制额外的带宽消耗。我们评估QuickCast对各种合成和真实的流量模式,以及真实的广域网拓扑结构。与将批量多播传输作为单独的单播传输执行相比,QuickCast在使用$0.71\times$带宽的同时,平均完成时间最多可减少$3.64\times$。此外,与使用单个转发多播树进行数据传递时相比,QuickCast允许接收器的顶部$50\%$在$3\times$到$35\times$之间平均更快地完成。
2018-12-16 cs.NI cs.PF
Towards an Efficient Combination of Adaptive Routing and Queuing Schemes in Fat-Tree Topologies
本文针对Fat-Tree网络中多路径路由与基于队列的流量分离结合时可能适得其反的问题,提出了一组限制条件以改进多路径路由算法的替代路由选择,实现两者的有效结合。
2025-02-01 cs.NI
On Efficient Data Transfers Across Geographically Dispersed Datacenters
随着应用程序变得更加分散,以改善用户体验并提供更高的可用性,企业比以往任何时候都更加依赖于托管此类应用程序的地理上分散的网络中心。已经构建了专用的数据中心间网络,可以提供网络状态的高可见性和对流量转发的灵活控制,以在许多数据中心上托管的应用程序实例之间提供高质量的通信。这些网络相对较小,具有数十到数百个节点,并且由运营中心的同一组织管理,这使得集中式流量工程可行。通过使用来自服务的协调数据传输和数据中心间网络上的路由,可以根据考虑数据传输截止日期、网络容量消耗和传输完成时间的各种效用函数来优化网络性能。在这篇论文中,我们研究的技术和算法的快速和有效的数据传输跨越地理上分散的数据中心之间的数据中心网络。我们讨论了不同的形式和属性的数据中心间的传输,并提出了一个广义的优化框架,以最大限度地提高运营商选择的效用函数。接下来,在接下来的几章中,我们详细研究了具有截止期的传输和数据中心间多播传输的接纳控制问题。对于准入控制问题,我们的解决方案在准入控制过程中提供了显着的速度,同时在允许进入网络的总流量中提供几乎相同的性能。对于批量多播问题,我们的技术使接收器完成时间的显着性能增益与低计算复杂性,这使得它们非常适用于数据中心间的网络。
2019-08-29 cs.NI
An In-Depth Analysis of the Slingshot Interconnect
互连是大规模计算系统中最关键的部件之一,其对应用性能的影响随着系统规模的增大而增大。在本文中,我们将描述弹弓,大规模计算系统的互连网络。Slingshot基于高基数交换机,它允许构建最多三个交换机到交换机跳的百万兆级和超大规模数据中心网络。此外,Slingshot提供了高效的自适应路由和拥塞控制算法,以及高度可调的流量类别。Slingshot使用优化的以太网协议,使其能够与标准以太网设备互操作,同时为HPC应用提供高性能。我们分析了Slingshot提供这些功能的程度,在微基准测试和来自数据中心和AI世界的几个应用程序以及HPC应用程序上对其进行了评估。我们发现,与上一代网络相比,在弹弓上运行的应用程序受拥塞的影响较小。
2020-08-20 cs.DC cs.NI cs.PF
Exploration of TCP Parameters for Enhanced Performance in a Datacenter Environment
大多数操作系统中的TCP参数针对在其内部网络中具有低时延的一般家庭和办公室环境进行了优化。然而,当相同的参数被直接插入数据中心环境时,这种布置总是导致网络性能受损。我们确定了关键的TCP参数,对网络性能有重大影响的研究和家庭和数据中心环境的比较分析的基础上。我们讨论了修改TCP参数的某些标准,并支持我们的分析与模拟结果,验证数据中心环境的情况下的性能改善。
2019-09-05 cs.NI
Iroko: A Framework to Prototype Reinforcement Learning for Data Center Traffic Control
University of British Columbia(不列颠哥伦比亚大学)
最近的网络研究已经确定,数据驱动的拥塞控制(CC)可以比TCP中的传统CC更有效。特别是深度强化学习(RL)具有学习最优网络策略的潜力。然而,RL具有不稳定性和过度拟合,这些缺陷迄今为止使其无法在数据中心网络中使用。在本文中,我们分析了RL在数据中心环境中取得成功的要求。我们提出了一个新的仿真器,Iroko,我们开发,以支持不同的网络拓扑结构,拥塞控制算法,和部署方案。Iroko与OpenAI gym工具包接口,允许在相同条件下快速公平地评估不同的RL和传统CC算法。我们提出了三种深度RL算法的初步基准测试,与TCP New Vegas和DCTCP进行了比较。我们的研究结果表明,这些算法是能够学习的CC政策,超过了哑铃和胖树拓扑结构上的TCP新维加斯的性能。我们使我们的模拟器开源并公开提供:https://github.com/dcgym/iroko
2018-12-24 cs.LG cs.NI stat.ML
Renewable Energy-Aware Inter-datacenter Virtual Machine Migration over Elastic Optical Networks
数据中心(DC)被大规模部署,以支持不断增长的数据处理需求,以支持各种应用程序。发展中国家的能源消耗成为一个关键问题。利用可再生能源为DC供电可以有效地减少棕色能源消耗,从而缓解能源消耗问题。由于发展中国家的地理分布,不同发展中国家的可再生能源发电和数据处理需求通常不同。根据可再生能源的可用性在DC之间迁移虚拟机(VM)有助于匹配DC中的能源需求和可再生能源发电,从而最大化可再生能源的利用。由于迁移VM会在网络中产生额外的流量,因此VM迁移受到网络容量的限制。具有网络容量约束的数据中心间虚拟机迁移是一个NP难问题。在本文中,我们提出了两个启发式算法,近似的最佳VM迁移解决方案。通过大量的模拟,我们表明,所提出的算法,通过在DC之间迁移VM,可以减少高达31%的布朗能源消耗。
2015-08-27 cs.NI
Flow Optimization at Inter-Datacenter Networks for Application Run-time Acceleration
针对跨数据中心短流被并发长流阻塞导致 FCT 过长的问题,本文利用 eBPF 在 SD-WAN 中分流并优先传输短流,在加密、无需改应用的条件下将短流 FCT 降低 1.5 倍。
2024-06-18 cs.NI
Flexible Network Bandwidth and Latency Provisioning in the Datacenter
可预测地共享网络对于实现数据中心的高利用率至关重要。过去的工作集中在为端点提供带宽,但我们通常希望在多节点服务之间分配资源。在本文中,我们提出了Parley,它提供了以服务为中心的最小带宽保证,这可以组成层次。Parley还支持以服务为中心的加权共享超过这些保证的带宽。此外,我们将展示如何配置这些策略,使服务即使在高网络负载下也可以获得低延迟。我们评估Parley的多层超额认购网络连接90台机器,每台机器都有一个10 Gb/s的网络接口,并证明Parley能够实现其目标。
2014-05-06 cs.NI
Energy-Aware Virtual Machine Management in Inter-datacenter Networks over Elastic Optical Infrastructure
数据中心(DC),大规模部署,以支持不断增长的需求,数据处理应用程序,消耗巨大的能源。利用可再生能源为DC供电可以有效降低棕色能源消耗。由于发展中国家的地理分布,可再生能源发电和数据处理的需求通常在不同的发展中国家有所不同。根据可再生能源的可用性在DC之间迁移虚拟机(VM)有助于匹配DC中的能源需求和可再生能源发电,从而最大化可再生能源的利用。我们首先引出了可再生能源感知的数据中心间(DC间)VM迁移问题,在一个DC间网络的弹性光基础设施,提出了它作为一个多-多播通信问题,然后将其公式化为一个整数线性规划问题。目标是通过VM迁移最小化DC在这种DC间网络中的棕色能量消耗的总成本。我们使用CVX和Guidelines来解决这个问题的小网络配置,我们提出了一些启发式算法,近似的最佳解决方案,为大型网络配置。通过大量的模拟,我们表明,所提出的算法,通过在DC之间迁移VM,可以减少高达19.7%的棕色能源消耗的成本。
2018-02-17 cs.NI
RNG: Flat Datacenter Networks at Scale
Amazon Web Services(亚马逊云科技)
本文提出了一种基于准随机图的扁平数据中心网络RNG,通过新的分布式路由协议和被动光学设备实现了高效且低成本的网络部署,其性能在多种流量模式下均不低于胖树结构,且成本降低45%。
2026-05-21 cs.NI
Bring Your Own Objective: Inter-operability of Network Objectives in Datacenters
Massachusetts Institute of Technology(麻省理工学院);Google(谷歌);UT Austin(德克萨斯大学奥斯汀分校)
DMart通过去中心化调度框架实现数据中心网络目标的互操作性,允许不同目标共存并优化次级指标,提升性能表现。
2026-02-10 cs.NI
GeoPipe: a Geo-distributed LLM Training Framework with enhanced Pipeline Parallelism in a Lossless RDMA-enabled Datacenter Optical Transport Network
GeoPipe提出了一种基于无损RDMA的数据中心光传送网络的地理分布式LLM训练框架,通过增强的流水线并行技术显著降低计算气泡比率。
2025-10-14 cs.NI
D3: An Adaptive Reconfigurable Datacenter Network
针对数据中心流量增长带来的网络性能压力,本文提出可基于Sirius架构实现的自适应可重构数据中心网络D3,通过联合链路与调度适配、去中心化控制等提升吞吐量,且流完成时间具备竞争力。
2024-06-19 cs.NI
RoutingBench: Can Agentic Routing Analysis Scale to Production Datacenter Networks?
CUHK(香港中文大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出RoutingBench评估智能体路由路径分析的可扩展性,发现基于“探索更多;消化更少”原则的技能可使分析扩展到5万路由器网络并达到99.5%准确率,同时揭示了智能体在复杂场景下的能力边界。
2026-09-22 cs.NI
Revolutionizing Datacenter Networks via Reconfigurable Topologies
本文针对数据中心流量增长与传统固定拓扑网络的性能瓶颈问题,综述了可重构数据中心网络的动机、技术支撑、分类体系、形式化模型及研究挑战,并配套了领域专家的访谈视频。
2025-02-22 cs.DC cs.NI
Zeropod: Simplifying Datacenter Networking with Future-Proof Zero-Buffer Packet Switches
针对数据中心网络交换机容量不足、传输控制难的问题,提出Zeropod架构,pod内用零缓存交换机加集中调度、pod间用带缓存核心交换机,结合两级调度实现高性能,性能优于或等同传统架构,为DCN设计提供新方向。
2025-09-08 cs.NI
Carbon-Aware Temporal Data Transfer Scheduling Across Cloud Datacenters
本文提出碳感知时序数据传输调度框架LinTS,在满足截止时间约束的前提下,相比最坏情况可降低66%碳排放,相比其他方案可降低15%。
2025-06-04 cs.DC cs.NI
Expander Datacenters: From Theory to Practice
最近的工作表明,基于扩展器的数据中心拓扑结构是健壮的,可以产生优于Clos拓扑结构的性能。然而,为了实现这些好处,以前的提案使用路由和传输方案,阻碍了快速的行业采用。在本文中,我们研究扩展器是否可以有效地用于当今数据中心的技术和环境,包括使用传统协议,无论是小规模还是大规模,同时遵守超额订阅等常见做法。我们研究带宽,延迟和突发容忍的拓扑结构,突出以前的拓扑结构比较的陷阱。我们考虑其他几个指标的兴趣:在故障过程中的数据包丢失,队列占用率和拓扑结构退化。我们的实验表明,扩展器可以实现3倍以上的吞吐量比一个等效的胖树,和1.5倍以上的吞吐量比一个等效的叶-脊拓扑结构,对于广泛的场景,只有传统的协议。我们观察到,扩展器实现了更低的流完成时间,对突发负载条件(如incast和outcast)更具弹性,并且随着负载的增加而更加优雅地降级。我们的研究结果是基于广泛的模拟和实验的硬件测试平台与现实的拓扑结构和真实的交通模式。
2018-11-01 cs.NI
Gemini: Practical Reconfigurable Datacenter Networks with Topology and Traffic Engineering
为了降低成本,数据中心网络运营商正在探索阻塞网络设计。这种设计的一个例子是“无脊柱”形式的胖树,其中pod直接彼此连接,而不是通过脊柱块。为了在面对动态工作负载时保持应用感知的性能,这些新设计必须能够重新配置路由和Pod间拓扑。Gemini是一个设计用于在商用硬件上实现这些目标的系统,同时很少重新配置网络,使这些阻塞设计在不久的将来就可以部署。Gemini的关键是拓扑和路由的联合优化,使用来自多个历史流量矩阵的未来流量的鲁棒估计作为输入。Gemini通过将突发分布在多条路径上来“对冲”不可预测的突发,以最小化数据包丢失,换取路径长度的小幅增加。它采用了一个强大的决策算法来确定何时重新配置,以及是否使用套期保值。来自数十个生产结构的数据使我们能够将其归类为低波动性或高波动性;这些类别似乎很稳定。对于前者,Gemini找到了性能和成本接近最优的拓扑和路由。对于后者,双子座的使用多流量矩阵优化和对冲避免了频繁的拓扑结构重新配置的需要,只有边际增加的路径长度。因此,Gemini可以使用无主干拓扑来支持这些生产结构上的现有工作负载,其成本是这些结构上现有拓扑的一半。
2021-10-15 cs.NI
Modeling the interdependency of low-priority congestion control and active queue management
最近,一个负面的相互作用已被证明出现时,调度/AQM技术和低优先级的拥塞控制协议一起使用:即,AQM重置之间的相对优先级的拥塞控制协议。这项工作探讨了这个问题,(一)研究流体模型,描述了系统动力学的异构拥塞控制协议竞争的瓶颈链路由AQM和(ii)提出了一个系统级的解决方案,能够恢复协议之间的优先级。
2013-03-27 cs.NI
Throughput-Optimal Load Balancing for Intra Datacenter Networks
网络中心的流量负载均衡可以消除热点,提高网络利用率。本文在软件定义网络环境下,提出了一种稳定的网内负载均衡算法。控制平面在连续的时间间隔上配置数据平面。虽然MaxWeight算法可以应用于此设置并提供某些吞吐量最优属性,但其bang-bang控制结构在每个间隔上奖励单个流并禁止链路容量共享。本文提出了一种新的算法,是吞吐量最优,并允许链路容量共享,导致低队列占用率。该算法有意模仿加权公平交换,提供公平和优雅的交互与TCP流量。启发的见解,从分析,启发式的改进也开发操作与实际的交换机和TCP流。网络仿真器的仿真结果表明,该算法的性能优于广泛使用的等价多径(ECMP)技术。
2016-12-06 cs.NI math.OC
Fifty Shades of Congestion Control: A Performance and Interactions Evaluation
拥塞控制算法在实现高利用率同时防止网络过载方面至关重要。多年来,已经开发了许多不同的拥塞控制算法,每种算法都试图在特定情况下进行改进。然而,它们的相互作用和共存,迄今为止,没有得到彻底的评估,这是本文的重点。通过头对头的比较代表基于丢失,基于延迟和混合类型的拥塞控制算法,我们发现,公平的资源要求往往达不到,特别是当流共享一个链路有不同的RTT。
2019-03-09 cs.NI
TCPTuner: Congestion Control Your Way
TCPTuner是一个用于Linux的TCP(传输控制协议)拥塞控制内核模块和GUI(图形用户界面),允许实时修改TCP CUBIC的拥塞控制参数,TCP CUBIC是Linux中当前的默认算法。具体来说,该工具提供了alpha,发送方拥塞窗口增长的速率; beta,在丢失事件上减少拥塞窗口的乘法因子;以及CUBIC的快速收敛和tcp友好性参数。此外,该接口还提供对最小重传时间和初始拥塞窗口大小的ip-route参数的访问。在本文中,我们描述了TCPTuner的实现,并显示了调整拥塞控制参数的效果的实验数据。
2016-05-06 cs.NI
Internet Congestion Control via Deep Reinforcement Learning
我们提出并研究了深度强化学习(RL)的一个新的和及时的应用领域:互联网拥塞控制。拥塞控制是调制业务源的数据传输速率以有效地利用网络容量的核心联网任务,并且是鉴于诸如直播视频、虚拟现实、物联网等互联网服务的出现而受到广泛关注的主题。我们表明,铸造拥塞控制作为RL能够训练深度网络策略,捕捉数据流量和网络条件中的复杂模式,并利用这一点来超越最先进的。我们还强调了现实世界中采用基于RL的拥塞控制所面临的重大挑战,包括公平性,安全性和泛化,这是不平凡的解决传统RL形式主义。为了便于进一步的研究和我们的结果的可重复性,我们提出了一个基于OpenAI Gym接口的RL引导的拥塞控制测试套件。
2019-05-21 cs.NI
Datacenter Traffic Control: Understanding Techniques and Trade-offs
University of Southern California(南加州大学)
本文探讨数据中心流量控制的核心挑战与方法,分析管理方案、传输控制、流量整形等技术,并指出开放挑战与新网络范式。
2017-12-10 cs.DC cs.NI cs.PF
Low Latency Datacenter Networking: A Short Survey
数据中心是支持众多在线服务的大数据基础设施的基石。对交互性的需求(其显著影响用户体验和提供商收入)被转化为对数据中心网络中的流的严格定时要求。因此,低延迟网络正在成为工业界和学术界的主要关注点。我们对网络社区在低延迟数据中心网络方面取得的最新进展进行了简短的调查。我们提出了一个基于四种主要技术的分类法来分类现有的工作,减少队列长度,加速重传,优先化鼠标流和利用多路径。然后,我们回顾了选择的论文,强调了主要思想,并讨论了它们的利弊。我们还提出了我们的研究挑战和机遇的观点,希望在这个领域有更多的未来工作。
2014-07-31 cs.DC cs.NI cs.PF
Forecasting Full-Path Network Congestion Using One Bit Signalling
在本文中,我们提出了一种机制,称为概率拥塞通知(PCN)的数据包标记。该方案利用因特网协议(IP)报头中的1比特显式拥塞通知(ECN)字段。它允许源估计每个中间队列的确切拥塞水平。通过了解这一点,源可以通过调整其发送速率或使用替代路由来采取避免行动。该估计机制利用时间序列分析来提高拥塞估计的质量,并提前预测后续分组将遇到的拥塞水平。该协议在ns-2模拟器中进行了测试,使用真实的互联网流量跟踪的背景。结果表明,该方法可以成功地计算在任何队列沿路径的拥塞与低错误水平。
2013-03-27 cs.NI
Dynamic Demand-Aware Link Scheduling for Reconfigurable Datacenters
针对可重构数据中心中需求感知拓扑优化的瓶颈,本文利用流量时间局部性提出六种增量式(批量)动态链路调度算法,并在合成与真实轨迹上证明其可加速计算、减少配置变更且保持匹配权重。
2025-03-18 cs.DS cs.NI
RCD: Rapid Close to Deadline Scheduling for Datacenter Networks
基于数据中心的云计算服务提供了一个灵活、可扩展且经济的基础架构,用于托管多媒体流、电子邮件和大容量存储等在线服务。许多这样的服务执行地理复制以向用户提供必要的服务质量和可靠性,从而导致频繁的大的数据中心间传输。为了满足租户服务水平协议(SLA),这些传输必须在截止日期之前完成。此外,WAN资源非常稀缺且成本高昂,这意味着它们应该得到充分利用。最近提出的几个方案,如B4,TEMPUS和SWAN都集中在通过集中式调度提高数据中心间传输的利用率,然而,它们未能提供一种机制来保证被接纳的请求满足其截止日期。此外,在最近的一项研究中,作者提出了Amoeba,这是一种允许租户定义最后期限并保证满足指定最后期限的系统,但是,为了接纳新流量,所提出的系统必须修改已经接纳的传输的分配。在本文中,我们提出了快速接近最后期限调度(RCD),接近最后期限的流量分配技术,是快速和有效的。通过模拟,我们表明,RCD比阿米巴快15倍,提供高链路利用率以及最后期限保证,并且能够快速决定新请求是否可以在最后期限之前完全满足。
2017-07-13 cs.NI cs.PF
A Multilevel Network-assisted Congestion Feedback Mechanism for Network Congestion Control
针对现有ECN机制难以应对新兴技术带来的拥塞挑战问题,提出多级拥塞通知机制EECN及对应拥塞控制方法,在丢包率、标记包数、流完成时间等指标上均优于现有方案,尤其提升IoT环境下短流吞吐量。
2025-01-15 cs.NI
Future Internet Congestion Control: The Diminishing Feedback Problem
Internet拥塞控制机制越来越难以获得它们所需要的反馈。这种反馈的缺乏可能会对性能产生严重的影响,而且肯定会变得更糟。从长远来看,只有从根本上改变互联网中的拥塞控制方式,才能解决这个问题。我们通过研究过去三十年来互联网基础设施的演变以及互联网流量的最常见行为来证实这一说法。考虑到目标,拥塞控制机制是为了解决,并考虑到在互联网生态系统的上下文的发展,我们得出的结论和建议,未来可能的拥塞控制的设计方向。特别是,我们认为,拥塞控制机制应该远离严格的“端到端”的遵守。避免“一刀切”的做法,转而采用一套更具选择性的机制,使因特网的性能得到改善,将有利于这一变革。我们还将讨论这一未来愿景与今天使用的性能增强代理(PEP)有何不同。
2022-06-14 cs.NI
Congestion Management in High-Performance Interconnection Networks Using Adaptive Routing Notifications
本文提出一种利用自适应路由通知的高效拥塞管理策略,通过在交换机缓冲区保留空间中隔离拥塞流,解决局部路由决策导致的拥塞蔓延问题,仿真表明其能完全消除拥塞影响。
2025-02-02 cs.NI
Network in Disaggregated Datacenters
如今,网络中心依赖于基于单片服务器的以计算机为中心的方法,单片服务器包括所有必要的硬件资源(主要是CPU、RAM、网络和磁盘)来运行应用程序。这样的架构具有两个主要限制:(1)难以实现充分的资源利用以及(2)用于硬件维护的粗粒度。最近,许多作品研究了一种以资源为中心的方法,称为分解架构,其中数据中心由使用快速互连技术互连的自内容资源板组成,每个资源板包括一种资源类型的实例。以资源为中心的架构允许独立管理(维护、分配)每个资源。LegoOS是第一个研究解聚合对操作系统的影响的工作,提出了解聚合操作系统本身。他们证明了这种方法的适用性,主要考虑CPU和RAM资源。然而,他们并没有研究网络资源分解的含义。我们复制了一个LegoOS基础设施,并将其扩展到支持分散的网络。我们表明,网络可以遵循相同的原则进行分解,并且可以在这样的环境中重现DMA、DDIO或环回等经典网络优化。我们的评估显示了这种方法的可行性和未来分类基础设施的潜力。
2021-03-15 cs.DC cs.NI
Optimizing Inter-Datacenter Tail Flow Completion Times using Best Worst-case Routing
数据中心间网络上的流路由是一个众所周知的问题,其中网络可能根据网络条件和新流的属性向新到达的流分配路径。路由算法的一个重要的系统级性能指标是流完成时间,它会影响跨多个路由中心运行的应用程序的性能。当前的静态和动态路由方法没有利用路由中的流大小信息,这在诸如由数据中心运营商管理的数据中心间网络的受控环境中是实用的。在本文中,我们讨论了最佳最坏情况路由(BWR),其目的是优化的尾部完成时间的长时间运行的数据流在数据中心间的网络与非均匀的链路容量。由于找到一个新的流的最佳最坏情况下的完成时间的路径是NP-难的,我们调查两个算法,BWRH和BWRHF,使用两个不同的上界的最坏情况下的完成时间路由。我们评估BWRH和BWRHF对几个真正的广域网拓扑结构和多种交通模式。虽然BWRH更好地模拟了BWR问题,但BWRH和BWRHF在各种系统范围的性能指标上显示出可忽略不计的差异,而BWRHF明显更快。此外,我们表明,相比其他流行的路由算法,BWRHF可以减少平均和尾流完成时间超过$1.5\times$和$2\times$,分别。
2019-08-24 cs.NI cs.PF cs.SY