Memory-Assisted Universal Compression of Network Flows
近年来,互联网流量中大量冗余的存在促使了网络中冗余消除技术的发展。这些技术通常基于分组级冗余消除(RE)或内容中心网络(CCN)。然而,这些技术不能利用子分组冗余。此外,诸如端到端通用压缩解决方案的其他替代技术在互联网业务上也不会表现良好,因为这样的技术需要无限长度的业务来有效地去除冗余。本文提出了一种内存辅助的通用压缩技术,具有显着的承诺,减少网络中的流量。建议的工作是基于这样的观察,如果一个源被压缩,并通过网络发送,相关的通用代码需要大量的开销在传输中,由于有限长度的流量。然而,中间结点可以学习源统计,并且这可以用于降低描述源统计的成本,从而降低这种业务的传输开销。本文提出了两种基于记忆辅助的信息源通用无损压缩算法(基于统计的和基于字典的)。这些计划是普遍的意义上,他们不需要任何先验知识的交通的统计分布。我们证明了这两种算法的有效性,并使用真正的互联网痕迹的记忆增益的特点。此外,我们将这些压缩方案应用到互联网的幂律图,并解决压缩流的路由问题。
2012-03-30 cs.IT cs.NI math.IT
Analysis and Modeling of Traffic in Modern Data Communication Networks
在通信网络的性能分析和设计中,数据业务建模是一个重要的问题。随着新应用的引入,数据业务的特性发生了变化。我们提出了一个简短的回顾不同的数据流量模型,以及它们是如何演变的。我们目前的数据流量分析和模拟流量的结果,这表明,分组训练模型适合的流量在源-目的地级别和长记忆(自相似)模型适合的流量在聚合级别。
1998-09-23 cs.NI
NeuTM: A Neural Network-based Framework for Traffic Matrix Prediction in SDN
提出了一种基于长短期记忆递归神经网络(LSTM RNN)的网络流量矩阵(TM)预测框架NeuTM。TM预测被定义为从以前的和实现的网络流量数据估计未来的网络流量矩阵的问题。它广泛应用于网络规划、资源管理和网络安全等领域。长短期记忆(LSTM)是一种特定的递归神经网络(RNN)架构,非常适合从数据中学习,并对具有未知大小时滞的时间序列进行分类或预测。LSTM已经被证明比传统的RNN更准确地建模长期依赖关系。NeuTM是一个基于LSTM RNN的框架,用于预测大型网络中的TM。通过在GEEANT网络的真实数据上验证我们的框架,我们表明我们的模型收敛速度很快,并提供了最先进的TM预测性能。
2017-10-17 cs.NI
CoMeT-Net: Consensus Memory Template Network for Real-time Traffic Anomaly Detection
Rutgers University–New Brunswick(罗格斯大学新不伦瑞克分校)
针对O-RAN实时异常检测的需求,提出CoMeT-Net框架,通过三项创新实现高准确率、低误报率与低延迟,在测试中表现优于基线方法并通过O-RAN测试床验证。
2026-08-18 cs.NI
Online Supervised Learning for Traffic Load Prediction in Framed-ALOHA Networks
预测成帧ALOHA网络中的当前积压或业务负载使得能够优化资源分配,例如,帧的大小。然而,由于缺乏关于冲突基数的信息以及可能复杂的分组生成统计信息,使得这种预测变得困难。假设没有关于流量模型的先验信息,除了其时间记忆上的界限之外,本文开发了一种基于递归神经网络(RNN)并且具体地基于长短期记忆(LSTM)架构的基于在线学习的自适应流量负载预测方法。为了在没有关于碰撞的确切基数的反馈的情况下实现在线训练,所提出的策略利用了一种新的近似标记技术,该技术受到矩量法(Method of Moments,简称MEMO)估计器的启发。数值结果表明,所提出的在线预测大大优于传统的方法,能够适应不断变化的交通统计。
2019-07-25 cs.NI eess.SP
Packet-Level Network Compression: Realization and Scaling of the Network-Wide Benefits
互联网业务中分组级存在大量冗余,通过使网络节点能够记住数据分组,刺激了网络内分组级冗余消除技术的部署。冗余消除导致流量减少,这反过来又提高了网络链路的效率。在本文中,网络压缩的概念被引入,希望利用统计相关性,而不仅仅是从流中删除大的重复字符串,以更好地抑制冗余。在本文的第一部分中,我们介绍了“记忆辅助压缩”,它利用网络内的记忆内容来学习生成数据包的信息源的统计信息,然后可以用于减少描述源发出的数据包的码字的长度。使用模拟从真实的网络跟踪收集的数据,我们表明,内存辅助压缩可以导致显着的流量减少。在本文的第二部分中,我们研究了内存辅助压缩的平均网络范围效益的扩展。我们讨论了路由和存储器的放置问题,在网络中的整体流量的减少。我们推导出一个封闭形式的表达式,用于扩展Erdos-Renyi随机网络图中的增益,其中获得随机图中部署的存储器数量的阈值,超过该阈值,网络范围的好处开始闪耀。最后,在类互联网的无标度网络上研究了全网络效益。我们表明,非零网络压缩增益,即使在网络中的节点总数的一小部分是记忆启用。
2014-11-24 cs.NI
Memory-efficient Sketch Acceleration for Handling Large Network Flows on FPGAs
针对网络流量监控中FPGA上Count-min草图因片上内存有限导致性能下降的问题,提出可变宽度内存计数器的硬件架构,支持更大哈希表并减少误差,在100 Gbit链路上验证有效。
2025-04-24 cs.AR cs.NI
Impact of traffic mix on caching performance in a content-centric network
对于一个现实的流量组合,我们评估的命中率达到了两层缓存层次结构,旨在减少互联网带宽的要求。该模型确定了四种主要类型的内容,网络,文件共享,用户生成的内容和视频点播,区分他们的流量份额,他们的人口和对象的大小和他们的受欢迎程度分布。结果表明,在接入路由器缓存视频点播提供了一个非常有利的带宽内存权衡,但其他类型的内容可能会更有效地处理在非常大容量的存储设备的核心。评估基于LRU缓存性能的简单近似值,该近似值在相关配置中证明非常准确。
2012-02-01 cs.NI
FlowME: Lattice-based Traffic Measurement
基于流的流量测量是一个非常具有挑战性的问题:管理硬件资源中每个单独流量流的计数器有意地难以通过高速链路进行扩展。在本文中,我们提出了一种新的格理论为基础的方法,提高基于流的测量性能和规模保持最低数量的维护硬件计数器(数学上建立的结果的文件)。格的关键贡献是映射的数据包处理的计算语义的流量测量,从而允许更好地通知和集中的计数器分配的用户请求。开发了一种基于Openflow交换机FlowME的实现,并根据其内存使用、性能开销和处理工作量对其进行了评估,以生成最小的解决方案。实验结果表明,在资源消耗显着减少。
2012-11-12 cs.NI
Cellular Traffic Prediction with Recurrent Neural Network
业务需求的自主预测将是未来蜂窝网络的关键功能。过去,研究人员使用自回归综合移动平均(ARIMA)等统计方法来提供流量预测。然而,基于ARIMA的预测不能给出一个准确和准确的预测动态输入量,如蜂窝流量。最近,研究人员开始探索深度学习技术,如递归神经网络(RNN)和长短期记忆(LSTM),以自主预测未来的蜂窝流量。在这项研究中,我们设计了一个基于LSTM的蜂窝流量预测模型。我们将基于LSTM的预测与基线ARIMA模型和香草前馈神经网络(FFNN)进行了比较。结果表明,LSTM和FFNN准确地预测了未来的蜂窝流量。然而,发现LSTM训练预测模型的时间比FFNN短得多。因此,我们得出结论,LSTM模型可以有效地使用少量的训练数据,这将允许及时预测未来的蜂窝流量。
2020-03-05 cs.NI
A streaming algorithm and hardware accelerator for top-K flow detection in network traffic
Center of Biotechnology and Bioengineering (CeBiB)(生物技术与生物工程中心);Advanced Center for Electrical and Electronics Engineering (AC3E)(电气与电子工程先进中心)
本研究提出了一种基于修改后的TowerSketch和优先队列数组的流算法,用于网络流量中top-K流的检测,并在FPGA上实现了硬件加速器,实现了高精度和高吞吐量的性能。
2025-11-20 cs.NI
Elephant Flows Detection Using Deep Neural Network, Convolutional Neural Network, Long Short Term Memory and Autoencoder
本研究利用SDN和深度学习(DNN、CNN、LSTM和自编码器)设计动态流量分类器检测大象流以防网络拥塞,分别达到99.12%、98.17%、98.78%和97.95%的准确率。
2023-06-10 cs.NI
CLEF: Limiting the Damage Caused by Large Flows in the Internet Core (Technical Report)
检测发送过量流量的网络流对于实施QoS和对抗DDoS攻击越来越重要。大流量检测以前已经探索过,但所提出的方法可以用于高容量的核心路由器上,只有在显着降低的准确性的成本,由于它们的其他太高的内存和处理开销。我们提出了CLEF,一个新的大流量检测方案,具有低内存需求,保持高精度的高容量的核心路由器的严格条件下。我们比较我们的计划与以前的建议,通过广泛的理论分析,并根据最坏情况下的攻击流量的评估。我们表明,CLEF优于先前提出的系统在有限的内存设置。
2018-07-16 cs.NI
A Learning-Based Fast Uplink Grant for Massive IoT via Support Vector Machines and Long Short-Term Memory
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心)
当前的随机接入(RA)分配技术在服务于大规模机器类型通信(mMTC)应用时遭受拥塞和高信令开销。为此,3GPP引入了使用快速上行链路授权(FUG)分配的需求,以减少延迟并提高具有严格QoS约束的智能物联网(IoT)应用的可靠性。本文提出了一种基于支持向量机(SVM)的FUG分配方法。首先,利用SVM分类器对MTC设备进行优先级排序。其次,LSTM架构用于流量预测和校正技术,以克服预测误差。这两个结果被用来实现一个有效的资源调度器的平均延迟和总吞吐量。一个耦合马尔可夫调制泊松过程(CMMPP)的流量模型与混合报警和定期流量的应用比较建议FUG分配其他现有的分配技术。此外,一个扩展的流量模型的基础上CMMPP是用来评估所提出的算法在一个更密集的网络。我们使用从Numenta Anomaly Benchmark(NAB)数据库收集的实时测量数据来测试所提出的方案。我们的仿真结果表明,所提出的模型优于现有的RA分配方案,通过实现最高的吞吐量和最低的接入延迟的顺序为1 ms,通过实现98 $\%$的预测精度服务时,目标的大规模和关键的MTC应用与有限数量的资源。
2021-08-02 cs.IT cs.LG cs.NI
Automatic Parallelization of Software Network Functions
Maestro自动并行化软件网络功能,通过配置NIC的RSS机制和选择无共享或细粒度锁策略,在保持语义的同时实现线性扩展,并优于硬件事务内存。
2023-10-13 cs.NI
Time-Distributed Feature Learning in Network Traffic Classification for Internet of Things
Ryerson University(瑞尔森大学)
物联网(IoT)设备的过多导致爆炸性的网络流量。网络流量分类(NTC)是探索网络流行为的重要工具,互联网服务提供商(ISP)需要NTC来管理物联网网络的性能。我们提出了一种新的网络数据表示,处理交通数据作为一系列的图像。因此,网络数据被实现为视频流以采用时间分布(TD)特征学习。使用卷积神经网络(CNN)和长短期记忆(LSTM)学习网络统计数据中的时间内信息,并且通过TD多层感知器(MLP)学习流之间的伪时间特征。我们进行实验,使用一个大的数据集与更多的类。实验结果表明,TD特征学习使网络分类性能提高了10%。
2021-09-29 cs.LG cs.NI
Predicting Short-term Mobile Internet Traffic from Internet Activity using Recurrent Neural Networks
移动网络流量预测是网络容量规划和优化的重要输入。现有方法可能缺乏速度和计算复杂性来解决时间序列移动网络数据中的突发、非线性模式或其他重要相关性。我们比较了两种深度学习架构的性能-长短期记忆(LSTM)和门控递归单元(GRU)-使用两个月的意大利电信数据预测米兰大都市地区的移动互联网流量。K-Means聚类用于基于互联网活动对单元进行先验分组,并且网格搜索方法用于确定每个模型的最佳配置。使用均方根误差评价模型的预测质量。这两种深度学习算法都能有效地对互联网活动和季节性进行建模,无论是在几天内还是在两个月内。我们发现城市内不同集群的表现存在差异。总的来说,LSTM在我们的实验中优于GRU。
2020-10-12 cs.NI
Geminet: Learning the Duality-based Iterative Process for Lightweight Traffic Engineering in Changing Topologies
Shanghai Jiao Tong University(上海交通大学);Zhonggancun Academy(中关村学院);Xi’an Jiaotong University(西安交通大学);Shanghai Innovation Institute(上海创新研究院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
Geminet通过学习基于梯度下降的迭代过程,实现轻量级交通工程在拓扑变化中的高效处理,显著提升可扩展性并降低内存消耗。
2026-04-15 cs.LG cs.NI
Programmable In-Network Obfuscation of Traffic
可编程交换机硬件的最新进展为保护用户隐私提供了新的机会。本文介绍了PINOT,一个轻量级的网络匿名解决方案,运行在硬件交换机的内存和处理限制内的线速率。PINOT使用有效的加密方案加密客户端的IPv4地址,以向下游AS和目的服务器隐藏地址。PINOT易于部署,不需要最终用户软件或来自其运行的可信网络以外的网络的合作。我们实现了赤脚Tofino交换机上的PINOT原型,在校园网络中部署PINOT,并提出了对公共DNS,NTP和WireGuard VPN服务保护用户身份的结果。
2020-05-29 cs.CR cs.NI
Seek and Push: Detecting Large Traffic Aggregates in the Dataplane
如果能够实时的检测到高流量的集群,则可以很容易地满足诸如带宽提供、计费和网络异常检测等高级目标。本文介绍了弹性Trie,一种替代方法,利用嵌入式数据平面架构。我们的解决方案是一种新的基于推送的网络监控方法,可以在数据平面内检测高流量集群。从交换机到控制器的数据可以只根据需要发送,避免传输或处理不必要的数据。此外,数据平面可以迭代地细化负责的IP前缀,从而允许控制器接收灵活的粒度信息。我们报告并讨论了我们的P4为基础的原型的评估,显示我们的解决方案能够检测(95%的精度),分层重打击者和超级传播者分别使用不到8KB或80KB的活动内存。最后,Elastic Trie可以识别网络流量模式的变化,这是拒绝服务攻击事件的症状。
2018-05-15 cs.DS cs.NI
EDM: An Ultra-Low Latency Ethernet Fabric for Memory Disaggregation
针对数据中心以太网内存解耦的远程访问延迟挑战,EDM通过将协议栈移至以太网PHY层、在交换机PHY内实现集中式PIM启发调度器,实现超低延迟,无负载时仅约300ns,比RoCEv2低一个数量级,高负载下延迟为无负载的1.3倍以内。
2025-02-13 cs.NI cs.OS
Cellular Traffic Prediction and Classification: a comparative evaluation of LSTM and ARIMA
Stockholm University(斯德哥尔摩大学);Huawei(华为)
为了提高资源利用率,蜂窝网络中的用户流量预测引起了广泛的关注。在本文中,我们研究了网络流量的预测和分类问题,分别采用标准的机器学习和统计学习时间序列预测方法,包括长短期记忆(LSTM)和自回归积分移动平均(ARIMA)。我们提出了一个广泛的实验评估的设计工具在一个真正的网络流量数据集。在此分析中,我们探讨了不同参数对预测有效性的影响。我们进一步扩展我们的分析问题的网络流量分类和预测的流量突发。一方面,结果表明LSTM的性能一般优于ARIMA,特别是当训练时间序列的长度足够长时,并且通过明智选择的特征集进行增强。另一方面,结果揭示的情况下,ARIMA执行接近最优的复杂性较低。
2019-06-03 cs.LG cs.NI eess.SP
Which Deep Learner? A Systematic Evaluation of Advanced Deep Forecasting Models Accuracy and Efficiency for Network Traffic Prediction
Kyushu University(九州大学)
本文系统评估了十二种先进深度预测模型在网络流量预测中的准确性和效率,揭示了性能范围、效率阈值及平衡准确与效率的架构。
2026-11-04 cs.LG cs.NI
Delayed Correlations in Inter-Domain Network Traffic
为了观察网络流量相关性的演变,我们分析了网络流量计数时间序列的延迟相关矩阵的特征值谱和特征向量统计。延迟相关矩阵D由多变量时间序列中的一个变量与另一个变量在时间延迟τ处的相关性组成。D的特征向量的逆参与比(IPR)与等时间相关矩阵C的特征向量的IPR有很大偏差。我们将这一发现的本地化,并讨论其对网络拥塞控制的重要性。网络时间序列之间的时滞相关模式在很长一段时间内保持不变,最长可达100τ,其中τ=300 sec。D的最大本征值λ max和相应的IPR以3τ和6τ两个特征周期振荡。网络时间序列之间的延迟相关性的存在很好地符合网络流量的长程相关(LRD)性质。监视和控制长内存进程的能力至关重要,因为它们会影响网络性能。在非随机相关的时间序列之间注入随机流量计数,我们能够打破λ_{max}的周期性。此外,我们研究了周期性注入对最大特征值和IPR的影响,并解决了这些指标的LRD和网络流量的自相似性的相关性。
2007-07-07 cs.IR cs.NI