Hypersparse Neural Network Analysis of Large-Scale Internet Traffic
互联网正在改变我们的社会，需要对互联网流量进行定量了解。我们的团队收集和管理最大的公开互联网流量数据，包含500亿个数据包。利用一种新的hypersarse神经网络分析的“视频”流的流量使用10,000个处理器在麻省理工学院超级云揭示了一个新的现象：否则看不见的叶节点和孤立的链接在互联网流量的重要性。我们的神经网络方法进一步表明，一个双参数修改的Zipf-Mandelbrot分布准确地描述了各种各样的源/目的地统计移动样本窗口范围从100，000到100，000，000包的集合，跨越几年和大陆。推断出的模型参数区分不同的网络流，并且模型叶参数与不同底层网络拓扑中的流量的分数强烈相关。超解析神经网络流水线具有高度适应性，并且可以通过对图像滤波器函数的简单改变来合并不同的网络统计和训练模型。
2019-07-11 cs.CY cs.DC cs.NI
Software-Defined Hyper-Cellular Architecture for Green and Elastic Wireless Access
为了满足日益增长的移动互联网业务需求，同时保持适度的能量成本，蜂窝系统的无线接入网（RAN）需要走一条绿色的未来之路，关键在于为动态业务需求提供弹性服务。为了实现这一目标，是时候重新思考RAN架构并期待突破了。在这篇文章中，我们回顾了最先进的文献，旨在从控制流量解耦的空中接口，基于云的RAN，和软件定义的RAN的角度来改造RAN。然后，我们提出了一个软件定义的超蜂窝架构（SDHCA），确定了一个可行的方式，整合上述三个趋势，使绿色和弹性的无线接入。我们进一步介绍了实现SDHCA的关键技术，包括空中接口分离，绿色基站操作和基站功能虚拟化，然后是我们的SDHCA硬件测试平台。最后，总结了未来研究中值得探讨的几个问题。
2015-12-15 cs.NI
Population estimation from mobile network traffic metadata
智能手机和其他移动设备如今在全球范围内普遍存在。作为移动通信激增的一个有趣的副作用，移动网络运营商现在可以轻松收集大量用户群体习惯的大量高分辨率数据。从移动网络交通数据中提取的信息与人口绘图非常相关：它提供了一个自动和实时估计人口密度的工具，克服了人口普查和调查等传统数据来源的局限性。在本文中，我们提出了一种新的方法来推断在城市规模的人口密度，基于聚合的移动网络流量元数据。我们的方法允许估计静态和动态人口，实现了显着的改善，在文献中的最先进的解决方案的准确性方面，并验证了不同的城市场景。
2016-10-04 cs.NI cs.SI
MetaSTNet: Multimodal Meta-learning for Cellular Traffic Conformal Prediction
College of Electronic and Information Engineering, Tongji University（电子信息工程学院，同济大学）
针对少量训练数据下网络流量预测困难的问题，提出基于多模态元学习的深度模型 MetaSTNet，通过模拟器到真实环境的元知识迁移实现快速适应与准确预测，并结合交叉共形预测评估校准区间，实验验证了其有效性。
2025-05-26 cs.AI cs.LG cs.NI
Meta-Generalization for Multiparty Privacy Learning to Identify Anomaly Multimedia Traffic in Graynet
在分布式服务系统、多代网络和未来的万物互联中，识别网络空间中的异常多媒体流量是一个巨大的挑战。这封信探讨了灰网中多方隐私学习模型的元泛化，以提高异常多媒体流量识别的性能。灰网中的多方隐私学习模型是一个全局共享的模型，它通过多方参数更新交换来进行分区、分布和训练，并保留隐私数据。元泛化是指发现学习模型的内在属性，以减少其泛化误差。在实验中，三个元泛化原则测试如下。通过改变字节级嵌入维数，降低了灰网多方隐私学习模型的泛化误差。之后，通过调整用于提取分组级特征的深度来减少误差。最后，通过调整支持集的大小对流量级数据进行预处理，减小了误差。实验结果表明，该建议优于国家的最先进的学习模型识别异常多媒体流量。
2022-12-14 cs.AI cs.CR cs.LG
Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification
Universitá degli Studi di Napoli Federico II（那不勒斯费德里科二世大学）；Huawei Technology France（法国华为技术有限公司）
本文在MIRAGE19与AppClassNet上比较16种方法，发现对比学习最适合学习跨任务流量表示，元学习最差，且DL借助表示复用可在小任务上追平基于树的ML。
2023-06-03 cs.LG cs.NI
GraphBLAS on the Edge: Anonymized High Performance Streaming of Network Traffic
远程探测是许多作战领域（陆地、海洋、海底、空中、太空等）防御的基石。在网络领域，远程检测需要分析来自各种观测站和前哨的重要网络流量。在边缘网络设备上构建匿名超解析流量矩阵可以通过以保护隐私的快速可分析格式提供显著的数据压缩来成为关键推动因素。GraphBLAS非常适合构建和分析匿名超解析流量矩阵。使用连续的CAIDA Telescope暗网数据包流，在接近最差情况的流量场景中演示了GraphBLAS在Accolade Technologies边缘网络设备上的性能。不同数量的流量缓冲区，线程和处理器内核的性能进行了探讨。可以以每秒超过50，000，000个数据包的速率构建Ancherized Hypersparse流量矩阵，超过典型的400千兆网络链路。这种性能表明，匿名超解析流量矩阵在边缘网络设备上很容易计算，只需最少的计算资源，并且可以成为此类设备的可行数据产品。
2022-09-05 cs.DC cs.NI cs.OS
Information Dissemination Speed in Delay Tolerant Urban Vehicular Networks in a Hyperfractal Setting
本文利用现代城市的自相似性和分层组织，研究了城市车辆网络的基本通信特性。我们使用了一个创新的模型，称为“超分形”，捕捉交通和车辆位置的自相似性，但避免了极端的规律性和随机性。我们使用分析工具来推导城市延迟容忍网络中信息传播速度的理论上界和下界（即，网络总是断开的，因此使用存储-携带-转发路由模型）。我们证明了平均广播时间的行为作为$n^{1-δ}$倍缓慢变化的函数，其中$δ$依赖于精确的分形维数。此外，我们表明，广播加速部分是由于一个有趣的自相似现象，我们表示为{ \em信息隐形传态}。这种现象由于车辆交通的拓扑而出现，并且触发广播时间的加速。我们表明，我们的模型适合真实的城市开放的交通数据集。我们目前的模拟确认的有效性的界限在多个现实的设置，包括变速的情况下，使用QualNet和离散事件模拟器在Matlab中。
2019-08-08 cs.NI
Multipath Wireless Network Coding: A Population Game Perspective
我们考虑无线网络中，每个源和目的地之间的多条路径。我们允许每个源之间的所有可用路径的流量，并提出这样的问题：我们如何达到最低的传输数量，以支持一个给定的流量矩阵？在两个无线跳上以相反方向绑定的业务可以利用网络编码的“反向拼车”优势，以减少所使用的传输次数。我们把这种编码跳称为“超链接”。使用反向拼车技术，较长的路径可能比较短的路径便宜。然而，有一个囚徒困境类型的情况之间的来源-网络编码的优势是实现只有当有流量在两个方向的共享path. We开发了一个两级分布式控制方案，通过宣布一个超链接的能力，允许源分裂他们的流量自私地在一个分布式的方式，然后改变超链接的能力，根据用户的行动，从彼此的选择，adverples。我们证明了这样的控制器是稳定的，并通过仿真验证了我们的分析见解。
2009-08-23 cs.GT cs.NI
The Lockdown Effect: Implications of the COVID-19 Pandemic on Internet Traffic
由于COVID-19大流行，许多政府实施封锁，迫使数亿公民留在家中。限制措施的实施增加了居民用户对互联网流量的需求，特别是远程工作、娱乐、商业和教育的需求，结果导致互联网核心的流量发生变化。在本文中，使用数据从一组不同的有利位置（一个ISP，三个IXP，和一个大城市的教育网络），我们研究这些封锁对交通变化的影响。我们发现，交通量几乎在一周内增加了15-20%-虽然总体上仍然温和，但这在这短时间内构成了很大的增长。然而，尽管出现了这种激增，我们观察到互联网基础设施能够处理新的流量，因为大多数流量变化发生在传统的高峰时间之外。当直接观察流量来源时，我们发现，虽然超级巨人仍然贡献了很大一部分流量，但我们看到（1）非超级巨人的流量增长更快，（2）人们在家使用的应用程序的流量增加，例如Web会议，VPN和游戏。虽然许多网络的流量需求有所增加，特别是那些为住宅用户提供服务的网络，但学术网络的流量总体上大幅下降。然而，在这些网络中，当考虑与远程工作和授课相关的应用时，我们可以观察到大幅增长。
2020-10-05 cs.CY cs.NI
Non-uniformity is All You Need: Efficient and Timely Encrypted Traffic Classification With ECHO
The Hebrew University（希伯来大学）；Tel Aviv University（特拉维夫大学）；Princeton University（普林斯顿大学）
针对加密流量分类的效率与延迟问题，本文提出包含非均匀分箱超参数优化和级联早期分类的ECHO框架，在公开数据集上实现延迟最高降90%，同时维持甚至提升准确率。
2024-07-09 cs.CR cs.LG cs.NI
MAMRL: Exploiting Multi-agent Meta Reinforcement Learning in WAN Traffic Engineering
University of California, Riverside（加州大学河滨分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
流量优化的挑战，如负载均衡，流量调度，并提高数据包的交付时间，是困难的广域网（WAN）的在线决策问题。例如，需要复杂的算法来找到最佳路径，以改善分组传递时间并最小化可能由链路故障或拥塞引起的中断。最近的成功强化学习（RL）算法可以提供有用的解决方案，以建立更好的鲁棒系统，从经验中学习无模型设置。在这项工作中，我们考虑的路径优化问题，特别是数据包路由，在大型复杂网络。我们开发和评估一种无模型的方法，应用多代理Meta强化学习（MAMRL），可以确定每个数据包的下一跳，让它以最短的时间整体交付到目的地。具体来说，我们建议利用和比较深度策略优化RL算法，以实现通信网络中的分布式无模型控制，并提出一种新的基于元学习的框架MAMRL，以实现快速适应拓扑变化。为了评估所提出的框架，我们模拟各种WAN拓扑结构。我们广泛的数据包级仿真结果表明，与经典的最短路径和传统的强化学习方法相比，MAMRL显着降低了平均数据包传输时间，即使当网络需求增加;和非元深度策略优化算法相比，我们的研究结果显示，减少数据包丢失在更少的情节时，发生链路故障，同时提供可比的平均数据包传输时间。
2021-11-30 cs.LG cs.MA cs.NI
Deployment of Real-Time Network Traffic Analysis using GraphBLAS Hypersparse Matrices and D4M Associative Arrays
本文通过两个实时操作实例，展示了GraphBLAS超稀疏矩阵和D4M关联数组在网络流量分析中的实际部署，证明其能以适度计算资源满足操作需求。
2023-12-08 cs.NI cs.SI
Hypersparse Network Flow Analysis of Packets with GraphBLAS
由于网络流量的数量和速度，互联网分析是一个重大挑战。网络分析师通常不将流量作为原始数据包进行分析，而是依赖于包含开始时间、停止时间、源、目的地和每个方向上的数据包数量的压缩网络流（netflow）。然而，许多流量分析受益于多个同时发生的网络流的时间聚合，这在计算上可能具有挑战性。为了缓解这种担忧，已经开发了一种新的网络流压缩和恢复方法，该方法利用了GraphBLAS超空间流量矩阵，该矩阵在实现子范围分析的同时保持匿名化。然后对每个子范围执行标准的多时间空间分析，以生成每个子范围的源数据包、源扇出、唯一链接、目的地扇入和目的地数据包的详细统计聚合，然后可以将其用于背景建模和异常检测。开发了一种基于GraphBLAS稀疏矩阵的简单文件格式，用于存储这些统计聚合。该方法在MIT SuperCloud上进行了规模测试，使用了来自数百个站点的50万亿个数据包网络流语料库，这些数据来自数月来收集的数据。所获得的压缩是显著的（<0.1比特/数据包），使得能够存储和传输非常大的网络流分析。单节点的并行性能分析的处理器和线程，显示一个节点可以执行数百个同时分析超过一百万包/秒（大致相当于一个10千兆链路）。
2022-09-13 cs.DC cs.NI
Federated Meta-Learning for Traffic Steering in O-RAN
University of Bristol（布里斯托大学）；Vilicom UK Ltd.（英国Vilicom有限公司）
与LTE网络相比，5G的愿景在于为用户提供高数据率、低延迟（以接近实时应用为目标）、显著增加的基站容量以及近乎完美的服务质量（QoS）。为了提供这样的服务，5G系统将支持各种接入技术的组合，例如LTE、NR、NR-U和Wi-Fi。每种无线电接入技术（RAT）提供不同类型的接入，并且这些接入应当在用户之间被最佳地分配和管理。除了资源管理，5G系统还将支持双连接服务。因此，网络的编排对于系统管理者而言相对于传统接入技术而言成为更困难的问题。在本文中，我们提出了一种基于联邦元学习（FML）的RAT分配算法，该算法使RAN智能控制器（RIC）能够更快地适应动态变化的环境。我们设计了一个包含LTE和5G NR服务技术的仿真环境。在模拟中，我们的目标是满足UE的传输期限内的需求，以提供更高的QoS值。我们比较了我们提出的算法与一个单一的RL代理，爬虫算法和基于规则的探试法。仿真结果表明，所提出的FML方法实现了更高的缓存率在第一轮部署分别为21%和12%。此外，所提出的方法适应新的任务和环境中最快的比较方法。
2022-09-13 cs.LG cs.NI
Continual Meta-Reinforcement Learning for UAV-Aided Vehicular Wireless Networks
University of Bologna（博洛尼亚大学）；King’s College London（伦敦国王学院）
无人空中基站（UABS）可以部署在车载无线网络中，以支持诸如通过车联网（V2X）服务的扩展感测等应用。在这样的系统中的一个关键问题是设计算法，可以有效地优化轨迹的UABS，以最大限度地提高覆盖率。在现有的解决方案中，通常通过传统的强化学习（RL），对于任何新的业务配置从头开始执行这种优化。在本文中，我们建议使用连续元RL作为一种手段，将信息从以前经历的交通配置转移到新的条件下，目标是减少优化UABS的政策所需的时间。采用连续Meta策略搜索（CoMPS）策略，我们证明了显着的效率提高相比，传统的RL，以及天真的迁移学习方法。
2022-10-05 cs.LG cs.NI
Agentic Network Traffic Monitoring
针对智能体AI日益增长的安全风险，本文提出利用复值超稀疏流量矩阵，集成DBOS、OneSparse和GraphBLAS，通过模拟器监控智能体网络流量，以审计其行为是否符合用户意图。
2026-09-29 cs.AI cs.CR cs.DB
