Towards a Transformer-Based Pre-trained Model for IoT Traffic Classification
University of São Paulo(圣保罗大学);KFUPM(法赫德国王石油和矿产大学)
针对IoT流量数据稀缺导致深度学习模型表现不佳的问题,提出基于TabTransformer的预训练模型ITCT,通过大型MQTT数据集预训练并支持小样本微调,实现82%的准确率,显著优于现有方法。
2024-07-26 cs.AI cs.NI
NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics
Stony Brook University(石溪大学);Cornell University(康奈尔大学);Harvard University(哈佛大学)
本文提出NetFlowGen框架,通过生成式预训练仅利用NetFlow记录捕获网络流量动态,以少量标签微调适应DDoS检测等下游任务,解决流量建模效率与泛化问题。
2024-12-30 cs.AI cs.LG cs.NI
One task to rule them all: A closer look at traffic classification generalizability
本研究针对流量分类与网站指纹识别在环境变化下泛化性差的问题,提出评估框架,利用真实TLS数据集模拟分布偏移,发现最佳方案性能仅30%-40%,简单1-NN分类器表现接近,凸显了泛化挑战。
2025-07-08 cs.NI
An Efficient Web Traffic Defence Against Timing-Analysis Attacks
我们引入了一类新的较低的开销隧道,是耐流量分析。隧道机会主义地减少了在繁忙时间期间传输的虚拟数据包的数量,当许多流同时处于活动状态时,同时保持明确定义的隐私属性。我们发现,虚拟数据包开销通常小于20%,轻负载的链路,并下降到零的流量负载增加,即隧道的容量实现。所产生的额外延迟小于100ms。我们建立了一个实验原型的隧道,并进行了广泛的性能评估,证明其有效性下的一系列网络条件和真实的网页提取。
2018-06-02 cs.NI
Less is More: Simplifying Network Traffic Classification Leveraging RFCs
本文提出基于 RFC 定义构建极简表格化流量表示 NetMatrix,并结合 XGBoost 实现轻量级分类方法 LiM,在性能媲美 ET-BERT 和 YaTC 等先进方法的同时将资源消耗降低数个数量级。
2025-02-04 cs.CR cs.NI
Hierarchical Mobility Label Based Network: System Model and Performance Analysis
分层移动性标签网络(HMLBN)是一种新的解决网络层移动性管理问题的方法,它依赖于MPLS感知的控制平面和基于MPLS的转发平面为IPv4和IPv6移动主机和路由器提供IP移动性支持,同时能够确保通信设备之间的最佳流量传递。分层系统能够在不使用移动IP及其衍生物的情况下支持宏移动性和微移动性,从而消除了用户和网络面临的与三角路由和双向隧道相关的性能损失。本文提出了一个系统模型,并提供了性能分析H-MLBN和比较其性能的移动IP为基础的计划。结果表明,转发平面流量交付以及控制平面网络更新成本的显着性能改善。
2021-10-18 cs.NI
Mobility Label Based Network: Hierarchical Mobility Management and Packet Forwarding Architecture
网络层移动性管理解决方案的可扩展性是移动性控制平面的最重要要求之一。基于移动性标签的网络(MLBN)是一种新的解决网络层移动性管理问题的方法,它完全依赖于MPLS来为IPv4和IPv6移动主机和路由器提供宏移动性和微移动性。这种新的方法不依赖于现有的IP移动性管理协议,如移动IP,并基于多协议BGP(MP-BGP)和MPLS的组合。在MLBN的上下文中,可扩展控制平面应该能够进行有效的移动性标签分发,同时允许基于MPLS的转发平面以最佳方式递送移动业务。本文提出了一种分层的移动性管理系统,能够在不使用移动IP及其衍生产品的情况下,支持宏和微移动性,并允许可扩展的移动标签分发和MPLS标签栈为基础的数据包转发,以支持通信移动用户之间的最佳流量传输。
2021-10-18 cs.NI
A Testbed for Automating and Analysing Mobile Devices and their Applications
The University of Adelaide(阿德莱德大学);Defence Science & Technology Group(国防科学技术集团)
针对现有测试床无法自动生成和标记真实网络流量的问题,提出一种自动化移动设备应用以生成和标记真实流量的测试床,创建了两个数据集并验证了其自动化可靠性及在应用分类任务上的基准表现。
2023-09-15 cs.CR cs.LG cs.NI
Traffic Load Uniformity in Optical Packet Switched Networks
光分组交换(OPS)网络中的一个关键问题是由于竞争引起的分组丢失。在本文中,我们研究了流量负载均匀性如何影响在一个单一的OPS节点的数据包丢失。业务负载均匀性是OPS节点中的特定输出链路从其输入源接收的负载不对称性的度量。我们开发的分析模型的基础上的Engset交通模型。作为本文的一个主要贡献,我们表明,一个不对称的流量模式的结果在较少的数据包丢失相比,一个对称的流量模式在一个OPS节点的单个输出链路。
2019-06-23 cs.NI
Drift-oriented Self-evolving Encrypted Traffic Application Classification for Actual Network Environment
针对互联网应用更新引发特征概念漂移导致分类器快速失效的问题,提出基于 Laida 准则的漂移判定与自演化微调方法,在无标注样本下将 F1 提升 9%,寿命延至八个月以上。
2025-01-08 cs.NI
Talk Like a Packet: Rethinking Network Traffic Analysis with Transformer Foundation Models
Aston University(阿斯顿大学);University of Surrey(萨里大学)
本文提出基于Transformer的基础模型用于网络流量分析,通过统一预训练和微调流程,展示了模型在多种任务中的泛化能力及性能优势。
2026-02-06 cs.NI
Towards a distributed and infrastructure-less vehicular traffic management system
在过去的几年中,已经提出了几个系统来处理与车辆交通管理有关的问题。通常,他们的解决方案包括集成计算技术,如车辆网络,中央服务器和路边单元。大多数系统使用混合方法,这意味着它们仍然需要一个中央实体(中央服务器或路边单元)和互联网连接来查找途中事件以及车辆的替代路线。很容易理解需要一个中央实体,因为选择最合适的车辆来执行上述程序是一项困难的任务。除此之外,据我们所知,很少有系统将利他主义方法(而不是自私行为)应用于路由决策。正因为如此,在这项工作中解决的问题是如何执行车辆交通管理,当检测到途中事件,在分布式,可扩展的,和成本效益的方式。为了解决这些问题,我们提出了一个分布式车辆交通管理系统,称为dEASY(分布式车辆交通管理系统)。dEASY系统设计和实现了一个三层架构,即环境感知和车辆排名,知识生成和分发,知识消费。dEASY体系结构的每一层都负责处理相关工作中没有解决或可以改进的主要问题。仿真结果表明,与文献中的其他系统相比,我们提出的系统具有较低的网络开销,由于应用车辆选择和广播抑制机制。平均而言,dEASY在行程时间和时间损失指标方面也优于所有其他竞争对手。通过对结果的分析,可以得出结论,我们的无基础设施系统是可扩展的和具有成本效益的。
2020-02-10 cs.NI cs.SI
Fine-grained TLS services classification with reject option
CESNET(捷克教育与科研国家网络);Faculty of Information Technology, CTU in Prague(布拉格捷克理工大学信息技术学院)
机器学习和深度学习最近的成功和普及提供了强大的工具,这些工具也用于计算机网络中的加密流量分析、分类和威胁检测。这些方法,特别是神经网络,通常是复杂的,并且需要大量的训练数据。因此,本文的重点是收集一个大型的最新数据集,其中包含近200个细粒度的服务标签和1.4亿个使用数据包级元数据扩展的网络流。流的数量比其他现有的加密流量的公共标记数据集高出三个数量级。服务标签的数量对于使问题变得困难和现实非常重要,它是具有最多类标签的公共数据集中的四倍。发布的数据集旨在作为识别加密流量中服务的基准。服务识别可以进一步扩展为“拒绝”未知服务的任务,即,在训练阶段看不到的交通。神经网络为解决这一更具挑战性的问题提供了卓越的性能。为了展示数据集的有用性,我们实现了一个具有多模态架构的神经网络,这是最先进的方法,并实现了97.04%的分类准确率,检测到91.94%的未知服务,误报率为5%。
2022-11-29 cs.LG cs.NI
TraGe: A Generic Packet Representation for Traffic Classification Based on Header-Payload Differences
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Purple Mountain Laboratories(紫金山实验室);Nanjing Institute of InforSuperBahn(南京信息高速研究院)
针对现有预训练模型未针对流量数据设计导致表示不充分的问题,提出TraGe模型,基于头部与负载的字节序列差异进行差异化预训练,并引入动态掩码策略,在流量分类任务上性能提升高达6.97%。
2026-06-09 cs.NI
Multi-Task Hierarchical Learning Based Network Traffic Analytics
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Intel Corporation(英特尔公司);Elizabethtown College(伊丽莎白敦学院)
对网络流量进行分类是重要网络应用的基础。这一领域的先前研究面临着代表性数据集可用性的挑战,许多结果无法轻易复制。新兴的基于数据驱动的机器学习的方法加剧了这样的问题。为了解决这个问题,我们提出了(N et)2数据库,其中有三个开放的数据集,总共包含近130万个标记的流,以及一个全面的流特征列表,用于搜索社区1。我们专注于网络流量分析的广泛方面,包括恶意软件检测和应用程序分类。随着我们不断发展,我们希望这些数据集能够成为人工智能驱动的、可重复的网络流分析研究的共同基础。我们公开发布数据集,并引入多任务分层学习(MTHL)模型,以在单个模型中执行所有任务。我们的研究结果表明,MTHL能够准确地执行多个任务的分层标记,大大减少了训练时间。
2021-06-05 cs.LG cs.NI
Technical Report: Generating the WEB-IDS23 Dataset
Osnabrück University(奥斯纳布吕克大学)
针对现有NIDS数据集标签粒度不足、样本规模小及更新滞后等问题,本文开发模块化流量生成器并据此构建包含超1200万样本、82个流级特征和21个细粒度标签的WEB-IDS23数据集,同时补充了代表性不足的Web攻击类型。
2025-02-06 cs.CR cs.LG cs.NI
Quantifying and Managing Impacts of Concept Drifts on IoT Traffic Inference in Residential ISP Networks
UNSW Sydney(悉尼新南威尔士大学);KDDI Research, Inc.(KDDI综合研究所)
家庭网络中数以百万计的易受攻击的消费者物联网设备是网络犯罪的推动者,使用户隐私和互联网安全处于危险之中。互联网服务提供商(ISP)最有可能通过自动推断每个家庭的活跃物联网设备并通知用户易受攻击的设备,在降低风险方面发挥关键作用。开发一种可扩展的推理方法,可以在数千个家庭网络中稳健地执行,这是一项重要的任务。本文重点讨论了当设备行为的标记数据有限以及数据在时间和空间域上的分布变化(概念漂移)时,开发和应用数据驱动推理模型所面临的挑战。我们的贡献有三个方面:(1)我们收集并分析了来自12个真实家庭的24种消费者物联网设备的网络流量,以突出物联网设备网络行为中的时间和空间概念漂移的挑战;(2)分析了两种推理策略的性能,即“全局推理”(在来自训练家庭的所有标记数据的组合集上训练的模型)和“情境化推理”(几个模型,每个模型都在来自训练家庭的标记数据上训练);为了管理概念漂移,我们开发了一种动态应用“最近”模型的方法在测试阶段,我们可以从一组数据中提取数据,并将其传输到未看到的家庭的网络流量中,在20%的场景中获得更好的性能。
2023-01-31 cs.CR cs.LG cs.NI
How to Achieve High Classification Accuracy with Just a Few Labels: A Semi-supervised Approach Using Sampled Packets
具有从安全到计费和网络供应的众多应用的网络流量分类已经成为当今计算机网络的基石。以前的研究已经开发了流量分类技术,使用经典的机器学习算法和深度学习方法时,大量的标记数据是可用的。然而,捕获大型标记数据集是一个繁琐且耗时的过程。在本文中,我们提出了一种半监督的方法,避免了对大型标记数据集的需要。我们首先在一个大型未标记数据集上预训练一个模型,其中输入是一些采样数据包的时间序列特征。然后,学习的权重被转移到一个新的模型,该模型在一个小的标记数据集上重新训练。我们表明,我们的半监督方法在大型标记数据集上实现了与全监督方法几乎相同的准确性,尽管我们每个类只使用20个样本。在基于更具挑战性的QUIC协议生成的数据集的测试中,我们的方法产生了98%的准确率。为了证明其有效性,我们还在两个公共数据集上测试了我们的方法。此外,我们研究了三种不同的采样技术,并证明了从流的任意部分采样数据包是足够的分类。
2020-05-16 cs.NI
Confidence Driven Classification of Application Types in the Presence of Background Network Traffic
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Universidade do Algarve(阿尔加维大学)
本文提出基于高斯混合模型的分类框架,通过改进深度学习分类器的置信度指示,以更可靠地分类在存在背景网络流量时的应用类型。
2026-02-03 cs.NI
ResLearn-XR: Residual Learning for Network Traffic and Quality-of-Experience-Aware Modeling in Extended Reality
Carleton University(卡尔顿大学);Toronto Metropolitan University(多伦多都会大学)
该研究提出ResLearn-XR框架,采用两阶段残差学习结构,结合DDA算法与自建数据集,实现XR流量预测和QoE风险评估,显著降低相关预测的SMAPE。
2026-09-07 cs.AI cs.LG cs.NI
A Transfer Learning Framework for Anomaly Detection in Multivariate IoT Traffic Data
Holcombe Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出一种无需任何标注数据的无监督迁移学习框架,用于多变量物联网流量时间序列异常检测,并在新型入侵检测数据集上验证其优于现有方法。
2025-01-26 cs.CR cs.LG cs.NI
Tutorial on Flow-Based Network Traffic Classification Using Machine Learning
Budapest University of Technology and Economics(布达佩斯技术与经济大学);CUJO LLC(CUJO有限责任公司);Faculty of Information Technology, Czech Technical University in Prague(布拉格捷克理工大学信息技术学院)
本教程介绍如何利用机器学习进行加密环境下网络流量分类,提供从数据收集到模型部署的全流程指导。
2026-01-07 cs.NI
Online Supervised Learning for Traffic Load Prediction in Framed-ALOHA Networks
预测成帧ALOHA网络中的当前积压或业务负载使得能够优化资源分配,例如,帧的大小。然而,由于缺乏关于冲突基数的信息以及可能复杂的分组生成统计信息,使得这种预测变得困难。假设没有关于流量模型的先验信息,除了其时间记忆上的界限之外,本文开发了一种基于递归神经网络(RNN)并且具体地基于长短期记忆(LSTM)架构的基于在线学习的自适应流量负载预测方法。为了在没有关于碰撞的确切基数的反馈的情况下实现在线训练,所提出的策略利用了一种新的近似标记技术,该技术受到矩量法(Method of Moments,简称MEMO)估计器的启发。数值结果表明,所提出的在线预测大大优于传统的方法,能够适应不断变化的交通统计。
2019-07-25 cs.NI eess.SP
Traffic dynamics on dynamical networks: The connection between network lifetime and traffic congestion
对于许多功率受限的网络,如无线传感器网络和移动ad hoc网络,最大化网络的生命周期是在相关的设计和维护活动的首要关注。从网络科学的角度研究了网络生命周期。在我们的动态网络中,节点最初被分配了固定的能量,并在发送数据包时消耗能量。我们将网络流量分为四种状态:无、慢、快和绝对拥塞状态。我们推导出的网络生命周期考虑的状态的流量。我们发现,网络的生命周期一般是相反的流量拥塞,流量越拥挤,网络的生命周期越短。我们还发现了数据包生成速率、通信半径、节点移动速度等因素的影响,网络寿命和流量拥塞。
2016-04-15 cs.NI physics.data-an
Analysis of urban traffic data sets for VANETs simulations
车辆自组织网络(VANET)是由移动车辆组成的自组织分布式通信网络,其中每个节点具有可变的速度、严格的运动模式自由度限制和各种交通动态。在过去的几年里,车辆交通吸引了越来越多的关注,从工业和研究,由于相关的应用,从交通控制到道路安全的重要性。然而,很少有人注意到通过真实的经验数据,将允许开发更有效的通信和网络计划的现实用户移动性的建模。本研究的目的是双重的:一方面,我们得出了真正的流动性模式中使用的VANET模拟器,另一方面,我们模拟了VANET数据传播实现了不同的广播协议,在我们真正的交通设置。
2013-04-16 cs.NI
FlowAtom: Atom-Based Evidence Aggregation for Multi-Label Website Fingerprinting
Beijing University of Posts and Telecommunications(北京邮电大学);Zhongguancun Laboratory(中关村实验室)
针对混合加密流量中多标签网站指纹识别难题,提出FlowAtom方法,利用无标签流量预训练流编码器并聚合原子证据,在封闭和开放世界评估中均优于基线。
2026-09-25 cs.LG cs.NI
An Adversarial Zero-Shot Learning Approach for Anomaly Detection in Multivariate IoT Traffic Data
该研究针对物联网异常检测的设备多样、缺标注数据等挑战,提出结合对抗学习与对比损失的序列VAE框架,通过适配层、分割策略实现零样本跨域异常检测,在44种场景的6类数据集上表现出强泛化性与竞争力。
2026-09-04 cs.LG cs.NI
Exploring QUIC Dynamics: A Large-Scale Dataset for Encrypted Traffic Analysis
Technion(技术离子大学)
针对QUIC加密流量分析缺乏大规模数据集的问题,本文提出VisQUIC数据集,包含10万条轨迹,并提供SSL密钥和图像表示,支持机器学习分析,在HTTP/3响应估计任务上达到97%准确率。
2025-05-24 cs.AI cs.CV cs.LG
Where Do Flow Semantics Reside? A Protocol-Native Tabular Pretraining Paradigm for Encrypted Traffic Classification
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种协议原生的表格预训练范式,解决加密流量分类中传统序列模型的语义丢失问题,通过FlowSem-MAE在保持字段边界和时间模式方面取得显著优势。
2026-05-09 cs.AI cs.CR cs.LG
TrAD: Traffic Adaptive Data Dissemination Protocol for Both Urban and Highway VANETs
车载自组织网络(VANTIOLAR Ad hoc Networks,VANTIOLAR)的目标是改善交通安全、提高交通效率甚至是信息娱乐等交通活动,需要大量的交通事件驱动的信息在感兴趣的区域及时传播。然而,由于VAN的高动态移动性和频繁断网的特性,数据传播面临着巨大的挑战。车辆间通信(IVC)协议是解决这一问题的关键技术。因此,我们提出了一个无基础设施的交通自适应数据分发(TrAD)协议,考虑公路和城市场景的道路交通和网络交通状况。TrAD具有适应不规则道路拓扑的灵活性,并具有双重广播抑制技术。三个国家的最先进的IVC协议已被比较与TrAD通过现实的模拟。所有协议的性能进行了定量评估与不同的实际城市地图和交通路线。最后,即使在GPS漂移的情况下,TrAD在几个指标方面也获得了出色的整体性能。
2016-01-29 cs.NI
Scaling Migrations and Replications of Virtual Network Functions based on Network Traffic Forecasting
虚拟网络功能(VNF)的迁移和复制是在互联网服务提供商(ISP)边缘网络中面对动态资源请求的公知机制。它们不仅用于重新分配运营商网络中的资源,而且在流量过度波动的情况下,还可以将VNF卸载到第三方云提供商。我们建议研究如何流量预测可以帮助减少所需的迁移和复制的数量时,流量动态变化的网络。我们分析和比较VNF迁移和复制的三种场景:(i)仅当前观察到的流量需求,(ii)过去观察到的特定最大流量需求值,或(iii)预测流量值。对于交通需求值的预测,我们使用LSTM模型,该模型被证明是时间序列预测问题中最准确的方法之一。在流量预测模型的基础上,采用混合线性规划(MILP)模型和贪心算法来求解考虑VNF迁移和复制的优化问题。结果表明,当有足够的可用资源分配副本时,基于LSTM的流量预测可以将迁移次数减少45%,而与过度配置相比,基于云的卸载需要更少。
2021-05-11 cs.NI
Versatile yet Efficient Network Traffic Analysis: Offloading Network Foundation Model to SmartNIC
Institute of Computing Technology, Chinese Academy of Sciences, China(中国科学院计算技术研究所);University of Chinese Academy of Sciences, China(中国科学院大学);University of Virginia, USA(弗吉尼亚大学);Beijing Institute of Technology, China(北京理工大学);Southeast University, China(东南大学);Northeastern University, China(东北大学);Haihe Lab of ITAI, China(ITAI海河实验室);Corresponding authors(通讯作者)
本文提出Nepco系统,通过将网络基础模型卸载到智能网卡,实现多功能且高效的网络流量分析,减少端到端延迟。
2026-05-08 cs.LG cs.NI
5G Long-Term and Large-Scale Mobile Traffic Forecasting
Huawei Turkey R&D Center(华为土耳其研发中心)
对于服务提供商来说,理解和预测大规模蜂窝网络中的移动业务是至关重要的,以便治理和管理用于基站放置、负载均衡和网络规划的机制。本文的目的是从安装在不同大都市地区的14,000多个小区中提取和模拟流量模式。为此,我们创建、实现和评估了一种方法,在该方法中,细胞首先根据其兴趣点进行分类,然后根据每个区域中细胞的时间分布进行聚类。该模型已使用在不同城市收集的31周真实5G移动流量数据集进行了测试。我们发现,我们提出的模型在预测移动流量模式提前2周表现良好。我们的模型在大多数感兴趣的领域都优于基础模型,并且与朴素方法相比,通常可以减少高达15%的预测误差。这表明,我们的方法是有效的,在大规模的蜂窝网络中预测移动流量模式。
2022-12-21 cs.LG cs.NI
NetML: A Challenge for Network Traffic Analytics
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Intel Corporation(英特尔公司);Elizabethtown College(伊丽莎白敦学院)
对网络流量进行分类是重要网络应用的基础。这一领域的先前研究面临着代表性数据集可用性的挑战,许多结果无法轻易复制。新兴的基于数据驱动的机器学习的方法加剧了这样的问题。为了解决这个问题,我们提供了三个开放的数据集,包含近1.3M标记的流,流功能和匿名的原始数据包,为研究社区。我们专注于网络流量分析的广泛方面,包括恶意软件检测和应用程序分类。我们以一个名为NetML的开放挑战的形式发布数据集,并实现了几种机器学习方法,包括随机森林,SVM和MLP。随着NetML的不断发展,我们希望这些数据集能够成为AI驱动的、可重复的网络流分析研究的通用平台。
2020-04-25 cs.CR cs.LG cs.NI