An Iterative Algorithm to Impute Truck Information over Nationwide Traffic Networks
针对仅靠年平均日交通量无法捕捉卡车流量时间变化的问题,本研究结合两类交通数据集,提出一种交通网络信息补全方法,可生成卡车流量与车辆类别分布,经多尺度实验验证有效,可支撑排放建模等应用。
2024-10-18 cs.NI
Watching the Watchers: Nonce-based Inverse Surveillance to Remotely Detect Monitoring
互联网用户和服务提供商通常不知道流量何时被监视,但希望有一种方法来确定何时、何地以及由谁监视。我们目前的噪音,随机观测站的反向监视的EQUIPMENT droppers,一种方法和系统,检测监测传播的随机数-唯一的,伪随机值-在交通,看看他们是否意外地采取行动,表明nonce负载的交通正在受到监控。具体来说,我们将64位随机数无害地嵌入到IPv6地址中,并使用修改后的类似traceroute的工具在整个互联网范围内传播这些随机数,该工具使每个出站探针的源地址唯一。我们不断地监视后续的随机数传播,即,涉及这些随机数的活动或兴趣,例如,通过我们系统基础设施上的数据包捕获。在三个实验和四个月的时间里,NOISE检测到了超过20万次的监控,表面上是在268个网络中,目的地是437个网络。我们的结果显示:(a)用于安全事故处理的数据汇集,(b)与第三方共享的业务信息,以及(c)在大型商业对等交换机中或附近进行窃听。
2020-06-05 cs.NI
P4TE: PISA Switch Based Traffic Engineering in Fat-Tree Data Center Networks
这项工作提出了P4TE,带内流量监测,负载感知的数据包转发,流量工程的流量控制机制,在胖树拓扑结构的数据中心网络使用PISA交换机。它实现了对网络条件变化的子RTT反应时间,改善了流完成时间,并平衡了链路利用率。与传统的基于探测器的监控方法不同,P4TE使用带内监控方法来识别数据平面中的流量事件。基于这些事件,它重新调整路径的优先级。它使用一种基于负载感知的转发路径选择机制来响应不断变化的网络条件,并通过向终端主机发送反馈来控制流量。它可在新兴的基于v1model.p4架构的可编程交换机上实现,并能够保持线速性能。我们的评估表明,P4TE使用少量的资源在PISA管道,并实现了改善流完成时间比ECMP和阻碍。
2022-07-19 cs.NI
MopEye: Monitoring Per-app Network Performance with Zero Measurement Traffic
移动网络性能测量对于理解移动用户体验、问题诊断和服务比较非常重要。许多众包测量应用程序(例如,[4][5][7][8][10][11][12][13][14][15][16][17][18][19][1与使用主动测量方法的现有应用程序不同,我们采用了一种新颖的被动-主动方法来持续监控无根智能手机上的每个应用程序的网络性能,而无需注入额外的网络流量。通过利用Android上的VpnService API,我们的测量应用程序MopEye拦截所有网络流量,然后使用套接字API将它们中继到目的地。因此,MopEye不仅可以准确地测量往返时间,而且可以在不注入额外流量的情况下做到这一点。结果,消除了进行这种测量的带宽成本(和数据使用的货币成本),并且可以在没有用户干预的情况下进行测量。我们的评估表明,MopEye的RTT测量非常接近tcpdump的结果,并且比MopEye Perf更准确。我们使用MopEye进行了为期一周的测量,揭示了不同应用程序性能的多个有趣发现。
2016-10-05 cs.NI
Big Data for Traffic Monitoring and Management
过去二十年见证了信息和通信技术的巨大进步。除了计算能力和存储容量的提高之外,通信网络现在还承载着大量的数据,这在几年前是无法想象的。随着网络的普及,网络的复杂性也在以同样的速度增长,使得运营商和研究人员几乎没有什么工具来了解网络中以及全球范围内的互联网上发生了什么。幸运的是,数据科学和机器学习的最新进展拯救了网络分析师,并允许进行复杂程度和空间/时间范围的分析,这在10年前是不可能的。在我的论文中,我采取的角度来看,互联网服务提供商(ISP),并说明了挑战和可能性,分析来自现代运营网络的流量。我利用大数据和机器学习算法,并将其应用于来自ISP和大学校园网络的被动测量的数据集。数据科学和网络测量之间的结合由于机器学习算法的复杂性以及此类数据固有的多维性和可变性而变得复杂。因此,我的工作提出并评估了新颖的技术,灵感来自流行的机器学习方法,但经过精心定制,以适应网络流量。
2019-02-28 cs.NI
Reliable Traffic Monitoring Mechanisms Based on Blockchain in Vehicular Networks
实时交通监控是智慧城市的基本任务,可以了解交通状况,避免危险事件。在本文中,我们提出了一个可靠而高效的交通监控系统,该系统有效地集成了区块链和车辆互联网技术。它可以将交通信息收集任务众包给在路上行驶的车辆,而不是在每个角落安装摄像头。首先,我们设计了一个轻量级的基于区块链的信息交易框架,以模拟交通管理和车辆之间的交互。它保证了执行交易过程中的可靠性,效率和安全性。其次,我们定义了该系统中的实体的效用函数,并提出了一个预算拍卖机制,激励车辆积极承担收集任务。在我们的算法中,它不仅确保了所选车辆的总付款不超过给定的预算,而且还保持了拍卖过程的真实性,避免了一些车辆提供不真实的出价,以获得更大的效用。最后,我们进行了一组数值模拟,以评估我们的交易框架的可靠性和我们的算法的性能,其结果证明了他们的正确性和效率完美。
2020-08-20 cs.GT cs.NI
Q-DATA: Enhanced Traffic Flow Monitoring in Software-Defined Networks applying Q-learning
Technische Universität Chemnitz(开姆尼茨工业大学);Duy Tan University(维新大学)
软件定义网络(SDN)通过将数据平面与控制平面分离来引入集中式网络控制和管理,这有助于流量监控、安全分析和策略制定。然而,选择适当程度的业务流处理粒度同时主动保护转发设备免于过载是具有挑战性的。在本文中,我们提出了一种新的业务流匹配控制框架称为Q-DATA,应用强化学习,以提高基于SDN的网络中的业务流监控性能,并防止流量转发性能下降。我们首先描述和分析了一个基于SDN的交通流匹配控制系统,该系统采用了基于Q-学习算法的强化学习方法,以最大限度地提高交通流粒度。它还考虑了从基于支持向量机的算法导出的SDN交换机的转发性能状态。接下来,我们概述了Q-DATA框架,该框架结合了来自交通流匹配控制系统的最佳交通流匹配策略,以有效地提供其他机制所需的最详细的交通流信息。我们的新方法实现为REST SDN应用程序,并在SDN环境中进行评估。通过综合实验,结果表明,与常见SDN控制器的默认行为和我们以前的DATA机制相比,新的Q-DATA框架在SDN交换机的流量转发性能降级保护方面有了显着的改善,同时仍能按需提供最详细的流量信息。
2019-09-04 cs.LG cs.NI
A State-Space Approach for Optimal Traffic Monitoring via Network Flow Sampling
Merit Network, Inc.(Merit网络公司);University of Michigan(密歇根大学)
本文提出基于状态空间的优化交通监控方法,通过利用网络流的空间和时间关系,在资源受限条件下实现最优的流量采样策略,提升网络流量估计的准确性。
2013-06-24 cs.NI cs.SY eess.SY
Direct Feature Access -- Scaling Network Traffic Feature Collection to Terabit Speed
针对太比特流量下细粒度特征采集瓶颈,提出直接特征访问(DFA)系统,利用P4可编程数据平面和RDMA/GPUDirect绕过CPU,实现每秒3100万特征向量提取,支持52.4万条流,推动实时ML网络监控。
2025-05-23 cs.NI
Fuzzy Based Diagnostics System for Identifying Network Traffic Flow Anomalies
本文讨论了网络流量特性在被动网络监控中的应用,用于识别和识别网络异常。
2013-04-30 cs.NI
Using Collective Intelligence to Route Internet Traffic
集体智能(COIN)是一组以自动化方式设计的交互式强化学习(RL)算法,以便它们的集体行为优化全局效用函数。我们总结了COIN的理论,然后提出了实验使用该理论设计COIN控制互联网流量路由。这些实验表明,COIN优于所有以前研究的基于RL的最短路径路由算法。
1999-05-10 adap-org cond-mat.stat-mech cs.DC
Agentic Network Traffic Monitoring
针对智能体AI日益增长的安全风险,本文提出利用复值超稀疏流量矩阵,集成DBOS、OneSparse和GraphBLAS,通过模拟器监控智能体网络流量,以审计其行为是否符合用户意图。
2026-09-29 cs.AI cs.CR cs.DB
Correlating power consumption and network traffic for improving data centers resiliency
关键业务应用程序和信息基础设施的部署正在向云转移。这意味着它们与其他业务应用程序和基础设施一起托管在大型数据中心中,具有较少(或没有)关键任务限制。这种混合和复杂的环境使得监控关键应用程序和处理(检测和恢复)服务器数据中心的可能故障的过程非常具有挑战性,这些故障可能影响任务关键应用程序的响应性和/或可靠性。数据中心中使用的监控机制通常是侵入式的,因为它们需要在每台服务器上安装代理。这具有相当大的缺点:大量使用人力资源来安装和修补系统,并干扰关键应用程序,因为代理共享应用程序资源。为了检测(并可能预测)在数据中心的故障,本文做了第一次尝试,在网络流量和服务器的功耗之间的相关性。这是获得非侵入式监控系统的重要一步,因为无需在服务器上安装任何软件即可捕获网络流量和功耗。这将反过来提高数据中心的整体弹性及其自我管理能力。
2014-05-12 cs.NI
Edge Computing in Distributed Acoustic Sensing: An Application in Traffic Monitoring
本文提出一种基于分布式声学传感与边缘计算的实时交通监测方法,利用霍夫变换和DBSCAN聚类检测跟踪车辆并估计速度,同时验证了其在桥梁结构健康监测中的潜力。
2024-10-04 cs.NI cs.SD eess.AS
An Enhanced Analysis of Traffic Intelligence in Smart Cities Using Sustainable Deep Radial Function
Al-Kitab University(阿尔基塔布大学);Annai Velankanni College of Engineering(安奈维兰卡尼工程学院);Saveetha School of Engineering(萨维塔工程学院);Sri Eshwar College of Engineering(斯里埃什瓦尔工程学院);Northern Technical University(北方技术大学);University of Anbar(安巴尔大学)
针对智慧城市交通管理问题,提出一种基于深度径向基函数(RBF)网络的方法,通过学习交通数据中的非线性模式实现更精准的预测与决策,有效提升了交通智能。
2024-01-24 cs.LG cs.NE cs.NI
G-NetMon: A GPU-accelerated Network Performance Monitoring System for Large Scale Scientific Collaborations
网络流量很难监控和分析,尤其是在高带宽网络中。特别是性能分析带来了极端的复杂性和可伸缩性挑战。GPU(图形处理单元)技术近来已被用于加速通用科学和工程计算。GPU通过数百个简单的内核提供极端的线程级并行性。他们的数据并行执行模型可以快速解决具有固有数据并行的大型问题。在Fermilab,我们开发了一个GPU加速的网络性能监控系统原型,称为G-NetMon,以支持大规模的科学合作。在这项工作中,我们将探索使用GPU进行网络流量监控和分析的新机会。我们的系统利用网络流数据中存在的数据并行提供快速分析费米实验室和协作站点之间的批量数据移动。实验表明,我们的G-NetMon可以快速检测次优批量数据移动。
2011-08-08 cs.NI
StreaMon: a data-plane programming abstraction for Software-defined Stream Monitoring
现代网络威胁和网络监控需求的快速发展需要新的“软件定义”方法来简化和加快在线(基于流)流量分析功能的编程和部署。StreaMon是一个精心设计的数据平面抽象,旨在可扩展地解耦流量分析应用程序的“编程逻辑”(跟踪状态,功能,异常条件等)。从基本原语(计数和计量、匹配、事件生成等),在探测器中有效地预实现,并用作支持所需逻辑的公共指令集。通过部署自定义状态、相关状态转换以及相关监控操作和触发条件的能力,支持多阶段多步骤实时跟踪和检测算法。这种分离需要以高级语言编写的独立于平台的、便携式的在线业务分析任务,而不需要开发者访问监视设备内部并经由低级编译语言(例如,C、汇编、VHDL)。我们通过开发一个原型和一组简单(但功能要求高)的用例应用程序,并通过在真实的流量跟踪上测试它们来验证我们的设计。
2013-11-11 cs.CR cs.NI
A Survey on Big Data for Network Traffic Monitoring and Analysis
网络流量监控和分析(NTMA)是网络管理的关键组成部分,特别是为了保证大型网络(如Internet)的正确运行。随着互联网服务的复杂性和业务量的不断增加,设计可扩展的NTMA应用变得越来越困难。流量分类和监管等应用需要实时和可扩展的方法。异常检测和安全机制需要在处理数以百万计的异构事件时快速识别和响应不可预测的事件。最后,系统必须收集、存储和处理大量的历史数据集,以便进行事后分析。这些正是一般大数据方法所面临的挑战:数量,速度,多样性和准确性。这项调查将NTMA和大数据结合在一起。我们对NTMA以前采用大数据方法的工作进行了分类,以了解NTMA在多大程度上探索了大数据的潜力。本调查主要关注管理NTMA大数据的方法和技术,此外还简要讨论了大数据分析(例如,机器学习)。最后,我们为未来的工作提供了指导方针,讨论了经验教训和研究方向。
2020-03-03 cs.DC cs.NI
Efficient Sensors Selection for Traffic Flow Monitoring: An Overview of Model-Based Techniques leveraging Network Observability
本文综述了交通流量监测中基于网络可观测性的模型驱动传感器选择技术,强调布置挑战,并倡导数据驱动方法以提升部署效能和建模准确性。
2025-02-26 cs.NI cs.SY eess.SY
Scalable Intelligence-Enabled Networking with Traffic Engineering in 5G Scenarios for Future Audio-Visual-Tactile Internet
为了提高未来的网络性能,本文提出了可扩展的智能网络(SIEN),消除了5G场景中视听触觉互联网的流量冗余,如增强的移动宽带,超可靠和低延迟通信,以及大量的机器类型通信。SIEN由智能管理平面(ImP)、智能使能平面(IeP)、控制平面和用户平面组成。对于ImP,决策执行的容器是由一种新的图算法来组织对象,如网络元素和资源分区。对于IeP,设计了一种新的学习系统,在存在不平衡、冲突和部分数据的情况下,使用一致性函数进行泛化和个性化决策。对于控制平面,借鉴信息中心组网和软件定义网络,设计了标识-位置映射方案。对于用户平面,注册、请求和数据被转发以实现SIEN并测试其性能。评估结果表明,SIEN优于四个国家的最先进的技术,冗余流量减少高达46.04%的基础上的混合假设,模拟和概念验证的实施视听触觉互联网多媒体服务。为了验证该方法的有效性,分别对流量卸载的最佳情况和最差情况进行了数据率、延迟和密度测试。评估仅关注可扩展性问题,而SIEN将有利于改善更多问题,如域间安全性,超低延迟,按需移动性,多宿主路由和跨层特征不一致性。
2019-10-16 cs.MM cs.NI
Research on Cloud Platform Network Traffic Monitoring and Anomaly Detection System based on Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出一种基于大语言模型的云平台网络流量监控与异常检测系统,融合Transformer注意力机制和迁移学习,在无需大量标注数据下提升检测精度与效率,有效识别零日攻击等异常并降低误报率。
2025-04-22 cs.AI cs.LG cs.NI
Improving Network Monitoring and Security via Visualization
互联网网络正在处理比以往任何时候都增加的流量。这些数据主要与敏感、分布式和多媒体应用程序相关。在过去的几年里,人们非常关注网络基础设施的设计和开发方式,以便应对为VoIP和流媒体视频等应用提供高质量服务的挑战。
2015-11-27 cs.NI
Label-less Learning for Traffic Control in an Edge Network
Huazhong University of Science and Technology(华中科技大学);Dalian University of Technology(大连理工大学);Wuhan University(武汉大学)
随着智能应用的发展(例如,自动驾驶、实时情感识别等),对云智能有更高的要求。然而,云智能依赖于用户设备(UE)收集的多模态数据。由于网络带宽的有限容量,将从UE生成的所有数据卸载到远程云是不切实际的。因此,在本文中,我们考虑了在减少网络流量的同时实现一定级别的云智能的挑战性问题。为了解决这个问题,我们设计了一种基于边缘云的无标签学习的流量控制算法,称为LLTC。通过使用边缘云有限的计算和存储资源,LLTC评估数据的价值,这些数据将被卸载。具体来说,我们首先给出了一个陈述的问题和系统架构。然后,我们详细设计了LLTC算法。最后,搭建了系统测试平台。实验结果表明,该算法在保证云智能的同时,最大限度地减少了数据传输量。
2018-08-29 cs.AI cs.NI
Road State Inference via Channel State Information
各种各样的传感器技术最近被用于交通监控应用。由于这些技术中的大多数依赖于有线基础设施,安装和维护成本限制了交通监控系统的部署。在本文中,我们介绍了一种交通监测方法,利用物理层样本的车辆通信处理的机器学习技术。我们通过广泛的模拟和真实实验验证了我们方法的可行性。首先,我们模拟无线信道在现实的交通条件下,使用光线跟踪模拟器和交通模拟器。接下来,我们在真实环境中进行实验,并收集从路边单元(RSU)发送的消息。结果表明,我们能够预测不同的服务水平,准确率超过80%的模拟和实验数据。此外,所提出的方法是能够估计车辆的数量与两个数据的平均绝对误差低。我们的方法适合与当前的监测系统一起部署。它不需要额外的基础设施投资,因为它依赖于现有的车辆网络。
2023-03-16 cs.NI eess.SP
Framework for Highway Traffic Profiling using Connected Vehicle Data
互联车辆(CV)数据可能会彻底改变交通监控领域,因为近年来,商业市场上出现了专门从原始设备制造商(OEM)收集的CV数据的新来源。与机构使用的现有CV数据相比,新一代CV数据具有某些优势,包括几乎无处不在的覆盖范围、高时间分辨率、高空间精度和丰富的车辆远程信息处理数据(例如,紧急制动事件)。本文提出了一个交通分析框架,目标车辆级的性能指标,包括机动性,安全性,乘坐舒适性,交通流稳定性和燃料消耗。一条主要州际公路的概念验证研究(即,I-280 NJ)使用CV数据说明了超越传统聚合流量度量的可行性。最后,无论是历史分析,甚至近实时监测的潜在应用进行了讨论。拟议的框架可以很容易地扩展,并且对于希望系统地监测区域或全州道路而无需对基于基础设施的传感(以及相关的持续维护成本)进行大量投资的机构来说特别有价值。
2022-09-06 cs.NI cs.SY eess.SY
VINEVI: A Virtualized Network Vision Architecture for Smart Monitoring of Heterogeneous Applications and Infrastructures
Institute of Exact and Technological Sciences (IEP), Federal University of Viçosa(维索萨联邦大学精确与技术科学研究所);Faculty of Computing (FACOM), Federal University of Uberlândia(Uberlândia联邦大学计算学院)
本文提出VINEVI架构,通过节点嵌入式实时流量分类代理并结合Prometheus等工具,实现对异构物理与虚拟化基础设施及应用的全栈细粒度无缝监控。
2024-12-26 cs.AI cs.CV cs.LG
Destination-aware Adaptive Traffic Flow Rule Aggregation in Software-Defined Networks
Technische Universität Chemnitz(开姆尼茨工业大学)
在本文中,我们提出了一个目的地感知的自适应流量规则聚合(DATA)机制,以促进基于SDN的网络中的流量监控。该方法根据其他机制(例如,用于流量工程、流量监控、入侵检测)所需的流量流信息的详细程度来适配SDN交换机中的流表条目的数量。它还通过将流表条目的数量保持在远低于临界水平来防止SDN交换机的性能下降。该水平不是预设为硬阈值,而是在操作期间通过使用基于机器学习的算法来学习。DATA方法在RESTful应用(DATA App)内实现,该RESTful应用监控和分析正在进行的网络流量,并向SDN控制器提供指令以相应地适配流量流匹配策略。在SDN仿真环境中对DATA进行了全面的性能评估。结果表明,与常见SDN控制器的默认行为相比,所提出的DATA方法可以显著提高SDN交换机的性能,同时仍能按需提供详细的流量信息。
2019-09-07 cs.LG cs.NI
XNET: Intelligent Dynamic Sampling for High-Speed Network Security Monitoring
Georgia Institute of Technology(佐治亚理工学院);University of Georgia(佐治亚大学)
XNET是基于Linux XDP技术的智能动态采样系统,可在商用硬件上实现100Gbps线速安全监控,能缩减84%流量且无丢包,将低价值流量可见性提5倍,IDS检测率达99.6%。
2026-08-20 cs.CR cs.NI
Avoiding Braess' Paradox through Collective Intelligence
在理想最短路径算法(ISPA)中,网络中的每个路由器在每个时刻都将其所有流量发送到将导致该流量成本最低的路径。在特定路由器的流量无限小的限制下,就该流量产生的成本而言,通过ISPA路由该流量是最佳的。我们证明,虽然在许多情况下,由于一个路由器的行动对另一个路由器的性能的副作用,有路由器使用ISPA的是次优的全球总成本而言,即使只用于路由无穷小的流量。作为一个特殊的例子,我们提出了一个实例的Braess'悖论的ISPA的,其中添加新的链接到网络降低整体吞吐量。我们还表明,负载平衡,其中的路由决策,以优化目前正在路由的所有流量所产生的全球成本,是次优的全球成本平均跨时间而言。这也是由于“副作用”,在这种情况下,当前的路由决定对未来的流量。集体智慧理论(COIN)正是关注避免这种有害副作用的问题。我们提出的关键概念,从理论和使用它们来推导出一个理想化的算法,其性能优于ISPA的,即使在无穷小的限制。我们提出的实验验证了这一点,并表明这种COIN算法的基于机器学习的版本,其中成本只是不精确地估计(一个版本可能适用于现实世界)也优于ISPA,尽管可以访问的信息比ISPA少。特别地,该COIN算法避免了Braess悖论。
1999-12-20 adap-org cs.DC cs.MA
Monitoring Security of Enterprise Hosts via DNS Data Analysis
企业网的规模和复杂性都在不断增长,需要以不同的方式保护异构连接资产。然而,几乎所有连接的资产都使用域名系统(DNS)进行地址解析,因此DNS已成为攻击者秘密执行命令和控制(C&C)通信、数据窃取和服务中断的方便工具。监控网络流量的企业安全设备通常允许所有DNS流量通过,因为它对于访问任何Web服务都至关重要;它们最多只能与已知恶意模式的数据库匹配,因此对零日攻击无效。本论文重点关注三种利用DNS的高影响力网络攻击,特别是数据泄露,恶意软件C&C通信和服务中断。使用从大学校园和政府研究机构收集的DNS网络流量的大数据(超过10 B数据包)超过6个月的时间,我们说明了这些攻击的解剖,训练机器自动检测此类攻击,并评估其在该领域的有效性。
2022-05-18 cs.CR cs.NI
IoT Behavioral Monitoring via Network Traffic Analysis
The University of New South Wales(新南威尔士大学);School of Electrical Engineering and Telecommunications(电气与电信工程学院)
灵巧家庭、企业和城市越来越多地配备了大量的物联网(IoT),从智能灯到安全摄像头。虽然物联网网络有可能造福我们的生活,但它们带来了传统IT网络所没有的隐私和安全挑战。由于缺乏可见性,这种智能环境的运营商通常不知道他们的物联网资产,更不用说每个物联网设备是否正常运行,免受网络攻击。这篇论文是我们努力开发技术来分析物联网的网络行为模式,自动化物联网分类,推断其操作上下文,并检测指示网络攻击的异常行为的结果。我们通过调查物联网生态系统开始这篇论文,同时回顾当前的漏洞评估,入侵检测和行为监控方法。对于我们的第一个贡献,我们收集流量跟踪,并通过流量模式的属性来描述物联网设备的网络行为。我们开发了一个强大的基于机器学习的推理引擎,使用这些属性进行训练,并展示了28个物联网设备的实时分类,准确率超过99%。我们的第二个贡献是通过降低属性提取的成本,同时识别物联网设备状态来增强分类。原型实现和评估展示了我们的监督机器学习方法检测五个物联网设备的行为变化的能力。我们的第三个也是最后一个贡献是开发了一个模块化的无监督推理引擎,该引擎可以动态地适应新物联网设备的添加和/或对现有设备的更新,而不需要对模型进行系统范围的重新训练。我们通过实验证明,我们的模型可以自动检测10个物联网设备中的攻击和固件更改,准确率超过94%。
2020-01-28 cs.CR cs.LG cs.NI
Locality-Sensitive Sketching for Resilient Network Flow Monitoring
网络监控在现代云和数据中心网络中对于流量工程、网络诊断、网络入侵检测至关重要,这些都需要从流量大小分布到严重攻击的各种流量统计数据。为了应对日益增长的网络速率和大规模的流量,基于草图的近似测量已经被广泛研究,以换取内存和计算成本的准确性,不幸的是,这对哈希冲突很敏感。此外,部署sketch涉及细粒度的性能控制和检测。本文提出了一种局部敏感的草图(LSS)是弹性哈希冲突。LSS主动地最小化由于与基于自动编码器的优化模型的散列冲突而导致的估计误差,并且通过将类似的网络流保持到相同的桶阵列来减小估计方差。为了说明草图的可行性,我们开发了一个分散的监控应用程序,支持非侵入式草图部署和本地网络范围内的分析。测试表明,该框架适应线路速率,并提供准确的查询结果。真实世界的跟踪驱动的模拟表明,LSS保持稳定的性能下的广泛的参数范围内,并显着优于国家的最先进的草图结构,与超过$10^3$到$10^5$倍的减少相对错误的每流查询的桶的数量的数量的比例减少到0.1%。
2019-05-08 cs.DC cs.NI
Efficient Semantic Image Communication for Traffic Monitoring at the Edge
Nazarbayev University, School of Engineering & Digital Sciences(纳扎尔拜耶夫大学工程与数字科学学院);Zurich University of Applied Sciences (ZHAW)(苏黎世应用科学大学(ZHAW))
本文提出MMSD和SAMR两种语义图像通信管道,通过压缩和加密实现高效传输,同时保持视觉信息。MMSD用语义表示替代原始图像,SAMR通过语义重要性选择性抑制区域,两者均采用边缘轻量处理与服务器重计算的异构架构。
2026-04-14 cs.AI cs.CV cs.NI
AMON: An Open Source Architecture for Online Monitoring, Statistical Analysis and Forensics of Multi-gigabit Streams
互联网作为一个全球互联网络系统,承载着广泛的信息资源和服务。关键要求包括良好的服务质量和保护基础设施免受恶意活动(例如分布式拒绝服务攻击)。网络监控对于网络工程、容量规划和预防/缓解威胁至关重要。我们开发了一个开源的架构,AMON(全包监控器),用于在线监测和分析的多千兆网络流。它利用了高性能的数据包监控器PF RING,并且可以很容易地部署在商用硬件上。AMON检查所有数据包,通过使用快速哈希将流量划分为子流,并计算某些实时数据产品。由此产生的数据结构提供了在路由的时间尺度上的网络流量的强度和连接结构的视图。拟议的集成框架包括用于识别重量级人物以及在DDoS等高影响事件发生时进行可视化和统计检测的模块。这使运营商能够快速可视化和诊断攻击,并限制离线和耗时的事后分析。我们展示了我们的系统在现实世界的攻击事件的背景下,并验证它对国家的最先进的替代品。AMON已经部署,目前正在Merit Network处理10 Gbps以上的实时互联网流量。它是可扩展的,并允许添加更多的统计和过滤模块,用于实时取证。
2016-01-27 cs.NI math.PR math.ST