网络流量的大规模富集和统计网络表征
Large Scale Enrichment and Statistical Cyber Characterization of Network Traffic (Enriquecimiento a gran escala y caracterización cibernética estadística del tráfico de red)
摘要:
现代网络传感器不断产生大量原始数据,超出了人类分析师的能力。网络传感器的互相关增加了这一挑战,通过丰富每个网络事件与额外的元数据。这些大量丰富的网络数据提供了统计网络流量特征并快速回答一个关键问题的机会:“我的网络数据的主要网络特征是什么?Python GraphBLAS和PyD 4 M分析框架可以在非常大的网络数据集上快速有效地执行匿名统计分析。使用来自最大的互联网天文台(CAIDA望远镜)的数十亿匿名网络数据样本和来自最大的商业背景富集能力(GreyNoise)的数千万匿名记录来测试这种方法。分析证实,大多数丰富的变量遵循预期的重尾分布,网络流量的很大一部分是由于少量的网络活动。这些信息可以简化网络分析员的任务,使网络活动的优先级的基础上统计流行。--现代红色传感器产生的数据不经过处理,因此具有更大的分析人类的能力。Una cruzada de sensores de red se convierte en un desafío al enriquecer cada evento de red con metadatos adicionales.大量的红色数据提供了一个机会,可以确定红色数据的特征,并对预测作出反应:“?这些红色数据的主要特征是什么“Los esquemas de análisis de Python GraphBLAS y D4M permiten realizar análisis estadísticos anónimos,rápidos y eficientes en conjuntos grandes de datos de red.这一项目利用了数百万英里的互联网观测站(CAIDA望远镜)的红色年度数据,以及数十万计的基金商业登记年度数据,并具有最大的能源能力(GreyNoise)。通过分析,确认了大部分变量的分布情况,并确定了一种红色的交通事故的发生概率。Esta información puede simplificar la tarea de los analistas cibernéticos al permitir la priorización de las actividades cibernéticas en función de la prevalence estadística.
英文摘要:
Modern network sensors continuously produce enormous quantities of raw data that are beyond the capacity of human analysts. Cross-correlation of network sensors increases this challenge by enriching every network event with additional metadata. These large volumes of enriched network data present opportunities to statistically characterize network traffic and quickly answer a key question: "What are the primary cyber characteristics of my network data?" The Python GraphBLAS and PyD4M analysis frameworks enable anonymized statistical analysis to be performed quickly and efficiently on very large network data sets. This approach is tested using billions of anonymized network data samples from the largest Internet observatory (CAIDA Telescope) and tens of millions of anonymized records from the largest commercially available background enrichment capability (GreyNoise). The analysis confirms that most of the enriched variables follow expected heavy-tail distributions and that a large fraction of the network traffic is due to a small number of cyber activities. This information can simplify the cyber analysts' task by enabling prioritization of cyber activities based on statistical prevalence. -- Los sensores de red modernos producen enormes cantidades de datos sin procesar que están más allá de la capacidad del análisis humano. Una correlación cruzada de sensores de red se convierte en un desafío al enriquecer cada evento de red con metadatos adicionales. Estos grandes volúmenes de datos de red enriquecidos presentan una oportunidad para caracterizar estadísticamente el tráfico de red y responder a la pregunta: "?Cuáles son las principales características cibernéticas de mis datos de red?" Los esquemas de análisis de Python GraphBLAS y D4M permiten realizar análisis estadísticos anónimos, rápidos y eficientes en conjuntos grandes de datos de red. Este enfoque se prueba utilizando miles de millones de muestras de datos de red anónimos del observatorio de Internet más grande (Telescopio CAIDA) y decenas de millones de registros anónimos del fondo comercial con la mayor capacidad de enriquecimiento (GreyNoise). El análisis confirma que la mayoría de las variables enriquecidas siguen las distribuciones de cola pesada y que una gran fracción del tráfico de red se debe a una pequena cantidad de actividades cibernéticas. Esta información puede simplificar la tarea de los analistas cibernéticos al permitir la priorización de las actividades cibernéticas en función de la prevalencia estadística.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。