Performance Evaluation of Apache Spark MLlib Algorithms on an Intrusion Detection Dataset
互联网和网络服务使用的增加以及第五代蜂窝网络技术（5G）的出现以及不断增长的物联网（IoT）数据流量将增加全球互联网的使用。为了确保未来网络的安全性，必须实现基于机器学习的入侵检测和防御系统（IDPS）来检测新的攻击，并且可以使用大数据并行处理工具来处理这些系统中庞大的训练数据集合。本文采用通用的快速集群计算平台Apache Spark对大量网络流量特征数据进行处理和训练。在这项工作中，CSE-CIC-IDS 2018数据集的最重要特征用于构建机器学习模型，然后使用最流行的机器学习方法，即逻辑回归，支持向量机（SVM），三种不同的决策树分类器和朴素贝叶斯算法来训练使用多达八个工作节点的模型。我们的Spark集群包含七台机器作为工作节点，一台机器被配置为主节点和工作节点。我们使用CSE-CIC-IDS 2018数据集来评估这些算法在僵尸网络攻击上的整体性能，并使用分布式超参数调整来找到最佳的单个决策树参数。我们已经达到了100%的准确率，使用选定的功能，在我们的实验中的学习方法
2022-12-10 cs.NI
Fuzzy Rule Interpolation and SNMP-MIB for Emerging Network Abnormality
入侵检测系统（IDS）实现一个有效的检测方法是困难的，许多因素导致了这一挑战。其中一个挑战是建立适当的边界和找到适当的数据源。典型的IDS检测方法处理原始流量。这些交通需要深入研究和彻底调查，以提取所需的知识库。另一个挑战涉及实现二元决策。这是因为正常和攻击流量模式之间没有合理的限制。在本文中，我们介绍了一种新的想法，能够支持适当的数据源，同时避免与二元决策相关的问题。介绍了一种基于简单网络管理协议（SNMP）管理信息库（MIB）参数的模糊规则插值（FRI）异常检测方法。所提出的检测方法的强度是基于适应SNMP-MIB参数与FRI。该方法消除了原始流量处理组件，这是耗时的，需要大量的计算措施。它也消除了需要一个完整的模糊规则为基础的入侵定义。使用开源的SNMP-MIB数据集对所提出的方法进行了测试和评估，并获得了93%的检测率。此外，当与其他文献相比，在相同的试验台环境中采用相同数量的参数，所提出的检测方法优于支持向量机和神经网络。因此，将SNMP-MIB参数与基于FRI的推理相结合可能有利于检测入侵，即使在基于模糊规则的入侵定义不完整（未完全定义）的情况下。
2018-11-21 cs.CR cs.NI
Beyond Detection Accuracy: Measuring Explanation Cost, Stability, and Utility for Resource-Aware IoT Intrusion Detection
organization= Independent Researcher , city= Istanbul , country= Türkiye
本研究针对物联网入侵检测，构建泄露安全的CICIoT2023语料库，评估四种模型的预测性能、解释成本与稳定性，发现需综合多指标而非仅检测准确率实现实用可解释检测。
2026-08-12 cs.CR cs.LG cs.NI
Walling up Backdoors in Intrusion Detection Systems
Technische Universität Wien（维也纳工业大学）
中毒攻击和后门最近重新出现在深度学习（DL）应用中。最近已经为卷积神经网络（CNN）提出了几种成功的防御机制，例如在自动驾驶的背景下。我们表明，可视化方法可以帮助识别独立于所使用的分类器的后门。令人惊讶的是，我们发现，常见的防御机制完全不能删除后门在DL的入侵检测系统（IDS）。最后，我们设计了基于修剪的方法来删除后门的决策树（DT）和随机森林（RF），并证明了它们的有效性，为两个不同的网络安全数据集。
2020-04-05 cs.CR cs.LG cs.NI
TSNZeek: An Open-source Intrusion Detection System for IEEE 802.1 Time-sensitive Networking
IEEE 802.1时间敏感网络（TSN）标准被设想用来取代关键域中的传统网络协议，以确保通过现成的以太网设备进行可靠和确定性的通信。然而，它们缺乏安全对策，甚至可以施加可能导致危险后果的新攻击媒介。本文介绍了第一个开源的安全监测和入侵检测机制，TSNZeek，IEEE 802.1 TSN协议。我们扩展了现有的监控工具，Zeek，一个新的数据包解析语法处理TSN数据流量和基于规则的攻击检测引擎TSN特定的威胁。我们还讨论了各种安全相关的配置和设计方面的IEEE 802.1 TSN监控。我们的实验表明，TSNZeek的原因只有约5%的CPU开销上的Zeek，并成功地检测到各种威胁在一个真正的TSN测试床。
2023-03-20 cs.CR cs.NI
Intrusion Detection on Resource-Constrained IoT Devices with Hardware-Aware ML and DL
Faculty of Sciences, Lebanese University（科学学院，黎巴嫩大学）；DITEN, University of Genova（DITEN，热那亚大学）；IMT Atlantique, Lab-STICC UMR CNRS 6285（IMT Atlantique，Lab-STICC UMR CNRS 6285）；School of Arts and Sciences, Lebanese American University（艺术与科学学院，黎巴嫩美国大学）
本文提出一种硬件感知的入侵检测系统，通过优化树状模型和CNN在边缘设备上的性能，实现实时威胁检测。
2025-12-01 cs.LG cs.NI
Towards Explainable Meta-Learning for DDoS Detection
Nanjing University of Science and Technology（南京理工大学）；Queen Mary University of London（伦敦玛丽女王大学）
针对AI入侵检测缺乏准确解释的问题，本文基于人工免疫系统提出严格可解释的DDoS检测方法，并用决策树质蕴含规则实现负选择。
2022-08-16 cs.AI cs.CR cs.NI
Detecting network anomalies using machine learning and SNMP-MIB dataset with IP group
SNMP-MIB是一种使用机器学习对数据进行分类并得到结果的方法，但使用SNMP-MIB的大数据集效率不高，而且耗时耗力。本文采用REP树、J 48（决策树）和随机森林分类器训练了一个模型，该模型可以检测到可能影响IP组的异常并预测网络攻击。这种训练的模型可以用于检测异常的设备，如入侵检测系统。
2019-05-14 cs.NI
Experimental Review of Neural-based approaches for Network Intrusion Management
University of Salerno（萨莱诺大学）；Free University of Bozen-Bolzano（博岑-博尔扎诺自由大学）
在入侵检测系统（IDS）中使用机器学习（ML）技术已经在网络安全管理领域中发挥了突出的作用，这是由于大量复杂的攻击通常通过传统的IDS而未被检测到。这些通常旨在识别基于特定签名的攻击，或检测异常事件。然而，确定性的，基于规则的方法往往无法区分特定的（罕见的）网络条件（如在特定网络情况下的峰值流量）从实际的网络攻击。在本文中，我们提供了一个基于实验的审查基于神经的方法应用于入侵检测问题。具体来说，我们i）提供与入侵检测相关的最突出的基于神经的技术的完整视图，包括基于深度的方法或无重量的神经网络，其具有令人惊讶的结果; ii）评估新的数据集（更新的w.r.t.过时KDD 99集）; iii）执行实验分析，包括时间复杂度和性能（准确度和F度量），考虑单类和多类问题，并确定资源消耗和性能之间的权衡。我们的评估量化了神经网络的价值，特别是当使用最先进的数据集来训练模型时。这为安全管理人员和计算机网络从业者提供了有趣的指导方针，他们正在考虑将基于神经的ML纳入IDS。
2020-09-18 cs.LG cs.NI
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University（卡尔顿大学）
本文研究了对抗攻击对基于机器学习的网络入侵检测系统（NIDS）的实用性，指出动态系统中的攻击有效性较低，并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Sdn Intrusion Detection Using Machine Learning Method
North South University（北南大学）
本研究提出基于梯度提升的GBDT-IDS模型，在UNSW-NB 15基准上实现99.87%准确率，有效提升SDN入侵检测性能。
2024-11-08 cs.CR cs.LG cs.NI
Leveraging Machine Learning Techniques in Intrusion Detection Systems for Internet of Things
本文综述了机器学习和深度学习技术在物联网入侵检测系统中的应用，评估多种ML/DL方法及生成式AI和LLMs的作用，并提出应对挑战的综合框架。
2025-04-09 cs.CR cs.NI
BS-GAT Behavior Similarity Based Graph Attention Network for Network Intrusion Detection
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）；Henan University（河南大学）；School of Intelligent Engineering, Zhengzhou University of Aeronautics（郑州航空工业管理学院智能工程学院）；School of Software, Henan University（河南大学软件学院）
本文提出BS-GAT方法，通过基于行为相似性的图构建方式将数据流建模为节点，并在图注意力网络中融入边行为关系权重，从而提升网络入侵检测性能，实验证明其优于现有方案。
2023-04-07 cs.CR cs.LG cs.NI
An accurate IoT Intrusion Detection Framework using Apache Spark
自20世纪80年代出现以来，互联网已经引起了巨大的变化，现在，物联网（IoT）似乎也在做同样的事情。物联网的潜力使其成为许多人关注的焦点，但是，有些人认为有机会做出贡献，其他人可能会将物联网网络视为待开发的目标。大量的物联网设备使它们成为进行拒绝服务攻击（DoS）的完美设置，这些攻击可能会造成毁灭性的后果。这使得网络安全措施，如入侵检测系统（IDS）的必要性显而易见。本文的目的是使用大数据平台Apache Spark构建一个IDS。Apache Spark与其ML库（MLlib）和BoT-IoT数据集一起使用。然后基于F-Measure（f1）测试和评估IDS，这是评估不平衡数据时的标准。进行了两轮测试，部分数据集用于最大限度地减少偏差，完整的BoT-IoT数据集用于在安全环境中探索大数据和ML功能。对于部分数据集，随机森林算法具有最高的二进制分类性能，平均f1度量为99.7%，主类别分类为99.6%，子类别分类为88.5%。对于完整的数据集，决策树算法在所有进行的测试中获得了最高的f1度量;二元分类为97.9%，主类别分类为79%，子类别分类为77%。
2022-02-21 cs.CR cs.NI
Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection
University of Toledo（托莱多大学）
基于机器学习的监督方法需要高度定制和微调的方法来提供出色的性能。针对网络入侵数据集UNSW-NB 15，提出了一种基于数据集驱动的机器学习分类器设计和性能评估。对数据集的分析表明，它在特征空间中存在类表示不平衡和类重叠。我们采用集成方法，使用平衡装袋（BB），极限梯度提升（XGBoost），和随机森林授权的Hellinger距离决策树（RF-HDDT）。BB和XGBoost被调整以处理不平衡数据，并且随机森林（RF）分类器由Hellinger度量补充以解决不平衡问题。提出了两种新的算法来解决数据集中的类重叠问题。这两种算法被用来帮助提高测试数据集的性能，通过修改由三个基本分类器作为集成分类器的一部分，采用多数表决组合器的最终分类决策。所提出的设计进行评估，为二进制和多类别分类。将所提出的模型与文献中相同数据集上报告的模型进行比较，表明所提出的模型在二进制和多类别分类情况下均显著优于其他模型。
2022-05-08 cs.AI cs.CR cs.DB
Hyperparameter Tuning-Based Optimized Performance Analysis of Machine Learning Algorithms for Network Intrusion Detection
C.V. Raman Global University（C.V.拉曼全球大学）
本研究通过超参数调优优化了多种机器学习算法，发现SVM在网络入侵检测中表现最佳，准确率高达99.12%。
2025-12-14 cs.CR cs.LG cs.NI
PRI: Privacy Preserving Inspection of Encrypted Network Traffic
流量检测是当今许多安全解决方案的基本组成部分。例如，为了防止机密内部信息的泄漏或泄露，以及阻止恶意流量进入网络，当今大多数企业都运行检查流量的入侵检测和防御系统。然而，国家的最先进的检查系统并没有很好地反映不同的参与自主角色的利益。例如，企业中的员工或将其网络管理外包给专业第三方的公司可能要求其流量保持机密，甚至对系统管理员也是如此。此外，入侵检测系统使用的规则，或者更一般地，在线或离线异常检测引擎的配置，可以由第三方提供，例如，一家安全研究公司，因此可能构成一项重要的商业资产，应予以保密。今天，人们往往认为，不可能对这些额外所需资源进行核算，因为它们与效率和效力相矛盾。我们在本文中探索了一种新的方法，称为隐私保护检查（PRI），它提供了一个解决这个问题的方法，通过保护流量检查的隐私和检查规则和配置的机密性，例如，还支持灵活安装特定于公司的其他数据泄漏防护（DLP）规则。
2016-04-15 cs.CR cs.NI
An Adversarial Robustness Benchmark for Enterprise Network Intrusion Detection
Research Group on Intelligent Engineering and Computing for Advanced Innovation and Development (GECAD), School of Engineering, Polytechnic of Porto (ISEP/IPP)（高级创新与发展智能工程与计算研究组（GECAD），波尔图理工学院工程学院（ISEP/IPP））
本研究构建企业网络入侵检测对抗鲁棒性基准，在多数据集上测试不同训练方式的决策树集成模型，证实对抗训练可提升鲁棒性且不增加误报。
2024-02-25 cs.CR cs.LG cs.NI
Towards Autonomous Cybersecurity: An Intelligent AutoML Framework for Autonomous Intrusion Detection
Ontario Tech University（安大略理工大学）；Western University（西安大略大学）
本文提出基于 AutoML 的自主入侵检测框架，自动完成数据平衡、特征选择、模型调优与集成，并在 CICIDS2017 和 5G-NIDD 上验证其优于现有方法。
2024-09-05 cs.CR cs.LG cs.NI
Unveiling the potential of Graph Neural Networks for robust Intrusion Detection
Barcelona Neural Networking Center（巴塞罗那神经网络中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
近几年来，网络攻击的浪潮日益高涨，造成了严重的经济和隐私损失，这表明需要精确的网络入侵检测系统（NIDS）。最近的工作提出了使用机器学习（ML）技术来构建这样的系统（例如，决策树、神经网络）。然而，现有的基于ML的NIDS对常见的对抗攻击几乎没有鲁棒性，这限制了它们在真实网络中的应用。这些解决方案的一个基本问题是，它们独立地处理和分类流。相比之下，在本文中，我们认为关注攻击的结构模式的重要性，不仅要捕捉单个流的特征，还要捕捉不同流之间的关系（例如，它们共享的源/目的地主机）。为此，我们使用一个图表示，保持流记录和它们的关系，并提出了一种新的图神经网络（GNN）模型，专门处理和学习这种图结构的信息。在我们的评估中，我们首先证明了所提出的GNN模型在著名的CIC-IDS 2017数据集中实现了最先进的结果。此外，我们评估了我们的解决方案在两种常见的对抗攻击下的鲁棒性，这两种攻击故意修改数据包大小和到达间隔时间以避免检测。结果表明，我们的模型能够保持与之前实验相同的准确度，而最先进的ML技术在这些攻击下的准确度（F1分数）降低了50%。这种前所未有的鲁棒性主要是由我们的GNN模型学习以图形结构化的攻击流模式的能力引起的。
2021-07-30 cs.AI cs.CR cs.LG
Intrusion Detection System with Machine Learning and Multiple Datasets
Carmel High School（卡梅尔高中）；SimplyFixable；Columbia University（哥伦比亚大学）
本文提出一种结合机器学习、超参数调优和多数据集集成的增强型入侵检测系统，通过 XGBoost 与随机森林及 RandomizedSearchCV 实现 99.9% 的检测准确率，用于应对针对大语言模型的提示工程攻击。
2023-12-04 cs.CR cs.LG cs.NI
Unmasking Shortcut Learning in IoT Intrusion Detection: A Forensic, Multi-Paradigm Evaluation of Feature Dependence and Data Leakage
Khulna University of Engineering & Technology（库尔纳工程技术大学）
本研究通过多范式评估揭示物联网入侵检测模型存在捷径学习，证明性能受特征表示限制，时间戳可被非线性模型利用，并提出4点评估协议清单以促进真实泛化。
2026-09-25 cs.CR cs.LG cs.NI
