PWPAE: An Ensemble Framework for Concept Drift Adaptation in IoT Data Streams
Western University(韦仕敦大学)
随着物联网(IoT)设备和系统数量的激增,物联网数据分析技术已被开发用于检测恶意网络攻击和保护物联网系统;然而,物联网数据分析中经常出现概念漂移问题,因为物联网数据通常是随时间变化的动态数据流,导致模型退化和攻击检测失败。这是因为传统的数据分析模型是静态模型,无法适应数据分布的变化。在本文中,我们提出了一个性能加权概率平均增强(PWPAE)框架,通过物联网数据流分析进行漂移自适应物联网异常检测。在两个公共数据集上的实验表明,我们提出的PWPAE方法相比,国家的最先进的方法的有效性。
2021-09-10 cs.AI cs.CR cs.LG
Active Hypothesis Testing for Correlated Combinatorial Anomaly Detection
School of Mathematical Sciences, Tongji University, Shanghai, P.R. China(同济大学数学科学学院)
ECC-AHT通过主动噪声抵消技术,在相关噪声环境下实现高效的组合异常检测
2026-01-24 cs.LG
Support Vector Based Anomaly Detection in Federated Learning
University of Milan(米兰大学)
本文针对联邦学习场景下的异常检测问题,提出 Ensemble SVDD 和 Support Vector Election 两种基于支持向量机的新算法,以较低计算成本在小型数据集上实现有效检测,并在多种分布式配置中验证了其潜力。
2024-07-04 cs.LG
Adaptive-GraphSketch: Real-Time Edge Anomaly Detection via Multi-Layer Tensor Sketching and Temporal Decay
Department of Computer Science Tennessee Technological University(计算机科学系 田纳西技术大学)
本文提出轻量级可扩展框架 ADAPTIVE-GRAPHSKETCH,结合多张量素描、Count-Min Sketch 与贝叶斯推断进行实时边异常检测,在多个数据集上超越现有基线,兼具高精度与高处理速度。
2025-09-15 cs.LG
Interpretable, Multidimensional, Multimodal Anomaly Detection with Negative Sampling for Detection of Device Failure
Google(谷歌)
复杂的设备每天都在连接,并急切地生成大量的多维状态测量。这些设备通常基于外部条件(白天/夜晚、占用/空闲等)以不同的模式操作,并且为了防止系统完全或部分中断,我们希望在这些设备开始在正常模式之外操作时尽可能早地识别。不幸的是,使用规则或监督机器学习来预测故障通常是不切实际或不可能的,因为故障模式太复杂,设备太新,无法在特定环境中充分表征,或者环境变化使设备处于不可预测的状态。我们提出了一种无监督的异常检测方法,该方法从观察到的阳性样本中创建阴性样本,并训练分类器来区分阳性和阴性样本。使用收缩原理,我们解释了为什么这样的分类器应该建立适当的正常和异常区域之间的决策边界,并显示如何集成的异常可以属性异常的异常状态向量内的特定变量。我们已经证明,使用随机森林或神经网络分类器的负采样比隔离森林,一类SVM和深度SVDD产生更高的AUC分数,针对(a)维度范围在2和128之间的合成数据集,具有1,2和3个模式,以及有和没有噪声维度;(b)四个标准基准数据集;以及(c)来自真实气候控制装置的多维多模态数据集。最后,我们描述了如何使用神经网络分类器进行负采样,并在145个Google办公楼的15,000多个气候控制和电表设备中成功地大规模部署,以实时预测故障。
2020-07-12 cs.LG eess.SP
RadArnomaly: Protecting Radar Systems from Data Manipulation Attacks
Ben-Gurion University of the Negev(内盖夫本-古里安大学);IAI ELTA Systems(以色列航空工业公司埃尔塔系统公司)
雷达系统主要用于跟踪飞机、导弹、卫星和船只。在许多情况下,关于由雷达系统检测到的对象的信息被发送到外围消耗系统(诸如导弹系统或由操作员使用的图形用户界面)并由其使用。这些系统处理数据流,并根据收到的数据做出实时的操作决策。有鉴于此,雷达系统提供的信息的可靠性和可用性变得越来越重要。虽然网络安全领域一直在不断发展,但以前没有研究集中在雷达系统中的异常检测。在本文中,我们提出了一种基于深度学习的方法,用于检测雷达系统数据流中的异常。我们提出了一种新的技术,它以无监督的方式学习数字特征和分类特征的嵌入表示之间的相关性。所提出的技术,它允许在数据流中的关键字段的恶意操作的检测,是由一个定时间隔异常检测机制提出的检测消息丢弃尝试的补充。实际雷达系统数据被用来评估所提出的方法。我们的实验表明,该方法对各种数据流操纵攻击(平均检测率为88%,1.59%的误报)和消息丢弃攻击(平均检测率为92%,2.2%的误报)的高检测准确率。
2021-06-13 cs.CR cs.LG
Structure-based Anomaly Detection and Clustering
本文提出多种基于结构的无监督异常检测与聚类方法,覆盖静态、流式数据及网络安全场景,在精度、效率等方面优于现有方法,部分已落地应用。
2025-05-19 cs.AI cs.CV cs.LG
A Streaming Analytics Language for Processing Cyber Data
Sandia National Laboratories(桑迪亚国家实验室);CU Boulder(科罗拉多大学博尔德分校)
我们提出了一个特定于域的语言称为SAL(流分析语言)的半流模型中处理数据。特别是,我们检查的用例处理netflow数据,以确定网络内的恶意行为者。由于网络产生的数据量很大,通常只能利用流式(O(polylog n)空间需求)或半流式计算模型(O(n polylog n)空间需求)单次处理数据。尽管有这些限制,我们仍然能够在一组处理僵尸网络检测的情况下实现ROC曲线AUC的平均值为0.87。SAL解释器的实现,我们称之为SAM(流媒体分析机),实现了扩展结果,显示61个节点(976个核心)的吞吐量有所提高,总体速率为每秒373,000个净流或每天322亿个。SAL提供了一种简洁的方式来描述常见的分析,允许网络分析师找到感兴趣的数据,SAM是该语言的可扩展解释器。
2019-11-03 cs.CR cs.LG cs.PL
Online Isolation Forest
Politecnico di Milano(米兰理工大学);University of Waikato(怀卡托大学)
针对流式异常检测中离线方法需反复访问数据、在线方法依赖周期重训的问题,提出 Online-iForest 以持续跟踪数据分布,并在保持检测性能的同时显著提升效率。
2025-05-14 cs.AI cs.LG stat.ML
Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
York University(约克大学);iSecurity Consulting Inc(iSecurity咨询公司);Dapasoft Inc(Dapasoft公司)
工业信息技术(IT)基础设施往往容易受到网络攻击。为了确保工业环境中计算机系统的安全性,需要建立有效的入侵检测系统来监视网络物理系统(例如,计算机网络)进行恶意活动。本文旨在建立这样的入侵检测系统,以保护计算机网络免受网络攻击。更具体地说,我们提出了一种新的无监督机器学习方法,结合K-Means算法和隔离森林,用于工业大数据场景中的异常检测。由于我们的目标是为工业领域的大数据场景构建入侵检测系统,因此我们利用Apache Spark框架来实现我们提出的模型,该模型在Elasticsearch中存储的大型网络流量数据(约1.23亿网络流量实例)中进行了训练。此外,我们评估我们提出的模型上的实时流媒体数据,发现我们提出的系统可以用于实时异常检测在工业设置。此外,我们还解决了在大型数据集上训练模型时面临的不同挑战,并明确描述了如何解决这些问题。基于我们在现实世界网络流量数据中异常检测的不同用例中的经验评估,我们观察到我们提出的系统可以有效地检测大数据场景中的异常。最后,我们在几个学术数据集上评估了我们提出的模型,并与其他模型进行了比较,发现它提供了与其他最先进方法相当的性能。
2021-04-27 cs.AI cs.CR cs.LG
Learning From High-Dimensional Cyber-Physical Data Streams for Diagnosing Faults in Smart Grids
University of Windsor(温莎大学);University of New Brunswick(新不伦瑞克大学);Canadian Institute for Cybersecurity(加拿大网络安全研究院)
本文研究智能电网高维数据流下的故障诊断,通过结合特征选择、降维与决策模型,在118节点系统中比较多种方法,提出提升数据质量的设置。
2023-03-15 cs.AI cs.LG
A Novel Approach for Detection and Ranking of Trendy and Emerging Cyber Threat Events in Twitter Streams
Kansas State University(堪萨斯州立大学)
我们提出了一种新的机器学习和文本信息抽取方法来检测Twitter中的网络威胁事件,这些事件是新颖的(以前不存在的)和发展中的(以与以前检测到的事件的相似性为标志)。虽然一些现有的事件检测方法测量新颖性和趋势性,通常作为独立的标准,偶尔作为一个整体的措施,这项工作的重点是使用无监督的机器学习方法检测新的和发展中的事件。此外,我们提出的方法,使网络威胁事件的排名的基础上的重要性分数提取的鸣叫的条款,其特征在于命名的实体,关键字,或两者兼而有之。我们还将影响力归因于用户,以便根据用户影响力和命名实体和关键字的相应事件得分,为名词短语分配加权得分。为了评估我们提出的方法的性能,我们测量的效率和检测出错率的事件在指定的时间间隔,相对于人类注释地面真相。
2019-07-12 cs.CR cs.IR cs.LG
Deep Learning Approach for Enhanced Cyber Threat Indicators in Twitter Stream
Amrita School Of Engineering, Amrita Vishwa Vidyapeetham(阿姆里塔大学阿姆里塔工程学院);Texas State University(德克萨斯州立大学);Cincinnati Children’s Hospital Medical Centre(辛辛那提儿童医院医学中心)
最近几天,通过社交媒体资源(主要是Twitter)共享的网络安全文本数据量有所增加。对这些数据的准确分析可以帮助开发针对网络威胁的网络威胁态势感知框架。本文提出了一种基于深度学习的推文数据分析方法。为了将推文转换为数字表示,采用了各种文本表示。这些特征被馈送到深度学习架构中,以进行最佳特征提取和分类。各种超参数调整方法用于识别最佳文本表示方法以及深度学习模型的最佳网络参数和网络结构。为了进行对比分析,采用了经典的文本表示方法和经典的机器学习算法。从实验的详细分析中,我们发现采用先进文本表示方法的深度学习架构表现优于经典文本表示和经典机器学习算法。其主要原因是,高级文本表示方法能够学习文本数据中存在的顺序属性,而深度学习架构在减少特征大小的同时学习最佳特征。
2020-03-31 cs.CL cs.CR cs.LG
Deep Learning for Unsupervised Insider Threat Detection in Structured Cybersecurity Data Streams
Western Washington University(西华盛顿大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
对组织的计算机网络活动的分析是早期检测和减轻内部威胁的关键组成部分,这是许多组织日益关注的问题。原始系统日志是流数据的典型示例,可以快速扩展到超出人类分析师的认知能力。作为人类分析师的前瞻性过滤器,我们提出了一种在线无监督深度学习方法,用于实时的从系统日志中检测异常网络活动。我们的模型将异常分数分解为单个用户行为特征的贡献,以提高可解释性,从而帮助分析师审查潜在的内部威胁案例。使用CERT Insider Threat Dataset v6.2和威胁检测召回作为我们的性能指标,我们的新型深度和循环神经网络模型优于主成分分析,支持向量机和基于隔离森林的异常检测基线。对于我们的最佳模型,在我们的数据集中标记为内部威胁活动的事件的平均异常得分为95.53百分位,这表明我们的方法有可能大大减少分析人员的工作量。
2017-12-15 cs.CR cs.LG cs.NE
Experimental Assessment of a Multi-Class AI/ML Architecture for Real-Time Characterization of Cyber Events in a Live Research Reactor
Purdue University(普渡大学)
本研究针对核反应堆AI/ML应用研究不足的问题,提出整合IT与OT数据流的多层AI/ML架构,在PUR-1研究堆上验证了其区分多类网络事件与运行异常的能力,同时指出数据同步等待优化方向。
2025-08-26 cs.LG
InfoPos: A Design Support Framework for ML-Assisted Fault Detection and Identification in Industrial Cyber-Physical Systems
Faculty of Engineering Technology, University of Twente(工程技术学院,特文特大学)
InfoPos框架根据知识和数据可用水平定位故障检测/识别用例,帮助选择有效构建模块,简化设计流程,并通过工业信息物理系统用例验证其效果。
2025-10-09 cs.LG
A Stream Learning Approach for Real-Time Identification of False Data Injection Attacks in Cyber-Physical Power Systems
University of Windsor(温莎大学);University of New Brunswick(新不伦瑞克大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);New York Power Authority(纽约电力局)
提出了一种新的数据驱动框架,以帮助系统状态估计时,电力系统是不可观测的虚假数据注入攻击。提出的框架动态检测和分类虚假数据注入攻击。然后,它使用所获取的信息来检索控制信号。这个过程是在三个主要模块中完成的,具有新颖的设计,用于检测,分类和控制信号检索。检测模块监测相量测量的历史变化,并捕获由对复杂平面的攻击引起的任何偏差模式。这种方法可以帮助揭示攻击的特征,包括注入错误数据的方向,幅度和比例。使用该信息,信号恢复模块可以容易地恢复原始控制信号并去除注入的假数据。可以通过分类器模块获得关于攻击类型的进一步信息。所提出的集成学习器与苛刻的学习条件兼容,包括缺乏标记数据,概念漂移,概念进化,循环类和独立于外部更新。所提出的新型分类器可以动态地从数据中学习,并在所有这些苛刻的学习条件下对攻击进行分类。引入的框架进行评估w.r.t.从纽约中央电力系统获取的真实数据。所得结果表明所提出的框架的有效性和稳定性。
2022-10-13 cs.CR cs.CV cs.LG
Flowcean - Model Learning for Cyber-Physical Systems
Hamburg University of Technology(汉堡理工大学);Fraunhofer — Center for Maritime Logistics and Services CML(弗劳恩霍夫——海运物流与服务研究中心CML);OFFIS — Institute for Information Technology(OFFIS——信息技术研究所)
Flowcean是一种面向复杂物理系统的数据驱动模型生成框架,通过模块化设计和多种学习策略提升模型生成的效率和适应性。
2026-03-12 cs.AI cs.LG
Knowledge mining of unstructured information: application to cyber-domain
Aalto University School of Science(阿尔托大学理学院);University of Jyväskylä(于韦斯屈莱大学);Cyberwatch Finland Oy(芬兰Cyberwatch公司);The Alan Turing Institute(艾伦·图灵研究所)
有关网络犯罪、事件和冲突的信息在许多开放的在线来源中大量存在。然而,处理大量数据流对分析人员和专家来说是一项具有挑战性的任务,需要更新的方法和技术。在这篇文章中,我们提出并实现了一种新的知识图谱和知识挖掘框架,用于从自由形式的文本中提取有关网络领域事件的相关信息。该框架包括基于机器学习的管道,用于生成具有非技术网络本体的组织、国家、行业、产品和攻击者的图。利用提取的知识图谱来估计给定图配置上的网络攻击的发生率。我们使用公开的真实网络事件报告集合来测试我们方法的有效性。知识提取被认为是足够准确的,基于图形的威胁估计表明与攻击的实际记录的相关性。在实际使用中,利用所提出的框架的分析师可以从当前的网络景观中推断出更多的信息,包括对各种实体的风险以及行业和国家之间的风险启发式传播。
2022-08-01 cs.CL cs.CR cs.IR
Cyberthreat Detection from Twitter using Deep Neural Networks
LASIGE, Faculdade de Ciências, Universidade de Lisboa(里斯本大学理学院LASIGE实验室)
为了防范网络攻击,大多数组织都采用安全信息和事件管理系统来监控其基础设施。这些系统依赖于网络威胁情报源提供的最新更新、补丁和威胁的及时性和相关性。开源情报平台,即Twitter等社交媒体网络,能够汇集大量与网络安全相关的来源。为了处理这些信息流,我们需要能够识别和汇总特定资产相关信息的可扩展且高效的工具。本文介绍了一种新型工具的处理流程,该工具使用深度神经网络来处理从Twitter接收到的网络安全信息。卷积神经网络识别包含与IT基础设施中的资产相关的安全相关信息的推文。然后,一个双向的长短期记忆网络从这些推文中提取命名的实体,以形成安全警报或填充妥协的指标。建议的管道实现了平均94%的真阳性率和91%的真阴性率的分类任务和平均F1分数为92%的命名实体识别任务,在三个案例研究基础设施。
2019-04-01 cs.CR cs.LG cs.SI
Real-Time Inference for Distributed Multimodal Systems under Communication Delay Uncertainty
SNS JU project 6G-GOALS under the EU’s Horizon Europe program(欧盟地平线欧洲计划下的SNS JU项目6G-GOALS)
本文提出了一种基于自适应时间窗口整合的非阻塞推理方法,以应对通信延迟不确定性,提升分布式多模态系统的实时推理性能。
2025-11-20 cs.LG
Online Dictionary Learning Based Fault and Cyber Attack Detection for Power Systems
University of California, Santa Cruz(加州大学圣克鲁兹分校)
新兴的广域监测系统(WAMS)带来了电网的态势感知的显着改善。然而,新引入的系统可能会增加网络攻击的风险,这些攻击可能会伪装成正常的物理干扰。本文利用流数据采掘分类器(Hoeffding adaptive tree)和半监督学习技术来处理事件和入侵检测问题,以准确区分网络攻击和常规系统扰动。首先,我们提出的方法通过从未标记的数据中学习更高级别的特征来构建字典。然后,标记的数据表示为学习的字典原子的稀疏线性组合。我们利用这些稀疏代码来训练在线分类器以及有效的变化检测器。我们用工业控制系统网络攻击数据集进行数值实验。我们考虑五种不同的情况:短路故障,线路维护,远程跳闸命令注入,继电器设置的变化,以及错误的数据注入。数据是基于修改后的IEEE 9总线系统生成的。仿真结果表明,我们提出的方法优于国家的最先进的方法。
2021-08-24 cs.CR cs.LG cs.SY
ARES: Anomaly Recognition Model For Edge Streams
University of Calabria(卡塔尼娅大学);ICAR-CNR(ICAR-国家研究委员会);Revelis s.r.l.(Revelis公司);Artificial Intelligence Institute, University of Waikato, NZ(瓦卡托大学人工智能研究所);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信,巴黎理工学院)
ARES是一种用于边缘流的无监督异常检测框架,结合图神经网络和半空间树,通过潜在空间捕捉异常行为并高效隔离异常,适用于实时检测和不同领域的适应性。
2026-07-31 cs.LG
Big Data Meet Cyber-Physical Systems: A Panoramic Survey
Texas A&M University at Qatar(德克萨斯农工大学卡塔尔分校);Virginia Tech(弗吉尼亚理工大学);Universidad de Chile(智利大学);Nanjing University of Science & Technology(南京理工大学);InterDigital Communications, LLC.(InterDigital通信有限责任公司)
网络物理系统(CPS)正在以前所未有的速度发展,通过在环境监测、移动医疗系统、智能交通系统等领域提供新的服务和应用,预计将彻底改变我们的世界。信息和通信技术(ICT)领域的数据流量正在显著增长,智能手机、平板电脑和视频流的广泛使用以及预计在不久的将来传感器部署的显著增长推动了这一趋势。{It}预计将显著提高原始感测数据的增长率。在本文中,我们提出了CPS分类法{via}提供了一个广泛的概述数据汇集,存储,访问,处理和分析。与其他调查论文相比,这是第一份关于CPS大数据的全景调查,我们的目标是提供CPS不同方面的全景总结。此外,CPS {需要}网络安全来保护{它们}免受恶意攻击和未经授权的入侵,这{成为}网络中不断生成的大量数据的挑战。{Thus,我们还提供了针对CPS大数据存储、访问和分析提出的不同安全解决方案的概述。我们还讨论了大数据在CPS背景下应对绿色挑战。
2018-10-29 cs.LG stat.ML
IRSKG: Unified Intrusion Response System Knowledge Graph Ontology for Cyber Defense
Mississippi State University(密西西比州立大学);Argonne National Laboratory(阿贡国家实验室)
本文提出统一入侵响应系统知识图谱本体IRSKG,通过整合异构监控日志与管理员策略并支持动态更新,简化AICA接入流程,提升自动化与可解释性,从而缩短关键响应时间。
2024-11-23 cs.AI cs.CR cs.LG
Latency-Aware Deep Learning Benchmark for Real-Time Cyber-Physical Attack and Fault Classification in Inverter-Dominated Power Grids
Emad Abukhousa(埃马德·阿布库霍萨);Saman Zonouz(萨曼·宗努兹)
本文提出了一种延迟感知的深度学习基准测试框架,用于评估在逆变器主导电网中使用高保真时域信号进行电力系统异常检测的深度学习模型。通过系统评估从物理故障和网络攻击中生成的流数据集,评估了八种神经网络架构,包括MLP到Transformer。所有模型都能在亚周期响应时间低于15毫秒的情况下实时分类两种代表性多事件序列,但端到端推理延迟始终超过三个周期,范围从50到90毫秒。这些结果突显了算法能力与保护级部署之间的关键差距,指出了进一步优化和硬件加速的必要性。研究结果建立了可重复的亚周期异常检测基准,并为将机器学习方法从研究原型过渡到实际保护应用提供了指导。
2026-05-17 cs.AI cs.LG cs.SY
Explainable Online Unsupervised Anomaly Detection for Cyber-Physical Systems via Causal Discovery from Time Series
University of Verona(维罗纳大学)
本文提出一种基于时间序列因果发现的网络物理系统在线无监督异常检测方法,通过学习正常因果图并评估实时数据中因果链接的持久性,不仅提升了训练效率和准确率,还实现了异常源的可解释识别。
2024-07-28 cs.LG cs.SY eess.SY
Enhancing Illicit Activity Detection using XAI: A Multimodal Graph-LLM Framework
University College Dublin(都柏林大学学院)
针对金融网络犯罪检测中深度学习模型缺乏可解释性的问题,提出一种多模态Graph-LLM框架,结合交易序列、子图连通性与LLM叙述生成提取关键表示,显著简化分析师的调查过程。
2023-10-20 cs.AI cs.LG
A Cyber Manufacturing IoT System for Adaptive Machine Learning Model Deployment by Interactive Causality Enabled Self-Labeling
California Institute for Telecommunications and Information Technology, University of California, Irvine(加州大学欧文分校加州电信与信息技术学院)
针对制造场景中 ML 模型部署后遭遇数据分布偏移的问题,提出含数据流、ML 集成与因果自标注服务的 AdaptIoT,并通过现场演示验证其可靠性。
2024-04-09 cs.LG cs.SY eess.SY
Fast & Furious: Modelling Malware Detection as Evolving Data Streams
Federal University of Paraná(巴拉那联邦大学);Victoria University of Wellington(惠灵顿维多利亚大学)
恶意软件是对计算机系统的主要威胁,并对网络安全提出了许多挑战。勒索软件等针对性威胁每年造成数百万美元的损失。恶意软件感染的不断增加促使流行的反病毒(AV)开发专用的检测策略,其中包括精心制作的机器学习(ML)管道。然而,恶意软件开发人员不断改变他们的样本的功能,以绕过检测。恶意软件样本的这种不断演变导致数据分布的变化(即,概念漂移)直接影响ML模型的检测率,这在大多数文献工作中没有考虑。在这项工作中,我们评估了概念漂移对两个Android数据集的恶意软件分类器的影响:DREBIN(约130 K应用程序)和AndroZoo的子集(约285 K应用程序)。我们使用这些数据集来训练自适应随机森林(ARF)分类器以及随机梯度下降(SGD)分类器。我们还使用VirusTotal提交时间戳对所有数据集样本进行了排序,然后使用两种算法(Word 2 Vec和TF-IDF)从其文本属性中提取特征。然后,我们进行了实验,比较了两个特征提取器,分类器,以及四个漂移检测器(DDM,EDDM,ADWIN和KSWIN),以确定真实环境的最佳方法。最后,我们比较了一些可能的方法来减轻概念漂移,并提出了一种新的数据流管道,更新分类器和特征提取器。为此,我们进行了纵向评估:(i)对九年(2009-2018)收集的恶意软件样本进行分类,(ii)审查概念漂移检测算法以证明其普遍性,(iii)比较不同的ML方法以缓解问…
2022-08-16 cs.CR cs.LG
CND-IDS: Continual Novelty Detection for Intrusion Detection Systems
University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对数据流持续变化且攻击标签缺失的问题,本文提出 CND-IDS 框架,结合可更新特征提取器与 PCA 重构新颖性检测器,在真实数据集上显著优于无监督持续学习基线。
2025-02-19 cs.CR cs.LG
On the Reliable Detection of Concept Drift from Streaming Unlabeled Data
University of Louisville(路易斯维尔大学)
部署在现实世界中的分类器在动态环境中运行,其中数据分布可能会随时间而变化。这些变化,被称为概念漂移,可能会导致分类器的预测性能随着时间的推移而下降,从而使其过时。为了真正发挥作用,这些分类器需要检测漂移,并能够随着时间的推移适应它们。传统上,检测漂移被视为一项监督任务,标记数据不断用于验证学习模型。尽管这些技术在检测漂移方面是有效的,但是这些技术是不切实际的,因为标记是困难的、昂贵的和耗时的活动。另一方面,无监督的变化检测技术是不可靠的,因为它们产生大量的假警报。无监督技术的无效性源于从检测过程中排除学习分类器的特征。在本文中,我们提出了边缘密度漂移检测(MD3)算法,它跟踪分类器的不确定区域中的样本数量,作为检测漂移的度量。MD3算法是一种独立于分布、独立于应用程序、独立于模型、无监督和增量的算法,用于可靠地检测数据流中的漂移。对来自网络安全领域的6个漂移引起的数据集和4个附加数据集的实验评估表明,MD3方法可以可靠地检测漂移,与基于无监督特征的漂移检测器相比,误报显著减少。减少的假警报使得仅当漂移最可能影响分类性能时才能用信号通知漂移。因此,MD3方法导致检测方案是可信的,标签有效的和一般的适用性。
2017-03-31 cs.AI cs.LG stat.ML
A Novel Unified Lightweight Temporal-Spatial Transformer Approach for Intrusion Detection in Drone Networks
Department of Computer Science and Engineering, Jahangirnagar University(贾杭吉纳大学计算机科学与工程系);Department of Computer Science and Engineering, Bangladesh Army University of Science & Technology(孟加拉国陆军科学技术大学计算机科学与工程系);State University of Bangladesh, Department of Computer Science and Engineering(孟加拉国国立大学计算机科学与工程系);Skill Morph Research Lab., Skill Morph(Skill Morph研究实验室)
本文提出TSLT-Net,一种针对无人机网络的轻量级时空变换入侵检测系统,通过自注意力机制建模时间模式和空间依赖性,实现高精度检测,实验表明其在多类攻击分类和二元异常检测中表现优异,且内存占用低。
2025-10-03 cs.AI cs.CR cs.LG