Distributed Log-driven Anomaly Detection System based on Evolving Decision Making
针对现有日志异常检测系统在验证、可扩展性和维护上的不足,提出CEDLog框架,结合EWC持续学习与Airflow、Dask分布式计算,并利用MLP和GCN合成特征检测异常,实现了高效更新与低误报率。
2025-04-03 cs.CR cs.DC
Deep Convolutional Neural Networks for Anomaly Event Classification on Distributed Systems
服务器使用的日益普及带来了大量的异常日志事件,这些事件已经威胁到大量的机器。因此,识别和分类异常事件是我们系统的一项非常重要的工作,特别是那些产生大量数据并将其用于技术价值创造和业务发展的系统。为了帮助集中在分类和预测的异常事件,并从系统事件记录中获得关键的见解,我们提出了一种新的日志预处理方法,这是非常有效的过滤丰富的信息,并保留关键特征。此外,本文提出了一种竞争性的方法,用于自动分类的异常事件检测到的分布式系统日志与国家的最先进的深(卷积神经网络)架构。我们通过使用标准评估指标来测量一系列具有不同超参数组合的深度CNN算法,我们的研究结果揭示了所提出的深度CNN模型在现实世界系统中的异常事件分类任务的优势和潜在能力。该方法的最佳分类精度为98.14%,优于传统的机器学习方法。
2017-12-30 cs.DC cs.LG
CADDeLaG: Framework for distributed anomaly detection in large dense graph sequences
图的基于随机游走的距离度量,例如通勤时间距离,在各种图算法中是有用的,例如聚类、异常检测和创建低维嵌入。由于这种措施取决于图的谱分解,计算成为一个瓶颈,为大型图,不容易扩展到图,不能加载到内存中。大多数现有的大型图的图挖掘库要么采取采样或利用这种图的稀疏结构进行谱分析。然而,这样的方法不工作的稠密图构建的研究数据集中的实体之间的成对关系。这种研究的例子包括分析网格气候数据中的成对位置,以发现长距离气候现象。这些图形表示通过构造完全连接,并且不能在不丢失有意义信息的情况下稀疏化。在本文中,我们描述了CADDeLaG,一个框架的可扩展计算的通勤时间的距离为基础的异常检测在大型密集的图形,而不需要在内存中加载整个图形。该框架依赖于Apache Spark的以内存为中心的集群计算基础设施,由两个构建块组成:用于通勤时间距离计算的可分解算法和分布式线性系统求解器。我们说明了CADDeLaG的可扩展性和依赖于各种因素,使用合成和真实世界的数据集。我们证明了CADDeLaG在识别气候图序列中的异常方面的有用性,这些异常在历史上由于临时图稀疏化和选举捐赠数据集而被错过。
2018-02-15 cs.DC
FedMon: Federated eBPF Monitoring for Distributed Anomaly Detection in Multi-Cluster Cloud Environments
Department of Computer Science FAST National University of Computer \& Emerging Sciences Karachi, Pakistan 0009-0007-7595-1221;Asia Pacific University of Technology\& Innovation (APU) Kuala Lumpur, Malaysia 0000-0002-1834-1810;Department of Computer Science FAST National University of Computer \& Emerging Sciences Karachi, Pakistan 0009-0000-5276-1504
本文提出 FedMon 框架,结合联邦 eBPF 内核级遥测与联邦学习,利用 VAE 和孤立森林的混合检测引擎实现跨集群异常检测,在保障隐私与降低带宽开销的同时提升了检测准确性与可扩展性。
2025-10-11 cs.DC
Network Anomaly Detection in Distributed Edge Computing Infrastructure
本文提出融合联邦学习、Apache Spark与Kubernetes的分布式边缘计算框架,通过在UNSW-NB15和ROAD数据集上的实验证明其能显著提升网络异常检测准确率与训练效率。
2025-01-25 cs.DC cs.NI
Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing
Singapore University of Technology and Design(新加坡科技设计大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Missouri University of Science and Technology(密苏里科技大学);CNRS(法国国家科学研究中心);Telecom Sud Paris(南巴黎电信学院);Institut Mines Telecom(矿业电信学院);Paris-Saclay University(巴黎-萨克雷大学)
深度神经网络(DNN)的进步极大地支持了异常物联网数据的实时检测。然而,物联网设备很难负担复杂的DNN模型,并且将异常检测任务卸载到云端会导致长时间的延迟。在本文中,我们提出并构建了一个用于分布式分层边缘计算(HEC)系统的自适应异常检测方法的演示,以解决单变量和多变量物联网数据的这个问题。首先,我们构建了多个异常检测DNN模型,其复杂度不断增加,并将每个模型与HEC中的一个层从下到上相关联。然后,我们设计了一个自适应方案,选择这些模型之一的飞行,从每个输入数据提取的上下文信息的基础上。模型的选择制定为一个上下文的强盗问题,其特征在于一个单步马尔可夫决策过程,并使用强化学习策略网络解决。我们构建了一个HEC测试平台,实现了我们提出的方法,并使用真实的物联网数据集对其进行了评估。演示表明,我们提出的方法显着降低了检测延迟(例如,单变量数据集的71.4%),而不会牺牲准确性,而不是将检测任务卸载到云端。我们还将其与其他基线方案进行了比较,并证明了它实现了最佳的精度-延迟权衡。我们的演示也可在线获得:https://rebrand.ly/91a71
2020-04-15 cs.DC cs.LG cs.NI
Transparently Capturing Request Execution Path for Anomaly Detection
随着云系统和大数据分析平台的规模和复杂性的增加,理解和诊断这种分布式平台中的服务请求的处理变得越来越具有挑战性。一种有助于处理此问题的方法是准确地捕获所有相关组件之间的服务请求的完整端到端执行路径。本文介绍了REPTrace,一个通用的方法来捕捉这样的执行路径在一个透明的方式。我们分析了一个全面的执行场景列表,并提出了原则和算法,为所有的场景生成端到端的请求执行路径。此外,本文提出了一种异常检测方法,利用请求执行路径来检测异常的执行过程中的请求处理。在四个不同负载的分布式平台上的实验表明,REPTrace能够透明地捕获请求执行路径,且具有合理的延迟和可忽略的网络开销。故障注入实验表明,执行异常检测具有较高的召回率(96%)。
2021-03-14 cs.DC
On the performance overhead tradeoff of distributed principal component analysis via data partitioning
主成分分析(PCA)不仅是一种基本的降维方法,也是一种广泛应用的网络异常检测技术。传统上,PCA是在一个集中式的方式,这对于大型的分布式系统具有较差的可扩展性,在融合中心收集分布式状态所需的大的网络带宽成本的原因。因此,最近的几项工作提出了各种分布式PCA算法,旨在减少PCA引起的通信开销,而不会失去其推理能力。本文评估了一个真实的域名系统(DNS)查询数据集从一个大型网络的通信成本和解决方案的质量之间的权衡两个分布式PCA算法。我们还将分布式PCA算法应用于网络异常检测领域,并证明了这两种基于分布式PCA的方法的检测精度在质量上几乎没有下降,但在通信带宽上实现了显着的节省。
2015-12-21 cs.DC cs.NI cs.PF
Lightweight Collaborative Anomaly Detection for the IoT using Blockchain
Georgia Institute of Technology(佐治亚理工学院);Ben-Gurion University(本-古里安大学)
由于其快速增长和部署,物联网(IoT)已成为我们日常生活的一个重要方面。不幸的是,物联网设备往往有许多漏洞可以被攻击者利用。诸如异常检测之类的无监督技术可以用于以即插即保护的方式保护这些设备。然而,异常检测模型必须经过长时间的训练才能捕获所有良性行为。此外,异常检测模型容易受到对抗攻击的攻击,因为在训练阶段,所有观察都被假设为良性的。在本文中,我们提出了(1)一种新的异常检测方法和(2)一个轻量级框架,该框架利用区块链在分布式环境中集成异常检测模型。区块链框架通过物联网设备之间的自我证明和共识来增量地更新可信的异常检测模型。我们在一个分布式物联网仿真平台上评估了我们的方法,该平台由48个Raspberry Pis组成。仿真演示了该方法如何增强每个设备的安全性和整个网络的安全性。
2020-06-18 cs.CR cs.DC cs.LG
CIoTA: Collaborative IoT Anomaly Detection via Blockchain
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
由于其快速增长和部署,物联网(IoT)设备已成为我们日常生活的一个重要方面。然而,它们往往具有许多可被攻击者利用的漏洞。无监督技术,如异常检测,可以帮助我们保护物联网设备。然而,异常检测模型必须经过长时间的训练,才能捕获所有良性行为。这种方法容易受到对抗攻击的攻击,因为在训练异常检测模型时,所有观察都被假设为良性的。在本文中,我们提出了CIoTA,这是一个轻量级框架,利用区块链概念为资源有限的设备执行分布式和协作异常检测。CIoTA使用区块链通过物联网设备之间的自我证明和共识来增量更新可信的异常检测模型。我们在我们自己的分布式物联网仿真平台上评估了CIoTA,该平台由48个Raspberry PI组成,以展示CIoTA增强每个设备安全性和整个网络安全性的能力。
2018-04-09 cs.CR cs.CY cs.DC
Distributed Federated Learning for Vehicular Network Security: Anomaly Detection Benefits and Multi-Domain Attack Threats
Nexcepta Inc.(Nexcepta公司);RTX BBN Technologies
本文探索分布式联邦学习(DFL)在车载网络安全中的应用,证明其能显著提升异常检测准确率,并揭示DFL在无线干扰和训练数据投毒等多域攻击下的漏洞,强调需更稳健的保护策略。
2025-05-29 cs.AI cs.DC cs.IT
A Feature Engineering Approach for Business Impact-Oriented Failure Detection in Distributed Instant Payment Systems
Directorate General for Information Technology, Bank of Italy(意大利银行信息科技总局);Department of Computer Science, University of Salerno(萨勒诺大学计算机科学系)
针对分布式即时支付系统,提出基于ISO 20022消息处理时间的特征工程方法,结合异常检测实现早期故障定位与业务影响解释,经TIPS系统验证有效,显著减少调查时间。
2025-08-07 cs.AI cs.DC cs.LG
Enhancing Large-Scale AI Training Efficiency: The C4 Solution for Real-Time Anomaly Detection and Communication Optimization
Alibaba Group(阿里巴巴集团);Hong Kong University of Science and Technology(香港科技大学)
针对大规模分布式训练中硬件故障检测延迟和通信冲突导致的效率低下问题,提出通信驱动的C4方案,利用负载同质性和可预测通信模型实现快速异常定位与流量规划,在实际系统中将效率从30%提升至45%。
2025-05-23 cs.AI cs.DC cs.LG
Learning Dependencies in Distributed Cloud Applications to Identify and Localize Anomalies
Technische Universität Berlin(柏林工业大学)
大型分布式云应用程序的操作和维护可能会迅速变得难以管理的复杂性,当出现问题时,会使操作人员承受巨大的压力。利用机器学习来识别和定位此类系统中的异常支持人类专家并实现快速缓解。然而,由于系统组件的各种相互依赖性,异常不仅影响它们的起源,而且通过分布式系统传播。考虑到这一点,我们提出了Arvalus及其变体D-Arvalus,这是一种神经图转换方法,将系统组件建模为节点及其依赖关系和位置作为边缘,以提高异常的识别和定位。给定一系列度量KPI,我们的方法预测最可能的系统状态-正常或异常类-并在检测到异常时执行本地化。在我们的实验中,我们模拟了分布式云应用程序部署和综合注入异常。评估结果表明,一般良好的预测性能的Arvalus,并揭示了D-Arvalus的优势,它结合了系统组件的依赖关系的信息。
2021-09-09 cs.DC cs.LG
Exploring Block Anomaly Detection In HDFS Log Data Analysis
本研究针对HDFS日志人工异常检测复杂枯燥的问题,提出结合LLM-BiLSTM模型与Kafka流式管道的检测方案,实现HDFS块异常的快速准确检测。
2026-08-03 cs.DC cs.LG cs.SE
Entropy based Anomaly Detection System to Prevent DDoS Attacks in Cloud
云计算是一种新的计算模式,它提供了对广域分布式资源的一致访问。它以其服务提供基础设施、更低的维护成本、数据和服务可用性保证、快速的可访问性和可扩展性彻底改变了IT世界。网格和云计算入侵检测系统通过检测节点间的加密通信,发现隐藏的攻击尝试,对基于网络和基于主机的攻击进行检测。它结合了知识和行为分析来识别特定的入侵。基于特征的入侵检测系统通过对网络中的数据包进行监测,并通过与数据库的匹配来识别威胁,但对数据库中没有包含的攻击却无法检测出来。基于特征的入侵检测系统在捕获大量异常时性能较差。另一个问题是云服务提供商隐藏了入侵者造成的攻击,由于分布式云环境具有很高的脆弱资源的可能性。通过冒充合法用户,入侵者可以恶意地使用服务的丰富资源。在建议的系统中,我们结合了一些概念,这是新的入侵检测技术。本文将基于熵的系统与异常检测系统相结合,提供多级分布式拒绝服务攻击。这是通过两个步骤完成的:首先,允许用户通过路由器在网络站点中,它结合了检测算法,并检测合法用户。其次,它再次通过放置在云站点中的路由器,其中它包含确认算法并检查阈值,如果其超出阈值,则认为是合法用户,否则其是在环境中发现的入侵者。
2013-08-28 cs.CR cs.DC
Flow-Bench: A Dataset for Computational Workflow Anomaly Detection
本文针对计算工作流异常检测缺乏开放数据与基准的问题,构建 Flow-Bench,通过异常注入、日志采集、多模态表示及监督/无监督方法评测,提供公开数据集与基准代码。
2024-06-13 cs.DC
iAnomaly: A Toolkit for Generating Performance Anomaly Datasets in Edge-Cloud Integrated Computing Environments
针对边缘计算中性能异常数据集缺失的问题,提出全系统仿真器iAnomaly,可自动生成带标签的正常与异常数据,并发布覆盖多种微服务物联网应用、含多种异常的公开数据集。
2024-11-05 cs.DC
A Hierarchical Approach to Conditional Random Fields for System Anomaly Detection
PES University(PES大学)
在许多行业中,以时间敏感的方式识别大规模系统中的异常事件的异常检测是至关重要的,例如。银行欺诈、企业系统、医疗警报等。大规模系统的规模和复杂性通常会随着时间的推移而增长,异常检测算法需要适应不断变化的结构。层次化方法利用了复杂系统和局部环境中的隐含关系。复杂系统中的功能在数据分布方面可能会有很大的不同,从多个数据源捕获不同的方面,并在放在一起时提供更完整的系统视图。在本文中,考虑两个数据集,第一个包括来自运行在云服务上的机器的系统度量,第二个是来自大规模分布式软件系统的应用度量,其系统节点之间具有固有的层次结构和互连。通过比较基于变点的PELT算法、基于认知学习的分层时间记忆算法、支持向量机和条件随机场的算法,为提出分层全局-局部条件随机场方法提供了基础,该方法可以准确地捕获复杂系统中各种特征的异常。分层算法可以学习特定特征的复杂性,并在全局抽象表示中利用这些特征来鲁棒地检测多源特征数据和分布式系统中的异常模式。对复杂系统的图形网络分析可以进一步微调数据集,以基于可用特征挖掘关系,这可以使分层模型受益。此外,分层解决方案可以很好地适应本地级别的变化,在系统的某些部分进行大修时学习新数据和不断变化的环境,并将这些学习转化为系统的全局视图。
2022-10-28 cs.DC cs.LG
Big data analysis and distributed deep learning for next-generation intrusion detection system optimization
随着信息技术在所有生活领域的日益广泛使用,黑客行为的负面影响比以往任何时候都要大。此外,随着技术的发展,攻击数量每隔几个月就会呈指数级增长,并且变得更加复杂,因此传统的IDS检测它们变得效率低下。本文提出了一种解决方案,不仅可以检测新的威胁,具有更高的检测率和更低的误报率比已经使用的IDS,但它也可以检测集体和上下文的安全攻击。我们通过使用Networking Chatbot来实现这些结果,这是一种深度递归神经网络:Apache Spark Framework之上的长短期记忆(LSTM),其输入是流量和流量聚合,输出是两个词的语言,正常或异常。我们建议合并语言处理、上下文分析、分布式深度学习、大数据、流分析的异常检测等概念。我们提出了一个模型,它描述了网络抽象的正常行为,从一个序列的数百万个数据包在他们的上下文中,并分析他们在近实时检测点,集体和上下文异常。在MAWI数据集上进行了实验,实验结果表明,该方法不仅比特征入侵检测系统有更好的检测率,而且比传统的异常入侵检测系统有更好的检测率。实验结果表明,该方法具有较低的误报率、较高的检测率和较好的点异常检测效果。对于上下文和集体异常检测的证明,我们讨论了我们的主张和我们假设背后的原因。但由于硬件限制,实验是在数据集的随机小子集上进行的,因此我们分享实验和我们未来的视觉想法,因为我们希望未来有比我们更好的硬件基础设施的其他感兴趣的研究人…
2022-09-28 cs.AI cs.CR cs.DC
A Distributed View from a Single GPU: RankLens for Distributed Training
Beihang University(北京航空航天大学)
RankLens是一种单GPU运行的分布式训练仿真系统,可在保留分布式语义的前提下,将分布式训练分析的资源需求降至单GPU,实现高通信结构匹配度与低时间误差。
2026-10-13 cs.DC
Federated Learning for Anomaly Detection in Energy Consumption Data: Assessing the Vulnerability to Adversarial Attacks
Western University(西安大略大学)
本文评估了联邦学习在能源消耗异常检测中对FGSM和PGD白盒对抗攻击的脆弱性,发现FL比集中式学习更易受攻击,尤其是PGD攻击导致准确率下降超过10%,凸显了联邦学习防御机制的必要性。
2025-02-07 cs.AI cs.DC cs.LG
Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach
Singapore University of Technology and Design(新加坡科技设计大学);Missouri University of Science and Technology(密苏里科技大学)
深度神经网络(DNN)的进步显著增强了物联网应用中异常数据的实时检测。然而,复杂性-准确性-延迟的困境仍然存在:复杂的DNN模型提供更高的准确性,但典型的物联网设备几乎无法承受计算负载,并且将负载卸载到云端的补救措施会导致长时间的延迟。在本文中,我们提出了一个自适应异常检测方案与层次边缘计算(HEC)来解决这一挑战。具体来说,我们首先构建复杂度不断增加的多个异常检测DNN模型,并将每个模型与相应的HEC层相关联。然后,我们设计了一个自适应的模型选择方案,制定为一个上下文强盗问题,并解决了使用强化学习策略网络。我们还采用了并行策略训练方法,利用分布式模型来加速训练过程。我们使用真实的物联网设备构建了一个HEC测试平台,使用单变量和多变量物联网数据集实现并评估了我们的上下文-强盗方法。与基线和最先进的方案相比,我们的自适应方法在单变量数据集上取得了最佳的准确性-延迟权衡,并在多变量数据集上取得了最佳的准确性和F1分数,延迟仅比最佳(但不灵活)方案长得可以忽略不计。
2021-08-09 cs.AI cs.DC cs.LG
Chimbuko: A Workflow-Level Scalable Performance Trace Analysis Tool
由于输入/输出系统目前对高性能计算系统的限制,包括在线数据简化和分析的新一代工作流正在出现。由于执行模式和底层硬件的复杂性,诊断其性能需要复杂的性能分析功能,并且没有工具可以处理检测潜在问题所需的大量性能跟踪数据。这项工作介绍了Chimbuko,一个性能分析框架,提供实时,分布式,原位异常检测。减少了数据量,便于人工处理,而不会丢失必要的细节。Chimbuko通过一个可视化模块支持在线性能监控,该模块可以显示整体工作流异常分布、调用堆栈和时间线。Chimbuko还支持捕获和减少性能来源。据我们所知,Chimbuko是第一个在线的,分布式的,可扩展的工作流级的性能跟踪分析框架,我们证明了该工具的实用性橡树岭国家实验室的首脑会议系统。
2020-08-31 cs.DC cs.PF
LATTE: LSTM Self-Attention based Anomaly Detection in Embedded Automotive Platforms
Colorado State University(科罗拉多州立大学)
现代汽车可以被认为是复杂的分布式嵌入式系统,运行各种具有实时约束的汽车应用程序。汽车工业中朝向更大自主性的最新进展正在驱动车辆越来越多地与各种外部系统(例如,路边信标,其他车辆),这使得新兴车辆非常容易受到网络攻击。此外,汽车应用和车载网络的复杂性增加导致攻击可见性差,这使得在汽车系统中检测此类攻击特别具有挑战性。在这项工作中,我们提出了一种新的异常检测框架,称为LATTE检测网络攻击的控制器局域网(CAN)为基础的网络在汽车平台。我们提出的LATTE框架使用堆叠的长短期记忆(LSTM)预测器网络,具有新颖的注意力机制,以在设计时学习正常的操作行为。随后,一种新的检测方案(也在设计时训练)用于在运行时检测各种网络攻击(作为异常)。我们在不同的汽车攻击场景下评估了我们提出的LATTE框架,并与该领域最知名的先前作品进行了详细的比较,以展示我们方法的潜力。
2021-07-12 cs.DC cs.LG cs.SY
Deep Learning on Operational Facility Data Related to Large-Scale Distributed Area Scientific Workflows
分布式计算平台通过在多个位置(可能在地理上相隔数千英里)之间分割任务和数据来提供执行大规模计算的鲁棒机制。尽管这种资源分布可以带来好处,但是它也伴随着其相关的问题,例如文件传输的猖獗复制增加拥塞、长的作业完成时间、意外的站点崩溃、次优的数据传送率、时间范围内不可预测的可靠性以及存储元件的次优使用。此外,每个子系统都成为可能触发系统范围中断的潜在故障节点。在这篇愿景论文中,我们概述了我们利用深度学习算法来发现解决方案的方法,这些解决方案可以解决具有分布在广泛区域的计算基础设施的系统中出现的独特问题。所提出的愿景,来自Belle II实验的真实科学用例,旨在开发多层神经网络,以解决复杂和分布式数据移动环境中的预测,异常检测和优化挑战。通过这一基于深度学习原理的愿景,我们的目标是减少拥塞事件、加快文件传送率并增强站点可靠性。
2018-04-20 cs.DC cs.LG cs.PF