Anomaly Sequences Detection from Logs Based on Compression
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
从日志中挖掘信息是一个古老而活跃的研究课题。近年来,随着云计算的迅速兴起,日志挖掘对工业界的影响越来越大。针对日志挖掘的主要任务之一:异常检测,提出了一种新的从大日志中挖掘异常序列的方法。与以往基于统计、概率和马尔可夫假设的异常检测系统不同,本文提出的方法利用压缩来度量序列的奇异性。该算法首先利用基于文法的压缩训练出一个关于正常行为的文法,然后根据文法长度的增加来度量可疑序列的信息量和信息密度。我们已经将我们的方法应用于从细粒度的执行日志中挖掘一些真正的错误。我们还测试了它的入侵检测能力,使用一些公开的系统调用跟踪。实验结果表明,该方法能够成功地筛选出与漏洞或攻击相关的奇怪序列。
2011-09-08 cs.DS cs.LG
ClusterLog: Clustering Logs for Effective Log-based Anomaly Detection
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
随着高性能计算(HPC)环境中可伸缩文件系统的日益普及,对运行时日志进行准确的异常检测的重要性日益增加。但就目前而言,许多基于日志的异常检测的最先进方法(如DeepLog)在应用于来自许多并行文件系统(PFS)的日志时遇到了许多挑战,这通常是由于它们在基于时间的日志序列中的不规则性和模糊性。为了避免这些问题,本研究提出了一种日志预处理方法,聚类的时间序列的日志关键字的语义相似性的基础上,日志预处理方法。通过对语义和情感相似的日志进行分组,该方法旨在用最少的唯一日志键表示日志序列,旨在提高下游基于序列的模型有效学习日志模式的能力。初步实验结果表明,该方法不仅能有效地降低日志序列的粒度,而且不丢失重要的序列信息,而且对不同文件系统的日志具有通用性。
2023-01-19 cs.DC cs.LG
Detecting Log Anomalies with Multi-Head Attention (LAMA)
Huawei Technologies Co., Ltd(华为技术有限公司)
异常检测是一个重要的和具有挑战性的课题,已经在不同的研究领域进行了研究。在这项工作中,我们探讨的任务日志异常检测(特别是计算机系统日志和用户行为日志)通过分析日志的顺序信息。我们提出了LAMA,一个基于多头注意力的顺序模型来处理日志流作为模板活动(事件)序列。应用下一事件预测任务来训练用于异常检测的模型。大量的实证研究表明,该模型优于现有的日志异常检测方法,包括统计和深度学习方法,验证了该方法在学习日志数据序列模式方面的有效性。
2021-01-07 cs.CR cs.LG
RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information
Korea University(高丽大学)
针对传统日志异常检测需特定训练、难发现细微异常且实时性差的问题,提出免训练的RAPID模型,用PLM提取日志表示,结合基于检索的对比和核心集技术,实现了有竞争力的实时异常检测性能。
2023-11-09 cs.AI cs.LG
Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs
Distributed and Operating Systems, TU Berlin(柏林工业大学分布式与操作系统);Huawei Munich Research Center, Huawei Technologies(华为技术有限公司慕尼黑研究中心)
异常检测是保证计算机系统安全性和可靠性的重要挖掘任务。在几乎每一个计算机系统中,异常检测方法的数据源是常见的和主要的。它们收集一系列描述运行时系统状态的重要事件。最近的研究主要集中在一类深度学习方法对预定义的不可学习的数值日志表示。主要的限制是,这些模型不能学习日志表示描述正常和异常日志之间的语义差异,导致一个穷人的泛化看不见的日志。我们提出了Logsy,一种基于分类的方法来学习日志表示,以区分来自感兴趣系统的正常数据和来自辅助日志数据集的异常样本,可以通过互联网轻松访问。这种异常检测方法背后的想法是,辅助数据集具有足够的信息量来增强正常数据的表示,但又具有多样性来正则化以防止过拟合并提高泛化能力。我们提出了一个新的超球面损失函数的基于注意力的编码器模型。这使得学习紧凑的日志表示捕捉正常和异常日志之间的内在差异。从经验上讲,与以前的方法相比,我们在F1评分中平均提高了0.25。为了研究Logsy的属性,我们进行了额外的实验,包括评估辅助数据大小的影响,专家知识的影响,以及学习到的日志表示的质量。结果表明,学习的表示提高了以前的方法,如PCA的性能,相对提高了28.2%。
2020-08-21 cs.IR cs.LG stat.ML
A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults
University of Tehran(德黑兰大学);Clarity Global Co.(Clarity全球公司)
提出SEMC-AD方法,利用深度神经网络监督嵌入和多元高斯聚类,在移动网络告警日志中高效识别异常,检测率达99%,优于随机森林和XGBoost。
2023-10-10 cs.AI cs.LG
ADALog: Adaptive Unsupervised Anomaly detection in Logs with Self-attention Masked Language Model
NeuroEdge AI;Cognizant
ADALog通过自适应无监督方法在日志中检测异常,利用预训练双向编码器和自适应阈值处理,实现高效准确的异常检测。
2025-05-15 cs.AI cs.CL cs.LG
LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs
NTT Social Informatics Laboratories(NTT社会信息学实验室)
针对现有日志异常检测方法在未知模板和点异常检测延迟上的局限,提出基于自监督的LogELECTRA模型,利用ELECTRA分析单行日志语义以实现点异常检测,在BGL、Sprit和Thunderbird数据集上优于现有方法。
2024-02-16 cs.LG cs.SE
Anomaly Detection Using One-Class SVM for Logs of Juniper Router Devices
Posts and Telecommunications Institute of Technology(邮电技术学院);National Cheng Kung University(成功大学)
本文提出一种从Juniper路由器日志中提取特征并基于One-Class SVM模型进行异常检测的新方法,能快速准确检测路由器系统错误以降低运营成本。
2023-05-21 cs.LG
Good Enough to Learn: LLM-based Anomaly Detection in ECU Logs without Reliable Labels
Dept. of AI, Big Data and Cloud(人工智能、大数据和云计算部门)
本文提出一种基于仅解码器大语言模型的ECU通信日志异常检测方法,通过熵正则化和最小示例学习,解决标签不一致与人工标注成本高的问题。
2025-07-01 cs.LG
Wavelet-Aware Anomaly Detection in Multi-Channel User Logs via Deviation Modulation and Resolution-Adaptive Attention
College of Cyber Security, Jinan University, Guangzhou, China(安全学院,暨南大学,广州,中国);School of Advanced Technology, Xi’an Jiaotong-Liverpool University, Suzhou, China(先进技术学院,西安交通大学利物浦大学,苏州,中国)
本文提出了一种基于小波意识调制、多分辨率分解和分辨率自适应注意力的多通道用户日志异常检测方法,有效提升了异常检测的精度和召回率。
2026-01-18 cs.CR cs.LG stat.CO
OCR-APT: Reconstructing APT Stories from Audit Logs using Subgraph Anomaly Detection and LLMs
Concordia University(康科德大学)
本文提出 OCR-APT,通过 GNN 子图异常检测识别 APT 行为,并利用 LLM 分阶段验证和重构可解释的完整攻击故事。
2025-10-20 cs.CR cs.LG
FusionLog: Cross-System Log-based Anomaly Detection via Fusion of General and Proprietary Knowledge
School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
FusionLog通过融合通用和专有知识实现跨系统日志基异常检测,无需目标系统标注数据,实验显示在零标注设置下F1分数超过90%。
2026-03-26 cs.LG cs.SE
ASTD Patterns for Integrated Continuous Anomaly Detection In Data Logs
Université de Sherbrooke(谢布鲁克大学)
本文提出ASTD模式及量化流算子,结合滑动窗口连续学习,实现数据日志中集成异常检测,简化系统设计。
2024-12-14 cs.LG cs.SE
TPLogAD: Unsupervised Log Anomaly Detection Based on Event Templates and Key Parameters
School of Computer Science and Technology(计算机科学技术学院);Fudan University(复旦大学)
本文提出无监督日志异常检测方法TPLogAD,通过template2vec和para2vec分别建模事件模板与关键参数,在四个公开数据集上取得优于现有方法的效果。
2024-11-22 cs.AI cs.CL cs.CY
FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination
University of Alberta(阿尔伯塔大学)
针对现有无监督日志异常检测需额外数据、速度不足的问题,提出FastLogAD框架,通过掩码引导生成伪异常日志,基于嵌入范数实现无测试数据的阈值选择,在基准上性能更优且检测速度至少提升10倍。
2024-04-12 cs.LG
Multi-Source Anomaly Detection in Distributed IT Systems
TU Berlin(柏林工业大学);Springer Heidelberg(施普林格·海德堡);Princeton University(普林斯顿大学);ABC Institute, Rupert-Karls-University Heidelberg(海德堡鲁珀特·卡尔斯大学ABC研究所)
分布式系统产生的多源数据提供了对系统的整体描述。通过学习模型利用不同模态的联合分布可以有益于用于维护分布式系统的关键应用。一个这样的重要任务是异常检测的任务,我们感兴趣的是检测系统的当前行为与理论预期的偏差。在这项工作中,我们利用联合表示从分布式的痕迹和系统日志数据的异常检测任务在分布式系统中。我们证明,联合利用的痕迹和日志产生更好的结果相比,单一的模态异常检测方法。此外,我们形式化的学习任务-下一个模板预测NTP,这是用来作为一个泛化的日志和分布式跟踪异常检测。最后,我们证明了这种形式化允许学习的痕迹和日志的模板嵌入。联合嵌入可以在其他应用程序中重用,作为跨度和日志的良好初始化。
2021-01-13 cs.DC cs.LG cs.SC
A unified framework for detecting point and collective anomalies in operating system logs via collaborative transformers
CoLog通过协作变换器统一检测操作系统日志中的点异常和集体异常,实现高精度和召回率。
2025-12-29 cs.AI cs.CV cs.LG
Enhancing Web Service Anomaly Detection via Fine-grained Multi-modal Association and Frequency Domain Analysis
Peking University(北京大学);Nanyang Normal University(南阳师范学院);Alibaba group(阿里巴巴集团)
针对Web服务中日志与指标粗粒度对齐及重构过度泛化问题,提出FFAD方法,利用基于图的对齐实现细粒度多模态关联,并结合傅里叶频率聚焦增强异常检测,F1值达93.6%。
2025-01-28 cs.LG cs.SE
Anomaly Detection Framework Using Rule Extraction for Efficient Intrusion Detection
University of Jyväskylä(于韦斯屈莱大学)
网络安全中的庞大数据集,如网络流量日志,可以使用机器学习和数据采掘方法进行分析。然而,收集的数据量正在增加,这使得分析更加困难。许多机器学习方法不是为大数据集设计的,因此速度慢且难以理解。我们通过创建一个应用降维和合取规则提取的入侵检测框架来解决有效的网络流量分类问题。该系统可以执行无监督的异常检测,并使用此信息创建合取规则,对大量流量进行实时的分类。我们使用广泛使用的KDD Cup 99数据集和真实世界的网络日志对实现的系统进行了测试,以确认性能令人满意。这个系统是透明的,不像一个黑盒子,使它直观的领域专家,如网络管理员。
2014-10-28 cs.CR cs.LG
Leveraging GPT-4o Efficiency for Detecting Rework Anomaly in Business Processes
University of Milan(米兰大学)
本文研究GPT-4o-2024-08-06检测业务流程返工异常的有效性,开发相关工具并在特定合成数据集上用三种提示技术测试不同异常分布,结果显示模型性能优异,且异常分布和提示策略影响性能。
2025-02-10 cs.AI cs.LG
Data Drift Monitoring for Log Anomaly Detection Pipelines
IBM Research(IBM研究院)
本文提出一种基于贝叶斯因子的漂移检测方法,用于识别日志异常检测(LAD)模型何时需要人工介入、重训练和更新,并通过真实与模拟日志数据验证了其有效性。
2023-10-17 cs.LG cs.SY eess.SY
MINES: Explainable Anomaly Detection through Web API Invariant Inference
National University of Singapore(国立新加坡大学);Shanghai Jiao Tong University(上海交通大学);Singapore Management University(新加坡管理学院);GovTech Singapore(新加坡政府科技局);Chongqing University(重庆大学)
提出MINES方法,通过从模式级别推断可解释的API不变式来检测Web应用异常,显著降低误报率并提高召回率。
2026-05-30 cs.CR cs.DB cs.LG
From Noise to Signal: Improving Security Log Anomaly Detection Using LLMs with Endpoint-Specific Logs
Institute of Innovation, Science and Sustainability(创新、科学与可持续发展研究所);Centre for Smart Analytics(智能分析中心);Federation University Australia(澳大利亚联邦大学)
本研究开发基于指令的LLM分类框架,结合端点特定日志,经实验验证Meta Llama 3.1 8B Instruct在安全日志异常检测中性能优于Wazuh、OpenSearch等方法。
2026-08-21 cs.CR cs.LG
LogTinyLLM: Tiny Large Language Models Based Contextual Log Anomaly Detection
Department of Mathematical Sciences, University of Texas at El Paso, El Paso, TX, USA SQC \& OR Unit, Indian Statistical Institute, Kolkata, India
本文提出基于LoRA和adapter的参数高效微调方法,利用小型LLMs在Thunderbird数据集上检测日志序列上下文异常,相比LogBert全量微调准确率提升18-19个百分点。
2025-07-15 cs.AI cs.CV cs.LG
Exploring Block Anomaly Detection In HDFS Log Data Analysis
本研究针对HDFS日志人工异常检测复杂枯燥的问题,提出结合LLM-BiLSTM模型与Kafka流式管道的检测方案,实现HDFS块异常的快速准确检测。
2026-08-03 cs.DC cs.LG cs.SE
Log Message Anomaly Detection and Classification Using Auto-B/LSTM and Auto-GRU
University of Victoria(维多利亚大学)
日志消息在软件系统中得到了广泛的应用。它们对于分类很重要,因为每天生成数百万个日志。大多数日志都是非结构化的,这使得分类成为一项挑战。本文开发了称为Auto-LSTM、Auto-BLSTM和Auto-GRU的深度学习(DL)方法,用于异常检测和日志分类。这些模型用于将非结构化日志数据转换为适合分类算法的提取特征。他们使用四个数据集进行评估,即BGL,OpenStack,Thunderbird和IMDB。前三个是流行的日志数据集,而第四个是用于情感分类的电影评论数据集。结果表明,Auto-LSTM、Auto-BLSTM和Auto-GRU的性能优于其他知名算法。
2021-04-07 cs.LG stat.ML
AIOps-Driven Enhancement of Log Anomaly Detection in Unsupervised Scenarios
BITS Pilani(比尔拉科学技术学院皮拉尼校区);Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
本研究针对AIOps领域无监督日志异常检测研究不足的问题,提出融合PCA与ANN并搭配自定义损失函数的混合框架,可处理原始日志,在多数据集上实现伪阳性率显著降低,推动AIOps日志检测技术发展。
2023-11-05 cs.AI cs.IR cs.IT
PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning
Technische Universität Berlin(柏林工业大学)
由于现代IT服务的复杂性,故障可能是多种多样的,发生在任何阶段,并且难以检测。因此,将异常检测应用于日志等监控数据,可以获得相关见解,以稳步改善IT服务并消除故障。然而,现有的异常检测方法,提供高精度往往依赖于标记的训练数据,这是耗时的,以获得在实践中。因此,我们提出了PADER,一个迭代日志分析方法的反应性异常检测的基础上估计的故障时间窗口提供的监测系统,而不是标记的数据。我们的基于注意力的模型使用了一种新的弱监督深度学习目标函数,该目标函数考虑了不平衡的数据,并对正样本和未知样本(PU学习)应用迭代学习策略来识别异常日志。我们的评估表明,PSTOM在三个不同的数据集上始终优于十个基准基线,并且即使在不精确的故障时间窗口内也能检测到F1分数超过0.99的异常日志消息。
2023-01-25 cs.LG
Recomposition vs. Prediction: A Novel Anomaly Detection for Discrete Events Based On Autoencoder
Penn State University(宾夕法尼亚州立大学)
离散事件日志的异常检测是入侵检测领域最具挑战性的问题之一。虽然大多数早期的工作集中在工程特征上应用无监督学习,但最近的工作已经开始通过应用深度学习方法来抽象离散事件条目来解决这一挑战。受自然语言处理的启发,提出了基于LSTM的异常检测模型。它们试图预测即将发生的事件,并在预测不符合特定标准时发出异常警报。然而,这样的预测下一个事件的方法有一个基本的限制:事件预测可能无法充分利用序列的独特特征。这种限制导致高假阳性(FP)和高假阴性(FN)。同样重要的是要检查序列的结构和单个事件之间的双向因果关系。为此,我们提出了一种新的方法:重组事件序列作为异常检测。我们提出了DabLog,一种基于深度自动编码器的离散事件异常检测方法。根本区别在于,我们的方法不是预测即将发生的事件,而是通过分析(编码)和重建(解码)给定序列来确定序列是正常还是异常。我们的评估结果表明,我们的新方法可以显着减少FP和FN的数量,从而实现更高的$F_1$分数。
2020-12-27 cs.LG
Beyond Window-Based Detection: A Graph-Centric Framework for Discrete Log Anomaly Detection
Sino-German Joint Software Institute, Beihang University(北京航空航天大学中德软件学院)
针对传统窗口方法在日志异常检测中的上下文偏差与定位模糊问题,提出图中心框架TempoLog,利用多尺度时序图网络直接构建动态图,实现事件级异常检测,在公共数据集上达到最先进性能。
2025-01-21 cs.LG cs.SE
LogAI: A Library for Log Analytics and Intelligence
Salesforce AI Research(赛富时人工智能研究院)
软件和系统日志记录有关在系统内执行的进程的运行时信息。这些日志已成为最关键和最普遍的可观察性数据形式,可帮助开发人员了解系统行为,监控系统健康状况并解决问题。然而,生成的日志量可能是巨大的(每天PB的数量级),特别是对于复杂的分布式系统,如云,搜索引擎,社交媒体等,这推动了大量关于开发基于AI的基于日志的分析和智能解决方案的研究,这些解决方案可以处理大量的原始日志并生成见解。为了使用户能够以统一的方式执行多种类型的基于AI的日志分析任务,我们引入了LogAI(https://github.com/salesforce/logai),这是一个一站式的日志分析和智能开源库。LogAI支持日志汇总、日志聚类和日志异常检测等任务。它采用OpenTelemetry数据模型,可以兼容不同的日志管理平台。LogAI提供统一的模型接口,并提供流行的时间序列、统计学习和深度学习模型。除此之外,LogAI还为用户提供了一个开箱即用的GUI来进行交互式分析。使用LogAI,我们还可以轻松地对流行的深度学习算法进行基准测试,以进行日志异常检测,而无需花费多余的精力来处理日志。我们开源了LogAI,以满足广泛的应用,使学术研究和工业原型设计都受益。
2023-01-31 cs.AI cs.LG cs.SE
ClouDens: Operational Context-Aware Anomaly Detection for Large-scale Cloud System Monitoring
Department of Computer Science, Gran Sasso Science Institute(计算机科学系,格兰萨索科学研究所);University of Bergen(卑尔根大学);Department of Computer Science, Toronto Metropolitan University(计算机科学系,多伦多 Metropolitan 大学);Department of Computer Science, Electrical Engineering and Mathematical Sciences, Western Norway University of Applied Sciences(计算机科学、电气工程和数学科学系,西挪威应用科学大学)
针对大规模云系统监控中异常检测难题,提出ClouDens框架。它利用遥测日志模式中的操作上下文属性,将高维日志划分子集,构建上下文感知图,采用时空图神经网络进行异常检测,在相关数据集上表现良好,为云系统监控异常检测提供指导。
2026-07-21 cs.LG cs.NI
Leveraging Time-Series Foundation Model for Subsurface Well Logs Prediction and Anomaly Detection
King Fahd University of Petroleum and Minerals(法赫德石油和矿产大学);Center for Integrative Petroleum Research(综合石油研究中心);College of Petroleum Engineering and Geosciences(石油工程与地球科学学院)
针对地下测井数据获取成本高、缺失多且现有AI模型泛化性差的问题,本研究微调TimeGPT时序基础模型实现测井预测与异常检测,在预测精度和零样本异常识别上均表现优异,可提升勘探决策效率并降低风险。
2024-12-07 cs.AI cs.LG eess.SP
MLAD: A Unified Model for Multi-system Log Anomaly Detection
Renmin University of China(中国人民大学);Beihang University(北京航空航天大学);Cloudwise Research(云智慧研究院)
本文提出统一多系统日志异常检测模型MLAD,利用Sentence-bert语义向量、改进注意力层和高斯混合模型解决“恒等捷径”问题,并在三个真实数据集上验证其优越性。
2024-01-15 cs.AI cs.LG cs.SE
Hybrid Model for Anomaly Detection on Call Detail Records by Time Series Forecasting
移动网络运营商存储大量信息,如描述各种事件和用户活动的日志文件。对这些日志的分析可以用于许多关键应用中,诸如检测网络攻击、发现用户的行为模式、安全事件响应、网络取证等。在蜂窝网络中,呼叫详细记录(CDR)是包含呼叫元数据的此类日志的一种类型,并且通常包括关于联系人的有价值的信息,诸如发起和接收订户的电话号码、呼叫持续时间、活动区域、呼叫类型(SMS或语音呼叫)和时间戳。通过异常检测,可以确定区域中或特定人员的网络流量的异常减少或增加。本文的主要目标是研究用户在蜂窝网络中的行为,主要是预测一个地区的呼叫数量和检测网络流量中的异常。本文提出了一种新的混合方法的基础上,各种异常检测方法,如GARCH,K-均值,神经网络来确定异常数据。此外,我们还讨论了这些异常现象的可能原因。
2021-10-19 cs.LG stat.ML
Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Huawei Cloud BU(华为云业务部)
对于许多软件系统,特别是大型分布式系统,可靠性和连续性是一个必不可少的资源。它们忠实地记录运行时信息,以便于系统故障排除和行为理解。由于现代软件系统的规模和复杂性,日志的数量已经达到了前所未有的水平。因此,对于基于日志的异常检测,传统的手动检查方法或甚至传统的基于机器学习的方法变得不切实际,这成为基于深度学习的解决方案的快速开发的催化剂。然而,目前缺乏严格的比较之间的代表性的日志为基础的异常检测器,诉诸神经网络。此外,重新实现过程需要付出不小的努力,并且很容易引入偏差。为了更好地了解不同的异常检测器的特点,在本文中,我们提供了一个全面的审查和评估五个流行的神经网络使用的六个国家的最先进的方法。特别地,所选择的方法中有四种是无监督的,其余两种是有监督的。这些方法进行了评估与两个公开的日志数据集,其中包含近1600万日志消息和0.4万异常实例。我们相信我们的工作可以作为这一领域的基础,并有助于未来的学术研究和工业应用。
2022-01-11 cs.LG cs.SE
CLAD: Efficient Log Anomaly Detection Directly on Compressed Representations
Guangzhou University(广州大学)
CLAD是首个在压缩字节流上直接进行日志异常检测的深度学习框架,通过稀疏字节模式和多尺度偏差提取,实现高效检测并提升F1分数至0.9909。
2026-04-14 cs.DB cs.LG
Anomaly Detection Dataset for Industrial Control Systems
Mälardalens University(梅拉达伦大学);Research Institute of Sweden (RISE)(瑞典研究院(RISE))
本文提出了名为ICS-Flow的工业控制系统异常检测数据集,包含超过2500万个原始网络数据包、网络流记录和过程变量日志,并验证了其在训练决策树、随机森林等ML入侵检测模型中的有效性。
2023-05-11 cs.CR cs.LG
ADSAGE: Anomaly Detection in Sequences of Attributed Graph Edges applied to insider threat detection at fine-grained level
Atos Information Technology(Atos信息技术公司);University of Passau(帕绍大学)
以前的作品在CERT内部威胁检测的情况下,忽略了图形和文本功能,尽管它们的相关性来描述用户的行为。此外,现有系统严重依赖于特征工程和审计数据聚合来检测恶意活动。这是耗时的,需要专业知识,并防止追溯警报到精确的用户操作。为了解决这些问题,我们引入ADSAGE来检测异常的审计日志事件建模为图形边缘。我们的一般方法是第一个在边缘级别进行异常检测,同时支持边缘序列和属性,可以是数字,分类,甚至文本。我们描述了ADSAGE如何在CERT用例的不同审计日志中用于细粒度的事件级内部威胁检测。值得注意的是,没有标准的CERT问题的基准,我们使用以前提出的评估设置的基础上现实的召回为基础的指标。我们评估ADSAGE的身份验证,电子邮件流量和来自CERT内部威胁数据集的Web浏览日志,以及真实世界的身份验证事件。ADSAGE可以有效地检测身份验证中的异常,建模为用户与计算机的交互,以及电子邮件通信。简单的基线也会产生令人惊讶的强大结果。我们还报告了CERT数据集中存在的恶意场景的性能分裂:有趣的是,几个检测器是互补的,可以结合起来提高检测。总的来说,我们的研究结果表明,图特征是翔实的恶意内部活动的特征,并在细粒度级别的检测是可能的。
2020-07-14 cs.CR cs.LG stat.ML
Predictive modeling and anomaly detection in large-scale web portals through the CAWAL framework
SUBU
本研究提出基于CAWAL框架整合应用日志与Web分析数据,构建全面数据集并应用于Gradient Boosting和Random Forest等机器学习模型,实现用户行为预测准确率超92%并提升异常检测能力,为大规模Web门户提供高效可靠的解决方案。
2025-02-01 cs.IR cs.LG
Log-based Anomaly Detection based on EVT Theory with feedback
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Huawei Cloud Computing Technology Co., Ltd(华为云计算技术有限公司)
针对现有日志异常检测方法在大规模云系统中资源消耗高、适应性不足的问题,提出基于动态生长前缀树、支持专家/大模型反馈的轻量自适应框架SeaLog,在多数据集上有效性、速度和内存表现均优于基线。
2023-09-30 cs.LG cs.SE
ACE -- An Anomaly Contribution Explainer for Cyber-Security Applications
Purdue University(普渡大学);Micro Focus(微焦点)
在本文中,我们介绍了异常贡献解释器或ACE,一个工具来解释安全异常检测模型的模型功能,通过回归框架,及其变体,ACE-KL,突出了重要的异常贡献者。ACE和ACE-KL通过构建专门的线性模型来局部近似黑盒模型生成的异常分数,从而在诊断哪些属性对异常有显著影响方面提供见解。我们使用这些异常检测模型进行了实验,以检测合成数据和真实数据上的安全异常。特别是,我们评估了三个公共数据集的性能:CERT内部威胁,netflow日志和Android恶意软件。实验结果是令人鼓舞的:我们的方法始终确定正确的贡献功能的合成数据,其中地面真相是可用的;同样,对于真实的数据集,我们的方法点的方向的安全分析师异常的根本原因,包括在一种情况下,导致发现以前被忽视的网络扫描活动。我们已经公开了我们的源代码。
2020-02-29 cs.CR cs.LG stat.ML
Host-based anomaly detection using Eigentraces feature extraction and one-class classification on system call trace data
University of Toledo(托莱多大学);MIR Labs(MIR实验室)
本文提出了一种基于主机的异常检测方法,使用半监督算法,即一类分类器结合基于PCA的特征提取技术,称为特征跟踪系统调用跟踪数据。单类分类是基于使用参考分布生成一组人工数据,并将目标类概率函数与人工类密度函数相结合,以通过贝叶斯公式估计目标类密度函数。基准数据集,ADFA-LD,用于模拟研究。ADFA-LD数据集包含在Linux操作系统环境的各种正常和攻击过程中收集的数千个系统调用跟踪。为了预处理和提取特征,在系统调用跟踪数据上加窗,然后进行主成分分析,称为特征跟踪。目标类概率函数分别由径向基函数神经网络和随机森林机器学习器建模,用于性能比较。仿真研究表明,所提出的入侵检测系统提供了高性能的检测异常和正常活动的一组公认的指标,包括检测率,准确性,漏报率和误报率。
2019-11-25 cs.CR cs.LG stat.ML
GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection
University of California, Riverside(加州大学河滨分校);NEC Labs America(NEC美国实验室)
本文提出GLAD框架,通过提取日志字段构建动态图,并利用基于GNN和transformers的时间注意力模型捕获内容、结构和时间特征,有效检测系统日志中的关系异常。
2023-09-12 cs.IR cs.LG
KubeGuard: LLM-Assisted Kubernetes Hardening via Configuration Files and Runtime Logs Analysis
Department of Software and Information Systems Engineering(软件与信息系统工程系);Ben-Gurion University of The Negev(贝内杰尔大学)
针对Kubernetes普及带来的权限配置过宽等安全问题,提出运行时日志驱动的KubeGuard框架,借助LLM与提示链分析清单和日志,实现资源最小权限配置生成与优化,经评估具备高实用价值。
2025-09-04 cs.CR cs.LG
TransLog: A Unified Transformer-based Framework for Log Anomaly Detection
State Key Lab of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Cloudwise Research(云智慧研究院);University of Southern California(南加州大学);Bio-robot and human-computer interaction laboratory, Waseda University(早稻田大学生物机器人与人机交互实验室)
日志异常检测是IT运营人工智能(AIOps)领域的一个关键组成部分。考虑到不同域的日志数据,在实际工业场景中,特别是对于低资源域,对整个网络进行未知域的重新训练是低效的。然而,以往的深度模型只关注于提取同一领域的日志序列的语义,导致对多领域日志的泛化能力较差。因此,我们提出了一个统一的基于transformer的日志异常检测框架(\ourmethod{}),它包括预训练和基于适配器的调整阶段。我们的模型首先在源域上进行预训练,以获得日志数据的共享语义知识。然后,我们通过基于适配器的调整将预训练的模型转移到目标域。在三个公共数据集上对所提出的方法进行了评估,包括一个源域和两个目标域。实验结果表明,我们简单而有效的方法,在目标域中具有更少的可训练参数和更低的训练成本,在三个基准测试中达到了最先进的性能。
2022-01-17 cs.AI cs.LG
LogPurge: Log Data Purification for Anomaly Detection via Rule-Enhanced Filtering
Nankai University(南开大学);Huawei(华为);Tsinghua University(清华大学)
针对日志异常检测中干净训练数据获取成本高、现有自动清洗方法未结合日志特性的问题,提出规则增强的两阶段过滤净化框架LogPurge,在多数据集上实现了更优的异常净化与检测性能。
2025-11-18 cs.LG cs.SE
ECoLAD: Selecting Anomaly Detectors for Automotive Deployment via Compute-Reduction Evaluation
Mercedes-Benz AG(梅赛德斯-奔驰集团);Institute for Intelligent Systems(智能系统研究所);Esslingen University of Applied Sciences(埃斯林根应用科学大学)
本文提出ECoLAD评估协议,通过实车 telemetry 和公开基准测试,评估在受限 CPU 平行性下时间序列异常检测方法的效率与性能。
2026-07-14 cs.AI cs.LG
LogSieve: Task-Aware CI Log Reduction for Sustainable LLM-Based Analysis
Faculty of Information University of Toronto Toronto Ontario Canada(信息学院多伦多大学多伦多安大略加拿大);Department of Computer Science Trent University Peterborough Ontario Canada(计算机科学系特伦特大学彼得伯格安大略加拿大);Faculty of Information University of Toronto Toronto Ontario Ontario(信息学院多伦多大学多伦多安大略安大略);University of Toronto(多伦多大学);Trent University(特伦特大学)
LogSieve通过任务感知的日志缩减技术,有效减少CI日志体积并提升大语言模型推理的可持续性与可解释性。
2026-01-28 cs.LG cs.SE
syslrn: Learning What to Monitor for Efficient Anomaly Detection
NEC Laboratories Europe(NEC欧洲实验室)
虽然监视系统行为以检测异常和故障是重要的,但是基于日志分析的现有方法只能与日志中包含的信息一样好,并且查看OS级软件状态的其他方法引入了高开销。我们用syslrn来解决这个问题,syslrn是一个系统,它首先离线建立对目标系统的理解,然后根据学习到的正常行为的标识符来定制在线监控工具。虽然我们的syslrn原型仍然是初步的,缺乏许多功能,我们在一个案例研究中显示的OpenStack故障的监控,它可以优于最先进的日志分析系统,很少的开销。
2022-03-29 cs.DC cs.LG cs.OS
Architecting software monitors for control-flow anomaly detection through large language models and conformance checking
University of Naples Federico II(那不勒斯费德里科二世大学);University of Applied Sciences and Arts of Southern Switzerland(瑞士南部应用科学与艺术大学);University of Florence(佛罗伦萨大学);Linnaeus University(林奈大学)
本文提出利用大型语言模型和符合性检查构建软件监视器,以检测控制流异常。通过在铁路交通管理系统中测试,该方法实现了82.849%的控制流覆盖率和95.957%的F1分数。
2026-03-27 cs.LG cs.SE
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究所)
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术,但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要,一旦异常发生,就可以立即采取早期纠正措施。本文介绍了一种新的方法,事件日志异常检测的事件流,使用统计杠杆。杠杆作用已被广泛用于统计,以制定措施,以确定离群值,它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
Using Kernel SHAP XAI Method to optimize the Network Anomaly Detection Model
Bharati Vidyapeeth's Institute of Computer Applications and Management (BVICAM)(巴拉蒂·维德亚佩特计算机应用与管理学院);Aligarh Muslim University(阿里格尔穆斯林大学)
本文利用 XAI 的 kernelSHAP 方法检测并解释网络异常,以此优化模型,在 CICIDS2017 数据集上使无监督训练的 OPT_Model 准确率达 0.90、F 分数达 0.76。
2023-07-31 cs.CR cs.LG