Deep Learning for Prawn Farming: Forecasting and Anomaly Detection
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Agriculture & Food, CSIRO（澳大利亚联邦科学与工业研究组织农业与食品部）
我们提出了一个决策支持系统管理水质在对虾池塘。该系统以一种新颖的方式使用各种数据源和深度学习模型，提供24小时水质参数预测和异常检测。它为对虾养殖户提供了主动避免恶劣生长环境的工具，从而优化了生长并降低了库存损失的风险。这对农民来说是一个重大转变，他们被迫通过被动地纠正水质差的状况来管理池塘。据我们所知，我们是第一个应用Transformer作为异常检测模型，第一个应用异常检测一般这个水产养殖问题。我们的技术贡献包括为多变量数据调整ForecastNet，以及调整Transformer和Attention模型，以将天气预报数据纳入其解码器。我们达到了12%的平均溶解氧预测的平均绝对百分比误差，我们展示了两个异常检测的案例研究。该系统在商业对虾养殖场部署的第二年成功运行。
2022-05-12 cs.LG
FusionLog: Cross-System Log-based Anomaly Detection via Fusion of General and Proprietary Knowledge
School of Software & Microelectronics, Peking University（北京大学软件与微电子学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
FusionLog通过融合通用和专有知识实现跨系统日志基异常检测，无需目标系统标注数据，实验显示在零标注设置下F1分数超过90%。
2026-03-26 cs.LG cs.SE
Progressing from Anomaly Detection to Automated Log Labeling and Pioneering Root Cause Analysis
Technische Universität Berlin（柏林工业大学）
本文提出日志异常分类法并探索自动化数据标注，研究多种异常检测技术与异常类型的对齐，并展望异常检测后的根因分析，以提升IT系统韧性、运营效率和用户满意度。
2023-12-22 cs.LG cs.SE
Semi-supervised learning via DQN for log anomaly detection
Huazhong University of Science and Technology（华中科技大学）
提出半监督日志异常检测方法 DQNLog，通过深度强化学习结合少量标记与大规模未标记数据，设计偏向异常的状态转移函数与联合奖励函数，有效解决了数据不平衡与误报漏报高的问题。
2024-07-30 cs.LG cs.SE
Log-based Anomaly Detection based on EVT Theory with feedback
The Chinese University of Hong Kong（香港中文大学）；Sun Yat-sen University（中山大学）；Huawei Cloud Computing Technology Co., Ltd（华为云计算技术有限公司）
针对现有日志异常检测方法在大规模云系统中资源消耗高、适应性不足的问题，提出基于动态生长前缀树、支持专家/大模型反馈的轻量自适应框架SeaLog，在多数据集上有效性、速度和内存表现均优于基线。
2023-09-30 cs.LG cs.SE
ASTD Patterns for Integrated Continuous Anomaly Detection In Data Logs
Université de Sherbrooke（谢布鲁克大学）
本文提出ASTD模式及量化流算子，结合滑动窗口连续学习，实现数据日志中集成异常检测，简化系统设计。
2024-12-14 cs.LG cs.SE
LogGPT: Log Anomaly Detection via GPT
Utah State University（犹他州立大学）；Nokia Bell Labs（诺基亚贝尔实验室）
针对语言建模目标与日志异常检测不直接匹配的问题，本文提出 LogGPT 框架，利用 GPT 预测下一条日志，并通过强化学习微调以提升异常检测性能。
2023-12-11 cs.LG
Exploring Block Anomaly Detection In HDFS Log Data Analysis
本研究针对HDFS日志人工异常检测复杂枯燥的问题，提出结合LLM-BiLSTM模型与Kafka流式管道的检测方案，实现HDFS块异常的快速准确检测。
2026-08-03 cs.DC cs.LG cs.SE
On the Effectiveness of Log Representation for Log-based Anomaly Detection
Polytechnique Montreal（蒙特利尔理工学院）
本文系统比较了六种日志表示技术在四个公开日志数据集和七种机器学习模型上的异常检测效果，并分析了日志解析与特征聚合的影响，为自动化日志分析工作流中的表示技术选择提供了实证指导。
2024-04-08 cs.LG cs.SE
Enhancing Web Service Anomaly Detection via Fine-grained Multi-modal Association and Frequency Domain Analysis
Peking University（北京大学）；Nanyang Normal University（南阳师范学院）；Alibaba group（阿里巴巴集团）
针对Web服务中日志与指标粗粒度对齐及重构过度泛化问题，提出FFAD方法，利用基于图的对齐实现细粒度多模态关联，并结合傅里叶频率聚焦增强异常检测，F1值达93.6%。
2025-01-28 cs.LG cs.SE
LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics
Department of Computer Science（计算机科学系）；California State University, Fullerton（加州州立大学弗雷斯诺分校）
本文通过四个公开数据集评估了基于大语言模型和传统方法的日志异常检测，发现微调的Transformer模型在F1分数上表现最佳，而基于提示的LLM在零样本设置中展现出显著优势，且无需标注数据。
2026-04-14 cs.LG cs.SE
FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination
University of Alberta（阿尔伯塔大学）
针对现有无监督日志异常检测需额外数据、速度不足的问题，提出FastLogAD框架，通过掩码引导生成伪异常日志，基于嵌入范数实现无测试数据的阈值选择，在基准上性能更优且检测速度至少提升10倍。
2024-04-12 cs.LG
FedLAD: A Modular and Adaptive Testbed for Federated Log Anomaly Detection
City University of Hong Kong（香港城市大学）；Waseda University（早稻田大学）
FedLAD是一个模块化和自适应的测试平台，用于在联邦学习环境下训练和评估基于日志的异常检测模型，支持多种模型、数据集和聚合策略的集成，并提供自适应控制功能。
2025-12-09 cs.LG cs.SE
LogLLaMA: Transformer-based log anomaly detection with LLaMA
University of California, Irvine（加州大学欧文分校）
本研究提出基于LLaMA2的日志异常检测框架LogLLaMA，先在三个大规模正常日志数据集微调实现日志生成，再经强化学习训练识别异常，在多个基准数据集上性能超越现有最优方法。
2025-03-19 cs.CL cs.LG
A2Log: Attentive Augmented Log Anomaly Detection
Technische Universität Berlin（柏林工业大学）；Huawei（华为）
异常检测对于IT服务的可靠性和可服务性变得越来越重要。由于日志行记录IT服务执行期间的事件，因此它们是诊断的主要来源。因此，无监督方法提供了显着的好处，因为不是所有的异常都可以在训练时知道。现有的无监督方法需要异常的例子，以获得一个合适的决策边界所需的异常检测任务。这一要求造成了实际限制。因此，我们开发了A2Log，这是一种无监督的异常检测方法，包括两个步骤：异常评分和异常决策。首先，我们利用一个自我注意神经网络来执行每个日志消息的评分。其次，我们设置决策边界的基础上的数据增强的可用正常的训练数据。该方法在三个公开的数据集和一个行业数据集上进行了评估。我们表明，我们的方法优于现有的方法。此外，我们利用现有的异常的例子来设置最佳的决策边界，以获得强基线。我们表明，我们的方法，确定决策边界，而不利用异常的例子，可以达到分数的强基线。
2021-09-20 cs.LG
LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph Construction
Beihang University（北京航空航天大学）；Renmin University of China（中国人民大学）；Cloudwise Research（云智慧研究院）
LogLG提出通过日志事件图构建和子图标注器迭代生成伪标签的弱监督日志异常检测框架，利用关键词间语义连接，在五个基准上显著优于现有方法。
2023-04-11 cs.AI cs.LG cs.SE
What Information Contributes to Log-based Anomaly Detection? Insights from a Configurable Transformer-Based Approach
本文提出一种可配置的Transformer日志异常检测模型，通过不同长度日志序列和特征组合实验，发现事件发生信息对异常识别最关键，而序列与时间信息影响有限，并指出需构建更复杂的新数据集。
2025-03-11 cs.AI cs.LG cs.SE
OneLog: Towards End-to-End Training in Software Log Anomaly Detection
University of Oulu（奥卢大学）；University of Helsinki（赫尔辛基大学）
本文提出 OneLog，用单个字符级 CNN 端到端处理日志文本、数字与标点，取代传统四阶段流程，并在六个数据集及多种项目设置下验证其先进性能与跨数据集泛化能力。
2024-02-27 cs.LG cs.SE
LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection
Beihang University（北京航空航天大学）；Cloudwise Research（云智慧研究院）；Huawei（华为）
针对日志异常检测跨域泛化差的问题，提出基于Transformer的两阶段框架LogFormer，通过预训练共享语义知识、适配器微调迁移参数及Log-Attention模块，在多个数据集上以更少参数和更低成本证明了有效性。
2024-01-09 cs.AI cs.LG cs.SE
LogiCode: an LLM-Driven Framework for Logical Anomaly Detection
本文提出LogiCode框架，利用大语言模型自动生成Python代码检测工业逻辑异常，并通过LOCO-Annotations数据集和LogiBench基准验证其在准确率、可解释性等方面的提升。
2024-06-07 cs.CV cs.LG
Log-based Anomaly Detection of Enterprise Software: An Empirical Study
University of Calgary（卡尔加里大学）；York University（约克大学）
本文在规模较小且结构松散的工业日志数据集上实证评估多种先进异常检测模型，分析数据泄漏、缺陷类型和训练集大小对模型有效性的影响。
2023-10-31 cs.LG cs.SE
Seeing the Needle in the Haystack: Towards Weakly-Supervised Log Instance Anomaly Localization via Counterfactual Perturbation
Jinan University Guangzhou, China（广州吉林大学）；South China University of Technology Guangzhou, China（华南理工大学）
本文提出 LogMILP 框架，通过原型引导的结构建模与反事实扰动一致性正则化，在仅使用袋级标签的情况下实现日志异常检测与实例级定位，提升定位可靠性与可解释性。
2026-05-09 cs.AI cs.LG
Unsupervised Anomaly Detection in ALS EPICS Event Logs
本文为ALS的EPICS控制系统提出一种无监督异常检测框架，通过语义嵌入和序列感知神经网络对实时事件日志进行异常评分，帮助操作员快速识别系统故障前的关键事件序列。
2025-09-17 cs.LG
PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning
Technische Universität Berlin（柏林工业大学）
由于现代IT服务的复杂性，故障可能是多种多样的，发生在任何阶段，并且难以检测。因此，将异常检测应用于日志等监控数据，可以获得相关见解，以稳步改善IT服务并消除故障。然而，现有的异常检测方法，提供高精度往往依赖于标记的训练数据，这是耗时的，以获得在实践中。因此，我们提出了PADER，一个迭代日志分析方法的反应性异常检测的基础上估计的故障时间窗口提供的监测系统，而不是标记的数据。我们的基于注意力的模型使用了一种新的弱监督深度学习目标函数，该目标函数考虑了不平衡的数据，并对正样本和未知样本（PU学习）应用迭代学习策略来识别异常日志。我们的评估表明，PSTOM在三个不同的数据集上始终优于十个基准基线，并且即使在不精确的故障时间窗口内也能检测到F1分数超过0.99的异常日志消息。
2023-01-25 cs.LG
MLAD: A Unified Model for Multi-system Log Anomaly Detection
Renmin University of China（中国人民大学）；Beihang University（北京航空航天大学）；Cloudwise Research（云智慧研究院）
本文提出统一多系统日志异常检测模型MLAD，利用Sentence-bert语义向量、改进注意力层和高斯混合模型解决“恒等捷径”问题，并在三个真实数据集上验证其优越性。
2024-01-15 cs.AI cs.LG cs.SE
ClusterLog: Clustering Logs for Effective Log-based Anomaly Detection
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
随着高性能计算（HPC）环境中可伸缩文件系统的日益普及，对运行时日志进行准确的异常检测的重要性日益增加。但就目前而言，许多基于日志的异常检测的最先进方法（如DeepLog）在应用于来自许多并行文件系统（PFS）的日志时遇到了许多挑战，这通常是由于它们在基于时间的日志序列中的不规则性和模糊性。为了避免这些问题，本研究提出了一种日志预处理方法，聚类的时间序列的日志关键字的语义相似性的基础上，日志预处理方法。通过对语义和情感相似的日志进行分组，该方法旨在用最少的唯一日志键表示日志序列，旨在提高下游基于序列的模型有效学习日志模式的能力。初步实验结果表明，该方法不仅能有效地降低日志序列的粒度，而且不丢失重要的序列信息，而且对不同文件系统的日志具有通用性。
2023-01-19 cs.DC cs.LG
TPLogAD: Unsupervised Log Anomaly Detection Based on Event Templates and Key Parameters
School of Computer Science and Technology（计算机科学技术学院）；Fudan University（复旦大学）
本文提出无监督日志异常检测方法TPLogAD，通过template2vec和para2vec分别建模事件模板与关键参数，在四个公开数据集上取得优于现有方法的效果。
2024-11-22 cs.AI cs.CL cs.CY
Anomaly Detection in Certificate Transparency Logs
Faculty of Mathematics, Physics and Informatics（数学、物理与信息学院）；Comenius University（考门斯基大学）
针对 X.509 linter 合规测试的不足，本文提出基于 Isolation Forest 的证书异常检测方法，并在证书透明度日志样本上验证其识别合规性之外异常的能力。
2024-05-08 cs.CR cs.LG
How Far Should We Look Back to Achieve Effective Real-Time Time-Series Anomaly Detection?
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory（西穆拉研究实验室）
异常检测是识别数据中的意外事件或异常的过程，它已被应用于许多不同的领域，如系统监控、欺诈检测、医疗保健、入侵检测等。和主动异常检测的时间序列，既没有人为干预，也没有领域知识可能是非常有价值的，因为它减少了人类的努力，并使适当的对策，在灾难性事件发生之前。据我们所知，RePAD（实时的【形】主动异常检测算法）是一种具有所有上述功能的通用方法。为了实现实时的【形】和轻量级的检测，RePAD利用长短期记忆（LSTM）来检测每个即将到来的数据点是否基于短期历史数据点异常。然而，目前尚不清楚不同数量的历史数据点如何影响RePAD的性能。因此，在本文中，我们通过引入一组性能指标，包括新的检测准确性措施，时间效率，就绪性和资源消耗等，研究了不同数量的历史数据对RePAD的影响。基于真实世界的时间序列数据集进行了实证实验，以评估RePAD在不同场景下的性能，并对实验结果进行了介绍和讨论。
2023-01-09 cs.LG
Topological Data Analysis for Anomaly Detection in Host-Based Logs
The Alan Turing Institute（艾伦·图灵研究所）；The British Library（大英图书馆）
拓扑数据分析（TDA）使从业人员能够分析网络安全数据的全局结构。我们使用TDA在基于主机的日志中进行异常检测，这些日志是通过开源Logging Made Easy（LME）项目收集的。我们提出了一种方法，直接从Windows日志中建立单纯复合体的过滤，使其内在结构的分析，使用拓扑工具。我们比较持久的同源性和频谱图和超图拉普拉斯算子作为特征向量对标准日志嵌入计数事件的功效，并发现计算机日志的拓扑和频谱嵌入包含用于对异常日志进行分类的判别信息，该信息是标准嵌入的补充。最后，我们讨论了我们的方法被用作异常检测的一个可解释的框架的一部分的潜力。
2022-04-25 cs.AI cs.CR cs.LG
Extending Dynamic Bayesian Networks for Anomaly Detection in Complex Logs
University of Antwerp（安特卫普大学）
检查来自不同进程的各种日志文件可能是一项繁琐的任务，因为这些日志包含大量事件，每个事件都有（可能很大）数量的属性。我们开发了一种方法来自动建模日志文件和检测数据中的离群跟踪。为此，我们扩展了动态贝叶斯网络来模拟日志文件中的正常行为。我们引入了一种新的算法，能够从数据本身开始学习日志文件的模型。即使日志文件中出现新值或新的值组合，该模型也能够对跟踪进行评分。
2018-08-17 cs.AI cs.LG
Log Message Anomaly Detection and Classification Using Auto-B/LSTM and Auto-GRU
University of Victoria（维多利亚大学）
日志消息在软件系统中得到了广泛的应用。它们对于分类很重要，因为每天生成数百万个日志。大多数日志都是非结构化的，这使得分类成为一项挑战。本文开发了称为Auto-LSTM、Auto-BLSTM和Auto-GRU的深度学习（DL）方法，用于异常检测和日志分类。这些模型用于将非结构化日志数据转换为适合分类算法的提取特征。他们使用四个数据集进行评估，即BGL，OpenStack，Thunderbird和IMDB。前三个是流行的日志数据集，而第四个是用于情感分类的电影评论数据集。结果表明，Auto-LSTM、Auto-BLSTM和Auto-GRU的性能优于其他知名算法。
2021-04-07 cs.LG stat.ML
Multi-Source Anomaly Detection in Distributed IT Systems
TU Berlin（柏林工业大学）；Springer Heidelberg（施普林格·海德堡）；Princeton University（普林斯顿大学）；ABC Institute, Rupert-Karls-University Heidelberg（海德堡鲁珀特·卡尔斯大学ABC研究所）
分布式系统产生的多源数据提供了对系统的整体描述。通过学习模型利用不同模态的联合分布可以有益于用于维护分布式系统的关键应用。一个这样的重要任务是异常检测的任务，我们感兴趣的是检测系统的当前行为与理论预期的偏差。在这项工作中，我们利用联合表示从分布式的痕迹和系统日志数据的异常检测任务在分布式系统中。我们证明，联合利用的痕迹和日志产生更好的结果相比，单一的模态异常检测方法。此外，我们形式化的学习任务-下一个模板预测NTP，这是用来作为一个泛化的日志和分布式跟踪异常检测。最后，我们证明了这种形式化允许学习的痕迹和日志的模板嵌入。联合嵌入可以在其他应用程序中重用，作为跨度和日志的良好初始化。
2021-01-13 cs.DC cs.LG cs.SC
Anomaly Sequences Detection from Logs Based on Compression
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
从日志中挖掘信息是一个古老而活跃的研究课题。近年来，随着云计算的迅速兴起，日志挖掘对工业界的影响越来越大。针对日志挖掘的主要任务之一：异常检测，提出了一种新的从大日志中挖掘异常序列的方法。与以往基于统计、概率和马尔可夫假设的异常检测系统不同，本文提出的方法利用压缩来度量序列的奇异性。该算法首先利用基于文法的压缩训练出一个关于正常行为的文法，然后根据文法长度的增加来度量可疑序列的信息量和信息密度。我们已经将我们的方法应用于从细粒度的执行日志中挖掘一些真正的错误。我们还测试了它的入侵检测能力，使用一些公开的系统调用跟踪。实验结果表明，该方法能够成功地筛选出与漏洞或攻击相关的奇怪序列。
2011-09-08 cs.DS cs.LG
CSCLog: A Component Subsequence Correlation-Aware Log Anomaly Detection Method
Zhejiang University（浙江大学）；Alibaba Cloud Intelligence（阿里云智能）
本文提出CSCLog日志异常检测方法，通过LSTM捕获组件子序列内顺序依赖，利用隐式相关性编码器和GCN建模子序列间隐式相关性与信息交互，并用注意力机制融合嵌入，在四个公开日志数据集上取得优于最佳基线平均7.41%的Macro F1-Measure提升。
2023-07-07 cs.LG
Detecting Log Anomalies with Multi-Head Attention (LAMA)
Huawei Technologies Co., Ltd（华为技术有限公司）
异常检测是一个重要的和具有挑战性的课题，已经在不同的研究领域进行了研究。在这项工作中，我们探讨的任务日志异常检测（特别是计算机系统日志和用户行为日志）通过分析日志的顺序信息。我们提出了LAMA，一个基于多头注意力的顺序模型来处理日志流作为模板活动（事件）序列。应用下一事件预测任务来训练用于异常检测的模型。大量的实证研究表明，该模型优于现有的日志异常检测方法，包括统计和深度学习方法，验证了该方法在学习日志数据序列模式方面的有效性。
2021-01-07 cs.CR cs.LG
Data Drift Monitoring for Log Anomaly Detection Pipelines
IBM Research（IBM研究院）
本文提出一种基于贝叶斯因子的漂移检测方法，用于识别日志异常检测（LAD）模型何时需要人工介入、重训练和更新，并通过真实与模拟日志数据验证了其有效性。
2023-10-17 cs.LG cs.SY eess.SY
A Critical Review of Common Log Data Sets Used for Evaluation of Sequence-based Anomaly Detection Techniques
Center for Digital Safety & Security, Austrian Institute of Technology（数字安全与安全中心，奥地利技术研究所）
本文批判性分析了六个常用日志数据集，发现大多数异常与序列模式变化无直接关联，简单技术即可达到高检测率，质疑了现有基于序列的深度学习异常检测评估基准的合理性。
2023-09-06 cs.LG
LAnoBERT: System Log Anomaly Detection based on BERT Masked Language Model
Korea University（高丽大学）
本文提出无需解析器的 LAnoBERT，利用 BERT 掩码语言建模和逐日志键损失进行无监督系统日志异常检测，并在 HDFS、BGL、Thunderbird 上达到优于无监督基线、可比监督基线的效果。
2023-07-23 cs.CL cs.LG
Deep Learning for Anomaly Detection in Log Data: A Survey
Center for Digital Safety and Security, AIT Austrian Institute of Technology（奥地利技术研究所数字安全与安保中心）
本综述系统梳理了深度学习在日志数据异常检测中的应用，涵盖模型架构、数据预处理、检测技术与评估方法，旨在帮助读者理解不同架构特点并指出未来研究方向。
2023-05-15 cs.LG
Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs
Distributed and Operating Systems, TU Berlin（柏林工业大学分布式与操作系统）；Huawei Munich Research Center, Huawei Technologies（华为技术有限公司慕尼黑研究中心）
异常检测是保证计算机系统安全性和可靠性的重要挖掘任务。在几乎每一个计算机系统中，异常检测方法的数据源是常见的和主要的。它们收集一系列描述运行时系统状态的重要事件。最近的研究主要集中在一类深度学习方法对预定义的不可学习的数值日志表示。主要的限制是，这些模型不能学习日志表示描述正常和异常日志之间的语义差异，导致一个穷人的泛化看不见的日志。我们提出了Logsy，一种基于分类的方法来学习日志表示，以区分来自感兴趣系统的正常数据和来自辅助日志数据集的异常样本，可以通过互联网轻松访问。这种异常检测方法背后的想法是，辅助数据集具有足够的信息量来增强正常数据的表示，但又具有多样性来正则化以防止过拟合并提高泛化能力。我们提出了一个新的超球面损失函数的基于注意力的编码器模型。这使得学习紧凑的日志表示捕捉正常和异常日志之间的内在差异。从经验上讲，与以前的方法相比，我们在F1评分中平均提高了0.25。为了研究Logsy的属性，我们进行了额外的实验，包括评估辅助数据大小的影响，专家知识的影响，以及学习到的日志表示的质量。结果表明，学习的表示提高了以前的方法，如PCA的性能，相对提高了28.2%。
2020-08-21 cs.IR cs.LG stat.ML
Ti-iLSTM: A TinyDL Approach for Logic-Level Anomaly Detection in Industrial Water Treatment Systems
University of Waikato（怀卡托大学）；Auckland University of Technology（奥克兰理工大学）；Aalto University（阿尔托大学）；Luleå University of Technology（卢勒奥理工大学）
本文提出Ti-iLSTM框架，利用TinyDL实现轻量级设备端逻辑层异常检测，通过优化LSTM内存和空间占用，在SWaT和WADI数据集上均表现出高检测性能。
2026-05-15 cs.LG
LogTinyLLM: Tiny Large Language Models Based Contextual Log Anomaly Detection
Department of Mathematical Sciences, University of Texas at El Paso, El Paso, TX, USA SQC \& OR Unit, Indian Statistical Institute, Kolkata, India
本文提出基于LoRA和adapter的参数高效微调方法，利用小型LLMs在Thunderbird数据集上检测日志序列上下文异常，相比LogBert全量微调准确率提升18-19个百分点。
2025-07-15 cs.AI cs.CV cs.LG
Anomaly Detection for Network Connection Logs
D. J. Sanghvi College of Engineering（D.J.桑格维工程学院）；European Organisation for Nuclear Research（欧洲核子研究组织）
我们利用基于ELK、Spark和Hadoop的流架构，以近乎实时的方式收集、存储和分析数据库连接日志。该系统使用无监督学习调查离群值;日志数据的广泛采用的聚类和分类算法，通过离群值的可视化突出每个模型中的细微变化。到达一个新的解决方案来评估未标记的，未经过滤的连接日志，我们提出了一种方法，可以外推到一个通用的系统，分析连接日志在一个大型的基础设施，包括数千个单独的节点，并产生数百行日志每秒。
2018-12-01 cs.DC cs.LG stat.ML
RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information
Korea University（高丽大学）
针对传统日志异常检测需特定训练、难发现细微异常且实时性差的问题，提出免训练的RAPID模型，用PLM提取日志表示，结合基于检索的对比和核心集技术，实现了有竞争力的实时异常检测性能。
2023-11-09 cs.AI cs.LG
TransLog: A Unified Transformer-based Framework for Log Anomaly Detection
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Cloudwise Research（云智慧研究院）；University of Southern California（南加州大学）；Bio-robot and human-computer interaction laboratory, Waseda University（早稻田大学生物机器人与人机交互实验室）
日志异常检测是IT运营人工智能（AIOps）领域的一个关键组成部分。考虑到不同域的日志数据，在实际工业场景中，特别是对于低资源域，对整个网络进行未知域的重新训练是低效的。然而，以往的深度模型只关注于提取同一领域的日志序列的语义，导致对多领域日志的泛化能力较差。因此，我们提出了一个统一的基于transformer的日志异常检测框架（\ourmethod{}），它包括预训练和基于适配器的调整阶段。我们的模型首先在源域上进行预训练，以获得日志数据的共享语义知识。然后，我们通过基于适配器的调整将预训练的模型转移到目标域。在三个公共数据集上对所提出的方法进行了评估，包括一个源域和两个目标域。实验结果表明，我们简单而有效的方法，在目标域中具有更少的可训练参数和更低的训练成本，在三个基准测试中达到了最先进的性能。
2022-01-17 cs.AI cs.LG
GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection
University of California, Riverside（加州大学河滨分校）；NEC Labs America（NEC美国实验室）
本文提出GLAD框架，通过提取日志字段构建动态图，并利用基于GNN和transformers的时间注意力模型捕获内容、结构和时间特征，有效检测系统日志中的关系异常。
2023-09-12 cs.IR cs.LG
Concise Logarithmic Loss Function for Robust Training of Anomaly Detection Model
SK Planet Co., Ltd.（SK Planet有限公司）
本文提出对数均方误差（LMSE）损失函数，用于更稳定地训练异常检测模型，并通过数学分析、反向传播可视化、损失收敛和检测性能比较证明其优于传统均方误差（MSE），且有望推广至一般生成式神经网络。
2023-04-14 cs.AI cs.LG
Good Enough to Learn: LLM-based Anomaly Detection in ECU Logs without Reliable Labels
Dept. of AI, Big Data and Cloud（人工智能、大数据和云计算部门）
本文提出一种基于仅解码器大语言模型的ECU通信日志异常检测方法，通过熵正则化和最小示例学习，解决标签不一致与人工标注成本高的问题。
2025-07-01 cs.LG
Dividing Deep Learning Model for Continuous Anomaly Detection of Inconsistent ICT Systems
NTT Network Technology Laboratories, NTT Corporation（日本电信电话公司网络技术实验室）；PKSHA Technology（PK SHA技术公司）
健康监测对于维持可靠的信息和通信技术系统十分重要。基于机器学习的异常检测方法训练用于描述“正常性”的模型，有望用于监测ICT系统的状态。然而，当由于某些设备的更换而使被监视的日志数据的类型从训练数据的类型改变时，这些方法不能使用。因此，这样的方法可以消除当日志数据改变时出现的异常。为了解决这个问题，我们提出了一种基于日志数据相关性划分深度学习模型的ICT系统监控方法。我们还提出了一种算法，用于从深度学习模型中提取日志数据的相关性，并基于相关性分离日志数据。当一些日志数据发生变化时，我们的方法可以继续对不受日志数据变化影响的划分模型进行健康监测。我们提出的实验结果，包括基准数据和真实的日志数据，这表明，我们的方法使用划分的模型不降低异常检测的准确性和异常检测的模型可以被划分为继续监测网络状态，即使一些日志数据的变化。
2020-03-24 cs.LG cs.NI stat.AP
Anomaly Detection Using One-Class SVM for Logs of Juniper Router Devices
Posts and Telecommunications Institute of Technology（邮电技术学院）；National Cheng Kung University（成功大学）
本文提出一种从Juniper路由器日志中提取特征并基于One-Class SVM模型进行异常检测的新方法，能快速准确检测路由器系统错误以降低运营成本。
2023-05-21 cs.LG
Deep Learning-based Anomaly Detection and Log Analysis for Computer Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northeastern University（东北大学）；University of Southern California（南加州大学）
针对现有网络异常检测与日志分析方法存在的性能不稳定、误报率高及难以处理时序数据等问题，提出融合Isolation Forest、GAN与Transformer的创新模型，通过三者协同提升任务的准确性与鲁棒性，经实验验证可有效降低误报率、提前发现网络问题并提升系统稳定性。
2024-09-14 cs.CR cs.LG
Anomaly Detection in OKTA Logs using Autoencoders
Adobe（奥多比公司）
针对Okta日志中基于规则的检测模型存在的回溯期受限、易产生误报等问题，提出采用自编码器无监督技术，通过对日志数据进行转换与简化处理并输入模型评估输出，以实现更有效的异常检测。
2024-11-11 cs.CR cs.LG
Towards Understanding LLM-Based Log Anomaly Detection: An Empirical Study of Performance, Efficiency, and Robustness
Beijing Jiaotong University（北京交通大学）；University of Florida（佛罗里达大学）
本研究通过三个公开数据集上的系统实验，探究大语言模型在日志异常检测中的适应策略、架构、规模与量化对性能、效率和鲁棒性的影响，揭示性能差异与实用考量。
2026-09-28 cs.CR cs.LG
