MicLog: Towards Accurate and Efficient LLM-based Log Parsing via Progressive Meta In-Context Learning
MicLog通过渐进元内省学习提升日志解析准确性和效率，实现更高精度与更快处理速度。
2026-01-11 cs.AI cs.SE
Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging
Beihang University（北京航空航天大学）；Yantai University（烟台大学）；China Telecom（中国电信）
针对现有日志解析依赖人工规则且忽略语义信息的问题，本文提出Lemur框架，采用熵采样聚类日志和思维链合并模板，利用LLM语义理解，在大规模公共数据集上达到最先进性能。
2025-03-26 cs.AI cs.SE
LILAC: Log Parsing using LLMs with Adaptive Parsing Cache
提出首个基于自适应解析缓存的LLM日志解析框架LILAC，利用上下文学习和分层候选采样提升准确性，通过缓存机制降低查询开销，在公开数据集上模板准确率F1分数提升69.5%且效率媲美最快基线。
2024-03-22 cs.SE
LogLSHD: Fast Log Parsing with Locality-Sensitive Hashing and Dynamic Time Warping
本文提出日志解析方法 LogLSHD，结合局部敏感哈希和动态时间规整技术，在提升模板提取准确率的同时大幅缩短解析时间。
2025-04-02 cs.SE
Log Parsing Evaluation in the Era of Modern Software Systems
针对现代软件系统日志解析处理异构真实日志的低效问题，评估14种主流方法，提出工具Logchimera生成合成日志以估计行业场景下的解析性能，连接研究与工业实践。
2023-08-17 cs.SE
VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing
Peking University（北京大学）
VarParser通过变量中心策略提升日志解析效率，减少LLM调用成本，保留变量信息增强结果完整性。
2026-03-12 cs.SE
LogPTR: Variable-Aware Log Parsing with Pointer Network
Ant Group（蚂蚁集团）
LogPTR通过将日志解析视为文本摘要问题，利用指针网络提取日志中的静态和动态部分并识别变量类别，优于现有日志解析器。
2026-03-13 cs.SE
Documentation based Semantic-Aware Log Parsing
随着深度学习技术的最新进展，人们对将机器学习应用于日志数据的兴趣迅速增长。作为日志分析的基本部分，将原始日志转换为结构化事件的准确日志解析对于后续的机器学习和数据采掘任务至关重要。以前的方法要么分析源代码进行解析，要么是数据驱动的，如文本聚类。他们在很大程度上忽视了利用另一种广泛可用且有价值的资源，即为消息提供详细解释的软件文档，以提高准确性。在本文中，我们提出了一种方法和系统框架，使用文档知识的日志解析。通过参数值识别，不仅可以提高文档化消息的解析精度，而且可以提高文档化消息的解析精度。此外，它可以发现通过共享参数建立的事件模板之间的联系，并指示事件上下文的相关性。
2022-02-15 cs.SE
DeepParse: Hybrid Log Parsing with LLM-Synthesized Regex Masks
Queen’s University（女王大学）
本文提出DeepParse，通过LLM提取日志变量模式并结合Drain算法实现高效准确的日志解析，提升提取精度与一致性，降低误报并提升效率。
2026-04-22 cs.SE
LogStamp: Automatic Online Log Parsing Based on Sequence Labelling
数据是服务管理中最关键的数据之一。它包含服务和用户的丰富的运行时信息。由于日志的大小通常是巨大的，并且具有自由的手写结构，因此典型的基于日志的分析需要首先将日志解析为结构化格式。然而，我们观察到，大多数现有的日志解析方法不能解析日志在线，这是必不可少的在线服务。本文提出了一种在线日志自动解析方法LogStamp。我们在五个公共数据集上广泛评估了LogStamp，以证明我们所提出的方法的有效性。实验表明，我们提出的方法可以达到很高的准确率，只有一小部分的训练集。例如，当仅使用10%的数据训练时，它可以实现0.956的平均准确度。
2022-08-10 cs.SE
InferLog: Accelerating LLM Inference for Online Log Parsing via ICL-oriented Prefix Caching
提出InferLog，首个面向在线日志解析的LLM推理优化方法，通过前缀感知ICL精炼策略和基于元学习的配置调优流水线，在不损失准确率的前提下显著加速推理。
2025-09-16 cs.SE
Log Parsing using LLMs with Self-Generated In-Context Learning and Self-Correction
针对LLM日志解析器模板不准及过度依赖历史数据的问题，提出AdaParser框架，通过自生成上下文学习与模板校正器实现自适应校正，在多数据集上显著提升了解析准确率。
2025-02-03 cs.SE
Optimized Log Parsing with Syntactic Modifications
该研究通过实证对比不同类型日志解析器与架构的性能，提出两阶段架构中的SynLog+模板识别模块，在几乎无额外开销的情况下显著提升两类解析器的准确率。
2025-10-30 cs.SE
Adaptive and Efficient Log Parsing as a Cloud Service
本文提出面向云环境的ByteBrain-LogParser日志解析框架，通过层次聚类与位置相似度、去重和哈希编码优化，实现每秒处理22.9万条日志，较最快基线加速840%且保持领先准确率。
2025-04-12 cs.SE
Log Parsing with Prompt-based Few-shot Learning
大型软件系统产生的故障信息为工程师了解系统状态和诊断系统问题提供了重要信息。日志解析将原始日志消息转换为结构化数据，这是启用自动日志分析的第一步。现有的日志解析器使用统计特征提取公共部分作为日志模板。然而，这些日志解析器经常无法识别正确的模板和参数，因为：1）它们经常忽略日志消息的语义含义，以及2）它们需要针对不同日志数据集的特定于域的知识。为了解决现有方法的局限性，在本文中，我们提出LogPPT使用基于模板的少样本学习来捕获模板的模式。LogPPT利用一种新的提示微调方法来识别关键字和参数的基础上，一些标记的日志数据。此外，自适应随机抽样算法的设计，以选择一个小而多样的训练集。我们在16个公共日志数据集上进行了广泛的实验。实验结果表明，LogPPT是一种有效的日志解析工具。
2023-02-15 cs.SE
Self-Supervised Log Parsing
TU Berlin（柏林工业大学）；University of Coimbra（科英布拉大学）
在软件系统的开发和维护过程中，广泛使用XML。它们收集运行时事件，并允许跟踪代码执行，从而支持各种关键任务，如故障排除和故障检测。然而，大型软件系统会产生大量的半结构化日志记录，这对自动化分析提出了重大挑战。将具有自由格式文本日志消息的半结构化记录解析为结构化模板是实现进一步分析的第一步也是关键的一步。现有的方法依赖于特定于日志的语法或手动规则提取。它们通常专门用于解析某些日志类型，因此限制了性能得分和泛化。我们提出了一种新的解析技术称为NuLog，利用自监督学习模型，并制定了作为屏蔽语言建模（MLM）的解析任务。在解析过程中，模型以向量嵌入的形式从日志中提取摘要。这允许MLM作为预训练与下游异常检测任务的耦合。我们评估了NuLog在10个真实日志数据集上的解析性能，并将结果与12种解析技术进行了比较。结果表明，NuLog在解析准确率方面优于现有方法，平均为99%，并实现了与地面真实模板的最小编辑距离。此外，两个案例研究进行了证明的能力，基于日志的异常检测方法在监督和无监督的情况下。结果表明，NuLog可以成功地用于支持故障排除任务。该实现可在https://github.com/nulog/nulog上获得。
2020-03-17 cs.LG cs.SE
Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs
针对基于 LLM 的日志解析依赖演示且调用成本高的问题，提出无需训练或标注的 LogBatcher，通过聚类分区、缓存模板匹配和分区日志批处理提示，在 16 个公开数据集上实现高效准确解析。
2024-06-12 cs.SE
Lost in Translation? Converting RegExes for Log Parsing into Dynatrace Pattern Language
Dynatrace Austria GmbH（Dynatrace奥地利公司）；University of Klagenfurt（克雷格福尔大学）
针对日志解析正则表达式向 Dynatrace 模式语言迁移的难题，提出 Reptile 工具，结合规则与尽力而为方法并集成 GPT-4 优化，实验表明安全转换率达 73.7%，优化效果显著。
2025-06-24 cs.AI cs.SE
Token Interdependency Parsing (Tipping) -- Fast and Accurate Log Parsing
M3S, University of Oulu（奥卢大学 M3S）；Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；M3S, Oulu（M3S）
针对海量日志自动化解析需求，本文提出快速高精度日志解析器Tipping，融合分词、依赖图等技术并支持并行，在准确率、性能上优于现有最优方法，可高效处理大规模日志。
2025-11-18 cs.SE
Tools and Benchmarks for Automated Log Parsing
在许多软件系统的开发和维护过程中，测试是必不可少的。它们记录详细的运行时信息，使开发人员和支持工程师能够监控他们的系统并分析异常行为和错误。然而，现代软件系统的规模和复杂性不断增加，使得日志的数量呈爆炸式增长。在许多情况下，传统的人工日志检查方式变得不切实际。最近的许多研究以及工业工具都求助于强大的文本搜索和基于机器学习的分析解决方案。由于日志的非结构化性质，第一个关键步骤是将日志消息解析为结构化数据，以便进行后续分析。近年来，日志自动解析技术在学术界和工业界得到了广泛的研究，产生了一系列基于不同技术的日志解析器。为了更好地了解这些日志解析器的特点，在本文中，我们提出了一个全面的评估研究自动日志解析，并进一步发布的工具和基准测试，以便于重用。更具体地说，我们评估了13个日志解析器，共16个日志数据集，跨越分布式系统，超级计算机，操作系统，移动系统，服务器应用程序和独立软件。我们报告的基准测试结果的准确性，鲁棒性和效率，这是在生产中部署自动化日志解析的实际重要性。我们还分享了华为工业应用的成功案例和经验教训。我们相信，我们的工作可以作为基础，并提供有价值的指导，未来的研究和部署的自动日志解析。
2019-01-03 cs.SE
LUNAR: Unsupervised LLM-based Log Parsing
本文提出无监督 LLM 日志解析方法 LUNAR，通过混合排序检索日志对比单元并设计对比解析提示，在无标注条件下提升解析准确性与效率。
2024-08-08 cs.SE
A Directed Acyclic Graph Approach to Online Log Parsing
在现代软件系统管理中，数据库被广泛使用，因为它们通常是在运行时记录系统事件的唯一可访问的数据。近年来，由于日志规模的不断增加，数据采掘技术经常被用来帮助开发人员和运营商进行系统可靠性管理。一个典型的基于日志的系统可靠性管理过程是首先解析日志消息，因为它们的非结构化格式;并应用数据采掘技术在解析的日志上获得关键的系统行为信息。现有的研究大多集中于离线日志解析，需要以批处理方式解析日志。然而，软件系统，特别是分布式系统，需要在线监控和维护。因此，非常需要能够以流式方式解析日志消息的日志解析器。为了解决这个问题，我们提出了一个在线日志解析方法，即排水，基于有向无环图，编码专门设计的规则进行解析。Drain可以自动为新系统生成有向无环图，并根据传入的日志消息更新该图。此外，Drain允许开发人员在没有预定义参数的情况下使用Drain，从而使他们摆脱了参数调优的负担。为了评估排水的性能，我们收集了11个日志数据集生成的真实世界的系统，从分布式系统，Web应用程序，超级计算机，操作系统，独立的软件。实验结果表明，Drain在所有11个数据集上具有最高的准确率。此外，Drain在运行时间上比最先进的在线解析器提高了37.15\% $\sim$ 97.14\%。我们还进行了一个基于日志的异常检测任务的案例研究，使用排水在解析步骤，这决定了它在系统可靠性管理的有效性。
2018-06-12 cs.SE
Unified Semantic Log Parsing and Causal Graph Construction for Attack Attribution
本文提出统一框架 UTLParser，通过语义分析融合多源日志子图构建因果图，并利用威胁狩猎领域知识实现精确的攻击归因与威胁信息提取。
2024-11-22 cs.SE
HELP: Hierarchical Embeddings-based Log Parsing
Iudex AI（艾欧德克斯人工智能公司）；Harvey Mudd College（哈维穆德学院）
针对现有日志解析器泛化差、实时性不足、易受日志漂移影响的问题，提出基于分层嵌入的在线语义日志解析器HELP，通过分层嵌入降本、迭代重平衡抗漂移，在14个公开数据集和生产环境中均表现出更优的性能与实用性。
2024-08-15 cs.LG cs.SE
TRAIL: Towards Effective Log Parsing for Rare Logs through Template-Preserving Augmentation
University of Alberta（阿尔伯塔大学）；University of Yourk（约克大学）
针对日志解析中稀有模板性能差的问题，提出TAILOR框架，通过模板保持增强丰富稀有日志组，提升解析准确率19%，且兼容不同大语言模型。
2026-09-23 cs.SE
AWSOM-LP: An Effective Log Parsing Technique Using Pattern Recognition and Frequency Analysis
为用户提供有用的见解，以帮助完成各种开发和操作任务。问题是日志通常是非结构化的，这使得它们的分析成为一项复杂的任务。这主要是由于缺乏日志记录的指导方针和最佳实践，以及软件开发人员可以使用的大量日志库。存在旨在自动解析大日志的研究。主要目标是从日志数据样本中提取模板，用于识别未来的日志。在本文中，我们提出了AWSOM-LP，一个强大的日志解析和抽象工具，这是高度准确，稳定，高效。AWSOM-LP是建立在应用模式识别和频率分析的思想。首先，使用简单的文本处理方法将日志事件组织成模式。然后将频率分析本地应用于同一组的实例，以识别日志事件的静态和动态内容。当应用于LogPai项目的16个日志数据集时，AWSOM-LP实现了93.5%的平均分组准确率，优于五个领先的日志解析工具，即Logram，Lenma，Drain，IPLoM和AEL。此外，AWSOM-LP可以从整个日志数据集的10%到50%生成超过80%的最终日志模板，并且可以在平均5分钟的时间内解析多达100万个日志事件。AWSOM-LP是一个在线开源软件。它可以被从业者和研究人员用来有效地和高效地解析大型日志文件，以支持日志分析任务。
2021-10-29 cs.SE
On Automatic Parsing of Log Records
Ryerson University（瑞尔森大学）
软件日志分析有助于维护软件解决方案的运行状况，并确保合规性和安全性。现有的软件系统由以各种格式发出日志的异构组件组成。一个典型的解决方案是使用手工构建的解析器来统一日志，这很费力。相反，我们探索的可能性，自动化的解析任务，采用机器翻译（MT）。我们创建了一个生成合成Apache日志记录的工具，我们使用它来训练基于递归神经网络的MT模型。对真实日志的测试表明，该模型能够学习Apache日志格式，并能够解析日志记录。一个实际的真实世界的日志记录和MT预测之间的中值相对编辑距离小于或等于28%。因此，我们表明，使用MT方法的日志解析是有前途的。
2021-02-12 cs.CL cs.LG cs.SE
Unlocking the Power of Numbers: Log Compression via Numeric Token Parsing
针对基于解析器的日志压缩器存在的解析与压缩目标不一致、性能不稳定和处理时间长等问题，本文提出Denum，通过数值令牌解析模块和字符串处理模块分别处理数值令牌和剩余内容，在16个日志数据集上实现了显著更高的压缩比和更快的压缩速度。
2024-08-11 cs.SE
Preprocessing is All You Need: Boosting the Performance of Log Parsers With a General Preprocessing Framework
本文针对基于统计的日志解析器性能瓶颈，基于 Loghub 研究现有预处理方法并提出通用预处理框架，显著提升 Drain 等解析器的多项指标。
2024-12-06 cs.SE
Hue: A User-Adaptive Parser for Hybrid Logs
本文定义混合日志解析问题，提出用户自适应解析器 Hue，通过通配符转换、行聚合、模式提取及合并-拒绝反馈机制，在混合与单行日志上均取得优异效果并已生产部署。
2023-08-14 cs.SE
A Comparative Study on Large Language Models for Log Parsing
Simula Research Laboratory（西玛拉研究实验室）；BI Norwegian Business School（BI挪威商学院）
本文比较了六种最新大语言模型在日志解析任务上的表现，发现免费开放的代码专用模型（如CodeLlama）可超越付费模型GPT-3.5，正确提取模板数高出10%，表明小型免费LLMs能有效辅助日志解析。
2024-09-04 cs.CL cs.SE
A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We?
为解决现有日志解析基准规模与代表性不足的问题，本文提出大规模数据集Loghub-2.0，并引入新评估指标对15个先进解析器进行严格重评估，首次探讨其在罕见系统事件上的细粒度性能。
2024-03-23 cs.SE
CelerLog: Fast Log Parsing via Dynamic Routing
Sun Yat-sen University（中山大学）；Singapore Management University（新加坡管理大学）
提出CelerLog，通过动态路由将日志分为密集和稀疏组，分别用统计方法和LLM处理，在保持高精度的同时大幅提升速度和降低成本。
2026-05-25 cs.SE
When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads
University of Toronto（多伦多大学）
该研究推出GF-Bench框架与数据集，评估多种日志分析方法在分布式GPU工作负载故障检测中的表现，发现通用日志解析会丢失关键上下文，而原始日志结合LogPrompt可实现高检测精度但成本更高。
2026-10-30 cs.AI cs.DC cs.LG
Reducing Events to Augment Log-based Anomaly Detection Models: An Empirical Study
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
本研究针对现有基于日志的异常检测方法依赖海量日志、效率低且易受噪声干扰的问题，通过实证分析日志数量与异常表征效果的关联，提出LogCleaner日志精简方法，可减少超70%日志、提速约300%并提升检测性能。
2024-09-15 cs.AI cs.SE
On Sequence-to-Sequence Models for Automated Log Parsing
Toronto University（多伦多大学）
本研究系统评估了四种序列建模架构（Transformer、Mamba、单/双向LSTM）在自动化日志解析中的性能，发现Transformer表现最佳，Mamba在计算成本较低时具有竞争力，并分析了表示选择、序列长度和数据效率的影响。
2026-06-12 cs.CL cs.SE
ECLIPSE: Semantic Entropy-LCS for Cross-Lingual Industrial Log Parsing
Beihang University（北京航空航天大学）；Haier Smart Home（海尔智家）；Cloudwise Research（青云研究）
针对工业日志解析中海量模板与跨语言语义匹配难题，提出基于语义熵-最长公共子序列的ECLIPSE方法，结合数据驱动算法与LLM语义提取，并发布中英文基准，实现性能与效率的双重领先。
2024-05-24 cs.CL cs.SE
Prompting for Automatic Log Template Extraction
本文提出 DivLog 框架，利用 LLM 的上下文学习能力，通过多样性候选选择和示例提示实现免训练日志模板提取，并在16个公共数据集上取得最先进性能。
2024-02-29 cs.SE
LLM-SrcLog: Towards Proactive and Unified Log Template Extraction via Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
LLM-SrcLog通过结合源代码分析与大语言模型，实现前瞻性日志模板提取，提升解析效率和准确性。
2025-12-04 cs.SE
Small is Beautiful: A Practical and Efficient Log Parsing Framework
Singapore Management University（新加坡管理大学）
本文提出EFParser，一种基于LLM的日志解析器，通过架构创新提升小型模型性能，实验证明其在小型模型上优于现有方法12.5%。
2026-03-29 cs.SE
LogLLM: Log-based Anomaly Detection Using Large Language Models
SJTU（上海交通大学）；QUT（昆士兰科技大学）
针对传统深度学习方法难以捕捉日志语义的问题，提出LogLLM框架，结合BERT提取语义向量、Llama分类日志序列及投影器对齐向量空间，无需日志解析器，实验显示其在四个数据集上优于现有方法且能处理不稳定日志。
2026-10-02 cs.AI cs.SE
SCOPE: Tree-based Self-Correcting Online Log Parsing via Syntactic-Semantic Collaboration
Zhejiang Sci-Tech University（浙江理工大学）
SCOPE通过语法-语义协作框架，结合轻量NLP模型和LLM，实现高效准确的日志解析，平衡效率与效果。
2026-03-28 cs.CL cs.SE
UniParser: A Unified Log Parser for Heterogeneous Log Data
它为工程师诊断大规模在线服务系统中的故障提供第一手信息。日志解析将半结构化的原始日志信息转换为结构化的数据，是实现基于日志的异常检测和诊断等自动化日志分析的前提。现有的日志解析器都遵循将公共部分提取为模板，动态部分提取为参数的基本思想。然而，这些日志解析方法，往往忽略了日志消息的语义意义。此外，各种日志源之间的高度多样性也构成了跨不同系统的日志解析的通用化的障碍。在本文中，我们提出了UniParser捕获常见的日志行为从异构日志数据。UniParser利用令牌编码器模块和上下文编码器模块从日志令牌及其相邻上下文中学习模式。上下文相似性模块是专门设计来模拟学习模式的共性。我们已经在16个公共日志数据集上进行了大量的实验，我们的结果表明，UniParser大大优于最先进的日志解析器。
2022-02-14 cs.SE
LogGPT: Exploring ChatGPT for Log-Based Anomaly Detection
Beihang University（北京航空航天大学）；Concordia University（康考迪亚大学）
LogGPT利用ChatGPT的语言理解能力构建日志异常检测框架，在BGL和Spirit数据集上优于三种深度学习方法，展现出良好性能与可解释性。
2023-09-03 cs.AI cs.LG cs.SE
KELP: Robust Online Log Parsing Through Evolutionary Grouping Trees
StoneBuck Labs（StoneBuck实验室）
KELP通过进化分组树实现鲁棒的在线日志解析，克服传统静态模板模型的局限，提升解析准确性和吞吐量。
2026-01-02 cs.DB cs.SE
Graph Neural Networks based Log Anomaly Detection and Explanation
Leiden University（莱顿大学）
提出 Logs2Graphs 与 OCDiGCN，将事件日志构建为带属性有向加权图并进行无监督图级异常检测，同时给出关键节点解释，在五个基准上性能优异。
2024-01-24 cs.AI cs.LG cs.SE
Practitioners' Expectations on Log Anomaly Detection
针对当前研究未明确从业者对日志异常检测期望的问题，本研究通过调查36国312名从业者并结合2014-2024年顶级会议文献综述，明确影响工具采用的因素及研究与需求的差距，为技术优化提供方向。
2024-12-02 cs.SE
Too Sure to Be Safe: Model Calibration for Reliable Log Anomaly Detection
Beijing Jiaotong University（北京交通大学）；University of Florida（佛罗里达大学）
针对基于语言模型的日志异常检测器置信度校准差的问题，提出轻量级事后校准框架LoRD，经实验验证其可提升置信度可靠性并减少过度自信异常相关错误且不牺牲检测性能。
2026-09-28 cs.AI cs.LG cs.SE
AnomalyGen: An Automated Semantic Log Sequence Generation Framework with LLM for Anomaly Detection
针对基于日志的异常检测中高质量公共日志数据集稀缺的问题，提出首个自动化日志合成框架AnomalyGen，通过四阶段架构整合程序分析与CoT推理，生成的日志提升事件覆盖38-95倍，增强基准数据集后模型F1分数最大提升3.7%。
2025-04-16 cs.SE
AnomalyGen: Enhancing Log-Based Anomaly Detection with Code-Guided Data Augmentation
Sun Yat-sen University（中山大学）；Singapore Management University（新加坡管理大学）
本文提出AnomalyGen框架，通过合成带标签的日志序列增强训练数据，结合日志导向的静态分析与大语言模型推理，提升异常检测性能，实验显示在HDFS和Zookeeper上多个模型的F1分数均有显著提升。
2026-04-13 cs.SE
DeLog: An Efficient Log Compression Framework with Pattern Signature Synthesis
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Southwest Jiaotong University（西南交通大学）；ByteDance（字节跳动）
DeLog通过模式签名合成机制实现高效日志压缩，发现压缩比由有效模式分组决定，优于现有方法。
2026-01-22 cs.OS cs.SE
Cross-System Software Log-based Anomaly Detection Using Meta-Learning
针对日志异常检测中的标注成本高、日志演变和跨系统适应挑战，提出基于元学习的CroSysLog工具，利用源系统训练并少量样本适应目标系统，在四个超算系统上验证了其高效性与适应性。
2025-01-25 cs.SE
Grand Challenge: Optimized Stage Processing for Anomaly Detection on Numerical Data Streams
2017年大挑战赛的重点是自动检测制造设备的异常问题。本文报告的技术细节的解决方案侧重于特定的优化处理阶段。这些包括定制的输入解析，微调的k-means聚类算法和概率分析使用一个懒惰的味道马尔可夫链。我们在自定义实现中观察到，通过利用各种数据流特征在单节点级别仔细调整这些处理阶段可以产生良好的性能结果。我们开始的文件与几个观察有关的输入数据流，以下与我们的解决方案的描述与细节，特别是优化，我们结束与评估和讨论所获得的结果。
2017-12-22 cs.DS cs.PF cs.SE
LogDP: Combining Dependency and Proximity for Log-based Anomaly Detection
日志分析是工程师用于大型面向服务系统故障排除的重要技术。在这项研究中，我们提出了一种新的半监督日志异常检测方法，LogDP，它利用日志事件之间的依赖关系和日志序列之间的邻近性来检测大量未标记日志数据中的异常。LogDP将日志事件分为依赖事件和独立事件，然后利用依赖性学习依赖事件的正常模式，利用邻近度学习独立事件的正常模式。违反任何正常模式的事件都被识别为异常。通过结合依赖性和邻近性，LogDP能够实现高检测精度。在真实世界的数据集上进行了大量的实验，结果表明LogDP优于六种最先进的方法。
2021-10-05 cs.DC cs.SE
