LogPTR: Variable-Aware Log Parsing with Pointer Network
Ant Group（蚂蚁集团）
LogPTR通过将日志解析视为文本摘要问题，利用指针网络提取日志中的静态和动态部分并识别变量类别，优于现有日志解析器。
2026-03-13 cs.SE
Token Interdependency Parsing (Tipping) -- Fast and Accurate Log Parsing
M3S, University of Oulu（奥卢大学 M3S）；Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；M3S, Oulu（M3S）
针对海量日志自动化解析需求，本文提出快速高精度日志解析器Tipping，融合分词、依赖图等技术并支持并行，在准确率、性能上优于现有最优方法，可高效处理大规模日志。
2025-11-18 cs.SE
Prompting for Automatic Log Template Extraction
本文提出 DivLog 框架，利用 LLM 的上下文学习能力，通过多样性候选选择和示例提示实现免训练日志模板提取，并在16个公共数据集上取得最先进性能。
2024-02-29 cs.SE
Tools and Benchmarks for Automated Log Parsing
在许多软件系统的开发和维护过程中，测试是必不可少的。它们记录详细的运行时信息，使开发人员和支持工程师能够监控他们的系统并分析异常行为和错误。然而，现代软件系统的规模和复杂性不断增加，使得日志的数量呈爆炸式增长。在许多情况下，传统的人工日志检查方式变得不切实际。最近的许多研究以及工业工具都求助于强大的文本搜索和基于机器学习的分析解决方案。由于日志的非结构化性质，第一个关键步骤是将日志消息解析为结构化数据，以便进行后续分析。近年来，日志自动解析技术在学术界和工业界得到了广泛的研究，产生了一系列基于不同技术的日志解析器。为了更好地了解这些日志解析器的特点，在本文中，我们提出了一个全面的评估研究自动日志解析，并进一步发布的工具和基准测试，以便于重用。更具体地说，我们评估了13个日志解析器，共16个日志数据集，跨越分布式系统，超级计算机，操作系统，移动系统，服务器应用程序和独立软件。我们报告的基准测试结果的准确性，鲁棒性和效率，这是在生产中部署自动化日志解析的实际重要性。我们还分享了华为工业应用的成功案例和经验教训。我们相信，我们的工作可以作为基础，并提供有价值的指导，未来的研究和部署的自动日志解析。
2019-01-03 cs.SE
LUNAR: Unsupervised LLM-based Log Parsing
本文提出无监督 LLM 日志解析方法 LUNAR，通过混合排序检索日志对比单元并设计对比解析提示，在无标注条件下提升解析准确性与效率。
2024-08-08 cs.SE
UniParser: A Unified Log Parser for Heterogeneous Log Data
它为工程师诊断大规模在线服务系统中的故障提供第一手信息。日志解析将半结构化的原始日志信息转换为结构化的数据，是实现基于日志的异常检测和诊断等自动化日志分析的前提。现有的日志解析器都遵循将公共部分提取为模板，动态部分提取为参数的基本思想。然而，这些日志解析方法，往往忽略了日志消息的语义意义。此外，各种日志源之间的高度多样性也构成了跨不同系统的日志解析的通用化的障碍。在本文中，我们提出了UniParser捕获常见的日志行为从异构日志数据。UniParser利用令牌编码器模块和上下文编码器模块从日志令牌及其相邻上下文中学习模式。上下文相似性模块是专门设计来模拟学习模式的共性。我们已经在16个公共日志数据集上进行了大量的实验，我们的结果表明，UniParser大大优于最先进的日志解析器。
2022-02-14 cs.SE
SemParser: A Semantic Parser for Log Analysis
作为由软件自动生成的运行时信息，日志记录系统事件和活动及其时间戳。在获得更多的洞察软件的运行时状态，日志分析的基本步骤，称为日志解析，被用来提取结构化的模板和参数的半结构化的原始日志消息。然而，目前的日志解析器都是基于语法的，并把每个消息看作一个字符串，忽略了参数和模板中包含的语义信息。因此，我们提出了基于语义的解析器SemParser解锁的关键瓶颈挖掘日志消息的语义。它包含两个步骤，一个端到端的语义挖掘器和一个联合解析器。具体来说，第一步的目的是确定明确的语义内的一个单一的日志，和第二步是负责联合推断隐含的语义和计算结构输出的基础上的上下文知识库。为了分析我们的语义解析器的有效性，我们首先证明，它可以从日志消息中获得丰富的语义，从六个广泛应用的系统，平均F1得分为0.985。然后，我们进行了两个有代表性的下游任务，表明当前的下游模型在两个异常检测数据集和一个故障识别数据集上分别提高了1.2%-11.7%和8.65%的性能。我们相信这些发现提供了深入了解语义理解日志分析社区的日志消息。
2023-02-05 cs.SE
LibreLog: Accurate and Efficient Unsupervised Log Parsing Using Open-Source Large Language Models
Concordia University（康考迪亚大学）；DePaul University（德保罗大学）
本文提出无监督日志解析方法LibreLog，利用开源LLM（Llama3-8B）结合固定深度分组树、检索增强生成、自我反思和模板记忆技术，在保护隐私和降低成本的同时，实现了最先进的解析准确率和效率。
2024-11-18 cs.AI cs.SE
ECLIPSE: Semantic Entropy-LCS for Cross-Lingual Industrial Log Parsing
Beihang University（北京航空航天大学）；Haier Smart Home（海尔智家）；Cloudwise Research（青云研究）
针对工业日志解析中海量模板与跨语言语义匹配难题，提出基于语义熵-最长公共子序列的ECLIPSE方法，结合数据驱动算法与LLM语义提取，并发布中英文基准，实现性能与效率的双重领先。
2024-05-24 cs.CL cs.SE
HELP: Hierarchical Embeddings-based Log Parsing
Iudex AI（艾欧德克斯人工智能公司）；Harvey Mudd College（哈维穆德学院）
针对现有日志解析器泛化差、实时性不足、易受日志漂移影响的问题，提出基于分层嵌入的在线语义日志解析器HELP，通过分层嵌入降本、迭代重平衡抗漂移，在14个公开数据集和生产环境中均表现出更优的性能与实用性。
2024-08-15 cs.LG cs.SE
Optimized Log Parsing with Syntactic Modifications
York University（约克大学）
该研究通过实证对比不同类型日志解析器与架构的性能，提出两阶段架构中的SynLog+模板识别模块，在几乎无额外开销的情况下显著提升两类解析器的准确率。
2025-10-30 cs.SE
EvLog: Identifying Anomalous Logs over Software Evolution
针对软件演化导致日志解析、事件变化和序列不稳定的问题，本文提出无监督方法 EvLog，通过免解析多层次表示与注意力异常判别器定位异常日志，并在版本内、跨版本设置中取得优异效果。
2023-08-15 cs.SE
A Directed Acyclic Graph Approach to Online Log Parsing
在现代软件系统管理中，数据库被广泛使用，因为它们通常是在运行时记录系统事件的唯一可访问的数据。近年来，由于日志规模的不断增加，数据采掘技术经常被用来帮助开发人员和运营商进行系统可靠性管理。一个典型的基于日志的系统可靠性管理过程是首先解析日志消息，因为它们的非结构化格式;并应用数据采掘技术在解析的日志上获得关键的系统行为信息。现有的研究大多集中于离线日志解析，需要以批处理方式解析日志。然而，软件系统，特别是分布式系统，需要在线监控和维护。因此，非常需要能够以流式方式解析日志消息的日志解析器。为了解决这个问题，我们提出了一个在线日志解析方法，即排水，基于有向无环图，编码专门设计的规则进行解析。Drain可以自动为新系统生成有向无环图，并根据传入的日志消息更新该图。此外，Drain允许开发人员在没有预定义参数的情况下使用Drain，从而使他们摆脱了参数调优的负担。为了评估排水的性能，我们收集了11个日志数据集生成的真实世界的系统，从分布式系统，Web应用程序，超级计算机，操作系统，独立的软件。实验结果表明，Drain在所有11个数据集上具有最高的准确率。此外，Drain在运行时间上比最先进的在线解析器提高了37.15\% $\sim$ 97.14\%。我们还进行了一个基于日志的异常检测任务的案例研究，使用排水在解析步骤，这决定了它在系统可靠性管理的有效性。
2018-06-12 cs.SE
MicLog: Towards Accurate and Efficient LLM-based Log Parsing via Progressive Meta In-Context Learning
MicLog通过渐进元内省学习提升日志解析准确性和效率，实现更高精度与更快处理速度。
2026-01-11 cs.AI cs.SE
LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing
Concordia University（康考迪亚大学）；University of Alberta（阿尔伯塔大学）；University of Manitoba（曼尼托巴大学）
本文提出基于大语言模型和少样本微调的日志解析器 LLMParser，在16个开源系统上平均解析准确率达96%，并发现较小模型如Flan-T5-base在效率和效果上可媲美LLaMA-7B，为LLM日志解析提供了实证依据。
2024-04-27 cs.AI cs.SE
A Tool for Rejuvenating Feature Logging Levels via Git Histories and Degree of Interest
日志记录是重要的编程实践。由于现代软件应用程序的高度事务性，每天都会生成大量日志，这可能会使开发人员不堪重负。日志记录信息过载对软件应用程序可能是危险的。使用日志级别，开发人员可以打印有用的信息，同时在软件运行时隐藏详细的日志。随着软件的发展，与周围软件功能实现相关联的日志记录语句的日志级别也可能需要改变。维护日志级别需要大量的手动工作。在本文中，我们展示了一种自动化的方法，可以通过匹配开发人员对周围功能的兴趣水平来恢复功能日志级别。该方法是作为一个开源Eclipse插件实现的，使用两个外部插件（JGit和Mylyn）。它在18个开源Java项目上进行了测试，这些项目包含约300万行代码和约4K条日志语句。我们的工具成功地分析了99.22%的日志语句，将日志级别分布增加了约20%，并在错误修复上下文中增加了日志的关注度约83%。有关详细信息，感兴趣的读者可以观看我们的演示视频（www.youtube.com/watch? v=qIULoAXoDv4）。
2022-02-16 cs.SE
LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models
Harvard University（哈佛大学）；Alibaba Group（阿里巴巴集团）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；CAMCA
本文提出LogParser-LLM，一种集成LLM的日志解析器，无需超参数调优和标注数据，通过在线解析实现快速适应，并引入新指标和人机交互校准解析粒度，在Loghub-2k和LogPub基准上以极低LLM调用次数实现高准确率，超越现有方法。
2024-08-25 cs.AI cs.SE
LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs
NTT Social Informatics Laboratories（NTT社会信息学实验室）
针对现有日志异常检测方法在未知模板和点异常检测延迟上的局限，提出基于自监督的LogELECTRA模型，利用ELECTRA分析单行日志语义以实现点异常检测，在BGL、Sprit和Thunderbird数据集上优于现有方法。
2024-02-16 cs.LG cs.SE
Log Parsing with Prompt-based Few-shot Learning
大型软件系统产生的故障信息为工程师了解系统状态和诊断系统问题提供了重要信息。日志解析将原始日志消息转换为结构化数据，这是启用自动日志分析的第一步。现有的日志解析器使用统计特征提取公共部分作为日志模板。然而，这些日志解析器经常无法识别正确的模板和参数，因为：1）它们经常忽略日志消息的语义含义，以及2）它们需要针对不同日志数据集的特定于域的知识。为了解决现有方法的局限性，在本文中，我们提出LogPPT使用基于模板的少样本学习来捕获模板的模式。LogPPT利用一种新的提示微调方法来识别关键字和参数的基础上，一些标记的日志数据。此外，自适应随机抽样算法的设计，以选择一个小而多样的训练集。我们在16个公共日志数据集上进行了广泛的实验。实验结果表明，LogPPT是一种有效的日志解析工具。
2023-02-15 cs.SE
LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection
Concordia University（麦科德大学）
研究日志异常检测，提出LogSemFuse框架，结合骨干预测与多源语义证据，增强现有检测器，能产生异常决策和基于证据的解释，提升检测效果与可解释性，且开销小。
2026-07-07 cs.SE
Small is Beautiful: A Practical and Efficient Log Parsing Framework
Singapore Management University（新加坡管理大学）
本文提出EFParser，一种基于LLM的日志解析器，通过架构创新提升小型模型性能，实验证明其在小型模型上优于现有方法12.5%。
2026-03-29 cs.SE
LLM-SrcLog: Towards Proactive and Unified Log Template Extraction via Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
LLM-SrcLog通过结合源代码分析与大语言模型，实现前瞻性日志模板提取，提升解析效率和准确性。
2025-12-04 cs.SE
VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing
Peking University（北京大学）
VarParser通过变量中心策略提升日志解析效率，减少LLM调用成本，保留变量信息增强结果完整性。
2026-03-12 cs.SE
Automated Evolution of Feature Logging Statement Levels Using Git Histories and Degree of Interest
日志记录--用于系统事件和安全漏洞来描述软件功能的更多信息但基本方面--很普遍。考虑到当今软件的高事务性，信息过载可能会降低日志记录的有效性。日志级别通过将优先级与以后可以过滤的日志相关联来帮助缓解此问题。然而，随着软件的发展，记录周围功能实现的日志级别也可能需要修改，因为曾经被认为重要的功能可能已经降低了紧迫性，反之亦然。我们提出了一个自动化的方法，帮助开发人员在不断发展的水平，这样的（功能）日志。该方法基于挖掘Git历史和操纵兴趣度（DOI）模型，根据周围代码的“兴趣度”转换源代码以恢复功能日志级别。该方法基于JGit和Mylyn构建，作为Eclipse IDE插件实现，并在18个Java项目上进行了评估，其中包含$\sim$ 300万行代码和$\sim$ 4K日志语句。我们的工具成功地分析了99.22%的日志语句，增加了$\sim$ 20%的日志级别分布，并增加了$\sim$ 83%的时间在错误修复上下文中的日志的焦点。此外，pull（补丁）请求被集成到大型和流行的开源项目中。结果表明，该方法是有前途的，在协助开发人员在不断变化的功能日志级别。
2021-09-13 cs.SE
On Automatic Parsing of Log Records
Ryerson University（瑞尔森大学）
软件日志分析有助于维护软件解决方案的运行状况，并确保合规性和安全性。现有的软件系统由以各种格式发出日志的异构组件组成。一个典型的解决方案是使用手工构建的解析器来统一日志，这很费力。相反，我们探索的可能性，自动化的解析任务，采用机器翻译（MT）。我们创建了一个生成合成Apache日志记录的工具，我们使用它来训练基于递归神经网络的MT模型。对真实日志的测试表明，该模型能够学习Apache日志格式，并能够解析日志记录。一个实际的真实世界的日志记录和MT预测之间的中值相对编辑距离小于或等于28%。因此，我们表明，使用MT方法的日志解析是有前途的。
2021-02-12 cs.CL cs.LG cs.SE
InferLog: Accelerating LLM Inference for Online Log Parsing via ICL-oriented Prefix Caching
提出InferLog，首个面向在线日志解析的LLM推理优化方法，通过前缀感知ICL精炼策略和基于元学习的配置调优流水线，在不损失准确率的前提下显著加速推理。
2025-09-16 cs.SE
KELP: Robust Online Log Parsing Through Evolutionary Grouping Trees
StoneBuck Labs（StoneBuck实验室）
KELP通过进化分组树实现鲁棒的在线日志解析，克服传统静态模板模型的局限，提升解析准确性和吞吐量。
2026-01-02 cs.DB cs.SE
DeepParse: Hybrid Log Parsing with LLM-Synthesized Regex Masks
Queen’s University（女王大学）
本文提出DeepParse，通过LLM提取日志变量模式并结合Drain算法实现高效准确的日志解析，提升提取精度与一致性，降低误报并提升效率。
2026-04-22 cs.SE
Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging
Beihang University（北京航空航天大学）；Yantai University（烟台大学）；China Telecom（中国电信）
针对现有日志解析依赖人工规则且忽略语义信息的问题，本文提出Lemur框架，采用熵采样聚类日志和思维链合并模板，利用LLM语义理解，在大规模公共数据集上达到最先进性能。
2025-03-26 cs.AI cs.SE
DeLog: An Efficient Log Compression Framework with Pattern Signature Synthesis
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Southwest Jiaotong University（西南交通大学）；ByteDance（字节跳动）
DeLog通过模式签名合成机制实现高效日志压缩，发现压缩比由有效模式分组决定，优于现有方法。
2026-01-22 cs.OS cs.SE
