ProcessTBench：用于流程挖掘的LLM计划生成数据集
ProcessTBench: An LLM Plan Generation Dataset for Process Mining
AI总结：
本文提出ProcessTBench合成数据集，扩展自TaskBench，旨在流程挖掘框架下评估LLMs在计划生成中的高级工具使用能力，弥补现有数据集在复杂场景和流程视角上的不足。
摘要：
大型语言模型（LLMs）在计划生成方面已展现出显著潜力。然而，现有数据集往往缺乏高级工具使用场景所需的复杂性——例如处理释义后的查询语句、支持多种语言，以及管理可并行执行的操作。这些场景对于评估LLMs在现实应用中的不断演进能力至关重要。此外，当前数据集无法从流程视角研究LLMs，特别是在理解在不同条件或表述下执行同一流程的典型行为与挑战至关重要的场景中。为解决这些不足，我们提出了ProcessTBench合成数据集，它是TaskBench数据集的扩展，专门设计用于在流程挖掘框架内评估LLMs。
英文摘要：
Large Language Models (LLMs) have shown significant promise in plan generation. Yet, existing datasets often lack the complexity needed for advanced tool use scenarios - such as handling paraphrased query statements, supporting multiple languages, and managing actions that can be done in parallel. These scenarios are crucial for evaluating the evolving capabilities of LLMs in real-world applications. Moreover, current datasets don't enable the study of LLMs from a process perspective, particularly in scenarios where understanding typical behaviors and challenges in executing the same process under different conditions or formulations is crucial. To address these gaps, we present the ProcessTBench synthetic dataset, an extension of the TaskBench dataset specifically designed to evaluate LLMs within a process mining framework.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
