CDR-Bench：评估组合式、顺序敏感数据精炼配方的忠实执行
CDR-Bench: Evaluating Faithful Execution of Compositional, Order-Sensitive Data Refinement Recipes
AI总结：
提出CDR-Bench基准，包含3462个高质量任务，评估LLM在组合式和顺序敏感设置下直接执行数据精炼配方的能力，发现当前LLM缺乏程序忠实性。
摘要：
数据精炼涉及在演变的文本状态上执行多步骤配方，其中处理算子的组合和执行顺序共同决定结果。虽然现有基准要么孤立文本编辑，要么将其与代码和工具执行纠缠在一起，但尚不清楚LLM是否能够直接且忠实地执行这些组合式、顺序敏感的数据精炼配方。为填补这一空白，我们引入了CDR-Bench，一个全面的基准，包含跨越四个真实世界数据精炼领域和29个不同算子的3462个高质量任务。我们的基准在原子、顺序无关和顺序敏感设置下评估模型，利用确定性参考输出实现精确评估。在10多个最先进的LLM上的实验揭示了一致的失败模式：性能在组合设置中急剧下降，顺序敏感配方的成功率崩溃。这些发现强调，当前LLM缺乏可靠组合式数据精炼所需的程序忠实性。
英文摘要：
Data refinement involves executing multi-step recipes over evolving text states, where both composition and execution order of processing operators determine the outcome. While existing benchmarks either isolate text editing or entangle it with code and tool execution, it remains unclear whether LLMs can directly and faithfully execute these compositional, order-sensitive data refinement recipes. To fill this gap, we introduce CDR-Bench, a comprehensive benchmark featuring 3,462 high-quality tasks spanning four real-world data refinement domains and 29 distinct operators. Our benchmark evaluates models across atomic, order-agnostic, and order-sensitive settings, leveraging deterministic reference outputs to enable exact evaluation. Experiments on 10+ state-of-the-art LLMs reveal consistent failure patterns: performance degrades sharply in compositional settings, and order-sensitive recipe success collapses. These findings underline that current LLMs lack the procedural faithfulness required for reliable compositional data refinement.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
