企业大型语言模型评估基准
Enterprise Large Language Model Evaluation Benchmark
AI总结：
针对现有基准无法充分评估企业任务复杂性的问题，提出基于Bloom分类法的14项任务框架，结合LLM-as-a-Labeler、LLM-as-a-Judge和CRAG构建9,700样本基准，评估六个模型揭示开源与专有模型性能差距，为企业提供定制化评估蓝图。
摘要：
大型语言模型（LLM）在提升AI驱动工具的生产力方面展现出潜力，但现有的基准如Massive Multitask Language Understanding（MMLU）无法充分评估企业特定的任务复杂性。我们提出了一个基于Bloom分类法的14项任务框架，以全面评估LLM在企业环境中的能力。为了解决数据噪声和标注成本高的问题，我们开发了一个可扩展的流程，结合了LLM-as-a-Labeler、LLM-as-a-Judge和纠正性检索增强生成（CRAG），构建了一个包含9,700个样本的稳健基准。对六个领先模型的评估显示，像DeepSeek R1这样的开源模型在推理任务中可与专有模型相媲美，但在基于判断的场景中表现落后，可能是由于过度思考。我们的基准揭示了关键的企业性能差距，并为模型优化提供了可操作的见解。这项工作为企业提供了定制化评估的蓝图，并推动了LLM的实际部署。
英文摘要：
Large Language Models (LLMs) ) have demonstrated promise in boosting productivity across AI-powered tools, yet existing benchmarks like Massive Multitask Language Understanding (MMLU) inadequately assess enterprise-specific task complexities. We propose a 14-task framework grounded in Bloom's Taxonomy to holistically evaluate LLM capabilities in enterprise contexts. To address challenges of noisy data and costly annotation, we develop a scalable pipeline combining LLM-as-a-Labeler, LLM-as-a-Judge, and corrective retrieval-augmented generation (CRAG), curating a robust 9,700-sample benchmark. Evaluation of six leading models shows open-source contenders like DeepSeek R1 rival proprietary models in reasoning tasks but lag in judgment-based scenarios, likely due to overthinking. Our benchmark reveals critical enterprise performance gaps and offers actionable insights for model optimization. This work provides enterprises a blueprint for tailored evaluations and advances practical LLM deployment.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
