通过最小风险训练增强小语言模型的停电报告生成能力
Enhancing Small Language Models for Power Outage Report Generation via Minimum Risk Training
浏览论文内容
中文总结 AI 辅助
本研究将最小风险训练应用于停电报告生成，使Qwen2.5-7B-Instruct的准确率从16.20%提升至68.95%，验证了序列级优化对领域特定结构化生成的有效性。
中文摘要 AI 辅助
最小风险训练（MRT）使神经机器翻译模型能够直接优化序列级评估指标，而非仅依赖词元级最大似然目标（Shen等，2016）。尽管该技术于十年前提出，近期研究显示基于风险的优化在现代语言模型中展现出新的潜力（Yang等，2024；Jinnai等，2025）。我们将MRT应用于全国停电数据倡议（ODIN）的停电报告生成任务，将异构报告转换为符合CIM IEC 61968-3标准的标准化XML格式。我们的MRT方法将Qwen2.5-7B-Instruct的整体准确率从16.20%提升至68.95%，证明了序列级优化在领域特定结构化生成中的有效性。
英文摘要
Minimum Risk Training (MRT) enables neural machine translation models to directly optimize sequence-level evaluation metrics instead of relying only on token- level maximum-likelihood objectives Shen et al. [2016]. Although introduced a decade ago, recent work shows renewed potential for risk-based optimization in modern language models Yang et al. [2024], Jinnai et al. [2025]. We apply MRT to power outage report generation for the Outage Data Initiative Nationwide (ODIN), transforming heterogeneous reports into standardized XML compliant with CIM IEC 61968-3. Our MRT approach improves Qwen2.5-7B-Instruct overall accuracy from 16.20% to 68.95%, demonstrating the effectiveness of sequence- level optimization for domain-specific structured generation
发表机构
- Iowa State University（爱荷华州立大学）
- Oak Ridge National Laboratory（橡树岭国家实验室）
- University of Minnesota（明尼苏达大学）
机构由 AI 辅助整理，请以论文原文为准。
