使用集成方法进行科学文本简化中的幻觉检测与缓解:DS@GT 在 CLEF 2025 SimpleText 上的方案
Hallucination Detection and Mitigation in Scientific Text Simplification using Ensemble Approaches: DS@GT at CLEF 2025 SimpleText
AI总结:
本文针对 CLEF 2025 SimpleText 任务 2 的科学文本简化幻觉检测问题,提出融合 BERT 分类器、语义相似度、自然语言推理和 LLM 推理的集成框架,并辅以基于 LLM 的后编辑系统,以增强失真检测鲁棒性和生成质量。
摘要:
本文描述了我们在 CLEF 2025 SimpleText 任务 2 中的方法,该任务侧重于检测和评估科学文本简化中的创造性生成与信息失真。我们的解决方案整合了多种策略:构建了一个集成框架,利用基于 BERT 的分类器、语义相似度度量、自然语言推理模型以及大语言模型(LLM)推理。这些多样化的信号通过元分类器进行组合,以增强对虚假内容和失真检测的鲁棒性。此外,对于有依据的生成,我们采用了一个基于 LLM 的后编辑系统,该系统根据原始输入文本对简化结果进行修订。
英文摘要:
In this paper, we describe our methodology for the CLEF 2025 SimpleText Task 2, which focuses on detecting and evaluating creative generation and information distortion in scientific text simplification. Our solution integrates multiple strategies: we construct an ensemble framework that leverages BERT-based classifier, semantic similarity measure, natural language inference model, and large language model (LLM) reasoning. These diverse signals are combined using meta-classifiers to enhance the robustness of spurious and distortion detection. Additionally, for grounded generation, we employ an LLM-based post-editing system that revises simplifications based on the original input texts.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。