SmurfCat 在 SemEval-2024 任务 6：利用合成数据进行幻觉检测
SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection
AI总结：
本文针对 SemEval-2024 幻觉检测任务，提出利用合成数据扩充训练集，结合预训练编码器精调与模型集成，在模型无关赛道取得第 9 名。
摘要：
在本文中，我们介绍了为 SemEval-2024 幻觉检测任务开发的新系统。我们的研究涵盖了一系列策略，用于将模型预测与参考标准进行比较，包括多种基线方法、通过监督学习对预训练编码器进行精调，以及利用多个高性能模型的集成方法。通过这些探索，我们提出了三种表现出强大性能指标的不同方法。为了扩充训练数据，我们从无标签训练子集中生成了额外的训练样本。此外，我们提供了对这些方法的详细比较分析。值得注意的是，我们的最佳方法在竞赛的模型无关赛道中获得了值得称赞的第 9 名，在模型相关赛道中获得了第 17 名，凸显了其有效性和潜力。
英文摘要：
In this paper, we present our novel systems developed for the SemEval-2024 hallucination detection task. Our investigation spans a range of strategies to compare model predictions with reference standards, encompassing diverse baselines, the refinement of pre-trained encoders through supervised learning, and an ensemble approaches utilizing several high-performing models. Through these explorations, we introduce three distinct methods that exhibit strong performance metrics. To amplify our training data, we generate additional training samples from unlabelled training subset. Furthermore, we provide a detailed comparative analysis of our approaches. Notably, our premier method achieved a commendable 9th place in the competition's model-agnostic track and 17th place in model-aware track, highlighting its effectiveness and potential.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
