arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.10040cs.CLcs.AI
收藏

FZI-WIM 在 SemEval-2024 任务 2 中的表现:面向生物医学领域复杂 NLI 的自洽 CoT

FZI-WIM at SemEval-2024 Task 2: Self-Consistent CoT for Complex NLI in Biomedical Domain

FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)

Jin Liu, Steffen Thoma

AI总结:

该研究提出面向生物医学临床试验 NLI 的自洽 CoT 推理系统,通过同提示采样多条推理链并多数投票,在 SemEval-2024 任务 2 中取得领先成绩并开源代码与数据。

摘要:

本文介绍了 FZI-WIM 在 SemEval-2024 任务 2“面向临床试验的安全生物医学自然语言推理”中的推理系统。我们的系统利用思维链(CoT)范式来解决这一复杂推理问题,并通过自洽性进一步提升 CoT 的性能。与贪心解码不同,我们使用同一提示采样多条推理链,并通过多数投票进行最终验证。该自洽 CoT 系统取得了 0.80 的基线 F1 分数(第 1 名)、0.90 的忠实度分数(第 3 名)和 0.73 的一致性分数(第 12 名)。我们在 https://github.com/jens5588/FZI-WIM-NLI4CT 公开发布代码和数据。

英文摘要:

This paper describes the inference system of FZI-WIM at the SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials. Our system utilizes the chain of thought (CoT) paradigm to tackle this complex reasoning problem and further improves the CoT performance with self-consistency. Instead of greedy decoding, we sample multiple reasoning chains with the same prompt and make the final verification with majority voting. The self-consistent CoT system achieves a baseline F1 score of 0.80 (1st), faithfulness score of 0.90 (3rd), and consistency score of 0.73 (12th). We release the code and data publicly https://github.com/jens5588/FZI-WIM-NLI4CT.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑