IITK 在 SemEval-2024 任务 2：探索大语言模型在临床试验安全生物医学自然语言推理中的能力
IITK at SemEval-2024 Task 2: Exploring the Capabilities of LLMs for Safe Biomedical Natural Language Inference for Clinical Trials
AI总结：
本研究在 SemEval-2024 任务 2 中探索 LLMs 对乳腺癌临床试验报告进行安全生物医学 NLI 的能力，通过 RAG 框架和多种推理链比较 PLMs、GPT-3.5 与 Gemini Pro，取得 F1 0.69、一致性 0.71、忠实性 0.90 的结果。
摘要：
大语言模型（LLMs）已在多个领域的各类自然语言处理（NLP）任务中展现出最先进的性能，但它们容易产生捷径学习和事实不一致的问题。本研究在 SemEval 2024 任务 2“临床试验安全生物医学自然语言推理”的背景下，考察 LLMs 对乳腺癌临床试验报告（CTRs）执行自然语言推理（NLI）时的鲁棒性、一致性和忠实推理能力。我们检验了 LLMs 的推理能力及其在逻辑问题求解方面的熟练程度。在零样本设置下，使用检索增强生成（RAG）框架，并整合多种推理链，对预训练语言模型（PLMs）、GPT-3.5 和 Gemini Pro 进行了比较分析。评估结果显示，在测试数据集上取得了 0.69 的 F1 分数、0.71 的一致性以及 0.90 的忠实性分数。
英文摘要：
Large Language models (LLMs) have demonstrated state-of-the-art performance in various natural language processing (NLP) tasks across multiple domains, yet they are prone to shortcut learning and factual inconsistencies. This research investigates LLMs' robustness, consistency, and faithful reasoning when performing Natural Language Inference (NLI) on breast cancer Clinical Trial Reports (CTRs) in the context of SemEval 2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials. We examine the reasoning capabilities of LLMs and their adeptness at logical problem-solving. A comparative analysis is conducted on pre-trained language models (PLMs), GPT-3.5, and Gemini Pro under zero-shot settings using Retrieval-Augmented Generation (RAG) framework, integrating various reasoning chains. The evaluation yields an F1 score of 0.69, consistency of 0.71, and a faithfulness score of 0.90 on the test dataset.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
