使用RAG支持的跨模型多数投票工作流评估ChatGPT在生物医学关联生成与验证中的协议
Protocol for evaluating ChatGPT in biomedical association generation and verification using a RAG-enabled, cross-model majority voting workflow
AI总结：
提出一个协议，通过RAG和跨模型多数投票工作流评估ChatGPT生成疾病中心生物医学关联的能力，并验证其可靠性。
摘要：
我们提出一个协议，用于评估ChatGPT生成以疾病为中心的生物医学关联的能力。该协议概述了如何生成关联、使用生物医学本体验证生物实体以及通过文献验证关联。协议包括一个自一致性策略，用于评估跨ChatGPT模型的生成可靠性。为了解决本体精确匹配的限制，我们提供了一个用例，通过由开源大语言模型（LLMs）驱动的检索增强生成（RAG）工作流执行语义验证。这使得LLMs能够对其他LLMs生成的内容建立真实性，并暴露幻觉。
英文摘要：
We present a protocol to evaluate ChatGPT's ability to generate disease-centric biomedical associations. It outlines how we generate the associations, validate the biological entities using biomedical ontologies, and verify associations using literature. The protocol includes a self-consistency strategy to assess generative reliability across ChatGPT models. To address ontology exact-match limitations, we provide a use case performing semantic verification through a workflow enabled by Retrieval-Augmented Generation (RAG) powered by open-source large language models (LLMs). This enables LLMs to establish truth over content generated by other LLMs and expose hallucination.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
