arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2401.06920cs.CL
收藏

比较 GPT-4 与开源语言模型在错误信息缓解中的表现

Comparing GPT-4 and Open-Source Language Models in Misinformation Mitigation

Dartmouth College(达特茅斯学院);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Mila(米拉研究所)

Tyler Vergho, Jean-Francois Godbout, Reihaneh Rabbany, Kellin Pelrine

AI总结:

该研究通过对比实验发现开源模型 Zephyr-7b 是错误信息检测中 GPT-4 的可靠替代方案,同时揭示了 GPT-3.5 的性能不稳定性,并验证了 GPT-4 Turbo 及结构化输出工具的有效性,为错误信息缓解研究提供了开源选择和更复杂的流程支持。

摘要:

近期的大型语言模型(LLMs)已被证明在错误信息检测方面是有效的。然而,实验中 LLMs 的选择差异很大,导致结论存在不确定性。特别是,GPT-4 在该领域被认为表现强劲,但它是闭源的,可能成本高昂,并且在不同版本之间可能表现出不稳定性。与此同时,替代性 LLMs 给出了好坏参半的结果。在这项工作中,我们表明 Zephyr-7b 提供了一个持续可行的替代方案,克服了 Llama-2 和 GPT-3.5 等常用方法的关键局限性。这为研究社区提供了一个可靠的开源选择,并表明开源模型在这一任务上正在逐渐迎头赶上。随后,我们着重指出 GPT-3.5 表现出不稳定的性能,以至于这个被广泛使用的模型可能在错误信息检测中提供误导性结果。最后,我们验证了新的工具,包括结构化输出方法和最新版本的 GPT-4(Turbo),表明它们不会损害性能,从而为未来研究解锁了这些工具,并有可能实现更复杂的错误信息缓解流程。

英文摘要:

Recent large language models (LLMs) have been shown to be effective for misinformation detection. However, the choice of LLMs for experiments varies widely, leading to uncertain conclusions. In particular, GPT-4 is known to be strong in this domain, but it is closed source, potentially expensive, and can show instability between different versions. Meanwhile, alternative LLMs have given mixed results. In this work, we show that Zephyr-7b presents a consistently viable alternative, overcoming key limitations of commonly used approaches like Llama-2 and GPT-3.5. This provides the research community with a solid open-source option and shows open-source models are gradually catching up on this task. We then highlight how GPT-3.5 exhibits unstable performance, such that this very widely used model could provide misleading results in misinformation detection. Finally, we validate new tools including approaches to structured output and the latest version of GPT-4 (Turbo), showing they do not compromise performance, thus unlocking them for future research and potentially enabling more complex pipelines for misinformation mitigation.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑