RAGged Edges：检索增强型聊天机器人的双刃剑
RAGged Edges: The Double-Edged Sword of Retrieval-Augmented Chatbots
AI总结：
本文通过诱发幻觉的提示实证比较 RAG 与标准 LLM，发现 RAG 虽能提升部分准确率，但在提示直接冲突时仍会被误导，并据此提出部署建议。
摘要：
像 ChatGPT 这样的大型语言模型（LLM）展示了人工智能的显著进步。然而，它们产生幻觉——即生成看似合理但虚假的信息——的倾向构成了重大挑战。这一问题十分关键，近期一些法庭案件便体现了这一点：使用 ChatGPT 导致引用了并不存在的法律裁决。本文探讨检索增强生成（RAG）如何通过将外部知识与提示相结合来对抗幻觉。我们使用旨在诱发幻觉的提示，对 RAG 与标准 LLM 进行了实证评估。结果表明，RAG 在某些情况下提高了准确性，但当提示与模型的预训练理解直接矛盾时，它仍可能被误导。这些发现凸显了幻觉的复杂本质，以及需要更稳健的解决方案来确保 LLM 在现实应用中的可靠性。我们提供了 RAG 部署的实用建议，并讨论了对开发更可信 LLM 的启示。
英文摘要：
Large language models (LLMs) like ChatGPT demonstrate the remarkable progress of artificial intelligence. However, their tendency to hallucinate -- generate plausible but false information -- poses a significant challenge. This issue is critical, as seen in recent court cases where ChatGPT's use led to citations of non-existent legal rulings. This paper explores how Retrieval-Augmented Generation (RAG) can counter hallucinations by integrating external knowledge with prompts. We empirically evaluate RAG against standard LLMs using prompts designed to induce hallucinations. Our results show that RAG increases accuracy in some cases, but can still be misled when prompts directly contradict the model's pre-trained understanding. These findings highlight the complex nature of hallucinations and the need for more robust solutions to ensure LLM reliability in real-world applications. We offer practical recommendations for RAG deployment and discuss implications for the development of more trustworthy LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
