通过检索增强生成减少结构化输出中的幻觉
Reducing hallucination in structured outputs via Retrieval-Augmented Generation
AI总结：
本文针对 GenAI 结构化输出中的幻觉问题，提出基于 RAG 的工作流生成系统，显著降低幻觉、增强域外泛化，并支持以小型检索器编码器减小 LLM 部署资源开销。
摘要：
生成式人工智能（GenAI）的一个常见且根本性局限是其容易产生幻觉。尽管大型语言模型（LLM）已风靡全球，但如果不能消除或至少减少幻觉，现实世界中的 GenAI 系统在用户采用方面可能面临挑战。在部署一款根据自然语言需求生成工作流的企业应用过程中，我们设计了一个利用检索增强生成（RAG）的系统，以大幅提升表示此类工作流的结构化输出的质量。得益于对 RAG 的实现，我们提出的系统显著减少了输出中的幻觉，并提升了 LLM 在域外场景中的泛化能力。此外，我们表明，使用一个小型且训练良好的检索器编码器可以减小配套 LLM 的规模，从而使基于 LLM 的系统部署不再那么消耗资源。
英文摘要：
A common and fundamental limitation of Generative AI (GenAI) is its propensity to hallucinate. While large language models (LLM) have taken the world by storm, without eliminating or at least reducing hallucinations, real-world GenAI systems may face challenges in user adoption. In the process of deploying an enterprise application that produces workflows based on natural language requirements, we devised a system leveraging Retrieval Augmented Generation (RAG) to greatly improve the quality of the structured output that represents such workflows. Thanks to our implementation of RAG, our proposed system significantly reduces hallucinations in the output and improves the generalization of our LLM in out-of-domain settings. In addition, we show that using a small, well-trained retriever encoder can reduce the size of the accompanying LLM, thereby making deployments of LLM-based systems less resource-intensive.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
