arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2402.14855cs.CLcs.AI
收藏

面向可靠且透明的文本到查询的LLM成熟度模型

An LLM Maturity Model for Reliable and Transparent Text-to-Query

Expression

Lei Yu, Abir Ray

AI总结:

本文针对LLM在文本到查询应用中的可靠性与透明度问题,提出一个多维度的LLM成熟度模型,并通过执法领域的QueryIQ助手验证其实际效用。

摘要:

认识到解决大型语言模型(LLM)可靠性和透明度问题的必要性,本文提出了一个专为文本到查询应用量身定制的LLM成熟度模型。该成熟度模型旨在通过纳入超越单纯正确性或准确性的维度,填补现有LLM评估在此类应用中的空白。此外,本文引入了一个来自执法领域的真实用例,并展示了QueryIQ——一个由LLM驱动、面向特定领域的文本到查询助手,用于加速用户工作流程并揭示数据中隐藏的关系。

英文摘要:

Recognizing the imperative to address the reliability and transparency issues of Large Language Models (LLM), this work proposes an LLM maturity model tailored for text-to-query applications. This maturity model seeks to fill the existing void in evaluating LLMs in such applications by incorporating dimensions beyond mere correctness or accuracy. Moreover, this work introduces a real-world use case from the law enforcement domain and showcases QueryIQ, an LLM-powered, domain-specific text-to-query assistant to expedite user workflows and reveal hidden relationship in data.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑