arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2403.01216cs.CLcs.AIcs.LG
收藏

API 即足够:无需 Logit 访问的大语言模型保形预测

API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access

Zhejiang University - University of Illinois Urbana-Champaign Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校研究所);University of Illinois Chicago(芝加哥大学伊利诺伊分校)

Jiayuan Su, Jing Luo, Hongwei Wang, Lu Cheng

AI总结:

针对仅能通过 API 访问、无法获取 logit 的大语言模型,提出融合样本频率与语义相似性的保形预测方法,以更小预测集实现用户指定覆盖率保证,并在问答任务上优于基于 logit 的基线。

摘要:

本研究旨在解决在无法访问 logit 的情况下量化大语言模型(LLM)不确定性这一普遍挑战。保形预测(Conformal Prediction,CP)以其模型无关和无分布假设的特性而闻名,是适用于各种 LLM 和数据分布的理想方法。然而,现有的面向 LLM 的 CP 方法通常假设可以访问 logit,而对于某些仅提供 API 的 LLM 而言,logit 并不可用。此外,众所周知 logit 存在校准不良问题,可能导致 CP 性能下降。为应对这些挑战,我们提出了一种新颖的 CP 方法,该方法:(1)专为无法访问 logit 的仅 API LLM 定制;(2)最小化预测集大小;(3)确保对用户定义覆盖率的统计保证。该方法的核心思想是同时利用粗粒度(即样本频率)和细粒度不确定性概念(例如语义相似性)来构建非符合性度量。在封闭式和开放式问答任务上的实验结果表明,我们的方法在多数情况下能够优于基于 logit 的 CP 基线。

英文摘要:

This study aims to address the pervasive challenge of quantifying uncertainty in large language models (LLMs) without logit-access. Conformal Prediction (CP), known for its model-agnostic and distribution-free features, is a desired approach for various LLMs and data distributions. However, existing CP methods for LLMs typically assume access to the logits, which are unavailable for some API-only LLMs. In addition, logits are known to be miscalibrated, potentially leading to degraded CP performance. To tackle these challenges, we introduce a novel CP method that (1) is tailored for API-only LLMs without logit-access; (2) minimizes the size of prediction sets; and (3) ensures a statistical guarantee of the user-defined coverage. The core idea of this approach is to formulate nonconformity measures using both coarse-grained (i.e., sample frequency) and fine-grained uncertainty notions (e.g., semantic similarity). Experimental results on both close-ended and open-ended Question Answering tasks show our approach can mostly outperform the logit-based CP baselines.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑