PPDL：基于大语言模型的流作为概率程序
PPDL: LLM-Based Flows as Probabilistic Programs
浏览论文内容
中文总结 AI 辅助
本文提出用于编程基于LLM的流的概率语言PPDL，可量化传播流中不确定性，无需额外代码即可尝试推理缩放技术，还通过实验及面向Rocq的定理证明智能体案例验证了其能力。
中文摘要 AI 辅助
构建利用大语言模型（LLM）的可靠应用仍是重大挑战。LLM虽在多样任务中展现出色能力，但其输出常缺乏准确性且无明确置信度度量，这种不确定性在LLM及其他工具的多轮调用流中会加剧，使开发者和终端用户难以信任结果。本文提出一种用于编程基于LLM的流的概率语言，它让开发者能在应用流中量化并传播不确定性，还可在不额外编写流逻辑之外代码的情况下尝试不同的推理缩放技术。我们开展实验研究以证明该能力，并构建了面向Rocq定理证明器的定理证明智能体案例研究。
英文摘要
Building reliable applications that leverage large language models (LLMs) remains a significant challenge. While LLMs offer impressive capabilities across diverse tasks, their outputs often lack accuracy and provide no clear measure of confidence. This uncertainty compounds in flows of multiple calls to LLMs and other tools, making it difficult for developers and end-users to trust the results. This paper introduces a probabilistic language for programming LLM-based flows. It enables developers to quantify and propagate uncertainty throughout the application's flow, and experiment with different inference scaling techniques without adding a single line of code beyond the flow's logic. We present an experimental study to demonstrate this capability, and a case study building a theorem proving agent for the Rocq theorem prover.
发表机构
- IBM（国际商业机器公司）
- Université Paris Cité（巴黎西岱大学）
- Inria（法国国家信息与自动化研究所）
- CNRS（法国国家科学研究中心）
- IRIF（巴黎第七大学计算机科学研究中心）
机构由 AI 辅助整理，请以论文原文为准。
