发表机构
CyberAgent（赛博agent公司）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对批量提示导致大语言模型下游任务性能不可预测的问题，提出级联批量提示方法，在多项选择问答等任务上性能优于单提示基线，且加速效果与批量大小成正比，在帕累托前沿达到新最优。
AI 中文摘要
尽管批量提示通过同时处理多个实例提升了大语言模型推理效率，但存在下游任务性能不可预测的问题。我们提出级联批量提示，这是一种两阶段方法，旨在通过将复杂推理与符号 grounding 分离来解决传统批量提示的不可预测性问题。在多项选择问答和自然语言推理任务上的实验表明，所提方法优于标准单提示基线，同时实现了与批量大小成正比的加速，在帕累托前沿上建立了新的最优性能。
英文摘要
Although batch prompting makes large language model inference more efficient by processing multiple instances simultaneously, it suffers from unpredictable downstream task performance. We propose cascaded batch prompting, a two-stage approach designed to resolve the unpredictability of conventional batch prompting by disentangling complex reasoning from symbol grounding. Experiments on multiple-choice question answering and natural language inference demonstrate that the proposed method outperforms the standard single prompting baseline while achieving a speedup proportional to batch size, establishing a new state of the art on the Pareto frontier.
CommentsEMNLP 2026 Findings
