发表机构
Teads Inc.（缇德思公司）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
研究在线推荐平台用LLMs提取广告素材特征时按创意提示成本高的问题，提出可扩展的PromptPack代理，通过上下文内批处理等实现扩展，经实验评估，相比基线，它大幅降低成本、提高吞吐量且保留AUC。
AI 中文摘要
在线推荐平台越来越多地使用大语言模型（LLMs）从广告素材中提取结构化特征。虽然在实时生产环境中部署单次调用的LLM注释代理能显著提高点击率（CTR），但按创意提示扩展成本过高。每个请求中发送的冗余系统指令占计费输入令牌的94%。为打破这一成本瓶颈，我们引入了PromptPack，一种可扩展、高吞吐量的LLM注释代理。PromptPack通过上下文内批处理实现扩展，结合共享系统提示、严格的XML结构封装和输出校正层，以确保跨多个创意同时进行确定性的、可用于流水线的特征提取。我们通过使用下游逻辑回归排序器的离线检索基准评估PromptPack。为深入分析代理行为，我们测量AUC并引入体积加权绝对提升（VWAL），一种捕捉生成特征信号质量的新指标。与实时、未批处理的生产基线相比，批量为20的PromptPack将LLM成本降低89%，并将吞吐量提高2.5倍，同时完全保留AUC。
英文摘要
Online recommendation platforms increasingly use Large Language Models (LLMs) to extract structured features from ad creatives. While deploying a single-call LLM annotation agent yields significant Click-Through Rate (CTR) improvements in our live production environment, per-creative prompting is prohibitively expensive to scale. The redundant system instructions sent in every request account for 94% of billed input tokens. To break this cost bottleneck, we introduce PromptPack, a scalable, high-throughput LLM annotation agent. PromptPack achieves this scale via in-context batching, combining a shared system prompt, a strict XML structural envelope, and an output correction layer to ensure deterministic, pipeline-ready feature extraction across multiple creatives simultaneously. We evaluate PromptPack via an offline retrieval benchmark using a downstream logistic-regression ranker. To deeply profile the agent's behavior, we measure AUC and introduce Volume-Weighted Absolute Lift (VWAL), a novel metric capturing the signal quality of the generated features. Compared to our live, unbatched production baseline, PromptPack at batch size 20 cuts our LLM costs by 89% and accelerates throughput by 2.5x while fully preserving AUC.
