arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2601.21169cs.CLcs.AI
收藏

输出空间搜索:在冻结编码器定义的输出空间中定向LLM生成

Output-Space Search: Targeting LLM Generations in a Frozen Encoder-Defined Output Space

Tobias Materzok

AI总结:

OS-Search通过在冻结编码器定义的输出空间中进行端点搜索,提升LLM生成的多样性和代码有效性。

摘要:

我们介绍了输出空间搜索(OS-Search),将LLM生成转换为端点搜索。外循环在冻结的编码器定义的3D输出空间Z中选择目标z*,并通过序列级RL训练的检索基础策略生成坐标接近z*的输出,在标准自回归解码下。这使在Z中进行并行扫描和黑盒优化成为可能,而无需路径依赖的token/程序搜索。在故事中,扫描Z(文本)产生的LLM评分多样性比提示链高3.1倍。在代码中,对Z(代码)进行贝叶斯优化,在匹配的推理预算下改进了控制器排除的客观函数,同时保持有效性。

英文摘要:

We introduce Output-Space Search (OS-Search), which turns LLM generation into endpoint search. An outer loop selects a target z* in a frozen encoder-defined 3D output space Z, and a retrieval-grounded policy trained with sequence-level RL generates outputs whose coordinates land near z* under standard autoregressive decoding. This enables parallel sweeps and black-box optimization in Z without path-dependent token/program search. On stories, sweeping Z (text) yields 3.1x higher LLM-scored diversity than prompt-chaining. On code, Bayesian optimization over Z (code) improves an objective withheld from the controller under matched inference budgets while preserving validity.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑