Martingale Foresight Sampling: A Principled Approach to Inference-Time LLM Decoding
鞅前瞻性采样:一种推断时间LLM解码的原理性方法
机构 * University of Arizona(亚利桑那大学) ; Microsoft Research Asia(微软亚洲研究院) ; Villanova University(维拉诺瓦大学)
专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG
AI总结 本文提出鞅前瞻性采样,通过概率论原理改进LLM解码,提升推理准确性和计算效率。