Sample Where You Struggle: Sharpening Base Model Reasoning via Entropy-Guided Power Sampling
在你挣扎处采样:通过熵引导的幂采样增强基础模型推理
机构 * Hasso Plattner Institut(霍普夫纳研究所) ; German University of Digital Science(德国数字科学大学)
专题命中 测试时计算 :reasoning(title,abstract);verifier(abstract);分类 cs.AI、cs.LG
AI总结 提出熵引导的幂采样(EGPS),一种无需训练和验证器的采样方法,通过利用前向传播中的token级熵将MCMC移动定位到高熵区域,在多个基准上以高达12.6倍加速达到最优或并列最优准确率。