Yejin Choi

Prefix Sliding for efficient test-time scaling

用于高效测试时缩放的前缀滑动

Niklas Muennighoff, Zhengyang Wang, Zeyi Chen, Weijia Shi, Binyuan Hui, John Yang, Dapeng Jiang, Mika Senghaas, Fares Obeid, Johannes Hagemann, Sami Jaghouar, Ludwig Schmidt, Percy Liang, Jason Wei, Andrew Y. Ng, Luke Zettlemoyer, Yejin Choi, Mike Lewis

机构 * Stanford University（斯坦福大学） ； University of California at Santa Barbara（加州大学圣巴巴拉分校） ； Prime Intellect ； University of Washington（华盛顿大学） 纠错

AI总结 针对测试时推理内存成本过高问题，提出Prefix Sliding方法，通过丢弃非关键标记限制内存，无需训练可提速3倍，结合强化学习训练后性能更优且优于其他基线

Comments 28 pages (9 main), 22 figures, 3 tables