Dan Jurafsky

PreFT: Prefill-only finetuning for efficient inference

PreFT：仅前缀微调用于高效的推理

Andrew Lanpouthakoun, Aryaman Arora, Zhengxuan Wu, Dhruv Pai, Ben Keigwin, Dan Jurafsky, Christopher Potts

机构 * Stanford University（斯坦福大学） ； Tilde Research（Tilde研究） 纠错

AI总结 本文提出PreFT，通过仅在前缀阶段应用适配器以提高多适配器服务的吞吐量，实验显示其在不同任务中均优于传统PEFT。