Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe
指令微调语言模型无法从它们能描述的分布中进行采样
机构 * School of Computing, KAIST(韩国科学技术院计算学院) ; School of Business and Technology Management, KAIST(韩国科学技术院商业与技术管理学院)
AI总结 研究发现指令微调语言模型无法从其能描述的分布中采样,存在“知道/做”分裂,通过让模型描述分布可减半误差,还提出PPA在无额外成本下降低21%误差。
Comments EMNLP Findings 2026