Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity
言语化采样：如何减轻模式坍塌并释放大语言模型的多样性
AI总结 研究发现偏好数据中的典型性偏差致大语言模型模式坍塌，引入言语化采样策略。该策略能促使模型说出响应概率分布，经实验验证可显著提升创意写作等多方面性能，为模式坍塌提供新视角及实用补救方法。
Comments 83 pages, 31 figures, 44 tables. Code is available at https://github.com/CHATS-lab/verbalize-sampling
