On the Entropy Calibration of Language Models
对语言模型熵校准的研究
机构 * Stanford University（斯坦福大学）
AI总结 本文研究了语言模型的熵校准问题，发现随着模型规模增大，校准误差缓慢改善，但截断方法会增加对数损失，理论证明在假设可预测文本熵的情况下，可以减少熵而不增加对数损失。
Comments Neurips 2025
作者
Percy Liang
Natural Language Processing
关注微信公众号
作者
Natural Language Processing
对语言模型熵校准的研究
机构 * Stanford University（斯坦福大学）
AI总结 本文研究了语言模型的熵校准问题，发现随着模型规模增大，校准误差缓慢改善，但截断方法会增加对数损失，理论证明在假设可预测文本熵的情况下，可以减少熵而不增加对数损失。
Comments Neurips 2025
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈