arXivDaily arXiv每日学术速递 周一至周五更新

大厂专区

Salesforce

2026-08-19 至 2026-08-19 共收录 1
2504.20131 2026-08-19 cs.LG cs.AI cs.IT math.IT 版本更新

LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

LZ惩罚:一种用于自回归语言模型的信息论重复惩罚项

Antonio A. Ginart, Naveen Kodali, Jason Lee, Caiming Xiong, Silvio Savarese, John R. Emmons

机构 * Salesforce AI Research(Salesforce人工智能研究)

AI总结 本文提出LZ惩罚,基于LZ77压缩算法,可让开源推理模型用贪婪解码时无退化重复,优于现有频率、重复惩罚。

Comments Post-publication corrections (minor calculation mistakes)

详情

展开后加载摘要…

URL PDF HTML 收藏