Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time
不要重复你自己:在采样时停止逐字循环
机构 * Thoughtworks ; Columbia University(哥伦比亚大学) ; Oracle(甲骨文公司) ; New York University(纽约大学)
AI总结 研究针对大语言模型的逐字循环问题,提出采样时的DRY对数几率调整方法,在多模型和研究中有效降低循环率并保持性能,已被开源LLM推理框架采用。