Baidu（百度）

Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes

重新审视推测解码中的有损验证：机制、权衡与失效模式

Tianyu Wang, Yuxuan Zhou, Wenbin Wang, Heng Li, Zikai Xiao, Junyuan Shang

机构 * Independent Researcher（独立研究者） ； Baidu Inc.（百度公司） ； Zhejiang University（浙江大学） 纠错

AI总结 本研究分析有损推测解码的机制与失效模式，将其分为两类并构建评估框架，发现基于截断的有损方法会因分布失真致性能下降，协作类需控制概率超调以保障生成质量。

Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities

大语言模型的低精度训练：方法、挑战与机遇

Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Guoxia Wang, Dianhai Yu, Yonggang Wen, Dacheng Tao

机构 * School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学） ； Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（网络科学与技术学院，中山大学深圳校区） ； School of Computer Science, Wuhan University（计算机科学学院，武汉大学） ； Baidu Inc.（百度公司） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

AI总结 本综述全面梳理大语言模型低精度训练方法，按数值格式分类并探讨相关挑战、鲁棒性及研究方向，助力统一该领域研究视角。