Reliability Scaling Laws for Quantized Large Language Models
量化大语言模型的可靠性缩放定律
机构 * Technical University of Munich(慕尼黑工业大学) ; Munich Data Science Institute(慕尼黑数据科学研究所) ; Pruna AI(Pruna人工智能公司)
AI总结 研究量化大语言模型的可靠性缩放定律,通过对其不确定性、校准和鲁棒性进行全面评估,刻画可靠性与模型比特总数的关系,发现4比特量化模型有可靠性峰值,且量化增强了模型对自然输入扰动的鲁棒性。
Comments Transactions on Machine Learning Research (TMLR), 2026