Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
贝叶斯稀疏低秩自适应用于大语言模型不确定性估计
机构 * School of Artificial Intelligence, Jilin University(吉林大学人工智能学院) ; Michigan State University(密歇根州立大学)
专题命中 幻觉与事实性 :trustworthy(abstract);分类 cs.CL、cs.LG
AI总结 提出DALorRA,一种变分贝叶斯稀疏框架,通过随机掩码低秩适应中的秩维度实现模型容量正则化和校准,在不牺牲推理精度下提升LLM校准性能。
Comments Preprint. 16 pages, 7 figures, 6 tables