Beyond Output Matching: Preserving Internal Geometry in NVFP4 LLM Distillation
超越输出匹配:在NVFP4 LLM蒸馏中保留内部几何结构
机构 * Fangbo Tu(图方波) ; Junhua Zhao(赵俊华) ; Chi Liu(刘驰) ; Xin Chen(陈新) ; Haifeng Wu(吴海峰) ; Jian Wan(万健) ; Srinivasan Manoharan(曼纳哈兰)
专题命中 诊断辅助 :diagnosis(abstract);分类 cs.LG
AI总结 针对NVFP4低精度量化蒸馏中仅输出匹配导致内部表示退化的问题,提出CKA-QAD方法,通过CKA引导的层间Gram矩阵对齐保留内部几何结构,提升推理和编码任务准确率。
Comments 13 pages,1 figures