GMSA: Enhancing Context Compression via Group Merging and Layer Semantic Alignment
GMSA:通过组合并和层语义对齐增强上下文压缩
机构 * Tsinghua University(清华大学) ; Pengcheng Laboratory(鹏城实验室) ; Seoul National University(首尔国立大学) ; Sun Yat-sen University(中山大学)
AI总结 GMSA通过组合并和层语义对齐技术,提升长上下文场景下的上下文压缩效率,实现更高效的模型压缩与下游任务性能提升。
Comments 14 pages, 7 figures