论文导读
洛桑联邦理工学院、慕尼黑工业大学、苏黎世联邦理工学院团队提出zip2zip++，修补语言模型压缩文本时的编码方式。相同微调预算下，Phi-3.5-mini在GSM8K数学题上的准确率从旧压缩方案的36%升到68%，未压缩对照为75%。其中一个关键动作很直接：不要把对计算重要的数字随便合并掉。
少几个Token，答案却更容易错
在同样微调设置下，Phi-3.5-mini的数学题准确率从旧压缩方案约36%提高到68%，未压缩对照约75%。改进把压缩损失追回了一大部分，保留了仍未消除的差距。
图：未压缩、旧压缩与改进压缩分别列出数学、代码、指令遵循和长文本检索结果。
语言模型通常把文本分成许多小单元，一个个读入和生成。把反复出现的短片段合成一个更长单元，同样的文字就能用更少的Token表示。zip2zip用动态字典做这件事，字典随着文本逐步建立。
问题出在模型看到和生成的是压缩后的单元。压缩能恢复原文，不代表模型能用这些新单元同样准确地推理。旧方案在数学任务上掉分明显，研究团队因此逐项检查：哪些合并最伤计算，输入输出的编码是否冲突，位置标记和评估方法有没有算错。
先保护数字，再修接口
论文最直接的发现是数字脆弱。把它们排除在自动合并之外，Phi-3.5-mini的GSM8K成绩从约36%提高到61%；继续改其他组件后达到约68%。不是每种符号都值得一律保护，额外保护运算符和部分排版控制符的收益很小。
第二个修改是把输入和输出的压缩编码器分开。读入一个长片段时，模型需要综合里面的内容；准备输出时，相同开头的不同片段会竞争同一个位置。二者需要的表示方式不同，共用同一个小编码器，会迫使它兼顾冲突的目标。
图：两张热力矩阵展示不同词片段间的相似度，左边输出表示按共同前缀聚集，右边输入表示的结构不同。
第三个修改让位置标记考虑合并单元原本占了几个位置。两个Token合成一个后，不能简单把后面的文字都当成向前挪了一格。团队还让新编码器从已有单元的表示开始学习修正，减少新接口突然打乱预训练模型的情况。
图：左侧比较合并前后的位置标记，中间展示平坦与分层编码器，右侧代码框说明不同合法压缩。
36%到68%，比较的是旧压缩
主要实验使用同样的数据流、低秩微调设置和更新预算，比较未压缩、zip2zip和zip2zip++。Phi-3.5-mini的GSM8K准确率依次约75%、36%、68%；Phi-3-medium依次约70%、51%、69%。这些对照同样经过微调，不等于模型出厂版本的成绩。
压缩多少，也必须单独报告。改进方案把一般文本缩成更少Token，但保护数字会牺牲一部分数学输出压缩率。Phi-3.5-mini在数学答案生成中，约每1个输出单元对应1.25个基础Token；旧方案约1.53个，不能把旧方案的压缩收益与新方案的准确率拼到一起。
新方案还恢复了一部分长文本检索表现。3.8B模型在32K长度的RULER测试中，从旧方案15.2升到52.8，未压缩对照为73.7。这些模型没有专门做长上下文训练，测试使用推理时的位置扩展。
文本一样，压缩方式可以不同
动态字典里，同一串文本可能有多种合法分法。例如几个基础单元既可以分别输出，也可以通过较长的字典项一次输出。只给一种标准分法打分，会把其他同样能还原原文的方案算成错误。
团队因此加入多视角评分，把同一目标文本的合法分法共同考虑。它改变的是评估口径，不能直接写成模型新增了某种推理能力。论文把困惑度、任务准确率和实际压缩量分开报告，避免只看一个漂亮指标。
改善主要集中在数学和部分检索任务。代码生成、指令遵循没有得到统计上明确的恢复，14B模型在其中一些任务上反而比旧压缩方案更低。项目公开了四类基础模型的训练和推理接口，以及可查看动态字典的演示，能够检查文本怎样被打包、又怎样还原。
