Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck
推理作为压缩:通过条件信息瓶颈统一预算强制
机构 * Qualcomm AI Research(高通人工智能研究)
AI总结 本文提出将高效推理视为信息瓶颈原则下的损失性压缩问题,通过引入条件信息瓶颈(CIB)原则,解决了传统预算强制方法在处理transformers时的理论缺陷,并通过语义先验实现了更高效的推理压缩,提升了准确率并减少了计算成本。