PruneCD：对比剪枝自模型以提升解码事实性
PruneCD: Contrasting Pruned Self Model to Improve Decoding Factuality
AI总结：
本文提出 PruneCD，通过层剪枝构建业余模型进行对比解码，替代 DoLa 的早退 logits 方法，以极小推理开销持续提升大语言模型解码的事实性。
摘要：
为了缓解大语言模型中的幻觉问题，DoLa 利用同一模型的早退 logits 作为对比先验。然而，我们发现这些早退 logits 往往较为平坦、幅值较低，无法反映有意义的对比。为了解决这一问题，我们提出了 PruneCD，一种新颖的对比解码方法，它通过层剪枝而非早退来构建业余模型。这一设计能够产生信息更丰富且对齐良好的 logits，从而实现更有效的对比解码。通过定性和定量分析，我们证明 PruneCD 在推理开销极小的情况下持续提升事实性，为缓解大语言模型中的幻觉提供了一种稳健且实用的方法。
英文摘要：
To mitigate the hallucination problem in large language models, DoLa exploits early exit logits from the same model as a contrastive prior. However, we found that these early exit logits tend to be flat, low in magnitude, and fail to reflect meaningful contrasts. To address this, we propose PruneCD, a novel contrastive decoding method that constructs the amateur model via layer pruning rather than early exit. This design leads to more informative and well-aligned logits, enabling more effective contrastive decoding. Through qualitative and quantitative analyses, we demonstrate that PruneCD consistently improves factuality with minimal inference overhead, offering a robust and practical approach to mitigating hallucinations in LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
