大语言模型中的零标记驱动深度思考：通过循环优化释放现有参数的全部潜力
Zero Token-Driven Deep Thinking in LLMs: Unlocking the Full Potential of Existing Parameters via Cyclic Refinement
AI总结：
针对资源限制下LLM参数量不足的问题，提出零标记Transformer（ZTT），通过头尾解耦的参数循环与零标记机制优化中间层计算并实现动态提前退出，在有限参数预算下提升性能、降低开销且增强适应性。
摘要：
资源限制通常会制约大语言模型（LLMs）的参数量，从而阻碍其性能提升。尽管现有方法在固定预算下采用参数共享来复用同一参数集，但这类方法通常迫使每一层承担多个角色，且迭代次数是预先确定的，限制了效率和适应性。在本研究中，我们提出零标记Transformer（ZTT），其具有头尾解耦的参数循环方法。我们将第一层（头部）和最后一层（尾部）从参数循环中分离出来，仅对中间层进行迭代优化。此外，我们引入零标记机制——这是一种内部架构组件而非输入标记，用于引导特定层的计算。在每个循环中，模型从零标记池中检索一个零标记（带有可训练的键值），并将其与常规标记一起整合到注意力机制中。相应的注意力分数不仅反映了每一层的计算重要性，还能在不牺牲整体模型准确性的情况下实现动态提前退出。我们的方法在严格的参数预算下实现了更优性能，通过提前退出有效降低了计算开销，并且可以轻松应用于微调现有预训练模型，以提升效率和适应性。
英文摘要：
Resource limitations often constrain the parameter counts of Large Language Models (LLMs), hindering their performance. While existing methods employ parameter sharing to reuse the same parameter set under fixed budgets, such approaches typically force each layer to assume multiple roles with a predetermined number of iterations, restricting efficiency and adaptability. In this work, we propose the Zero Token Transformer (ZTT), which features a head-tail decoupled parameter cycling method. We disentangle the first (head) and last (tail) layers from parameter cycling and iteratively refine only the intermediate layers. Furthermore, we introduce a Zero-Token Mechanism, an internal architectural component rather than an input token, to guide layer-specific computation. At each cycle, the model retrieves a zero token (with trainable key values) from a Zero-Token Pool, integrating it alongside regular tokens in the attention mechanism. The corresponding attention scores not only reflect each layer's computational importance but also enable dynamic early exits without sacrificing overall model accuracy. Our approach achieves superior performance under tight parameter budgets, effectively reduces computational overhead via early exits, and can be readily applied to fine-tune existing pre-trained models for enhanced efficiency and adaptability.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
