YANchor-4B：O(N) 时间与 O(1) 内存下的高效长时程推理
YANchor-4B: Effective Long-Horizon Reasoning in O(N) Time with O(1) Memory
浏览论文内容
中文总结 AI 辅助
YANchor-4B 是一种通用循环模型，通过锚点记忆机制在 O(N) 时间和 O(1) 内存下实现高效长时程推理，在数学基准上显著优于同类模型，并提升长序列生成吞吐量。
中文摘要 AI 辅助
长时程推理要求在可控的生成成本下访问早期信息。全历史注意力机制会导致存储和计算量不断增长，而循环压缩则可能丢失精确细节。为此，我们提出了 YANchor-4B，一个通用的循环模型，它将关键记忆保留为锚点（ANchors），供后续推理时检索。除了 O(N) 时间的生成和 O(1) 的内存占用，YANchor 还通过其多维记忆机制实现了有效的长时程推理。例如，在具有挑战性的数学问题上，它在 AIME 2024--2026 上实现了 82.93% 的平均 pass@1，在 HMMT 上实现了 63.64%，显著优于包括更大模型在内的线性时间、恒定状态模型。此外，在 H100 上，它的批量长序列生成吞吐量比 Transformer 和混合基线高出数倍。最后，在数十个基准上的评估证明了 YANchor 在通用能力上的优越性。
英文摘要
Long-horizon reasoning demands access to earlier information at a manageable generation cost. Full-history attention incurs growing storage and computation, while recurrent compression can lose precise details. Therefore, we present YANchor-4B, a general-purpose recurrent model that preserves crucial memory as ANchors for retrieval during subsequent reasoning. Beyond $O(N)$-time generation and $O(1)$ memory, YANchor enables effective long-horizon reasoning through its multidimensional memory mechanism. For example, on challenging math problems, it achieves 82.93% mean pass@1 on AIME 2024--2026 and 63.64% on HMMT, substantially outperforming linear-time, constant-state counterparts, including larger models. It also delivers several-fold higher batched long-generation throughput than Transformer and hybrid baselines on H100. Furthermore, evaluations across dozens of benchmarks demonstrate YANchor's superiority in general-purpose capabilities.
发表机构
- Rocore Matrix
机构由 AI 辅助整理，请以论文原文为准。
