arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2603.00812cs.LG
收藏

波-吸引树:一种用于高效序列建模的分层二叉树缩减架构

Wave-Attractor-Tree: A Hierarchical Binary Tree Reduction Architecture for Efficient Sequence Modeling

Igor Berezkin

AI总结:

本文提出了一种分层二叉树缩减架构,通过递归门控线性单元提升序列建模效率,在长距离依赖任务中优于传统Transformer。

摘要:

本文介绍了一种基于分层二叉树的缩减方法,用以替代标准的自注意力机制。核心思想是使用递归的门控线性单元合并操作,实现了总合并操作为O(n)、并行深度为O(log n)、总工作量为O(n d^2)、空间复杂度为O(n)。在这些实验中,该模型在长距离结构依赖上的收敛速度和准确性显著优于标准的Transformer,特别是在层次归纳偏置至关重要的情况下。

英文摘要:

Work introduces a hierarchical binary tree-based reduction that replaces standard self-attention. The core idea is to use a recursive Gated Linear Unit merge operation, achieving O(n) total merge operations O(log n) parallel depth O(n d^2) total work and O(n) space complexity. In these experiments, the model significantly outperforms standard Transformers in both convergence speed and accuracy on long-range structural dependencies, specifically where hierarchical inductive bias is critical.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑