Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling
Harmonic: 用于高效长上下文语言建模的分层状态空间模型
机构 * Independent Researcher（独立研究员）
AI总结 提出分层状态空间模型Harmonic，通过堆叠三个不同时间尺度的循环层，每层接收下层预测误差而非原始隐藏状态，在长序列上显著优于Transformer和Mamba，并消除了RoPE位置编码限制。
Comments 12 pages, 8 figures. NeurIPS 2024 format
