NeurIPS

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

Harmonic: 用于高效长上下文语言建模的分层状态空间模型

Petr Nyoma

机构 * Independent Researcher（独立研究员） 纠错

AI总结 提出分层状态空间模型Harmonic，通过堆叠三个不同时间尺度的循环层，每层接收下层预测误差而非原始隐藏状态，在长序列上显著优于Transformer和Mamba，并消除了RoPE位置编码限制。

Comments 12 pages, 8 figures. NeurIPS 2024 format

Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators

打破镜像：基于激活的LLM评估者自我偏好缓解方法

Dani Roytburg, Matthew Bozoukov, Matthew Nguyen, Jou Barzdukas, Simon Fu, Narmeen Oozeer

机构 * University of Virginia（弗吉尼亚大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） ； School of Computer Science（计算机科学学院） 纠错

AI总结 针对LLM评估者自我偏好偏见，提出轻量级引导向量方法，在推理时无需重训练即可将不公正自我偏好降低97%，但存在稳定性问题。

Comments Presented at {Mechanistic Interpretability, Evaluations, Reliable-ML} Workshops, NeurIPS 2025