University of California, Berkeley（加州大学伯克利分校）

Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning

Fisher-Orthogonal Projected Natural Gradient Descent 用于持续学习

Ishir Garg, Neel Kolhe, Andy Peng, Rohan Gopalam

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 FOPNG通过Fisher正交约束在持续学习中提升模型性能，有效避免灾难性遗忘。

On the Fundamental Limits of LLMs at Scale

在大规模下的大语言模型根本限制

Muhammad Ahmed Mohsin, Muhammad Umer, Ahsan Bilal, Zeeshan Memon, Muhammad Ibtsaam Qadir, Sagnik Bhattacharya, Hassan Rizwan, Abhiram R. Gorle, Maahe Zehra Kazmi, Nukhba Amir, Ali Subhan, Muhammad Usman Rafique, Zihao He, Pulkit Mehta, Muhammad Ali Jamshed, John M. Cioffi

机构 * Stanford University（斯坦福大学） ； The University of Oklahoma（俄克拉荷马大学） ； Emory University（埃默里大学） ； Purdue University（普渡大学） ； UC Riverside（加州大学河滨分校） ； UC Berkeley（加州大学伯克利分校） ； Khyber Medical University（克希伯医学大学） ； Universtat Pompeu Fabra（庞培法华大学） ； Zoox（Zoox公司） ； Meta ； Google DeepMind（谷歌DeepMind） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Glasgow（格拉斯哥大学） 纠错

AI总结 本文探讨了大规模大语言模型的根本限制，提出统一框架分析计算、信息和学习的基础限制，并提供缓解方法。

Comments Submitted to TMLR 2025

Exploring the Landscape of Non-Equilibrium Memories with Neural Cellular Automata

探索非平衡记忆的景观：神经细胞自动机

Ehsan Pajouheshgar, Aditya Bhardwaj, Nathaniel Selub, Ethan Lake

机构 * SB Schools, École Polytechnique Fédérale de Lausanne (EPFL), Switzerland（瑞士联邦理工学院（EPFL）SB学院） ； Department of Computing and Mathematical Sciences, Caltech, Pasadena, CA 91125, USA（加州理工学院计算与数学科学系） ； Institute for Quantum Information and Matter, Caltech, Pasadena, CA 91125, USA（加州理工学院量子信息与物质研究所） ； Department of Physics, University of California Berkeley, Berkeley, CA 94720, USA（加州大学伯克利分校物理系） 纠错

AI总结 本研究通过神经细胞自动机探索非平衡记忆的多样性，发现多种记忆机制能以不同方式存储和纠正信息。

Comments 4+9 pages; v2: expanded discussion, typos fixed

Journal ref Phys. Rev. Lett. 136, 037102 - Published 21 January, 2026

Jet-RL: Enabling On-Policy FP8 Reinforcement Learning with Unified Training and Rollout Precision Flow

Jet-RL: 通过统一训练和回放精度流实现基于策略的FP8强化学习

Haocheng Xi, Charlie Ruan, Peiyuan Liao, Yujun Lin, Han Cai, Yilong Zhao, Shuo Yang, Kurt Keutzer, Song Han, Ligeng Zhu

机构 * NVIDIA ； MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） 纠错

AI总结 Jet-RL通过统一FP8精度流实现稳定高效的强化学习训练，显著提升训练和回放速度，同时保持精度稳定。

Comments 11 pages, 6 figures, 4 tables

RoPE Attention Can Be Trained in Almost Linear Time

RoPE 注意力可以几乎线性时间训练

Yang Cao, Jiayan Huo, Yingyu Liang, Zhenmei Shi, Zhao Song

机构 * Wyoming Seminary（怀俄明神学院） ； University of Arizona（亚利桑那大学） ； The University of Hong Kong（香港大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Simons Institute for the Theory of Computing, University of California, Berkeley（计算理论学院，加州大学伯克利分校） 纠错

AI总结 本文提出了一种在RoPE注意力中基于有界条目的几乎线性时间反向计算算法，并证明了有界条目条件对于亚二次性能的必要性。