University of California, Berkeley（加州大学伯克利分校）

Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders

评估稀疏自编码器中概念表示的对抗鲁棒性

Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

机构 * University of California, Berkeley（加州大学伯克利分校） ； Bosch Research（博世研究） ； Harvard University（哈佛大学） 纠错

AI总结 本研究评估了稀疏自编码器中概念表示的对抗鲁棒性，发现其易受微小输入扰动影响，可能不适合用于模型监控和监督。

Visual Autoregressive Transformers Must Use $Ω(n^2 d)$ Memory

视觉自回归变换器必须使用$Ω(n^2 d)$内存

Yang Cao, Xiaoyu Li, Yekun Ke, Yingyu Liang, Zhenmei Shi, Zhao Song

机构 * Wyoming Seminary（怀俄明神学院） ； University of New South Wales（新南威尔士大学） ； The University of Hong Kong（香港大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Simons Institute for the Theory of Computing, University of California, Berkeley（伯克利加州大学理论计算研究所） 纠错

AI总结 本文证明了视觉自回归变换器在生成序列时必须使用至少$Ω(n^2 d)$的内存，揭示了在无额外约束下实现亚二次内存使用不可能的理论界限。

On Computational Limits of FlowAR Models: Expressivity and Efficiency

流AR模型的计算极限：表达力与效率

Yang Cao, Chengyue Gong, Yekun Ke, Xiaoyu Li, Yingyu Liang, Zhizhou Sha, Zhenmei Shi, Zhao Song

机构 * Wyoming Seminary（怀俄明私立学校） ； UT-Austin（得克萨斯大学奥斯汀分校） ； The University of Hong Kong（香港大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Simons Institute, UC Berkeley（伯克利大学模拟研究所） 纠错

AI总结 本研究分析了FlowAR模型的电路复杂性，证明其可被TC⁰电路模拟，并探讨了其计算效率与表达能力的限制。

Comments AISTATS 2026

Modern Hopfield Networks Require Chain-of-Thought to Solve $\mathsf{NC}^1$-Hard Problems

现代Hopfield网络需要链式思考来解决$\mathsf{NC}^1$-难问题

Yang Cao, Xiaoyu Li, Yuanpeng Li, Yingyu Liang, Zhenmei Shi, Zhao Song

机构 * Wyoming Seminary（怀俄明神学院） ； University of New South Wales（新南威尔士大学） ； The University of Hong Kong（香港大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Simons Institute for the Theory of Computing, University of California, Berkeley（伯克利加州大学计算理论研究所） 纠错

AI总结 本文研究了现代Hopfield网络在解决$\mathsf{NC}^1$-难问题时的能力限制，并证明引入链式思考机制可使其突破$\mathsf{TC}^0$障碍。

Provable Differentially Private Computation of the Cross-Attention Mechanism

可证明的差分隐私交叉注意力机制计算

Yekun Ke, Yingyu Liang, Zhenmei Shi, Zhao Song, Jiahao Zhang

机构 * The University of Hong Kong（香港大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； The Simons Institute for the Theory of Computing at the University of California, Berkeley（伯克利大学计算理论研究所） 纠错

AI总结 本文提出了一种可证明差分隐私的交叉注意力机制计算方法，通过新颖的数据结构实现隐私保护，同时保证计算效率和安全性。