Columbia University（哥伦比亚大学）

2608.12149 2026-08-25 cs.CL 版本更新

Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

混合线性注意力大语言模型中的大规模激活：注意力前峰值与峰间平台期

Zunhai Su, Bohan Sun, Xialie Zhuang, Shuibai Zhang, He Xiao, Jing Xiong, Hengyuan Zhang, Zhongzhu Zhou, Tiantian Zhang, Ngai Wong, Chuan-Wei Kuo

机构 * Startlux（星创公司）； Tsinghua University（清华大学）； University of Chinese Academy of Sciences（中国科学院大学）； The University of Hong Kong（香港大学）； University of Sydney（悉尼大学）； Columbia University（哥伦比亚大学）

AI总结本研究系统揭示混合线性注意力大语言模型中大规模激活的两种形态，证实其在多架构、多配置等场景下的重复性，明确其对输出门控的响应规律及机制，为相关模型优化提供依据。

Comments Under review

2606.14892 2026-08-25 cs.AI cs.LG cs.SI stat.ML 版本更新

Relational Structural Causal Models

关系结构因果模型

Adiba Ejaz, Elias Bareinboim

机构 * Causal Artificial Intelligence Lab, Columbia University（哥伦比亚大学因果人工智能实验室）

AI总结提出关系结构因果模型，将结构因果模型扩展到对象和关系可变的场景，通过关系因果图和符号识别准则实现未见组合的因果和观测查询识别，并设计关系神经因果模型在交通场景中优于非关系基线。

Comments Proceedings of the Forty-Third International Conference on Machine Learning. Code available at this https URL (https://github.com/CausalAILab/RelationalCausalModels)

2606.00726 2026-08-25 cs.AI 版本更新

Latent Reward Steering: An Adaptive Inference-Time Framework that Implicitly Promotes Cognitive Behaviors in Reasoning LLMs

潜在奖励引导：一种自适应推理时框架，隐式促进推理大语言模型中的认知行为

Jiakang Li, Guanyu Zhu, Can Jin, Chenxi Huang, Dexu Yu, Ronghao Chen, Yang Zhou, Hongwu Peng, Xuanqi Lan, Dimitris N. Metaxas, Youhua Li

机构 * Rutgers University（罗格斯大学）； South China Agricultural University（华南农业大学）； Columbia University（哥伦比亚大学）； Fenz.AI ； QuantaAlpha ； Adobe ； Santa Clara University（圣克拉拉大学）； City University of Hong Kong（香港城市大学）

AI总结提出潜在奖励引导（LRS）框架，通过优化稀疏自编码器潜在状态隐式促进认知行为，利用最终答案正确性训练潜在奖励模型估计中间状态质量，并在推理时提供状态特定的修正方向，实验表明该方法能提升推理性能并修复原始推理错误。

Comments Accepted at EMNLP 2026

2605.00416 2026-08-25 cs.RO 版本更新

Learning While Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies

在部署中学习：面向通用机器人策略的机群规模强化学习

Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, Yunuo Cai, Qinglin Zhang, Chendi Qu, Jeffrey Wu, Jianheng Song, Xinlin Ren, Jingshun Huang, Mingjie Pan, Siyuan Feng, Zhi Chen, Jianlan Luo

机构 * Shanghai Innovation Institute（上海创新研究院）； AGIBOT Finch ； Columbia University（哥伦比亚大学）

AI总结提出LWD框架，通过机群规模的离线到在线强化学习，结合分布式隐式价值学习与伴随匹配Q学习，持续后训练通用视觉-语言-动作策略，在16台双臂机器人上实现95%平均成功率。

Comments No

2507.23220 2026-08-25 cs.CL cs.LG 版本更新

Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders

模型方向，而非词语：使用稀疏自编码器的机制性主题模型

Carolina Zheng, Nicolas Beltran-Velez, Sweta Karlekar, Claudia Shi, Achille Nazaret, Asif Mallik, Amir Feder, David M. Blei

机构 * Columbia University（哥伦比亚大学）； Google Research（谷歌研究院）； Independent（独立研究者）

AI总结本文提出机制性主题模型（MTMs），利用稀疏自编码器学习可解释特征，以揭示深层概念主题，并通过topic judge评估框架验证其有效性。

Comments Accepted for publication in Transactions of the Association for Computational Linguistics (TACL). 26 pages, 10 figures