Yann LeCun

The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks

尖峰、稀疏与汇点：大规模激活与注意力汇点的解剖

Shangwen Sun, Alfredo Canziani, Yann LeCun, Jiachen Zhu

机构 * New York University（纽约大学） 纠错

AI总结 研究揭示了Transformer中大规模激活与注意力汇点的关联性及作用机制，指出预归一化配置是二者共存的关键因素。

AI+HW 2035: Shaping the Next Decade

AI+HW 2035：塑造下一十年

Deming Chen, Jason Cong, Azalia Mirhoseini, Christos Kozyrakis, Subhasish Mitra, Jinjun Xiong, Cliff Young, Anima Anandkumar, Michael Littman, Aron Kirschen, Sophia Shao, Serge Leef, Naresh Shanbhag, Dejan Milojicic, Michael Schulte, Gert Cauwenberghs, Jerry M. Chow, Tri Dao, Kailash Gopalakrishnan, Richard Ho, Hoshik Kim, Kunle Olukotun, David Z. Pan, Mark Ren, Dan Roth, Aarti Singh, Yizhou Sun, Yusu Wang, Yann LeCun, Ruchir Puri

AI总结 本文提出了一项为期十年的AI+HW协同设计路线图，旨在通过提升能效、系统集成和跨层优化，实现AI训练和推理的1000倍效率提升，并推动能源感知的自优化系统发展。

Comments 35 pages, 4 figures