Yann LeCun

Soft Clustering Anchors for Self-Supervised Speech Representation Learning in Joint Embedding Prediction Architectures

用于联合嵌入预测架构中自监督语音表示学习的软聚类锚点

Georgios Ioannides, Adrian Kieback, Judah Goldfeder, Linsey Pang, Aman Chadha, Aaron Elkins, Yann LeCun, Ravid Shwartz-Ziv

机构 * Carnegie Mellon University（卡内基梅隆大学） ； New York University（纽约大学） ； James Silberrad Brown Center for AI（詹姆斯·西伯拉德·布朗人工智能中心） ； Columbia University（哥伦比亚大学） ； Northeastern University（东北大学） ； Stanford University（斯坦福大学） ； Amazon GenAI（亚马逊生成人工智能） 纠错

AI总结 GMM-Anchored JEPA通过软聚类锚点提升语音表示学习，实现ASR、情感识别和槽填充的性能提升。

Comments 15 pages, 5 figures. Code: github.com/gioannides/clustering-anchored-jepa

Attention Sinks and Compression Valleys in LLMs are Two Sides of the Same Coin

注意力沉降与压缩山谷是大语言模型中的双面现象

Enrique Queipo-de-Llano, Álvaro Arroyo, Federico Barbero, Xiaowen Dong, Michael Bronstein, Yann LeCun, Ravid Shwartz-Ziv

机构 * University of Oxford（牛津大学） ； AITHYRA ； New York University（纽约大学） 纠错

AI总结 本研究揭示了大语言模型中注意力沉降与压缩山谷的联系，提出信息流的Mix-Compress-Refine理论，解释LLM如何通过大规模激活控制注意力和压缩来组织深度计算。