arXivDaily arXiv每日学术速递 周一至周五更新

作者

Yann LeCun

Deep Learning / Vision

2025-12-09 至 2025-12-09 共收录 1
2512.07168 2025-12-09 cs.SD cs.AI cs.LG eess.AS

JEPA as a Neural Tokenizer: Learning Robust Speech Representations with Density Adaptive Attention

JEPA作为一种神经令牌化器:利用密度自适应注意力学习鲁棒的语音表示

Georgios Ioannides, Christos Constantinou, Aman Chadha, Aaron Elkins, Linsey Pang, Ravid Shwartz-Ziv, Yann LeCun

机构 * Carnegie Mellon University(卡内基梅隆大学) Amazon GenAI(亚马逊生成人工智能) James Silberrad Brown Center for Artificial Intelligence(詹姆斯·西伯拉德·布朗人工智能中心) University of Bristol(布里斯托大学) Stanford University(斯坦福大学) Northeastern University(东北大学) New York University(纽约大学)

AI总结 本文提出了一种结合JEPA和密度自适应注意力机制的两阶段自监督框架,用于高效学习鲁棒的语音表示,通过令牌化和高保真重建实现高效压缩。

Comments UniReps: Unifying Representations in Neural Models (NeurIPS 2025 Workshop)

详情

展开后加载摘要…

URL PDF HTML 收藏