JEPA as a Neural Tokenizer: Learning Robust Speech Representations with Density Adaptive Attention
JEPA作为一种神经令牌化器:利用密度自适应注意力学习鲁棒的语音表示
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Amazon GenAI(亚马逊生成人工智能) ; James Silberrad Brown Center for Artificial Intelligence(詹姆斯·西伯拉德·布朗人工智能中心) ; University of Bristol(布里斯托大学) ; Stanford University(斯坦福大学) ; Northeastern University(东北大学) ; New York University(纽约大学)
AI总结 本文提出了一种结合JEPA和密度自适应注意力机制的两阶段自监督框架,用于高效学习鲁棒的语音表示,通过令牌化和高保真重建实现高效压缩。
Comments UniReps: Unifying Representations in Neural Models (NeurIPS 2025 Workshop)