Yann LeCun

Separating Representation from Reconstruction Enables Scalable Text Encoders

将表示与重建分离可实现可扩展的文本编码器

Megi Dervishi, Mathurin Videau, Yann LeCun

机构 * FAIR Meta ； New York University（纽约大学） 纠错

AI总结 研究发现自BERT以来编码器变化小，通过冻结主干评估揭示问题源于其扁平设计。提出CrossBERT架构分离高质量编码表示学习与令牌重建，能提高掩码率和梯度收集效率，在相关基准测试中表现优异。