Decomposing multimodal embedding spaces with group-sparse autoencoders
用组稀疏自编码器分解多模态嵌入空间
机构 * School of Electrical and Computer Engineering(电气与计算机工程学院) ; Georgia Institute of Technology(佐治亚理工学院) ; Dolby Laboratories(杜比实验室)
专题命中 跨模态检索 :multimodal(title,abstract);cross-modal(abstract)
AI总结 本文提出基于组稀疏正则化的多模态嵌入分解方法,通过跨模态随机遮蔽提升多模态对齐,减少死神经元并增强语义性。
Comments 19 pages