ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow:可收敛至词元嵌入的语言流模型
机构 * Chinese University of Hong Kong(香港中文大学) ; University of Michigan(密歇根大学)
AI总结 本研究提出ConvergeFlow,一种嵌入空间的基于流的语言模型,通过约束数据预测器至词元嵌入凸包实现可收敛性,无需交叉熵解码器,在OpenWebText上取得与现有模型相当的性能,展现了基于流范式的语言建模潜力。