SignLlama: Enhancing Gloss-free Sign Language Translation by Prioritizing Visual Features for LLMs
SignLlama:通过优先考虑视觉特征增强无词素手语翻译的大语言模型
机构 * State Key Laboratory of Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室) ; University of Warwick(华威大学)
AI总结 该研究针对无词素手语翻译(GFSLT)中LLMs的视觉特征利用问题,提出SignLlama模型,通过过滤伪词素CTC预训练与视觉优先蒸馏策略,在多数据集上取得极具竞争力的性能。