OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion
OmniFusion: 通过模块融合实现多语言多模态翻译
机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； SAP SE（SAP公司）
AI总结 本文提出OmniFusion系统，通过融合预训练多模态基础模型与翻译LLM，实现语音、语音加图像及文本加图像的多语言多模态翻译，降低SimulST延迟并提升翻译质量。
Comments Revised submission in review for ACL ARR
