Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild
Tencent Hunyuan Team(腾讯文言团队)
本文提出Hy-MT2系列多语言翻译模型,通过三种规模(1.8B、7B、30B-A3B MoE)支持33种语言翻译,在通用、商业、领域和指令跟随任务上超越开源模型和商业API,并实现轻量级设备端部署。
2026-05-25 cs.CL
LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能)
最近,文本、布局和图像的多模态预训练在视觉丰富的文档理解任务中实现了SOTA性能,这表明了跨不同模态联合学习的巨大潜力。在本文中,我们提出了LayoutXLM,这是一个多模态的预训练模型,用于多语言文档理解,旨在弥合视觉丰富的文档理解的语言障碍。为了准确评估LayoutXLM,我们还引入了一个名为XFUND的多语言表单理解基准数据集,其中包括7种语言(中文,日语,西班牙语,法语,意大利语,德语,葡萄牙语)的表单理解样本,并为每种语言手动标记键值对。实验结果表明,LayoutXLM模型在XFUND数据集上的性能明显优于现有的SOTA跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集可在https://aka.ms/layoutxlm上公开获得。
2021-09-09 cs.CL
xGQA: Cross-Lingual Visual Question Answering
Technical University of Darmstadt(达姆施塔特工业大学);New York University(纽约大学);University of Cambridge(剑桥大学)
多模态视觉和语言建模的最新进展主要集中在英语语言上,主要是由于缺乏多语言多模态数据集来指导建模工作。在这项工作中,我们解决了这一差距,并提供了xGQA,这是一种用于视觉问答任务的新多语言评估基准。我们将建立的英语GQA数据集扩展到7种类型不同的语言,使我们能够检测和探索跨语言视觉问答中的关键挑战。我们进一步提出了新的基于适配器的方法,以适应多模态转换器为基础的模型成为多语言,反之亦然-多语言模型成为多模态。我们提出的方法优于当前最先进的多语言多模态模型(例如,M3 P),但准确度仍然很低;目标语言中约38个准确度点的性能下降显示了该任务的zero-shot跨语言迁移的难度。我们的研究结果表明,简单的跨语言迁移的多模态模型产生潜在的多语种多模态错位,需要更复杂的视觉和多语种语言建模的方法。
2022-03-17 cs.CL
Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges
Google AI(谷歌人工智能)
我们介绍了我们的努力,建立一个通用的神经机器翻译(NMT)系统,能够在任何语言对之间进行翻译。我们通过构建一个单一的大规模多语言NMT模型来处理103种语言,并在超过250亿个示例中进行训练,从而实现了这一目标。我们的系统展示了有效的迁移学习能力,显著提高了低资源语言的翻译质量,同时使高资源语言的翻译质量与竞争性双语基线保持一致。我们对模型构建的各个方面进行了深入分析,这些方面对于在通用NMT中实现质量和实用性至关重要。虽然我们原型的高质量的通用翻译系统,我们广泛的实证分析暴露出需要进一步解决的问题,我们建议未来的研究方向。
2019-07-11 cs.CL cs.LG
Multilingual Multimodality: A Taxonomical Survey of Datasets, Techniques, Challenges and Opportunities
Meta
超越单一语言的语境化语言技术引发了对多种形式和语言的拥抱。单独地,这些方向中的每一个无疑会扩散到几个NLP任务中。尽管如此,大多数多模态研究主要集中在英语和多语言研究主要集中在文本模态的上下文。在这种传统设置的基础上,研究人员研究了多语言和多模式(MultiX)流的统一。这项工作的主要目标是通过绘制任务,数据集和方法的类别来分类和描述这些工作,以解决MultiX场景。为此,我们回顾了所研究的语言,并行注释的黄金或白银数据,并了解这些模式和语言在建模中如何相互作用。我们介绍了建模方法及其优缺点,以更好地了解它们可以可靠地使用的场景。在此之后,我们提出了该领域整体范式的高层次趋势。最后,我们提出了一个挑战和有前途的研究方向的路线图。
2022-10-30 cs.CL
Multilingual, Multimodal Pipeline for Creating Authentic and Structured Fact-Checked Claim Dataset
Ruhr-Universität Bochum(博尔塔尔大学波恩)
本文提出一个多语言、多模态的数据收集与处理流水线,通过整合ClaimReview feeds、抓取完整驳斥文章、标准化异构声明裁定并添加结构化元数据和对齐的视觉内容,构建了法语和德语的事实核查数据集,提升了事实核查的可解释性和证据基础。
2026-03-17 cs.CL
MSA at ImageCLEF 2025 Multimodal Reasoning: Multilingual Multimodal Reasoning With Ensemble Vision Language Models
October University for Modern Sciences and Arts(现代科学与艺术大学)
本文提出一种用于ImageCLEF 2025多语言多模态推理的集成系统,结合多个Gemini模型与精确提示策略,以81.4%准确率获多语言赛道第一,证明轻量级OCR-VLM集成可胜过端到端模型。
2025-07-15 cs.CL
M5 -- A Diverse Benchmark to Assess the Performance of Large Multimodal Models Across Multilingual and Multicultural Vision-Language Tasks
Universität Hamburg(汉堡大学);Microsoft Research India(微软研究院印度分院)
本文提出M5,首个在多语言和多文化语境下评估大型多模态模型视觉语言任务的综合性基准,包含8个数据集、5项任务和41种语言,揭示了高低资源语言间的显著性能差异及模型规模并非决定性优势。
2024-08-26 cs.CL
Added Toxicity Mitigation at Inference Time for Multimodal and Massively Multilingual Translation
FAIR, Meta(Meta AI 基础人工智能研究实验室)
提出MinTox流程,在推理时通过多模态毒性检测分类器识别并缓解翻译新增毒性,应用于SEAMLESSM4T系统,可过滤25%-95%毒性且保持翻译质量。
2023-11-11 cs.CL
Multilingual Multimodal Learning with Machine Translated Text
Wuhan University of Science and Technology(武汉科技大学);University Politehnica of Bucharest(布加勒斯特理工大学);University of Copenhagen(哥本哈根大学);Pioneer Centre for AI(人工智能先锋中心)
大多数视觉和语言训练前的研究集中在英语任务。然而,创建多语言多模态评估数据集(例如Multi 30 K,xGQA,XVNLI和MaRVL)在寻找多语言和多模态的高质量训练数据方面提出了新的挑战。在本文中,我们探讨机器翻译英语多模态数据是否可以有效地代理缺乏现成的多语种数据。我们称这个框架为TD-MML:多语言多模态学习的翻译数据,它可以应用于任何多模态数据集和模型。我们使用最先进的模型将其应用于预训练和微调数据。为了防止模型从低质量的翻译文本中学习,我们提出了两个指标,用于自动从结果数据集中删除此类翻译。在IGLUE基准测试中,我们对20种语言的5个任务进行了实验,结果表明,翻译后的数据可以为多语言多模态学习提供有用的信号,无论是在预训练还是微调方面。
2022-10-24 cs.CL cs.CV
m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt
State Key Lab of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Department of Computer Science, University of British Columbia(不列颠哥伦比亚大学计算机科学系)
本文提出m3P框架,利用多模态提示引导多模态多语言神经机器翻译,通过引入视觉上下文作为语言无关表示,以图像为中心语言最小化不同语言表示距离,构建支持102种语言的InstrMulti102数据集,大幅超越基线方法。
2024-03-26 cs.AI cs.CL
Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking
Carnegie Mellon University(卡内基梅隆大学);Meta FAIR
本文提出一种利用语言模型和文本语言识别等外部特征的简单N-best重排序方法,有效提升了真实环境下多语言ASR的准确率并降低了词错误率。
2024-09-27 cs.CL cs.SD eess.AS
BiMamba2 Masked Discrete-Unit Prediction for Multilingual Speech Representation for Unsupervised Speech in the Wild Challenge
Howard University(霍华德大学)
本文提出基于BiMamba2的掩蔽离散单元预测方法,在无标注多语言语音上训练,实现说话人聚类性能超越基线,并分析了评估差异。
2026-09-25 cs.CL cs.SD
Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学);Facebook AI;University of Oxford(牛津大学)
本文研究了视觉语言模型的zero-shot跨语言迁移。具体来说,我们专注于多语言文本到视频搜索,并提出了一个基于transformer的模型,学习上下文化的多语言多模态嵌入。在一个zero-shot设置下,我们经验证明,当我们用非英语句子查询多语言文本视频模型时,性能会显着下降。为了解决这个问题,我们引入了多语言多模态预训练策略,并收集了一个新的多语言教学视频数据集(MultiHowTo 100 M)进行预训练。VTT上的实验表明,我们的方法显着提高了视频搜索在非英语语言没有额外的注释。此外,当多语言注释可用时,我们的方法在VTT和VATEX上的多语言文本到视频搜索中以及Multi 30 K上的多语言文本到图像搜索中的表现都大大优于最近的基线。我们的模型和Multi-HowTo 100 M可在http://github.com/berniebear/Multi-HT100M上获得。
2021-04-15 cs.CL cs.CV
M2SA: Multimodal and Multilingual Model for Sentiment Analysis of Tweets
Faculty of Humanities and Social Sciences, University of Zagreb(萨格勒布大学人文与社会科学学院);Computational Linguistics, University of Potsdam(波茨坦大学计算语言学系)
本文针对多语言推文情感分析缺乏多模态数据的问题,将现有文本 Twitter 情感数据集整理扩展为多模态格式并进行基线实验,证明情感调优 LLM 文本编码器表现优异。
2024-06-12 cs.CL
Findings of the Second Shared Task on Multimodal Machine Translation and Multilingual Image Description
University of Edinburgh(爱丁堡大学);University of Le Mans(勒芒大学);University of Sheffield(谢菲尔德大学)
我们提出了多模态机器翻译和多语言图像描述的第二个共享任务的结果。9个小组向两项任务提交了19个系统。多模态翻译任务,其中的源语句是由图像补充,扩展了一种新的语言(法语)和两个新的测试集。更改了多语言图像描述任务,以便在测试时仅给出图像。与去年相比,多式联运系统有所改善,但纯文本系统仍具有竞争力。
2017-10-19 cs.CL cs.CV
Assessing Multilingual Fairness in Pre-trained Multimodal Representations
University of California, Santa Cruz(加州大学圣克鲁兹分校)
最近预训练的多模态模型,如CLIP,在连接图像和自然语言方面表现出了卓越的能力。英语的文本表征可以被期望地转移到多语言,并支持不同语言的下游多模态任务。然而,多语言公平原则很少被仔细审查:多语言多模态模型是否平等对待语言?他们的表现是否偏向于特定的语言?为了回答这些问题,我们将语言视为公平性的接受者,并为预训练的多模态模型引入了两个新的公平性概念,多语言个体公平性和多语言群体公平性。多语言个体公平性要求不同语言中表达相似语义的文本片段与图像的连接相似,而多语言群体公平性要求跨语言的预测性能均衡。我们描述了预先训练的多语言视觉和语言表示在多大程度上对不同语言都是公平的。然而,大量的实验表明,多语言表示并不能满足群体公平性:(1)存在严重的多语言准确性差异问题;(2)错误表现出跨语言的偏见,影响图像中的人群,包括种族,性别和年龄。
2022-03-16 cs.AI cs.CL cs.LG
MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application
提出首个专家标注的多语言多模态金融基准MultiFinBen,包含多语言金融推理和金融OCR任务,评估21个领先LLM发现前沿模型在多语言与多模态金融推理上仍存在显著局限。
2025-10-11 cs.CL
M3P: Learning Universal Representations via Multitask Multilingual Multimodal Pre-training
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Microsoft Research Redmond(微软研究院(雷德蒙德))
我们提出了M3P,一个多任务多语言多模态预训练模型,它通过多任务预训练将多语言预训练和多模态预训练结合到一个统一的框架中。我们的目标是学习通用的表示,可以映射对象发生在不同的模态或不同语言表达的文本到一个共同的语义空间。此外,为了明确鼓励图像和非英语语言之间的细粒度对齐,我们还提出了多模式代码转换训练(MCT),通过代码转换策略将单语预训练和多模式预训练相结合。在MSCOCO和Multi30K两个基准数据集上进行了多语言图像检索实验。M3P可以为英语和新的国家的最先进的结果为非英语语言实现可比的结果。
2021-04-01 cs.CL cs.CV
SENSE models: an open source solution for multilingual and multimodal semantic-based tasks
LIA, Avignon Université(阿维尼昂大学LIA)
SENSE模型通过教师-学生框架实现多语言和多模态语义任务的高效语义对齐,提供开源解决方案并取得竞争力表现。
2025-12-08 cs.CL
Bridge Correlational Neural Networks for Multilingual Multimodal Representation Learning
IIT Madras(印度理工学院马德拉斯分校);IBM Research India(IBM印度研究院);University of Montreal(蒙特利尔大学)
最近,人们对学习数据的多个视图的公共表示很感兴趣。通常,这种常见的表示是使用两个视图之间的并行语料库(例如,1M图像及其英文标题)来学习的。在这项工作中,我们解决了一个现实世界的情况下,没有直接的并行数据之间的两个视图的利益(说,$V_1$和$V_2$),但并行数据之间的每个视图和枢轴视图($V_3$)。我们提出了一个模型,用于学习一个共同的表示$V_1$,$V_2$和$V_3$只使用并行数据之间可用的$V_1V_3$和$V_2V_3$。建议的模型是通用的,甚至工作时,有$n$感兴趣的意见,只有一个枢轴视图,作为它们之间的桥梁。有两个具体的下游应用,我们专注于(i)语言之间的迁移学习$L_1$,$L_2$,.,使用枢轴语言$L$的$L_n$和(ii)图像和使用枢轴语言$L_2$的语言$L_1$之间的跨模态访问。我们的模型在公开的多语言TED语料库上实现了多语言文档分类的最先进性能,并在作为这项工作的一部分创建和发布的新数据集上实现了多语言多模态检索的可喜成果。
2016-07-01 cs.CL
Boosting Text-To-Image Generation via Multilingual Prompting in Large Multimodal Models
Northeastern University(东北大学);Dalian Jiaotong University(大连交通大学);NiuTrans Research(牛 tran 研究中心)
本研究针对大型多模态模型文本到图像生成中输入文本理解不足的问题,提出构建平行多语言提示的PMT2I方法,实验证明其在多类评估中性能更优,结合重排序效果更佳。
2025-01-13 cs.CL
MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages
Indian Institute of Technology Indore(印度英迪尔印度理工学院)
本文提出了面向低资源印度语系的多模态多语言标题感知假新闻检测框架MMCFND,并构建了包含7种语言共28,085个实例的数据集MMIFND,通过融合视觉、文本和图像标题特征,有效提升了假新闻检测性能。
2024-10-14 cs.CL
CommunityFact: A Dynamic, Multilingual, Multi-domain Benchmark for Misinformation Detection in the Wild
National University of Singapore(新加坡国立大学)
提出CommunityFact基准,通过多语言多领域声明、LLM评估和社区笔记分析,揭示封闭输入验证的挑战、网络搜索的增益以及证据选择策略的偏差。
2026-05-28 cs.CL cs.CY cs.SI
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki(赫尔辛基大学)
本文提出了M3 L-Contrast-一种新的多模态多语言(M3 L)神经主题模型,用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练,并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型,它产生对齐的语言特定的主题和多模态模型,它推断图像中的语义概念的文本表示。我们证明,我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布,并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明,我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
BOOM: Beyond Only One Modality KIT's Multimodal Multilingual Lecture Companion
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
BOOM通过多模态翻译技术,为多语言学习者提供同步的文本、幻灯片和语音输出,实现讲座内容的本地化与完整性保留。
2026-02-22 cs.CL
Multi3Hate: Multimodal, Multilingual, and Multicultural Hate Speech Detection with Vision-Language Models
Johannes Gutenberg University Mainz(美因茨约翰内斯古滕贝格大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Hamburg(汉堡大学)
本文构建涵盖5种语言、由多元文化标注者标注的多模态平行仇恨言论数据集 Multi3Hate,揭示文化背景导致的标注差异,并评估5个大型 VLM 的零样本检测表现及其对美国视角的偏向。
2025-02-17 cs.CL
M$^{3}$D: A Multimodal, Multilingual and Multitask Dataset for Grounded Document-level Information Extraction
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
针对现有数据集忽视视频多模态和细粒度视觉定位的问题,构建了多模态多语言多任务数据集M$^{3}$D,并提出含去噪特征融合与缺失模态构建模块的分层模型,在英中数据集上取得约53.8%的平均性能。
2024-12-15 cs.CL
WorldMedQA-V: a multilingual, multimodal medical examination dataset for multimodal language models evaluation
Oxford(牛津大学);Harvard(哈佛大学);Mass General Brigham(麻省总医院布里格姆医疗中心);Boston Children’s Hospital(波士顿儿童医院);St. Luke’s Medical Center(圣卢克医疗中心);Ben-Gurion University of the Negev(内盖夫本-古里安大学);MIT(麻省理工学院);International University of Health and Welfare(国际医疗福祉大学);Alcalá University(阿尔卡拉大学);Maastricht University(马斯特里赫特大学);BIDMC(贝斯以色列女执事医疗中心);Duke(杜克大学)
提出多语言多模态医学考试数据集WorldMedQA-V,包含568个QA及图像,覆盖四国语言与英文翻译,用于评估VLMs在医疗环境中的表现,促进AI系统的公平与有效应用。
2024-10-16 cs.CL
LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
多模态机器翻译(MMT)致力于增强具有视觉特征的纯文本翻译,引起了自然语言处理和计算机视觉界的广泛关注。最近的进展仍然在努力为每个语言对训练单独的模型,这是昂贵的,当现实世界中语言的数量增加时是负担不起的。换句话说,尚未研究多语言多模态机器翻译(多语言MMT)任务,其旨在通过为多种语言提供共享语义空间来处理上述问题。此外,意象情态没有语言边界,这一点优于弥合语言之间的语义鸿沟。为此,我们首先提出了多语言MMT任务,建立两个新的多语言MMT基准数据集,涵盖七种语言。然后,提出了一个有效的基线LVP-M3使用视觉提示,以支持不同语言之间的翻译,它包括三个阶段(令牌编码,语言感知的视觉提示生成,和语言翻译)。在我们构建的基准数据集上的大量实验结果证明了LVP-M3方法对多语言MMT的有效性。
2022-11-28 cs.AI cs.CL
M4U: Evaluating Multilingual Understanding and Reasoning for Large Multimodal Models
Key Laboratory of AI Safety of Chinese Academy of Sciences (CAS)(中国科学院人工智能安全重点实验室(中国科学院));Institute of Computing Technology, CAS(中国科学院计算技术研究所)
本文提出M4U基准,用于评估大型多模态模型的多语言理解与推理能力,涵盖多学科多语言样本,发现GPT-4o准确率仅47.6%,且模型存在语言偏好和跨语言推理困难。
2025-04-25 cs.CL cs.CV
MultiSubs: A Large-scale Multimodal and Multilingual Dataset
Imperial College London(帝国理工学院);Federal University of Mato Grosso(马托格罗索联邦大学)
本文介绍了一个大规模的多模态和多语种数据集,旨在促进研究接地的话,以图像在其语境中使用的语言。该数据集由选定的图像组成,以明确地说明电影字幕中句子表达的概念。该数据集是一个有价值的资源,因为(i)图像与文本片段而不是整个句子对齐;(ii)文本片段和句子可能有多个图像;(iii)句子是自由形式和真实世界;(iv)平行文本是多语言的。我们为人类设置了一个填空游戏来评估我们数据集的自动图像选择过程的质量。我们展示了数据集在两个自动任务上的实用性:(i)填空;(ii)词汇翻译。人工评估和自动模型的结果表明,图像可以是一个有用的补充,文本上下文。该数据集将有利于研究单词的视觉基础,特别是在自由形式句子的背景下,并且可以在知识共享许可下从https://doi.org/10.5281/zenodo.5034604获得。
2022-06-16 cs.CL
Image Pivoting for Learning Multilingual Multimodal Representations
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
在本文中,我们提出了一个模型来学习多模态多语言表示匹配图像和句子在不同的语言,以推进图像搜索和图像理解的多语言版本的目的。我们的模型通过将图像视为两种语言之间的枢纽来学习图像的通用表示及其在两种不同语言中的描述(不需要是并行的)。我们引入了一个新的成对排序损失函数,它可以处理两种模态之间的对称和非对称相似性。我们评估我们的模型的图像描述排名为德语和英语,并在英语中的图像描述的语义文本相似性。在这两种情况下,我们都实现了最先进的性能。
2017-07-24 cs.CL cs.CV
LLaVA-NeuMT: Selective Layer-Neuron Modulation for Efficient Multilingual Multimodal Translation
University of Chinese Academy of Sciences(中国科学院大学);The University of Queensland(昆士兰大学)
提出LLaVA-NeuMT框架,通过层选择与神经元级适配分离语言特有和无关表示,仅微调40%参数即在两个多语言多模态翻译数据集上达到SOTA。
2025-07-25 cs.CL cs.MM
MERLIN: A Testbed for Multilingual Multimodal Entity Recognition and Linking
Carnegie Mellon University(卡内基梅隆大学);Defence Science and Technology Agency(国防科学与技术局)
本文提出MERLIN测试平台,构建五种语言的多模态数据集,验证视觉信息可提升实体链接准确性,尤其对多语言能力弱的模型。
2025-10-16 cs.AI cs.CL
MMAFFBen: A Multilingual and Multimodal Affective Analysis Benchmark for Evaluating LLMs and VLMs
The University of Manchester(曼彻斯特大学);The Fin AI Singapore(Fin AI新加坡);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院)
本文提出首个多语言多模态情感分析开源基准MMAFFBen,覆盖35种语言及四种情感任务,并构建MMAFFIn数据集微调出MMAFFLM模型,系统评估了包括GPT-4o-mini在内的多种模型的情感理解能力。
2025-05-30 cs.CL
Grounding Multilingual Multimodal LLMs With Cultural Knowledge
Carnegie Mellon University(卡内基梅隆大学)
本文提出以数据为中心的方法,利用Wikidata知识图谱构建了覆盖42国39种语言的2200万文化VQA对数据集CulturalGround,并训练开源模型CulturalPangea,在保持通用能力的同时显著提升了多模态LLM的文化理解能力。
2025-08-12 cs.CL cs.LG
Multi-Head Attention with Diversity for Learning Grounded Multilingual Multimodal Representations
Carnegie Mellon University(卡内基梅隆大学);Monash University(莫纳什大学)
为了促进和理解图像搜索的多语言版本,我们利用视觉目标检测,并提出了一个具有不同多头注意力的模型来学习接地多语言多模态表示。具体来说,我们的模型出席了不同类型的文本语义在两种语言和视觉对象之间的句子和图像的细粒度对齐。我们引入了一个新的目标函数,明确鼓励注意力的多样性,学习改进的视觉语义嵌入空间。我们在Multi30K数据集上的德语图像和英语图像匹配任务中评估了我们的模型,并在语义文本相似性任务中使用视觉内容的英语描述。结果表明,我们的模型产生了显着的性能增益比其他方法在所有三个任务。
2019-09-30 cs.CL cs.CV
Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset
Google Research(谷歌研究院)
由于缺乏高质量的评价数据集,大规模多语言图像描述的研究受到严重阻碍。在本文中,我们介绍了Crossmodal-3600数据集(简称XM 3600),这是一个地理上多样化的3600幅图像集,用36种语言的人类生成的参考标题进行注释。这些图像是从世界各地挑选的,覆盖了36种语言的使用地区,并使用字幕进行注释,以实现所有语言风格的一致性,同时避免由于直接翻译而导致的注释伪影。我们将此基准应用于大规模多语言图像描述模型的模型选择,并在使用XM 3600作为自动度量的黄金参考时显示与人类评估的优越相关性结果。
2022-10-10 cs.CL cs.CV
Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages
Carnegie Mellon University(卡内基梅隆大学)
本文提出完全开源的多语言多模态大模型Pangea及6M指令数据集PangeaIns,覆盖39种语言,并构建PangeaBench评估套件,在多语言和多元文化任务上显著优于现有开源模型。
2025-01-26 cs.CL cs.CV
COSMMIC: Comment-Sensitive Multimodal Multilingual Indian Corpus for Summarization and Headline Generation
Department of Computer Science and Engineering, Indian Institute of Technology Patna, India(印度理工学院帕纳分校计算机科学与工程系);Department of Metallurgical and Materials Engineering, National Institute of Technology Tiruchirappalli, India(印度理工学院 Tiruchirappalli 金属与材料工程系);Department of Computer Science and Information Systems, BITS Pilani – Goa Campus, India(比斯·帕尼学院 Goa 分校计算机科学与信息系统系);Department of Computer Science and Engineering, Indian Institute of Information Technology Vadodara, India(印度信息科技学院瓦达拉分校计算机科学与工程系);Department of Computer Science and Engineering, B.M.S. College of Engineering, Bangalore, India(班加罗尔 B.M.S. 工程学院计算机科学与工程系);Université de Toulouse, IRIT UMR 5505 CNRS, France(图卢兹大学 IRIT UMR 5505 CNRS 实验室)
本研究构建评论敏感的多模态多语言数据集COSMMIC,涵盖九种印度语言,整合文本、图像和用户评论,利用LLama3和GPT-4等模型探索最优摘要与标题生成配置,填补印度语言资源空白。
2025-06-18 cs.CL
Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
本文提出一种语音引导的机器翻译框架,通过融合语音和文本提升多语言翻译性能,并在多个基准上取得新突破。
2026-03-03 cs.CL
FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages
Indian Institute of Technology Patna(印度理工学院帕纳分校);Microsoft(微软)
本文提出FinVQA基准和FIND框架,针对多语言印度语言金融推理挑战,通过多模态和数值推理提升金融决策准确性。
2026-05-13 cs.CL
AgriGPT-Omni: A Unified Speech-Vision-Text Framework for Multilingual Agricultural Intelligence
Zhejiang University(浙江大学)
AgriGPT-Omni提出了一种统一的语音-视觉-文本框架,通过数据合成、多阶段训练和三模态基准,提升多语言农业智能的性能和可重复性。
2025-12-11 cs.CL
Exploring Vision Language Models for Multimodal and Multilingual Stance Detection
University of Sheffield(谢菲尔德大学)
本文评估了最先进的视觉语言模型在涵盖7种语言的新扩展多模态数据集上的立场检测性能,发现模型更依赖文本而非图像,且在跨语言预测上表现出一致性。
2025-01-29 cs.AI cs.CL
Are Pretrained Multilingual Models Equally Fair Across Languages?
University of Copenhagen(哥本哈根大学)
预训练的多语言语言模型可以帮助弥合数字语言鸿沟,为资源较少的语言提供高质量的NLP模型。到目前为止,多语言模型的研究主要集中在性能,一致性和跨语言泛化。然而,随着它们在野外和下游社会影响中的广泛应用,将多语言模型置于与单语言模型相同的审查之下是很重要的。这项工作研究了多语言模型的组公平性,询问这些模型是否在不同语言之间同样公平。为此,我们创建了一个新的四路多语言数据集的平行完形填空测试的例子(MozArt),配备了人口统计信息(平衡方面的性别和母语)的测试参与者。我们在MozArt上评估了三种多语言模型-- mBERT、XLM-R和mT5 --并表明,在四种目标语言中,这三种模型表现出不同程度的群体差异,例如,西班牙人的风险几乎相等,但德国人的风险差异很大。
2022-10-11 cs.CL
VFA: Empowering Multilingual MLLMs via Vision-Free Adaptation
Southern University of Science and Technology(南方科技大学);Microsoft Research Asia(微软亚洲研究院);Shanghai University of Finance and Economics(上海财经大学);Peking University(北京大学)
本研究针对多模态大语言模型的英语中心化问题,提出VFA框架,通过组合任务向量实现多语言增强与视觉对齐解耦,仅用少量数据就提升了多语言模型性能并保留原有能力。
2026-08-28 cs.AI cs.CL
M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Chinese University of Hong Kong(香港中文大学);Singapore University of Technology and Design(新加坡科技设计大学)
M3Exam是一个多语言、多模态、多级别的人类考试基准,含12,317道题目,评估LLMs,发现当前模型包括GPT-4在多语言和复杂多模态任务上仍表现不佳。
2023-11-10 cs.CL cs.CV
Generalizing Multimodal Pre-training into Multilingual via Language Acquisition
Renmin University of China(中国人民大学)
基于英语的视觉语言预训练(VLP)在各种下游任务中取得了巨大的成功。已经采取了一些努力,通过多语言视觉语言预训练(M-VLP)将这一成功推广到非英语语言。然而,由于语言数量庞大,M-VLP模型往往需要巨大的计算资源,并且不能灵活地扩展到新的语言。在这项工作中,我们提出了一个\textbf{M}多\textbf{L}语言\textbf{A}采集(MLA)框架,可以很容易地推广到多语言的单语视觉语言预训练模型。具体来说,我们设计了一个轻量级的语言习得编码器的基础上,最先进的单语VLP模型。我们进一步提出了一个两阶段的训练策略来优化语言习得编码器,即母语迁移阶段和语言暴露阶段。在使用更少的多语种训练数据和计算资源的情况下,我们的模型在多语种图像-文本和视频-文本检索基准测试中达到了最先进的性能。
2022-05-29 cs.AI cs.CL
What Is Missing in Multilingual Visual Reasoning and How to Fix It
Carnegie Mellon University(卡内基梅隆大学)
针对多语言视觉推理任务中开源模型性能落后于专有系统的问题,分析出多语言性等三大挑战,提出三种针对性干预措施,大幅提升开源模型零样本性能并略微改善GPT-4V性能。
2025-02-09 cs.CL
M4FC: a Multimodal, Multilingual, Multicultural, Multitask Real-World Fact-Checking Dataset
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学);Ubiquitous Knowledge Processing Lab(ubiquitous知识处理实验室);Department of Computer Science, TU Darmstadt(TU Darmstadt计算机科学系);National Research Center for Applied Cybersecurity ATHENE(应用网络安全国家研究中心ATHENE);Department of Electrical Engineering, KU Leuven(KU Leuven电气工程系);Department of Computer Science, KU Leuven(KU Leuven计算机科学系)
为解决现有事实验证数据集规模小、语言单一、任务局限等问题,提出包含4982张图片和6980条声明的多模态数据集M4FC,覆盖6个验证任务,并提供基线结果。
2026-09-02 cs.CL
2M-NER: Contrastive Learning for Multilingual and Multimodal NER with Language and Modal Fusion
China University of Political Science and Law(中国政法大学);Mobvoi(出门问问);Beihang University(北京航空航天大学);Institute of Information Engineering, CAS(中国科学院信息工程研究所)
本文提出多语言多模态命名实体识别任务及大规模数据集,并构建了2M-NER模型,通过对比学习对齐文本与图像表示并集成多模态协作模块,在四种语言和图文双模态任务中取得了最高F1分数。
2024-04-26 cs.AI cs.CL
MMFormalizer: Multimodal Autoformalization in the Wild
The University of Hong Kong(香港大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of Edinburgh(爱丁堡大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Ohio State University(俄亥俄州立大学);University of California, Los Angeles(加州大学洛杉矶分校)
MMFormalizer通过整合适应性定位与现实世界数学物理领域实体,实现多模态自动形式化,首次处理经典力学、相对论、量子力学和热力学等复杂领域。
2026-01-06 cs.CL
XFormParser: A Simple and Effective Multimodal Multilingual Semi-structured Form Parser
Beihang University(北京航空航天大学);Beijing Language and Culture University(北京语言大学);Beijing Information Science and Technology University(北京信息科技大学);Shenzhen Intelligent Strong Technology Co.,Ltd.(深圳智强科技有限公司)
提出XFormParser,一种基于Transformer和Bi-LSTM的多模态多语言半结构化表单解析器,统一SER和RE任务,并构建工业数据集InDFormSFT,在关系抽取上F1提升达1.79%。
2024-12-18 cs.CL