Enhancing Cross-lingual Transfer via Phonemic Transcription Integration
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Harrisburg University of Science and Technology(哈里斯堡科技大学)
本文提出PhoneXL框架,通过引入音素转写作为额外模态并设计无监督对齐目标,增强不同书写系统语言间的跨语言迁移,并在CJKV语言的词元级任务上取得一致提升。
2023-07-10 cs.CL
CCFQA: A Benchmark for Cross-Lingual and Cross-Modal Speech and Text Factuality Evaluation
CCFQA是一个用于评估多模态大语言模型跨语言和跨模态事实性能力的基准,通过少样本迁移学习策略在多语言语音问答任务中取得与GPT-4o-mini-Audio相当的性能。
2026-01-27 cs.CL
Bleaching Text: Abstract Features for Cross-lingual Gender Prediction
University of Groningen(格罗宁根大学);Jozef Stefan Institute(约瑟夫·斯特凡研究所);IT University of Copenhagen(哥本哈根信息技术大学)
性别预测通常集中在词汇和社交网络特征上,产生了良好的性能,但使系统高度依赖于语言,主题和平台。跨语言嵌入规避了其中的一些限制,但捕获性别特定的风格较少。我们提出了一种替代方案:漂白文本,即,将词汇字符串转换为更抽象的特征。这项研究提供的证据表明,这些功能允许更好地跨语言迁移。此外,我们提出了第一个研究人类进行跨语言性别预测的能力。我们发现人类的预测能力与我们的漂白模型相似,并且都比词汇模型表现得更好。
2018-05-08 cs.CL
Grounded and Well-rounded: A Methodological Approach to the Study of Cross-modal and Cross-lingual Grounding
University of Helsinki(赫尔辛基大学);Silo AI;Utrecht University(乌得勒支大学)
本文提出一个研究Grounding的方法论框架,通过构建不同输入模态的可比模型样本,揭示了跨模态、跨语言与非Grounding模型在行为上的定性差异。
2023-10-18 cs.CL
Dynamic Adapter with Semantics Disentangling for Cross-lingual Cross-modal Retrieval
Zhejiang Gongshang University(浙江工商大学)
提出语义解耦动态适配器DASD,根据输入描述特征动态生成参数以适应多样表达,解决了跨语言跨模态检索中静态适配器难以适应目标语言多样表达的问题。
2024-12-18 cs.CL cs.CV
UNISON: Unpaired Cross-lingual Image Captioning
The University of Hong Kong(香港大学);Johns Hopkins University(约翰斯·霍普金斯大学);The Education University of Hong Kong(香港教育大学);Nanyang Technological University(南洋理工大学);Adobe Research(Adobe研究院)
图像描述由于其广泛的应用前景,近年来成为一个令人感兴趣的研究领域。传统的图像描述范例依赖于成对的图像字幕数据集以监督的方式训练模型。然而,为每一种目标语言创建这样的配对数据集是非常昂贵的,这阻碍了字幕技术的可扩展性,并剥夺了世界上很大一部分人口的利益。在这项工作中,我们提出了一种新的不成对的跨语言的方法来生成图像字幕,而不依赖于任何字幕语料库的源或目标语言。具体来说,我们的方法包括两个阶段:(i)跨语言自动编码过程,利用句子并行(双文本)语料库学习场景图编码空间中从源语言到目标语言的映射,并解码目标语言中的句子;(ii)跨模态无监督特征映射,将编码后的场景图特征从图像模态映射到语言模态。我们验证了我们提出的方法在中文图像字幕生成任务的有效性。与现有的几种方法的比较证明了我们的方法的有效性。
2022-02-07 cs.CL
C2KD: Cross-Lingual Cross-Modal Knowledge Distillation for Multilingual Text-Video Retrieval
MIT(麻省理工学院);Goethe University Frankfurt(法兰克福歌德大学);IBM Research AI(IBM人工智能研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UT Austin(德克萨斯大学奥斯汀分校)
提出跨语言跨模态知识蒸馏方法,利用英语教师模型指导多语言学生模型,并构建Multi-YouCook2数据集,提升多语言文本-视频检索性能。
2023-05-09 cs.CL cs.CV cs.MM
Multimodal LLM Enhanced Cross-lingual Cross-modal Retrieval
INF Tech Co., Ltd.(INF科技有限公司);Fudan University(复旦大学);Dolby Laboratories(杜比实验室);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出LECCR方法,利用多模态大语言模型生成多视图语义槽以增强视觉特征,并结合英语引导的软化匹配,有效提升了跨语言跨模态检索中视觉与非英语表示的对齐效果。
2024-09-30 cs.CL cs.CV
Modality Matching Matters: Calibrating Language Distances for Cross-Lingual Transfer in URIEL+
University of Toronto, Canada(多伦多大学);University of Michigan, USA(密歇根大学);Harvard University, USA(哈佛大学);Carnegie Mellon University, USA(卡内基梅隆大学);LT3, IDLab, Universiteit Gent, Belgium(IDLab,根特大学);Ontario Tech University, Canada(安大略技术大学)
本文提出一种类型匹配的语言距离框架,通过结构感知的表示方法提升跨语言迁移性能,特别是在任务相关距离类型下表现更优。
2026-03-23 cs.CL
Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech
FAIR at Meta(Meta的FAIR)
提出OmniSONAR模型,通过渐进式训练和教师-学生蒸馏,在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入,在跨语言检索和翻译任务上显著降低错误率,并支持零样本语音翻译。
2026-06-19 cs.CL
Comparing LLM prompting with Cross-lingual transfer performance on Indigenous and Low-resource Brazilian Languages
University College London(伦敦大学学院);Universiteit Gent(根特大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);University of Galway(戈尔韦大学)
本文比较了 LLM 提示与跨语言迁移在巴西及非洲低资源语言词性标注上的表现,发现 LLM 在低资源语言上效果较差,并通过错误分析揭示了失败原因。
2024-04-30 cs.CL
Brotherhood at WMT 2024: Leveraging LLM-Generated Contextual Conversations for Cross-Lingual Image Captioning
本文提出利用 GPT-4o 和 Claude 3.5 Sonnet 等 LLM 生成上下文对话并结合加权提示策略,在无需训练或微调的情况下提升跨语言图像描述性能,并在 WMT 2024 低资源多模态翻译任务中取得领先结果。
2024-09-23 cs.AI cs.CL
Med-UniC: Unifying Cross-Lingual Medical Vision-Language Pre-Training by Diminishing Bias
The Ohio State University(俄亥俄州立大学);Imperial College London(伦敦帝国学院);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Peking University(北京大学)
本文提出Med-UniC框架,通过跨语言文本对齐正则化(CTR)减少社区偏差,统一英语和西班牙语多模态医学数据,显著提升了跨语言视觉-语言及单模态视觉任务的性能。
2024-02-17 cs.AI cs.CL cs.CV
Soft Alignment of Modality Space for End-to-end Speech Translation
Northeastern University(东北大学);Harbin Engineering University(哈尔滨工程大学);NiuTrans Research(纽创科技研究院)
针对端到端语音翻译中模态差异阻碍跨模态跨语言迁移、硬对齐会降低文本表示质量的问题,提出基于对抗训练的软对齐方法,在保留模态质量的同时构建模态不变空间,在MuST-C数据集上表现优于硬对齐且媲美专用翻译模型。
2023-12-18 cs.AI cs.CL cs.SD
Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Centre for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
本文研究多语言预训练模型的离群维度与各向异性,通过移除离群维、聚类增强和 ZCA 白化等无微调嵌入变换,评估其对跨语言句子相似度的改进。
2023-06-07 cs.CL
Semantic Alignment of AI Models: Concept Collapse, Checkpoint Dynamics, and Cross-Lingual Transfer
该研究针对语言模型基准测试的难点,提出用拓扑方法将模型高维嵌入空间与可解释基线严格比较,以实现多模态对齐,追踪模型适应并测试跨语言短语理解。
2026-08-04 cs.CL cs.LG
Towards Cross-Lingual Audio Abuse Detection in Low-Resource Settings with Few-Shot Learning
SAMOVAR, Télécom SudParis(萨莫瓦尔实验室,南巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
本研究针对低资源场景下音频滥用内容检测研究不足的问题,结合Wav2Vec、Whisper等预训练模型表示与MAML框架,基于ADIMA数据集用少样本学习实现10种印度语言的滥用内容检测,验证了预训练模型的低资源泛化能力。
2024-12-13 cs.AI cs.CL
MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup for Visual Speech Translation and Recognition
Zhejiang University(浙江大学)
多媒体通信促进了全球人民之间的互动。然而,尽管研究人员探索跨语言翻译技术,如机器翻译和音频语音翻译,以克服语言障碍,仍然是视觉语音的跨语言研究不足。这种研究的缺乏主要是由于缺乏包含视觉语音和翻译文本对的数据集。在本文中,我们提出了\textbf{AVMuST-TED},第一个数据集\textbf{A} \textbf{V}视觉\textbf{Mu} ltilingual \textbf{S} peech \textbf{T} translation,来自\textbf{TED}会谈。然而,视觉语音不像音频语音那样可区分,使得难以开发从源语音音素到目标语言文本的映射。为了解决这个问题,我们提出了MixSpeech,这是一个跨模态的自学习框架,它利用音频语音来规范视觉语音任务的训练。为了进一步减少跨模态差距及其对知识转移的影响,我们建议采用混合语音,这是通过插入音频和视频流,随着课程学习策略,以调整混合比例需要。MixSpeech增强了嘈杂环境中的语音翻译,将AVMuST-TED上四种语言的BLEU分数提高了+1.4至+4.2。此外,它在CMLR(11.1%),LRS 2(25.5%)和LRS 3(28.0%)上的唇读中达到了最先进的性能。
2023-03-09 cs.CL cs.CV
Improved Cross-Lingual Transfer Learning For Automatic Speech Translation
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);University of Zaragoza(萨拉戈萨大学);LIUM University(LIUM大学)
本文提出用语义知识蒸馏训练的 SAMU-XLS-R 初始化语音翻译模型编码器,以改进多语言语音到文本翻译的跨语言迁移,在 CoVoST-2 和 Europarl 上显著提升 BLEU 分数,尤其在零样本低资源语言上效果突出。
2024-01-25 cs.AI cs.CL eess.AS
To token or not to token: A Comparative Study of Text Representations for Cross-Lingual Transfer
George Mason University(乔治梅森大学)
本研究比较了四种文本表示模型在跨语言迁移中的表现,提出语言商数指标,发现基于图像的模型适用于相似语言,基于分段的模型适用于词义任务,字符级模型适用于依存分析,并据此提供模型选择建议。
2023-10-12 cs.CL cs.LG
Low-resource Neural Machine Translation with Cross-modal Alignment
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
如何用有限的并行数据实现神经机器翻译?现有的技术往往依赖于大规模的单语语料库,这是不切实际的一些低资源的语言。在本文中,我们转向连接几个低资源的语言,以一个特定的高资源的额外的视觉模态。具体来说,我们提出了一个跨模态的对比学习方法来学习所有语言的共享空间,其中既有一个粗粒度的符号级目标和细粒度的令牌级。实验结果和进一步分析表明,该方法可以有效地学习跨模态和跨语言对齐与少量的图像-文本对,并取得了显着的改善在zero-shot和Few-Shot场景下的纯文本基线.
2022-10-13 cs.CL
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
VinUniversity(维新大学);Lancaster University(兰卡斯特大学);Cardiff University(卡迪夫大学)
针对越南劳动法的跨语言法律问答,构建双语评估套件,提出验证器引导的流水线,发现密集检索优于稀疏检索,验证器修正提升引用保留,但自动诊断与人类判断不完全一致。
2026-09-24 cs.CL
Cross-lingual Matryoshka Representation Learning across Speech and Text
LORIA, CNRS(LORIA-CNRS研究所);Soynade Research(Soynade研究公司)
本文提出首个法语-沃尔夫双语语音-文本Matryoshka嵌入模型,实现无需昂贵ASR-翻译管道的法语文本高效检索,并展示了跨模态融合在冻结文本Matryoshka模型中的最佳性能,同时模型在其他任务如语音意图检测中表现出良好的泛化能力。
2026-04-20 cs.CL
Cross-Lingual SynthDocs: A Large-Scale Synthetic Corpus for Any to Arabic OCR and Document Understanding
本文提出大规模合成语料库 Cross-Lingual SynthDocs,通过真实扫描背景、双语版面与变音符号感知字体构建超 250 万样本,微调 Qwen-2.5-VL 后在阿拉伯语 OCR 和文档理解多项指标上取得一致提升。
2025-11-01 cs.CL cs.CV
CCHall: A Novel Benchmark for Joint Cross-Lingual and Cross-Modal Hallucinations Detection in Large Language Models
School of Computer Science and Engineering, Central South University, China(中南大学计算机科学与工程学院);National University of Singapore, Singapore(新加坡国立大学)
针对现有研究仅关注单一跨语言或跨模态幻觉的局限,提出联合基准CCHall,同时涵盖两种场景,评估主流开源与闭源大模型,发现其仍面临挑战。
2025-05-25 cs.AI cs.CL
Foundation Model-based Evaluation of Neuropsychiatric Disorders: A Lifespan-Inclusive, Multi-Modal, and Multi-Lingual Study
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);Shenzhen Research Institute, Hunan University(湖南大学深圳研究院);Ministry of Education Key Laboratory of Fusion Computing of Supercomputing and Artificial Intelligence, Hunan University(湖南大学教育部长春计算机与人工智能融合计算重点实验室)
FEND提出一种多模态框架,利用多语言数据集评估神经精神障碍,揭示多模态融合在不同障碍检测中的性能差异及影响因素。
2025-12-24 cs.CL cs.SD
A Parallel Cross-Lingual Benchmark for Multimodal Idiomaticity Understanding
本文提出XMPIE数据集,用于评估多语言多模态隐喻理解能力,包含34种语言和超过一万项内容,支持跨语言和跨模态的隐喻理解研究。
2026-02-24 cs.CL
Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment
National University of Singapore(新加坡国立大学)
本文提出Cross2StrA模型,利用场景图和句法成分树作为枢轴结构,结合跨模态语义对齐、跨语言句法对齐及回译训练,显著提升了无配对跨语言图像描述的相关性和流畅性。
2023-05-25 cs.CL cs.CV
Claim Detection for Automated Fact-checking: A Survey on Monolingual, Multilingual and Cross-Lingual Research
School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦大学玛丽女王学院电子工程与计算机科学学院)
本文综述了自动化事实核查中的声明检测研究,聚焦多语言数据与方法,按可验证性、优先级和相似性分类现有研究,并概述多语言数据集、挑战及未来方向。
2024-03-18 cs.CL
Efficient Training for Cross-lingual Speech Language Models
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(中国科学院计算技术研究所智能信息处理重点实验室);State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
本文提出CSLM,通过离散语音标记实现多语言语音大模型的高效训练,采用持续预训练策略提升模态对齐质量,减少延迟,展现良好的语言扩展能力。
2026-04-13 cs.AI cs.CL cs.SD
Reasoning-Guided Claim Normalization for Noisy Multilingual Social Media Posts
TIFIN
本文提出基于六何问题分解与推理引导的声明规范化方法,通过LoRA微调Qwen3-14B并结合检索增强少样本学习,在仅用英语训练的情况下实现20种语言的跨语言迁移,在多个排行榜上取得领先成绩。
2025-11-07 cs.CL
Image search using multilingual texts: a cross-modal learning approach between image and text
Qwant Research(Qwant研究院)
多语言(或跨语言)嵌入在唯一的向量空间中表示几种语言。使用公共嵌入空间使得来自不同语言的单词之间能够共享语义。在本文中,我们建议将图像和文本嵌入到一个独特的分布式向量空间,使搜索图像通过使用文本查询表达相关的信息需求的图像(视觉)内容,以及使用图像相似性。我们的框架强制图像的表示与描述它的文本的表示相似。此外,通过使用多语言嵌入,我们确保来自两种不同语言的单词具有接近的描述符,从而被附加到相似的图像上。我们通过在两个数据集上进行实验来证明我们的方法的效率:COontext中的公共对象(COCO)[19]和Multi30K [7]。
2019-05-14 cs.CL cs.CV
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活,揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
Cem Mil Podcasts: A Spoken Portuguese Document Corpus For Multi-modal, Multi-lingual and Multi-Dialect Information Access Research
Spotify(声田);Silo AI(希洛人工智能公司)
本研究发布了葡萄牙语播客数据集Cem Mil Podcasts,介绍其采样、统计及方言分布情况,验证了多语言摘要和文本元数据分类的有效性,为多模态多语言多方言播客信息获取研究提供支持。
2023-12-13 cs.CL
AsthmaBot: Multi-modal, Multi-Lingual Retrieval Augmented Generation For Asthma Patient Support
TICLab, College of Engineering & Architecture, International University of Rabat(拉巴特国际大学工程与建筑学院TICLab)
针对哮喘患者即时医疗支持需求及大型语言模型易产生幻觉的问题,提出多语言、多模态检索增强生成系统AsthmaBot,整合多数据模态,在常见问题数据集上验证有效并提供在线服务。
2024-09-24 cs.AI cs.CL
How Well Does Mathematical Reasoning Transfer Across Languages in English-Centric LLMs?
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
该研究从跨语言视角探究大型推理模型的推理泛化问题,提出并行缩放定律等三项关键发现,揭示跨语言推理迁移的幂律规律,为开发语言无关的推理模型提供参考。
2026-10-23 cs.AI cs.CL
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA(谷歌(美国))
我们提出了mSLAM,一种多语言语音和语言模型,它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合,以及配对语音和转录数据的连接主义时间分类(CTC)损失,以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM,发现与仅语音预训练相比,与文本的联合预训练提高了语音翻译,语音意图分类和语音语言识别的质量,同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译,而无需看到任何文本翻译数据,为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调,通过在微调过程中直接利用文本翻译数据,进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战,为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
A Unified System for Aggression Identification in English Code-Mixed and Uni-Lingual Texts
IIT Delhi(印度理工学院德里分校);Conduent Labs(Conduent实验室);IIIT-Hyderabad(海得拉巴国际信息技术学院)
社交媒体平台的广泛使用增加了攻击的风险,这导致了精神压力,并对人们的生活产生了负面影响,如心理痛苦,战斗行为和对他人的不尊重。大多数这样的对话包含代码混合语言[28]。此外,用于表达思想或通信风格的方式也从一个社交媒体平台改变到另一个平台(例如,Twitter和Facebook的沟通方式不同)。这些都增加了问题的复杂性。为了解决这些问题,本文提出了一种统一的、鲁棒的多模态深度学习架构,该架构适用于英语混合语码数据集和单语英语数据集,并使用了心理语言学特征和非常基本的语言学特征。我们的多模态深度学习架构包含Deep Pyramid CNN、Pooled BiLSTM和Disconnected RNN(都有Glove和FastText嵌入)。最后,系统根据模型平均值进行决策。我们在英语代码混合TRAC 2018数据集和从Kaggle获得的单语言英语数据集上评估了我们的系统。实验结果表明,我们提出的系统优于所有以前的方法在英语代码混合数据集和单语言英语数据集。
2020-01-18 cs.CL cs.IR
Who Gets Flagged? The Pluralistic Evaluation Gap in AI Content Watermarking
Case Western Reserve University(凯斯西储大学)
本文揭示AI内容水印在不同语言、文化和群体间存在系统性偏差,提出跨语言检测一致性、文化多样性覆盖和检测指标人口统计分解三个评估维度,主张水印部署前必须进行公平性审计。
2026-10-28 cs.CL cs.CR cs.CV
A theory of platonic representations in language models
Johns Hopkins University(约翰斯·霍普金斯大学);EPFL(洛桑联邦理工学院);SISSA(国际高等研究学院)
该研究提出理论框架,基于层次结构假设解释多语言模型中跨语言表示相似性,区分相似性与对齐,并预测通过减去线性可预测分量增强相似性,在预训练LLM中得到验证。
2026-10-07 cs.CL cs.LG stat.ML
Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化,这是将非标准文本(通常来自社交媒体)转换为更标准化形式的过程。在这项工作中,我们提出了一个基于mBART,框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题,不仅仅是英语,我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平,我们认为,这种方法是直接从技术的角度来看,并建立在现有的预先训练的Transformer网络。我们的研究结果表明,虽然单词级别的,内在的,性能评估是落后于其他方法,我们的模型提高了外在的,下游任务的性能,通过规范化相比,模型操作的原始,未处理的,社交媒体文本。
2021-10-12 cs.CL
From Words to Worlds: Transforming One-line Prompt into Immersive Multi-modal Digital Stories with Communicative LLM Agent
Rutgers University(罗格斯大学)
针对数字叙事生产可扩展性与灵活性不足的问题,本文提出StoryAgent框架,结合LLM与生成式工具,通过自上而下起草加自下而上生成资产的方式,实现多模态连贯交互式数字故事的自动化生产,无需参考视频即可生成内容,推动了自动化数字叙事发展。
2024-06-21 cs.AI cs.CL cs.GR
LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能)
最近,文本、布局和图像的多模态预训练在视觉丰富的文档理解任务中实现了SOTA性能,这表明了跨不同模态联合学习的巨大潜力。在本文中,我们提出了LayoutXLM,这是一个多模态的预训练模型,用于多语言文档理解,旨在弥合视觉丰富的文档理解的语言障碍。为了准确评估LayoutXLM,我们还引入了一个名为XFUND的多语言表单理解基准数据集,其中包括7种语言(中文,日语,西班牙语,法语,意大利语,德语,葡萄牙语)的表单理解样本,并为每种语言手动标记键值对。实验结果表明,LayoutXLM模型在XFUND数据集上的性能明显优于现有的SOTA跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集可在https://aka.ms/layoutxlm上公开获得。
2021-09-09 cs.CL
Delving Deeper into Cross-lingual Visual Question Answering
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));University of Cambridge(剑桥大学)
针对现有跨语言VQA零样本迁移性能差且缺乏深度分析的问题,该研究从建模方法、学习偏置两方面展开探究,通过简单训练修改提升了10个准确率点,还分析了难提升的问题类型及模态偏置的影响原因。
2023-06-08 cs.CL
Better to Ask in English: Cross-Lingual Evaluation of Large Language Models for Healthcare Queries
Georgia Institute of Technology(佐治亚理工学院)
本文提出XlingEval框架评估LLMs在多语言医疗查询中的表现,发现不同语言间存在显著差异,并提出XlingHealth基准以促进跨语言能力提升。
2023-10-23 cs.AI cs.CL
CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Central South University(中南大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对大视觉语言模型多语言对象幻觉问题,提出近免训练的CLAIM方法,通过对齐跨语言注意力模式缓解幻觉,在多基准上取得显著提升,并发现中间层对多语言场景至关重要。
2025-06-03 cs.AI cs.CL cs.CV
Think Globally, Group Locally: Evaluating LLMs Using Multi-Lingual Word Grouping Games
School of Computing and Information(计算与信息学院);University of Pittsburgh(匹兹堡大学)
本文提出受《纽约时报》Connections启发的GlobalGroup多语言单词分组游戏基准,评估大语言模型在抽象推理中的语言偏差,发现英语模态表现更优且开源与闭源模型存在性能差异。
2025-10-15 cs.AI cs.CL cs.LG
Multi-Modal Data Augmentation for End-to-End ASR
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个新的端到端的自动语音识别(ASR),可以使用\emph{symbolic}输入除了传统的声学输入训练架构。该架构利用两个独立的编码器:一个用于声学输入,另一个用于符号输入,两者共享注意力和解码器参数。我们称这种架构为多模态数据增强网络(MMDA),因为它可以支持多模态(声学和符号)输入,并在训练期间实现大型文本数据集与显着较小的转录语音语料库的无缝混合。我们研究了将大型文本语料库转换为适合训练我们的MMDA网络的符号形式的不同方法。我们最好的MMDA设置在字符出错率(CER)上获得了小的改进,并且在有和没有外部语言模型的情况下,相对字出错率(WER)在基线上获得了多达7-10\%的改进。
2018-06-18 cs.CL cs.SD eess.AS
Multi-lingual Multi-turn Automated Red Teaming for LLMs
Amazon(亚马逊)
提出多语言多轮自动化红队测试方法 MM-ART,用于评估 LLMs 在多语言和多轮对话场景下的安全漏洞,发现非英语和多轮对话显著增加了模型的安全风险。
2025-04-04 cs.CL
Detection of Propaganda Techniques in Visuo-Lingual Metaphor in Memes
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(海得拉巴国际信息技术学院KCIS)
社交媒体网络的指数级增长使得数据的生产、分发和消费以惊人的速度增长。此外,社交媒体革命为社交媒体平台带来了一种独特的现象,称为互联网模因。网络模因是社交媒体上最受欢迎的内容之一,它们可以是带有诙谐,朗朗上口或讽刺文字描述的图像形式。在本文中,我们正在处理的是最近一段时间在互联网模因中经常看到的宣传。宣传是一种沟通,它经常包括心理和修辞技巧,以操纵或影响受众按照宣传者的意愿行事或作出反应。为了检测互联网模因中的宣传,我们提出了一个多模态深度学习融合系统,该系统融合了文本和图像特征表示,并且优于单独基于文本或图像模态的单个模型。
2022-05-03 cs.AI cs.CL cs.CV
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
最近的研究表明,从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发,在本文中,我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐,这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间,并尝试通过对抗训练来对齐这两个空间,然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译,这两项任务的结果表明,我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别(ASR)和语音到文本翻译系统特别有用,这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型,但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Knowledge Graph Embeddings for Multi-Lingual Structured Representations of Radiology Reports
University of Amsterdam(阿姆斯特丹大学)
提出一种轻量级基于图的放射学报告嵌入方法,通过多语言SNOMED知识库连接医学术语,在疾病分类和图像分类任务中表现优异且模型规模与数据需求更小。
2023-09-14 cs.AI cs.CL
Bridging the Gaps of Both Modality and Language: Synchronous Bilingual CTC for Speech Translation and Speech Recognition
Harbin Engineering University(哈尔滨工程大学);Northeastern University(东北大学);ByteDance(字节跳动);NiuTrans Research(小牛翻译研究院)
本文提出同步双语CTC框架,以转录和翻译为并行目标同时弥合模态与语言鸿沟,其增强变体BiL-CTC+在MuST-C语音翻译基准上取得最优性能,并显著提升语音识别效果。
2023-09-21 cs.CL eess.AS
Enhancing Multilingual LLM-based ASR with Mixture of Experts and Dynamic Downsampling
University of Science and Technology of China(中国科学技术大学)
提出基于投影器的LLM-ASR框架,通过混合专家架构提升跨语言适应性,并利用连续整合-触发机制实现动态下采样和模态对齐,实验表明该方法显著超越强基线模型。
2026-06-09 cs.CL cs.SD eess.AS