CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition
Bournemouth University(伯恩茅斯大学)
CLARA通过多语言对比学习与自监督方法,在有限标注数据下实现跨语言情绪感知的语音表征,并在零样本、少样本及低资源语言场景中取得优异表现。
2023-11-01 cs.LG cs.MM cs.SD
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University(卡内基梅隆大学)
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中,我们提出了mSimCSE,它扩展SimCSE到多语言设置,并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入,而无需任何并行数据。在无监督和弱监督的设置,mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面,无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时,性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
Cross-Lingual Representation Alignment Through Contrastive Image-Caption Tuning
Department of Computer Science, George Mason University(计算机科学系,乔治·马歇尔大学)
该研究提出用视觉信息替代双语对实现跨语言句子表示对齐,通过多语言图像-字幕对比调优,可隐式对齐文本表示、纳入预训练未见语言,且对齐表示可用于跨语言NLU和双语对检索,为低资源语言提供了更高效的对齐方案。
2025-05-19 cs.CL
RC3: Regularized Contrastive Cross-lingual Cross-modal Pre-training
Tencent Inc(腾讯公司);Beijing Jiaotong University(北京交通大学);Xiamen University(厦门大学)
针对多语言视觉-语言预训练依赖严格对齐数据且成本高昂的问题,提出RC^3方法,利用弱对齐数据并通过正则化对比学习约束表示,在6种语言的5个下游任务上取得更优性能。
2023-05-13 cs.CL
Bridging the Semantic Gap: Contrastive Rewards for Multilingual Text-to-SQL with GRPO
Independent Researcher(独立研究者);University of Michigan(密歇根大学);Harrisburg University of Science(哈里斯堡科学大学);Forward Labs AI
本研究提出基于GRPO的对比奖励方法,提升多语言文本到SQL系统的执行与语义准确性,通过对比奖励信号实现语义对齐,实验表明小模型在少量数据下表现优于大模型。
2025-11-21 cs.AI cs.CL
Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders
University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学);University of Edinburgh(爱丁堡大学)
预训练的多语言语言模型(LM)可以成功地转换成多语言句子编码器(SE;例如,LaBSE、xMPNet)通过额外的微调或并行数据的模型蒸馏。然而,仍然不清楚如何最好地利用它们来表示子句子词汇项(即,词和短语)的跨语言词汇任务。在这项工作中,我们探测SE存储在其参数的跨语言词汇知识的量,并将它们与原来的多语言LM。我们还设计了一个简单而有效的方法,通过额外的微调,通过廉价的对比学习,只需要少量的单词翻译对暴露跨语言的词汇知识。使用双语词汇归纳(BLI),跨语言词汇语义相似性和跨语言实体链接作为词汇探测任务,我们报告了标准基准(例如,+10精度@1点BLI)。实验结果表明,像LaBSE这样的语义元可以通过对比学习过程“重新连接”成有效的跨语言词汇编码器,并且当它们被用作现成的语义元时,它们所包含的跨语言词汇知识比“看上去”的要多。这样,我们也提供了一个有效的工具,利用隐藏在多语言句子编码器的“隐蔽”多语言词汇知识。
2022-10-13 cs.CL
Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学);EPFL(洛桑联邦理工学院)
针对机器翻译的幻觉与偏离目标问题,提出无需重训的源对比和语言对比解码方法,在多语言模型上显著降低两类问题发生率,且可扩展至大语言模型。
2024-01-29 cs.CL
CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations
Department of Computer Science (DIKU), University of Copenhagen(哥本哈根大学计算机科学系(DIKU));Centre for Language Technology (CST), University of Copenhagen(哥本哈根大学语言技术中心);Pioneer Centre for Artificial Intelligence(先锋人工智能中心)
本文提出CroCo方法,利用英语偏好训练的奖励模型对多语言自生成结果进行对比偏好调优,无需语言特定偏好标注,在14种高低资源语言上提升模型性能,并避免灾难性遗忘。
2026-09-03 cs.AI cs.CL
Skill matching at scale: freelancer-project alignment for efficient multilingual candidate retrieval
Malt
本文提出一种基于预训练多语言语言模型和自定义Transformer架构的神经检索器,利用对比损失训练,实现大规模多语言环境下自由职业者与项目的高效技能匹配,优于传统方法。
2024-09-19 cs.CL cs.IR cs.LG
Multilingual Multi-modal Embeddings for Natural Language Processing
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林三一学院)
我们提出了一种新的判别模型,可以从多语言和多模态数据中学习嵌入,这意味着我们的模型可以利用多种语言的图像和描述来提高嵌入质量。为此,我们引入了成对对比估计优化函数的修改作为我们的训练目标。我们评估我们的嵌入图像句子排名(ISR),语义文本相似性(STS),和神经机器翻译(NMT)任务。我们发现,额外的多语言信号导致ISR和STS任务的改进,和歧视性成本也可以用于重新排名$n$ -最好的NMT模型产生的列表,产生强大的改进。
2017-02-03 cs.CL
Enhancing Multilingual Embeddings via Multi-Way Parallel Text Alignment
IIT Bombay(印度理工学院孟买分校);Adobe Research(Adobe研究院)
通过多方向平行文本对齐提升多语言嵌入,增强跨语言表示性能。
2026-02-25 cs.AI cs.CL cs.IR
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文研究了跨语言检索中影响排序的因素,发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优,优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Towards Generalizable SER: Soft Labeling and Data Augmentation for Modeling Temporal Emotion Shifts in Large-Scale Multilingual Speech
Virginia Commonwealth University(弗吉尼亚联邦大学);Nile University(尼罗大学)
本研究通过整合16个数据集、提出软标签系统及利用Whisper编码器和对比学习增强,实现了多语言语音情感时间动态建模,并在四个数据集上验证了零样本泛化能力。
2023-11-15 cs.CL cs.LG eess.AS
ConLID: Supervised Contrastive Learning for Low-Resource Language Identification
ConLID通过监督对比学习方法,提升低资源语言在领域外数据上的识别性能,同时保持高资源语言的识别效果。
2026-03-09 cs.AI cs.CL cs.LG
Claim2Vec: Embedding Fact-Check Claims for Multilingual Similarity and Clustering
Queen Mary University of London(伦敦玛丽女王大学)
本文提出Claim2Vec,一种多语言嵌入模型,通过对比学习提升声明聚类性能,实现跨语言知识迁移。
2026-04-14 cs.CL
Zero-Shot Cross-Lingual Document-Level Event Causality Identification with Heterogeneous Graph Contrastive Transfer Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Ant Group(蚂蚁集团)
本文提出GIMC框架,通过异构图交互网络建模文档级事件长距离依赖,并利用多粒度对比迁移学习对齐跨语言因果表示,实现零样本跨语言文档级事件因果关系识别,性能显著优于现有最优模型及GPT-3.5。
2024-03-22 cs.AI cs.CL
Multilingual BERT Post-Pretraining Alignment
IBM Watson;MIT-IBM Watson AI Lab
我们提出了一种简单的方法来调整多语言上下文嵌入作为后预训练步骤,以提高预训练模型的zero-shot跨语言可移植性。使用并行数据,我们的方法通过最近提出的翻译语言建模目标,以及通过对比学习和随机输入洗牌在句子层面上对齐嵌入。在对下游任务进行微调时,我们还使用英语执行高级代码切换。在XNLI上,我们的最佳模型(从mBERT初始化)在zero-shot设置中比mBERT提高了4.7%,并在使用不到18%的相同并行数据和31%的模型参数的同时,实现了与XLM相当的结果。在MLQA上,我们的模型优于XLM-R_Base,它的参数比我们的多57%。
2021-04-10 cs.CL
Multilingual JobBERT for Cross-Lingual Job Title Matching
TechWolf
本研究提出基于对比学习的多语言职位匹配模型JobBERT-V3,以JobBERT-V2为基础支持4种语言,在TalentCLEF 2025基准上优于基线,还可用于技能排序,已开源。
2025-07-29 cs.CL
Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
常识推理的研究迄今仅限于英语。我们的目标是评估和改进流行的多语言语言模型(ML-LM),以帮助推进常识推理(CSR)超越英语。我们收集了米奇语料库,包括11种不同语言的561 k句子,可用于分析和改进ML-LM。我们提出了米奇探测器,一种语言无关的探测任务,用于公平地评估不同语言中流行的ML-LM的常识。此外,我们还创建了两个新的数据集,X-CSQA和X-CODAH,通过将其英文版本翻译为其他15种语言,以便我们可以评估流行的ML-LM跨语言常识推理。为了提高英语以外的性能,我们提出了一种简单而有效的方法--多语言对比预训练(MCP)。它显著增强了句子表示,在两个基准测试中都获得了很大的性能增益。
2021-06-13 cs.AI cs.CL
Multi-Level Contrastive Learning for Cross-Lingual Alignment
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院)
跨语言预训练模型,如多语言BERT(mBERT),在各种跨语言下游NLP任务中取得了显著的性能。本文提出了一种多层次的对比学习(ML-CTL)框架,以进一步提高预训练模型的跨语言能力。所提出的方法使用翻译的并行数据来鼓励模型为不同的语言生成相似的语义嵌入。然而,与以往大多数研究中使用的句子水平对齐不同,在本文中,我们明确地将每对平行句子的单词水平信息整合到对比学习中。此外,跨零噪声对比估计(CZ-NCE)的损失,提出了在小批量的训练过程中,以减轻浮点误差的影响。与Xtreme基准测试中相同大小的模型相比,该方法显着提高了我们的基本模型(mBERT)的跨语言迁移能力,并在多个zero-shot跨语言下游任务上表现出色。
2022-02-26 cs.CL
Do Explicit Alignments Robustly Improve Multilingual Encoders?
Department of Computer Science(计算机科学系);Johns Hopkins University(约翰斯·霍普金斯大学)
多语言BERT(mBERT)、XLM-RoBERTa(XLMR)等无监督多语言编码器可以有效地学习跨语言表示。基于像Europarl或MultiUN这样的双文本的显式对齐目标已经被证明可以进一步改善这些表示。然而,单词级对齐通常是次优的,并且这种双文本对于许多语言是不可用的。在本文中,我们提出了一种新的对比对准目标,可以更好地利用这种信号,并检查这些以前的对准方法是否可以适应噪声源的对准数据:随机采样的OPUS集合的100万对子集。此外,我们不是报告单个模型运行的单个数据集的结果,而是报告四个数据集和任务上不同种子的多次运行的平均值和标准差。我们更广泛的分析发现,虽然我们的新目标优于以前的工作,但总体而言,这些方法并没有通过更强大的评估框架来提高性能。此外,使用更好的底层模型所带来的收益会掩盖对齐训练的任何好处。这些负面的结果要求在评估这些方法时更加小心,并表明在应用明确的对准目标时存在局限性。
2020-10-06 cs.CL
NLPnorth @ TalentCLEF 2025: Comparing Discriminative, Contrastive, and Prompt-Based Methods for Job Title and Skill Matching
Aalborg University(奥尔堡大学);IT University of Copenhagen(哥本哈根IT大学)
本研究比较了判别式、对比式和提示方法在职位名称匹配和技能预测任务上的表现,发现提示方法在任务A最佳,分类方法在任务B最佳,且大型多语言模型表现最优。
2025-06-23 cs.CL
A General-Purpose Multilingual Document Encoder
LMU Munich(慕尼黑大学);University of Würzburg(维尔茨堡大学)
提出层次化多语言文档编码器HMDE,利用维基百科和跨语言对比学习预训练,在跨语言文档分类与检索任务上优于基线,并泛化至未见语言。
2023-05-11 cs.CL
Cross-Lingual Alignment for Decoder-Only Models using MoE Routers
University of California, Los Angeles(加州大学洛杉矶分校);Haverford College(哈弗福德学院);MILA - Quebec AI Institute & McGill University(MILA - 魁北克人工智能研究所 & 麦吉尔大学)
本文提出利用MoE路由器输出作为对齐目标,在仅解码器模型中实现跨语言对比学习,实验证明该方法能提升多语言性能。
2026-10-05 cs.AI cs.CL
Leveraging Multilingual Training for Authorship Representation: Enhancing Generalization across Languages and Domains
University of Michigan(密歇根大学)
本文提出一种多语言作者表征学习方法,通过概率内容掩码和语言感知批处理两项创新,在36种语言、13个领域、450余万作者上训练,显著优于单语基线并增强跨语言与跨领域泛化。
2025-09-20 cs.CL
SwasthLLM: a Unified Cross-Lingual, Multi-Task, and Meta-Learning Zero-Shot Framework for Medical Diagnosis Using Contrastive Representations
School of Computer Science University of Petroleum
SwasthLLM提出统一跨语言多任务元学习零样本框架,利用对比表示实现英语、印地语和孟加拉语医学诊断,零样本准确率分别达92.78%和73.33%。
2025-09-24 cs.AI cs.CL cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
在这项工作中,我们提出了一个系统的实证研究,重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器,并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言,预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索,我们确实获得了最先进的性能:然而,峰值分数是由多语言编码器满足的,这些编码器以监督的方式进一步专门用于句子理解任务,而不是使用它们的香草“现成”变体。根据这些结果,我们介绍了本地化的相关性匹配文档级CLIR,我们独立的分数对文档部分的查询。在第二部分中,我们评估了以监督方式微调的多语言编码器(即,我们学习排名)在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明,监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后,只有通过域内对比微调(即,相同的域,只有语言迁移),我们设法提高排名质量。我们发现跨语言检索结果和(zero-shot)跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异,这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University, HLTCOE(约翰霍普金斯大学,语言学与认知科学系)
Milco通过多语言连接器将不同语言的查询和文档映射到共享的英语词汇空间,采用两阶段训练策略提升表示透明性和有效性,实现跨语言稀疏检索的最优性能。
2026-03-19 cs.CL cs.IR
Topological Alignment of Shared Vision-Language Embedding Space
Department of Mathematics, POSTECH(POSTECH数学系);BootCamp, Google(Google BootCamp)
ToMCLIP通过拓扑对齐方法提升多语言视觉-语言模型的结构一致性和零样本性能
2026-03-04 cs.AI cs.CV cs.LG
Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance
Singapore University of Technology and Design(新加坡科技设计大学);Agency for Science, Technology and Research(新加坡科技研究局)
本文提出在预训练阶段引入跨语言映射任务,提升多语言对齐能力,通过语言对齐系数量化一致性,实验显示在机器翻译、跨语言自然语言理解及问答任务中性能显著提升。
2026-04-12 cs.AI cs.CL
EMS: Efficient and Effective Massively Multilingual Sentence Embedding Learning
Kyoto University(京都大学)
本文提出 EMS 模型,通过跨语言 token 级重构和句子级对比学习,在显著减少平行数据和 GPU 资源下高效训练大规模多语言句子嵌入,并在多项跨语言任务中取得优异表现。
2024-05-30 cs.CL
mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection
Graz University of Technology(格拉茨技术大学)
本文提出基于多语言Transformers和标签感知对比损失函数的预训练系统,解决多语言少样本与零样本框架检测问题,在零样本西班牙语任务中获胜并在8种语言中表现优异。
2023-08-01 cs.AI cs.CL cs.LG
Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation
Nara Institute of Science and Technology(奈良科学技术研究所);National Institute of Information and Communications Technology(信息通信研究机构)
本文通过恒等对分析多语言神经机器翻译的表示迁移问题,揭示零样本翻译缺陷源于表示与多语言纠缠,并提出低秩语言特定嵌入和语言特定对比学习两种方法,在多个数据集上显著提升零样本翻译性能。
2025-04-08 cs.CL
Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation
Center for Information and Language Processing, LMU Munich(慕尼黑大学语言与信息处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对多语言机器翻译中的数据不平衡与表示退化问题,提出Bi-ACL框架,结合双向自编码器、双向对比学习、在线受限束搜索及课程学习采样策略,有效提升了长尾及高资源语言性能并支持零样本知识迁移。
2023-10-24 cs.CL
CL-XABSA: Contrastive Learning for Cross-lingual Aspect-based Sentiment Analysis
Guangdong University of Technology(广东工业大学);Guangdong University of Foreign Studies(广东外语外贸大学)
基于方面的情感分析(Aspect-based Sentiment Analysis,ABSA)是自然语言处理领域的一个广泛研究方向,它是预测文本中所表达的情感与相应方面的关系。然而,大多数语言缺乏足够的标注资源,因此,基于方面的跨语言情感分析(XABSA)成为近年来研究的热点。然而,最近的研究大多集中在跨语言的数据对齐,而不是模型对齐。为此,我们提出了一个新的框架,CL-XABSA:基于情感分析的跨语言情感分析的对比学习。基于对比学习,我们拉近了不同语义空间中具有相同标签的样本之间的距离,从而实现了不同语言语义空间的收敛。具体而言,我们设计了两种对比策略:标记嵌入的标记级对比学习(TL-CTE)和标记嵌入的情感级对比学习(SL-CTE),以使源语言和目标语言的语义空间更加一致。由于我们的框架可以在训练过程中接收多种语言的数据集,因此我们的框架不仅适用于XABSA任务,还适用于多语言基于方面的情感分析(MABSA)。为了进一步提高我们的模型的性能,我们执行知识蒸馏技术,利用未标记的目标语言的数据。在蒸馏XABSA任务中,我们进一步探索了不同数据(源数据集,翻译数据集和代码转换数据集)的比较有效性。结果表明,该方法在XABSA、精馏XABSA和MABSA三个任务上都有一定的改进。为了重现性,我们的代码可以在https://github.com/GKLMIP/CL-XABSA上找到。
2023-01-09 cs.CL
HU at SemEval-2024 Task 8A: Can Contrastive Learning Learn Embeddings to Detect Machine-Generated Text?
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of Houston(休斯顿大学)
本文提出基于对比学习和数据增强的单一模型,仅用基线约40%的参数,在SemEval-2024任务8A机器生成文本检测中取得与多模型集成相当的性能。
2024-03-27 cs.AI cs.CL cs.LG
Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文提出一种基于强文本MT模型、神经适配器和引导式自注意力的多模态机器翻译方法,并构建对比式多语言多模态评估集CoMMuTE,在标准基准上取得有竞争力结果,在对比测试集上大幅超越现有MMT系统。
2023-05-26 cs.CL cs.CV
DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search
LightOn(莱特昂)
该研究提出开放端到端方案训练检索模型,构建DenseOn、LateOn等模型,在BEIR上创同规模最优,发现晚交互模型泛化性更优,公开了模型、数据与代码。
2026-08-03 cs.CL cs.IR
WebFAQ 2.0: A Multilingual QA Dataset with Mined Hard Negatives for Dense Retrieval
University of Passau(帕绍大学);University of Passau, and IT:U Austria(帕绍大学和IT:U奥地利)
WebFAQ 2.0是一个多语言问答数据集,包含挖掘的硬负样本,用于训练密集检索器,支持多语言和跨语言信息检索研究。
2026-02-19 cs.AI cs.CL cs.IR
Breaking Language Barriers or Reinforcing Bias? A Study of Gender and Racial Disparities in Multilingual Contrastive Vision Language Models
Queen Mary University of London(伦敦大学玛丽女王学院);Institut Jožef Stefan(乔泽夫·斯蒂芬研究所)
本文首次系统审计四种公开多语言CLIP变体的种族与性别偏见,发现多语言性未缓解偏见反而存在刻板印象跨语言迁移等问题,指出需开展语言感知的细粒度偏见评估。
2025-11-18 cs.CL cs.LG
Large-scale Bilingual Language-Image Contrastive Learning
NAVER Vision(NAVER视觉)
本文是一份技术报告,分享我们的经验和发现,建立一个韩英双语多模态模型。虽然许多多模态数据集专注于英语和多语言多模态研究使用机器翻译的文本,但使用这种机器翻译的文本仅限于描述英语以外的语言中的独特表达,文化信息和专有名词。在这项工作中,我们收集了11亿图像-文本对(7.08亿韩语和4.76亿英语)和训练一个双语多模态模型KELIP。我们引入简单而有效的培训计划,包括MAE预培训和多作物扩增。大量的实验表明,用这种训练方案训练的模型在两种语言中都表现出竞争力。此外,我们还讨论了多模态相关的研究问题:1)基于强增强的方法会分散模型学习正确的多模态关系的注意力; 2)训练没有跨语言关系的多模态模型可以通过视觉语义来学习多模态关系; 3)我们的双语KELIP可以捕捉相同词义的视觉语义的文化差异; 4)大规模多模态模型可用于多模态特征类比。我们希望这项工作将为未来的研究提供有益的经验和发现。我们提供一个开源的预训练KELIP。
2022-04-15 cs.CL cs.CV
Improving Language Transfer Capability of Decoder-only Architecture in Multilingual Neural Machine Translation
Nara Institute of Science and Technology(奈良科学技术大学);National Institute of Information and Communications Technology(日本信息通信研究机构)
本文针对 decoder-only 架构在多语言神经机器翻译中语言迁移不足的问题,提出两阶段解码与翻译指令对比学习,在零样本翻译上显著超越 encoder-decoder 基线。
2024-12-03 cs.CL
Llama-Embed-Nemotron-8B: A Universal Text Embedding Model for Multilingual and Cross-Lingual Tasks
本文提出开源文本嵌入模型Llama-Embed-Nemotron-8B,通过1610万查询-文档对的数据混合与详细消融研究,在多语言及跨语言任务上取得最先进性能,并支持用户自定义指令以增强特定用例表现。
2025-11-10 cs.CL cs.IR
CLSRIL-23: Cross Lingual Speech Representations for Indic Languages
Thoughtworks(思特沃克);Ekstep Foundation(Ekstep基金会)
我们提出了一个CLSRIL-23,一个基于自监督学习的音频预训练模型,它可以从23种印度语言的原始音频中学习跨语言的语音表示。它构建在wav 2 vec 2.0之上,通过在掩蔽的潜在语音表示上训练对比任务来解决,并联合学习所有语言共享的潜在量化。我们比较了预训练过程中的语言损失,以比较单语和多语言预训练的效果。一些下游微调任务的语音识别的性能也进行了比较,我们的实验表明,多语言预训练优于单语训练,在学习语音表示编码的语音相似性的语言,也在下游任务的性能。当使用多语言预训练模型进行印地语微调时,WER和CER分别下降了5%和9.5%。所有的代码模型也都是开源的。CLSRIL-23是一个在$23$语言和近10,000小时的音频数据上训练的模型,以促进印度语语音识别的研究。我们希望使用自我监督的方法来创建新的最先进的系统,特别是对于低资源的印度语。
2022-01-13 cs.CL cs.LG cs.SD
Contrastive Token Learning with Similarity Decay for Repetition Suppression in Machine Translation
Alibaba Group(阿里巴巴集团);Northwestern Polytechnical University(西北工业大学);Zhejiang Gongshang University(浙江工商大学)
本文提出CTSD算法,通过信息熵分析重复成因,利用注意力权重与token距离动态抑制重复,并在自建电商标题数据集及阿里巴巴国际站八个站点全量上线中验证了其优于现有方法的翻译精确度、泛化性和商业转化效果。
2024-09-30 cs.AI cs.CL
Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation
Nanjing University(南京大学);ByteDance(字节跳动)
最近邻机器翻译(kNNMT)是一种简单有效的增强神经机器翻译(NMT)的方法。kNNMT的有效性直接取决于检索的邻居的质量。然而,原始的kNNMT基于NMT模型的表示来构建数据存储,这将导致当NMT模型不够好时检索准确性差,从而导致次优的翻译性能。在本文中,我们提出了PRED,这是一个利用kNN-MT中数据存储的预训练模型的框架。来自预训练模型的更好的表示使我们能够构建更好质量的数据存储。我们还设计了一个新的对比对齐目标,以减轻NMT模型和预训练模型之间的表示差距,使NMT模型能够从更好的数据存储中检索。我们对双语和多语言翻译基准进行了广泛的实验,包括WMT 17英语$\leftrightarrow$中文,WMT 14英语$\leftrightarrow$德语,IWSLT 14德语$\leftrightarrow$英语和IWSLT 14多语言数据集。实证结果证明了PRED的有效性。
2022-12-17 cs.CL
EEG2TEXT-CN: An Exploratory Study of Open-Vocabulary Chinese Text-EEG Alignment via Large Language Model and Contrastive Learning on ChineseEEG
Department of Artificial Intelligence in Healthcare, International Academia of Biomedical Innovation Technology(人工智能医疗系,国际生物医学创新技术学院);National Taiwan University(台湾大学);Neuro Industry Research, Neuro Industry, Inc.(神经产业研究,神经产业公司);Department of Biomedical Engineering, University of Southern California(生物医学工程系,南加州大学);Taiwan Artificial Intelligence Association(台湾人工智能协会)
本文提出EEG2TEXT-CN,首个面向中文的开放词汇脑电解码框架,利用NICE-EEG编码器和MiniLM语言模型,通过掩码预训练与对比学习实现零样本句子生成,最佳BLEU-1为6.38%,验证了非语音跨模态语言解码的可行性。
2025-07-08 cs.AI cs.CL cs.LG
Pearmut: Human Evaluation of Translation Made Trivial
ETH Zurich(苏黎世联邦理工学院);Cohere
Pearmut通过轻量级平台简化多语言NLP的人工评估流程,支持机器翻译任务,提供多种评估协议和动态分配策略,使人工评估成为模型开发的常规环节。
2026-09-01 cs.CL cs.HC
Diffusion-Pretrained Dense and Contextual Embeddings
本文提出pplx-embed模型,通过多阶段对比学习在扩散预训练语言模型基础上实现多语言嵌入,其中pplx-embed-v1在多个基准测试中表现优异,pplx-embed-context-v1在ConTEB基准中创纪录。
2026-02-13 cs.CL cs.IR cs.LG
On the Design Fundamentals of Pixel Text Representation Learning
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Fudan University(复旦大学);Aberystwyth University(阿伯里斯特威斯大学);University of Macau(澳门大学);Shanghai University of Finance and Economics(上海财经大学)
本研究针对现有像素-文本编码器的缺陷,确定视觉文本表示学习的四个关键设计原则,据此训练的Pixel Linguist II在多项视觉文本任务上达SOTA,且在高视觉令牌压缩下仍具鲁棒性,推动光学上下文压缩发展。
2026-09-02 cs.CL cs.CV
Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
Osaka University(大阪大学);Megagon Labs(Megagon实验室)
我们提出了Emu,语义增强多语言句子嵌入的系统。我们的框架使用两个主要组件微调预训练的多语言句子嵌入:语义分类器和语言分类器。语义分类器提高了相关句子的语义相似性,而语言分类器通过多语言对抗训练增强了嵌入的多语言性。我们基于几种语言对的实验结果表明,我们的专业嵌入优于国家的最先进的多语言句子嵌入模型的跨语言意图分类任务,仅使用单语标记数据。
2019-11-24 cs.CL cs.LG
Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech
FAIR at Meta(Meta的FAIR)
提出OmniSONAR模型,通过渐进式训练和教师-学生蒸馏,在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入,在跨语言检索和翻译任务上显著降低错误率,并支持零样本语音翻译。
2026-06-19 cs.CL
XTRA: Cross-Lingual Topic Modeling with Topic and Representation Alignments
Hanoi University of Science and Technology(河内科学技术大学);University of Monash(墨尔本大学)
针对现有跨语言主题建模方法难以兼顾主题一致性与跨语言对齐的问题,提出融合表示对齐与主题对齐的XTRA框架,实验证明其在多项指标上显著优于基线。
2025-10-03 cs.CL
MuCoT: Multilingual Contrastive Training for Question-Answering in Low-resource Languages
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
近年来,随着基于转换器的模型(例如,BERT)。这些模型是用大型英语文本语料库以自我监督的方式进行预训练的,并用大量英语QA数据集(例如,SQuAD)。然而,这种规模的QA数据集不适用于大多数其他语言。基于多语言BERT的模型(mBERT)通常用于将知识从高资源语言转移到低资源语言。由于这些模型是用包含多种语言的巨大文本语料库进行预训练的,因此它们通常会学习来自不同语言的标记的语言无关嵌入。然而,由于训练数据的缺乏,直接训练用于低资源语言的基于mBERT的QA系统是具有挑战性的。在这项工作中,我们使用翻译和音译来增强目标语言的QA样本,并使用增强的数据来微调基于mBERT的QA模型,该模型已经用英语进行了预训练。在Google ChAII数据集上的实验表明,使用来自同一语言家族的翻译对mBERT模型进行微调可以提高问答性能,而在跨语言家族的情况下,性能会下降。我们进一步表明,在微调过程中引入翻译的问题上下文特征对之间的对比损失,防止这种退化与跨语言的家庭翻译,并导致边际改善。这个工作的代码可以在https://github.com/gokulkarthik/mucot上找到。
2022-04-12 cs.AI cs.CL cs.LG