A Scalable Unsupervised Framework for multi-aspect labeling of Multilingual and Multi-Domain Review Data
Department of Artificial Intelligence, Hanyang University(人工智能学院,翰阳大学);Department of Data Science, Hanyang University(数据科学学院,翰阳大学)
本文提出了一种可扩展的无监督框架,用于多语言和多领域评论数据的多方面标注,通过实验验证了其在大规模数据处理中的有效性与一致性。
2026-01-12 cs.CL
Multilingual Translation via Grafting Pre-trained Language Models
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
一种语言的预训练BERT和另一种语言的GPT可以粘在一起翻译文本吗?仅使用单语数据的自我监督训练已经导致了许多NLP任务中预训练(掩蔽)语言模型的成功。然而,直接连接BERT作为编码器和GPT作为解码器在机器翻译中可能具有挑战性,因为类似GPT的模型缺乏seq2seq解码器中所需的交叉注意组件。在本文中,我们提出了Gramformer移植单独的预训练(掩蔽)语言模型的机器翻译。使用单语数据进行预训练,并行数据进行嫁接训练,我们最大限度地利用了这两种类型数据的使用。在60个方向上的实验表明,与相同大小的多语言Transformer相比,该方法在x2en方向上平均提高了5.8 BLEU,在en2x方向上平均提高了2.9 BLEU。
2021-09-11 cs.CL
Multilingual Cognitive Impairment Detection in the Era of Foundation Models
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Institute of Synergetics and Psychotherapy Research, Paracelsus Medical University(协同与心理治疗研究所,帕拉塞尔苏斯医科大学);University of Ljubljana(卢布尔雅那大学);Queen Mary University of London(伦敦玛丽女王大学)
本文比较了零样本大语言模型与监督表格方法在多语言语音转录中的认知障碍分类性能,发现监督模型在包含工程语言特征时表现更优。
2026-04-08 cs.CL
Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning
JIUTIAN Research, China Mobile, Beijing, China(JIUTIAN研究, 中国移动, 北京);National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室, 南京大学)
PASMR通过基准语言自反馈机制提升多语言数学推理能力,解决LLMs在多语言环境下的性能下降问题。
2026-01-25 cs.CL
Improving Multilingual Social Media Insights: Aspect-based Comment Analysis
Institute for Infocomm Research, A*STAR, Singapore(信息与通信研究所)
针对社交媒体文本多样性带来的下游NLP任务挑战,提出基于方面术语生成(CAT-G)的多语言大模型微调方法,并贡献首个涵盖四种语言的多语言CAT-G测试集以评估跨语言性能。
2025-05-29 cs.CL
LatinX: Aligning a Multilingual TTS Model with Direct Preference Optimization
本文提出LatinX,一种三阶段训练的多语言TTS模型,通过DPO对齐降低WER并提升说话人相似度,在跨语言语音翻译中优于基线XTTSv2。
2025-09-06 cs.CL
When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理学院);Monash University(墨尔本大学);Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(国立新加坡大学)
通过解耦语言和推理能力,使LLM在多语言推理中表现更优,无需额外训练开销。
2025-12-11 cs.CL
Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学);AI Singapore(AI新加坡);National University of Singapore(新加坡国立大学);Institute for Infocomm Research (I$^2$R)(信息通信研究所);A$^{*}$STAR(A*星)
本文提出一种语言感知蒸馏方法,通过查询库和门控网络提升多语言指令遵循语音大语言模型的性能,实现在Audio-MLQA基准上比现有基线提升32%。
2026-07-27 cs.CL
Multilingual Fine-Grained News Headline Hallucination Detection
Google Research(谷歌研究院)
本研究构建了首个包含5种语言超1.1万对数据的多语言细粒度新闻标题幻觉检测专家标注数据集,通过监督微调和大型语言模型上下文学习实验,提出语言相关示例选择与从粗到细提示技术提升少样本检测性能。
2024-07-22 cs.CL
Controlling Language Confusion in Multilingual LLMs
Chungang University(Chungang 大学);OneLineAI;MODULABS
本文针对多语言大语言模型的语言混淆问题,提出在标准 SFT 基础上引入 ORPO 惩罚项以抑制跨语言混合输出,实验证明该方法在低资源和高解码温度下仍能保持语言一致性并维持问答性能。
2025-07-20 cs.CL
Reference-Free Post-Training of Open Large Language Models for Multilingual Machine Translation
Xiaomi Inc.(小米公司)
该研究针对多语言机器翻译,以开源大语言模型为对象,采用GRPO算法结合无参考质量评估奖励,通过检查点插值得到MiLMMT-46-v1.0,其翻译质量优于SFT模型及多款开源基线,在无参考评分上领先于谷歌翻译等专有系统,还发布了相关模型与代码。
2026-08-13 cs.AI cs.CL
When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use
Amazon(亚马逊)
针对多语言API调用中存在的参数语言不匹配问题,研究发现监督微调可实现接近或优于复杂强化学习方法的性能,强化学习仅能提供渐进式改进。
2026-08-13 cs.AI cs.CL
Semi Supervised Preposition-Sense Disambiguation using Multilingual Data
Bar-Ilan University(巴伊兰大学)
介词是非常常见和非常模糊的,理解它们的意义对于理解句子的含义至关重要。监督语料库的介词意义消歧任务是小的,这表明一个半监督的方法来完成任务。我们表明,来自未注释的多语言数据的信号可以用来提高监督介词意义消歧。我们的方法预先训练LSTM编码器来预测介词的翻译,然后将预先训练的编码器作为监督分类系统中的一个组件,并为任务进行微调。多语言信号一致地改善了两个介词意义数据集上的结果。
2016-11-27 cs.CL
Scalable multilingual PII annotation for responsible AI in LLMs
本文提出一个可扩展的多语言数据策展框架,通过人在回路的分阶段标注和根本原因分析,在13个低资源语言区域覆盖约336种PII类型,显著提升召回率并降低误报率,为LLM负责任AI提供高保真训练数据。
2025-10-09 cs.AI cs.CL
Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers
DAMO Academy, Alibaba Group(阿里巴巴达摩院)
针对开源多语言LLM语言覆盖不足的问题,提出Babel模型,通过层扩展技术支持全球90%以上人口的25种语言,其9B和83B变体在多语言任务上表现卓越,达到商业模型水平。
2025-03-02 cs.AI cs.CL
English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training
UC Santa Barbara(加州大学圣巴巴拉分校);Amazon(亚马逊)
研究通过220次监督微调实验,探讨训练语言覆盖、模型规模和任务领域间的相互作用,发现增加后训练语言覆盖对各任务和模型规模均有益,低资源语言受益最大,高资源语言趋于稳定。单语种多语言性可提升英语表现和跨语言泛化,英语独占后训练效果不佳。
2026-09-22 cs.AI cs.CL
CURE-Med: Curriculum-Informed Reinforcement Learning for Multilingual Medical Reasoning
University of Virginia(弗吉尼亚大学);Indian Institute of Technology Patna(印度理工学院帕纳布分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);MBZUAI(中东技术研究所)
本文提出CURE-MED框架,通过课程引导的强化学习提升多语言医学推理的逻辑正确性和语言稳定性,实验表明在13种语言上均优于基线模型,实现了高一致性与高正确率。
2026-04-26 cs.AI cs.CL
EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究院);Department of Software Science, Tallinn University of Technology(塔林技术大学软件科学系);Institute of the Estonian Language, Tallinn, Estonia(爱沙尼亚语言研究院);School of Humanities, Tallinn University(塔林大学人文学院)
EstLLM通过持续预训练和后训练提升多语言大语言模型中爱沙尼亚的能力,增强语言和推理表现。
2026-08-26 cs.AI cs.CL
Multi-SFT: Permissively-Licensed Multilingual Instruction-Following
University of Siena(锡耶纳大学);Yukai!(优凯)
该研究推出获商业宽松许可的多语言指令跟随数据集Multi-SFT,经微调的9个模型在13个基准上表现优异,在安全任务上优势显著。
2026-10-16 cs.AI cs.CL
Legal Prompt Engineering for Multilingual Legal Judgement Prediction
Thomson Reuters Labs(汤森路透实验室)
法律提示工程(Legal Prompt Engineering,LPE)是一个指导和帮助大语言模型(LLM)执行自然法律语言处理(NLLP)技能的过程。我们的目标是使用LPE与LLM在长的法律文件的法律判断预测(LJP)的任务。我们调查性能的zero-shot LPE的情况下,文本从欧洲人权法院(英语)和瑞士联邦最高法院(德语,法语和意大利语)的事实。我们的研究结果表明,zero-shot LPE比基线更好,但与当前最先进的监督方法相比,它仍然不足。尽管如此,结果是重要的,因为1)没有使用明确的特定领域数据-因此我们表明,转移到法律领域是可能的通用LLM,2)LLM直接应用而无需任何进一步的训练或微调-这反过来又大大节省了额外的计算成本。
2022-12-05 cs.AI cs.CL
Effect of Attention and Self-Supervised Speech Embeddings on Non-Semantic Speech Tasks
Northwestern University(西北大学)
本文面向 ComParE EMotion Share 多语言情感份额回归任务,评估自监督语音基础模型,并以 HuBERT-Large 结合自注意力轻量序列模型实现较基线 4.6% 的提升。
2023-09-27 cs.AI cs.CL
Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models
Meta AI;UT Austin(德克萨斯大学奥斯汀分校)
提出一种多语言OCR感知的多模态训练框架,通过合成数据生成、OCR感知微调和结构化视觉链式思维提示,提升多模态大语言模型在复杂视觉条件下的OCR完整性和多语言翻译准确性。
2026-08-13 cs.CL cs.CV cs.LG
Self-Supervised Borrowing Detection on Multilingual Wordlists
University of Tübingen(图宾根大学)
本文提出了一种自监督方法用于多语言词表中的借词检测,结合PMI相似性和对比组件,无需标注数据即可实现高精度检测。
2025-12-01 cs.CL
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学)
多语言预训练语言模型(MPLM)不仅可以处理不同语言的任务,而且还表现出令人惊讶的zero-shot跨语言可移植性。然而,与最先进的单语预训练模型相比,MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中,我们的目标是提高多语言模型的监督和zero-shot的性能,同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性,我们提出了MBLM(多分支多语言语言模型),一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练,该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明,仅使用任务的监督数据,我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务,因此我们使用多语言BERT解决了这个问题,该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文,大大提高了单词对齐的准确性。在使用中文,日语,德语,罗马尼亚语,法语和英语之间的五个单词对齐数据集的实验中,我们表明,所提出的方法显着优于以前的监督和无监督的单词对齐方法,而无需使用任何双文本进行预训练。例如,我们对中英文数据的F1得分为86.7,比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Multilingual and Multilabel Emotion Recognition using Virtual Adversarial Training
ShareChat
虚拟对抗训练(VAT)在监督和半监督设置下学习计算机视觉和NLP任务的鲁棒模型方面一直很有效。然而,增值税的多语言和多标签文本分类的有效性还没有被探索过。在这项工作中,我们探索了多标签情感识别的VAT,重点是利用来自不同语言的未标记数据来提高模型性能。我们在SemEval2018多标签和多语言情感识别数据集上进行了广泛的半监督实验,并在相同数量的标记数据(训练数据的10%)下,与监督学习相比,性能提高了6.2%(阿拉伯语),3.8%(西班牙语)和1.8%(英语)。我们还将西班牙语,阿拉伯语和英语的现有最先进水平分别提高了7%,4.5%和1%(Jaccard指数),并进行了探测实验,以了解不同层次的上下文模型的影响。
2021-11-11 cs.CL
Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching
Stanford University(斯坦福大学)
针对低资源非洲语言语码转换语音数据集过小难以训练模型的问题,提出微调 wav2vec 2.0 XLSR 等自监督多语言表征并结合 n-gram 语言模型,使绝对词错率最多降低 20%,是数据有限时的更优方案。
2023-11-25 cs.CL
PARE: A Simple and Strong Baseline for Monolingual and Multilingual Distantly Supervised Relation Extraction
Indian Institute of Technology(印度理工学院)
用于远程监督关系抽取(DS-RE)的神经模型将每个句子单独编码在实体对袋中。然后,这些被聚合用于袋级关系预测。由于在编码时,这些方法不允许信息从袋子中的其他句子中流出,我们认为它们没有充分利用可用的袋子数据。作为回应,我们探索一个简单的基线方法(PARE),其中一个袋子的所有句子连接成一个句子的通道,并共同使用BERT编码。标记的上下文嵌入使用注意力与候选关系作为查询来聚合--整个段落的这个摘要预测候选关系。我们发现,我们简单的基线解决方案优于现有的最先进的DS-RE模型在单语和多语言DS-RE数据集。
2022-05-06 cs.CL
Parrot: Multilingual Visual Instruction Tuning
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
针对多模态大语言模型在多语言处理上的退化问题,提出PARROT方法,利用文本引导和专家混合进行视觉标记对齐,并构建多语言基准MMMB,取得最先进性能。
2025-05-26 cs.AI cs.CL cs.CV
PEACH: Pre-Training Sequence-to-Sequence Multilingual Models for Translation with Semi-Supervised Pseudo-Parallel Document Generation
University of Tehran(德黑兰大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所)
本文提出半监督伪平行文档生成方法SPDG并据此预训练多语言翻译模型PEACH,在多种翻译任务上超越mT5和mBART,尤其利于低资源语言。
2023-04-14 cs.CL
Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning
Google Research(谷歌研究院)
实现所有人类语言对之间的通用翻译是机器翻译(MT)研究的圣杯。虽然最近在大规模多语言机器翻译方面取得的进展离实现这一目标又近了一步,但很明显,简单地通过在更多并行数据上进行训练来扩展多语言机器翻译系统是不可扩展的,因为低资源和非英语为中心的语言对的标记数据的可用性非常有限。为此,我们提出了一种实用的方法来构建一个多语言MT模型,涵盖数百种语言,使用监督和自我监督的目标的混合物,这取决于不同语言对的数据可用性。我们证明了这两种训练范式之间的协同作用使模型能够在零资源环境中产生高质量的翻译,甚至超过了中低资源语言的监督翻译质量。我们进行了大量的实验,以了解多语言监督的程度,域不匹配以及并行和单语数据量对我们的自监督多语言模型质量的影响。为了证明该方法的可扩展性,我们用200多种语言训练模型,并在几种以前研究不足的语言上展示了零资源翻译的高性能。我们希望我们的发现能够成为实现下一千种语言翻译的垫脚石。
2022-01-13 cs.CL cs.LG
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院);University of Science and Technology of China(中国科学技术大学)
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展,像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别(ASR)的性能方面取得了成功。然而,与监督学习类似,多语言预训练也可能受到语言干扰,并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术,包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务,包括16种语言。我们的实验结果表明,与标准XLSR模型相比,相对增益为14.3%,与没有预训练的多语言模型相比,相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
Unsupervised Multilingual Word Embeddings
多语言词嵌入(MWE)在单个分布向量空间中表示来自多种语言的词。无监督MWE(UMWE)方法在没有跨语言监督的情况下获得多语言嵌入,这比传统的监督方法具有显着优势,并为低资源语言开辟了许多新的可能性。然而,用于学习UMWE的现有技术仅仅依赖于多个独立训练的无监督双语词嵌入(UBWE)来获得多语言嵌入。这些方法无法利用许多语言之间存在的相互依赖性。为了解决这个缺点,我们提出了一个完全无监督的框架,用于学习MWE,直接利用所有语言对之间的关系。我们的模型大大优于以前的方法在实验中的多语言单词翻译和跨语言单词相似性。此外,我们的模型甚至击败了使用跨语言资源训练的监督方法。
2018-09-06 cs.CL
GrammarTagger: A Multilingual, Minimally-Supervised Grammar Profiler for Language Education
Octanove Labs;University of Washington(华盛顿大学);University of Tokyo(东京大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了GrammarTagger,一个开源的语法分析器,给定一个输入文本,确定有用的语言教育的语法功能。该模型架构使其能够从少量标注了span及其标签的文本中学习,这1)实现了更简单,更直观的注释,2)支持重叠span,3)与在选区/依赖解析上定义的复杂手工规则相比,不易发生错误传播。我们表明,我们可以引导一个语法分析器模型与$F_1 \approx 0.6$从只有几百个句子在英语和中文,这可以进一步提高通过学习多语言模型。通过GrammarTagger,我们还建立了Octanove Learn,一个根据阅读难度和语法特征索引的语言学习材料的搜索引擎。代码和预训练模型在\url{https://github.com/octanove/grammartagger}上公开提供。
2021-04-07 cs.CL
Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining
University of Chicago(芝加哥大学);University of Washington(华盛顿大学)
这项工作提出了使用成对或不成对的双语文本学习跨语言句子表征的方法。我们假设跨语言对齐策略是可转移的,因此训练仅对齐两种语言的模型可以编码多语言对齐的表示。因此,我们引入了双支点迁移:在一个语言对上进行训练,在其他语言对上进行评估。为了研究这一理论,我们设计了在未配对句子上训练的无监督模型和在双文本上训练的单对监督模型,两者都基于无监督语言模型XLM-R,其参数被冻结。实验评估模型作为通用的句子编码器的任务上的无监督的双文本挖掘两个数据集,其中的无监督模型达到最先进的无监督检索,和替代的单对监督模型的性能接近多语言监督模型。结果表明,双语训练技术提出的可以应用到获得句子表示与多语言对齐。
2022-03-15 cs.CL
Language-Aware Multilingual Machine Translation with Self-Supervised Learning
Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
多语言机器翻译(MMT)得益于跨语言迁移,但它是一个具有挑战性的多任务优化问题。部分原因是没有系统学习语言特定参数的明确框架。自监督学习(SSL)方法,利用大量的单语数据(并行数据是不可用的),通过提高翻译性能的补充任务的MMT任务的承诺。然而,联合优化SSL和MMT任务更具挑战性。在这项工作中,我们首先研究如何利用内部蒸馏来学习更多的语言特定的参数,然后显示这些语言特定的参数的重要性。接下来,我们提出了一个新颖但简单的SSL任务,并发去噪,它通过在编码器和解码器上同时对单语数据进行去噪来与MMT任务进行协同训练。最后,我们将内部蒸馏应用于这种联合训练方法。将这两种方法结合起来,可以显著提高MMT的性能,大大优于三种最先进的SSL方法,例如,与MASS相比,在8种语言和15种语言的基准测试中分别提高了11.3%和3.7%
2023-02-10 cs.CL
Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation
Sapienza University of Rome(罗马大学)
我们向社区发布了六个大规模的多语言词义标注数据集,为监督式多语言词义消歧铺平了道路。我们的数据集涵盖了英语WordNet中的所有名词及其在其他语言中的翻译,总共有数百万个带有意义标签的句子。实验证明,这些语料库可以有效地用作监督式WSD系统的训练集,超越了低资源语言的最新技术水平,并为英语提供了有竞争力的结果,其中手动注释的训练集是可访问的。这些数据可在trainomatic. org上查阅。
2018-05-12 cs.CL
Acoustic word embeddings for zero-resource languages using self-supervised contrastive learning and multilingual adaptation
School of Data Science and Computational Thinking (SU)(数据科学与计算思维学院(南非大学))
声学词嵌入(AWE)是可变长度语音段的固定维表示。对于没有标记数据的零资源语言,一种AWE方法是使用无监督的基于自动编码器的递归模型。另一种最近的方法是使用多语言传输:在几种资源丰富的语言上训练有监督的AWE模型,然后将其应用于一种看不见的零资源语言。我们考虑如何最近的对比学习损失可以在纯粹的无监督和多语言传输设置。首先,我们证明了来自无监督术语发现系统的术语可以用于对比自我监督,从而改进了以前的无监督单语AWE模型。其次,我们考虑如何多语言AWE模型可以适应一个特定的零资源语言使用发现的条款。我们发现,自监督对比适应优于适应多语言对应自动编码器和暹罗AWE模型,在六种零资源语言的单词识别任务中获得了最佳的整体结果。
2021-03-19 cs.CL eess.AS
VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation
Facebook AI(脸书人工智能研究院)
我们介绍VoxPopuli,一个大规模的多语种语料库,提供10万小时的未标记的语音数据在23种语言。它是迄今为止无监督表示学习和半监督学习最大的开放数据。VoxPopuli还包含1.8K小时的16种语言的转录演讲,以及他们对齐的口头翻译成其他5种语言,总计5.1K小时。我们提供语音识别基线,并验证VoxPopuli未标记数据在具有挑战性的域外设置下的半监督学习中的多功能性。我们将在开放许可下在https://github.com/facebookresearch/voxpopuli上发布语料库。
2021-07-27 cs.CL eess.AS
Multilingual Phonological Feature Recognition with Self-Supervised Speech Models
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany(埃森哲大学模式识别实验室,德国);GITA Lab. Facultad de Ingeniería. Universidad de Antioquia UdeA, Medellín, Colombia(安蒂亚大学工程学院GITA实验室,哥伦比亚)
提出PhonoQ-2.0,一种基于自监督语音模型的多语言帧级音韵特征识别器,通过方式条件门控机制直接预测结构化特征向量,在域内和域外均优于CTC基线。
2026-08-04 cs.CL
Uncertainty-aware Semi-supervised Ensemble Teacher Framework for Multilingual Depression Detection
Indian Institute of Technology Indore, India(印度理工学院印多尔分校);Shri Govindram Seksaria Institute of Technology(Shri Govindram Seksaria技术学院)
本文提出Semi-SMDNet框架,通过半监督学习、集成学习和数据增强,提升多语言抑郁症检测的鲁棒性和跨语言性能。
2025-12-31 cs.CL
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research(谷歌研究院)
在非洲使用的2,000多种语言中,几乎没有一种具有广泛使用的自动语音识别系统,所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术,这可能会提供途径,非洲语言的大词汇语音识别:多语言建模和自监督学习。我们收集了可用的开放源数据,收集了15种语言的数据,并使用这些技术训练了实验模型。我们的研究结果表明,汇集多语言端到端模型中可用的少量数据,并对无监督数据进行预训练,可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models
Tampere University Apple(塔尔库大学苹果)
本文提出在双语自监督语音模型中引入有限视觉grounding,以缩小多语言与单语模型间的性能差距,在零样本音素判别上将差距从31.5%降至8.04%。
2025-09-22 cs.CL eess.AS
CC-Tuning: A Cross-Lingual Connection Mechanism for Improving Joint Multilingual Supervised Fine-Tuning
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);The University of Hong Kong(香港大学);Central South University(中南大学)
本文提出CC-Tuning,通过在潜在层面显式融合英与非英输入的前馈激活并利用决策器和变换矩阵,改进多语言监督微调,在22种语言的六个基准上超越普通SFT。
2025-06-01 cs.CL
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google(谷歌)
本文提出了Virtuoso,一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成(TTS)模型。现有的多语言TTS通常支持数十种语言,这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro,一个用于自动语音识别(ASR)的语音-文本联合预训练框架,扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型,设计了不同的训练方案来处理监督(成对的TTS和ASR数据)和非监督(未转录的语音和未说出的文本)数据集。实验评估表明,1)在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性,2)它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon.com Inc(亚马逊公司)
预测知识图谱(KG)中缺失的事实至关重要,因为现代KG远未完成。由于劳动密集型的人类标记,这种现象在处理以各种语言表示的知识时恶化。在本文中,我们探讨了多语言KG完成,它利用有限的种子对齐作为桥梁,拥抱来自多种语言的集体知识。然而,在先前的工作中使用的语言对齐仍然没有被充分利用:(1)对齐对被平等地对待以最大限度地推动并行实体接近,这忽略了KG容量不一致;(2)种子对齐是稀缺的,并且新的对齐识别通常是以噪声无监督的方式。为了解决这些问题,我们提出了一种新的自监督自适应图对齐(SS-AGA)方法。具体地说,SS-AGA融合所有KG作为一个整体图,把对齐作为一个新的边缘类型。因此,可以通过关系感知注意力权重自适应地控制跨KG的信息传播和噪声影响。同时,SS-AGA具有一个新的对生成器,可以在自监督模式中动态捕获潜在的对齐对。在公共多语言DBPedia KG和新创建的工业多语言E-commerce KG上的大量实验经验地证明了SS-AG的有效性
2022-03-28 cs.AI cs.CL
Joint Unsupervised and Supervised Training for Multilingual ASR
Google(谷歌)
自监督训练在预训练模型和促进语音识别的下游微调(如多语言ASR)方面显示出了有希望的收益。大多数现有的方法采用2阶段方案,其中在第一预训练阶段优化自监督损失,在第二阶段恢复标准监督微调。在本文中,我们提出了一种端到端(E2 E)联合无监督和监督训练(JUST)方法,将监督RNN-T损失和自监督对比和掩蔽语言建模(MLM)损失结合起来。我们在公共数据集多语言LibriSpeech(MLS)上验证了它的性能,该数据集包括8种语言,并且非常不平衡。在MLS上,我们探索(1)从头开始训练,(2)从预训练的检查点进行微调。实验表明,JUST可以始终优于其他现有的最先进的方法,并击败单语基线的显着保证金,展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%,最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上,我们的WER不到单语基线的一半,甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
Where's the Point? Self-Supervised Multilingual Punctuation-Agnostic Sentence Segmentation
Cohere for AI(Cohere人工智能研究院);Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
本文提出一种自监督、与标点无关的多语言句子切分方法,覆盖85种语言,仅需少量标注即可适配语料,在F1和机器翻译BLEU上均显著优于先前最佳工具。
2023-05-30 cs.CL
Multilingual Word Sense Disambiguation with Unified Sense Representation
HKUST(香港科技大学);Tencent AI lab(腾讯人工智能实验室)
词义消歧是自然语言处理的一项重要任务,它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注,当前的词义消歧系统通过将监督学习与词汇知识相结合,在英语中取得了令人印象深刻的性能。然而,这样的成功是很难被复制在其他语言中,我们只有有限的annotations.In本文中,基于多语种词典BabelNet描述跨语言的同一组概念,我们提出了建立知识和监督为基础的多语种词义消歧(MWSD)系统。我们为多种语言建立统一的意义表示,并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示,可以联合训练来自多种语言的注释,以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
2022-10-14 cs.CL
Accidental Learners: Spoken Language Identification in Multilingual Self-Supervised Models
NVIDIA(英伟达)
在本文中,我们通过在多语言预训练范例中试验基于Conformer的架构,扩展了以前的自监督语言识别方法。我们发现,预先训练的语音模型最佳编码语言歧视性信息在较低的层。此外,我们证明了从这些层获得的嵌入对于分类看不见的语言和不同的声学环境是非常鲁棒的,而无需额外的训练。在VoxLingua107数据集上对预训练的Conformer模型进行微调后,我们获得了与当前最先进的语言识别系统相似的结果。此外,我们的模型用少5倍的参数实现了这一点。我们通过NVIDIA NeMo工具包开源了该模型。
2023-03-13 cs.CL cs.SD eess.AS
MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting
The Chinese University of Hong Kong(香港中文大学)
MiLorE-SSL通过结合LoRA和软MoE机制,实现高效多语言自监督学习,有效缓解遗忘问题,仅用2.14%参数在新语言上取得优异表现。
2026-01-28 cs.CL eess.AS
Substitute Based SCODE Word Embeddings in Supervised NLP Tasks
Koç University(科奇大学)
我们分析了一个词嵌入方法在监督任务。它将词映射到一个球体上,使得在相似上下文中共现的词紧密地躺在一起。上下文的相似性是通过可以填充它们的替代物的分布来衡量的。我们比较了词嵌入,包括最近的表示,在命名实体识别(NER),组块,和依存句法分析。我们还研究了多语言依存句法分析的框架。实验结果表明,该方法与其他词嵌入方法相比,取得了相同或更好的效果。它在多语言依存句法分析中取得了最先进的结果。7种语言的词嵌入可供公众使用。
2014-07-25 cs.CL
Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming
Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology(以色列理工学院电气与计算机工程学院)
提出一种结合自监督表示和学习动态规划的多语言词级强制对齐方法,通过融合MMS和UnSupSeg特征并学习词边界概率,在多个语言上超越现有方法。
2026-06-09 cs.CL eess.AS
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University(爱媛大学);National Institute of Information and Communications Technology(国立情报学通信技术研究所)
针对翻译质量估计(TQE)监督训练数据成本高的问题,研究将合成数据与预训练多语言编码器用于无监督句子级TQE,实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL