MIRAGE-Bench: Automatic Multilingual Benchmark Arena for Retrieval-Augmented Generation Systems
University of Waterloo(滑铁卢大学);Vectara(维克塔拉科技公司)
MIRAGE-Bench提出一种结合启发式指标与LLM裁判的替代裁判方法,构建多语言RAG基准,在18种语言上评估19个LLM,与GPT-4o裁判高度相关(τ=0.909),发现专有和大型开源模型占优。
2025-03-29 cs.AI cs.CL
MEMERAG: A Multilingual End-to-End Meta-Evaluation Benchmark for Retrieval Augmented Generation
Tampere University(塔尔皮奥大学);Amazon(亚马逊)
本文提出多语言端到端元评估基准MEMERAG,基于MIRACL数据集和原生语言问题构建,用于评估RAG系统的忠实性与相关性,并验证其能可靠识别多语言自动评估器的改进。
2025-07-19 cs.AI cs.CL
GeBioToolkit: Automatic Extraction of Gender-Balanced Multilingual Corpus of Wikipedia Biographies
我们介绍GeBioToolkit,一个工具,用于提取多语言平行语料库在句子级别,从维基百科的传记文件和性别信息。尽管维基百科中存在性别不平等,但该工具包旨在提取性别平衡的语料库。虽然我们的工具包可以定制为任何数量的语言(和不同的领域),但在这项工作中,我们提供了英语,西班牙语和加泰罗尼亚语的2,000个句子的语料库,这些句子已经由母语人士进行了后期编辑,成为机器翻译评估的高质量数据集。虽然GeBioCorpus旨在成为第一个非合成性别平衡的测试数据集之一,但GeBioToolkit旨在为标准化程序铺平道路,以产生性别平衡的数据集
2019-12-10 cs.CL
MultiMUC: Multilingual Template Filling on MUC-4
University of Rochester(罗切斯特大学);Georgetown University(乔治城大学);Johns Hopkins University(约翰霍普金斯大学)
本研究推出首个多语言模板填充平行语料库MultiMUC,含MUC-4基准的5种语言译文、手动投射标注及部分人工译文,并给出前沿模型与ChatGPT的基准结果。
2024-01-29 cs.AI cs.CL
Code-switched inspired losses for generic spoken dialog representations
LTCI, Telecom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信巴黎分校LTCI);IBM GBS France(IBM GBS法国)
口语对话系统需要能够处理会话中的多种语言和多语言性(在代码切换的情况下是\textit{e.g})。在这项工作中,我们引入了专为学习多语言口语对话表示而设计的新预训练损失。这些损失的目的是将模型暴露给代码切换语言。为了扩大训练规模,我们从\texttt{OpenSubtitles}中自动构建了一个由五种不同语言(法语,意大利语,英语,德语和西班牙语)的多语言对话组成的预训练语料库,这是一个由24.3G令牌组成的大型多语言语料库。我们测试的通用表示\texttt{MIAM},一个新的基准组成的五个对话行为语料库上相同的上述语言,以及两个新的多语言的下游任务(\textit{i.e}多语言掩码话语检索和多语言不一致性识别)。我们的实验表明,我们的新的代码切换启发的损失实现了更好的性能,在单语和多语言设置。
2021-09-09 cs.AI cs.CL
ClassBases at CASE-2022 Multilingual Protest Event Detection Tasks: Multilingual Protest News Detection and Automatically Replicating Manually Created Event Datasets
在这份报告中,我们描述了我们的ClassBases提交给多语言抗议事件检测的共享任务。对于多语言抗议新闻检测,我们参与了子任务1、子任务2和子任务4,即文档分类、句子分类和标记分类。在子任务1中,我们比较了XLM-RoBERTa-base、mLUKE-base和XLM-RoBERTa-large在顺序分类设置中的微调。我们总是使用来自每种语言的训练数据的组合来训练我们的多语言模型。我们发现,更大的模型似乎工作得更好,实体知识有所帮助,但代价不可忽略。对于子任务2,我们仅提交了一个基于mLUKE的句子分类系统。对于子任务-4,我们仅提交了用于序列标记的标记分类系统的XLM-RoBERTa-base。为了自动复制手动创建的事件数据集,我们参与了来自《纽约时报》新闻语料库的COVID相关抗议事件。我们创建了一个系统,将抓取的数据处理成抗议事件的数据集。
2023-01-16 cs.CL cs.CY cs.LG
The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation
Facebook AI Research(脸书人工智能研究院);LORIA(洛林计算机科学及其应用研究实验室)
阻碍低资源和多语言机器翻译取得进展的最大挑战之一是缺乏良好的评估基准。当前的评估基准要么缺乏对低资源语言的良好覆盖,要么只考虑有限的领域,要么质量低下,因为它们是使用半自动程序构建的。在这项工作中,我们介绍了FLORES-101评估基准,由3001句从英文维基百科中提取,涵盖了各种不同的主题和领域。这些句子由专业翻译人员通过精心控制的过程翻译成101种语言。由此产生的数据集可以更好地评估低资源语言长尾的模型质量,包括评估多对多多语言翻译系统,因为所有翻译都是多语言对齐的。通过公开发布这样一个高质量和高覆盖率的数据集,我们希望促进机器翻译社区及其他领域的进步。
2021-06-06 cs.AI cs.CL
Revisiting non-English Text Simplification: A Unified Multilingual Benchmark
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出包含12种语言、超过170万句对的MultiSim多语言文本简化基准,实验表明多语言训练、俄语零样本跨语言迁移及BLOOM-176b少样本提示在非英语简化任务中表现优异。
2023-05-25 cs.AI cs.CL
Semi-automatic Generation of Multilingual Datasets for Stance Detection in Twitter
Vicomtech Foundation(维康泰克基金会);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟(BRTA));University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU))
流行的社交媒体网络为研究用户表达的意见和态度提供了完美的环境。虽然社交媒体(如Twitter)中的交互发生在许多自然语言中,但自然语言处理领域中的立场检测(相对于特定主题表达的立场或态度)研究主要针对英语。虽然最近已经作出了一些努力,以开发其他语言的注释数据,有一个明显的缺乏资源,以促进多语言和跨语言的研究立场检测。这部分是由于手动注释社交媒体文本语料库是一个困难,缓慢和昂贵的过程。此外,由于立场是一个高度领域和主题特定的现象,需要注释的数据是特别苛刻的。因此,大多数手动标记的资源都受到其相对较小的大小和倾斜的类分布的阻碍。本文提出了一种方法,以获得多语言数据集的立场检测在Twitter上。我们利用基于用户的信息来半自动地标记大量的推文,而不是在每个推文的基础上手动注释。单语和跨语言的实验和定性分析表明,我们的方法有助于克服上述困难,建立大型,平衡和多语种的标记语料库。我们相信,我们的方法可以很容易地适应,轻松地生成标记的社交媒体数据,用于其他自然语言处理任务和领域。
2021-01-28 cs.CL
Towards End-to-End Multilingual Metaphor Processing: Integrating Detection, Translation, and Evaluation
Leiden University(莱顿大学);Leiden University Medical Centre(莱顿大学医学中心)
本研究拟开发端到端多语言隐喻处理框架,整合隐喻检测、面向隐喻的翻译评估及联合建模,结合语言学理论与大语言模型,以提升多语言NLP系统处理比喻语言的能力。
2026-08-06 cs.CL
IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages
针对印度语言高质量多语言代码混合对话资源稀缺问题,提出通过全自动管道生成IndicTalk语料库,涵盖多种印度语言变体,经多种评估表现良好,将发布该语料库支持相关人工智能开发评估。
2026-07-28 cs.CL cs.LG
MultiSubs: A Large-scale Multimodal and Multilingual Dataset
Imperial College London(帝国理工学院);Federal University of Mato Grosso(马托格罗索联邦大学)
本文介绍了一个大规模的多模态和多语种数据集,旨在促进研究接地的话,以图像在其语境中使用的语言。该数据集由选定的图像组成,以明确地说明电影字幕中句子表达的概念。该数据集是一个有价值的资源,因为(i)图像与文本片段而不是整个句子对齐;(ii)文本片段和句子可能有多个图像;(iii)句子是自由形式和真实世界;(iv)平行文本是多语言的。我们为人类设置了一个填空游戏来评估我们数据集的自动图像选择过程的质量。我们展示了数据集在两个自动任务上的实用性:(i)填空;(ii)词汇翻译。人工评估和自动模型的结果表明,图像可以是一个有用的补充,文本上下文。该数据集将有利于研究单词的视觉基础,特别是在自由形式句子的背景下,并且可以在知识共享许可下从https://doi.org/10.5281/zenodo.5034604获得。
2022-06-16 cs.CL
Multilingual corpora for the study of new concepts in the social sciences and humanities:
Université Paris 8(巴黎第八大学)
本文提出了一种构建多语言语料库的方法,用于研究社会科学和人文学科中的新兴概念,通过自动提取和标注技术生成适用于机器学习的数据集。
2025-12-08 cs.CL
MuSeD: A Multimodal Spanish Dataset for Sexism Detection in Social Media Videos
University of Barcelona, CLiC-Language and Computing Center(巴塞罗那大学,CLiC语言与计算中心);University of Copenhagen, Department of Computer Science(哥本哈根大学,计算机科学系)
本文提出多模态西班牙语数据集MuSeD(约11小时TikTok和BitChute视频)及标注框架,用于检测视频中的性别歧视,并评估多种大语言模型,发现视觉信息对识别性别歧视至关重要,但模型在隐性性别歧视上表现较差。
2025-08-21 cs.AI cs.CL
Sexism Identification in Tweets and Gabs using Deep Neural Networks
通过匿名化和可访问性,社交媒体平台促进了仇恨言论的扩散,促使人们更多地研究开发自动识别这些文本的方法。本文使用各种深度神经网络模型架构(如长短期记忆(LSTM)和卷积神经网络(CNN))探索文本中性别歧视的分类。这些网络与来自Transformers(BERT)和DistilBERT模型的双向编码器表示形式的迁移学习结合使用,以及数据增强,以对来自IberLEF 2021中社交网络中的sEXism识别(EXIST)任务的推文和gab数据集执行二进制和多类性别歧视分类。这些模型的性能与竞争对手的模型相比,使用BERT和多滤波器CNN模型的性能最好。数据增强进一步改善了多类分类任务的这些结果。本文还探讨了模型所产生的错误,并讨论了由于标签的主观性和社交媒体中使用的自然语言的复杂性而导致的性别歧视自动分类的困难。
2021-11-05 cs.CL cs.LG
Multi-label Categorization of Accounts of Sexism using a Neural Framework
IIIT-Hyderabad(海得拉巴国际信息技术学院);Adobe Research(奥多比研究院)
性别歧视是一种不公正现象,使妇女和女孩遭受巨大痛苦,其表现形式既明显又微妙。随着网络上关于性别歧视经历的文件越来越多,对性别歧视叙述的自动分类有可能帮助社会科学家和决策者更好地研究和打击性别歧视。现有的性别歧视分类工作不同于性别歧视检测,在性别歧视的类别和/或它们是否可以共存方面存在一定的局限性。据我们所知,这是第一个对任何类型的性别歧视进行多标签分类的工作,我们为性别歧视分类贡献了最大的数据集。我们为这种多标签分类开发了一种神经解决方案,该解决方案可以使用涉及循环组件和可选卷积组件的灵活分层架构,将使用BERT等模型获得的句子表示与分布式和语言学词嵌入相结合。此外,我们利用性别歧视的未标记的帐户注入特定领域的元素到我们的框架。最好的方法优于几种深度学习以及传统的机器学习基线。
2019-11-18 cs.CL
DialogPII: A multilingual dataset of synthetic dialog transcripts to detect personal information
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Technical University Berlin(柏林技术大学);Berlin Institute of Health (BIH)(柏林健康研究所(BIH));Tilburg University(蒂尔堡大学);Universidad de Buenos Aires(布宜诺斯艾利斯大学);Independent Researcher(独立研究者);Bundesinstitut für Risikobewertung (BfR)(风险评估联邦机构(BfR))
提出DialogPII多语言合成对话数据集,覆盖8种场景、19种实体类型和11种语言,通过半自动生成、语音合成与转录、人工校正构建,并发布基线模型和验证结果。
2026-06-29 cs.CL
Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases
National Information Processing Institute(国家信息处理研究所)
句子嵌入通常用于文本聚类和语义检索任务。最先进的句子表示方法是基于人工神经网络,该神经网络在大量手动标记的句子对的集合上进行微调。对于高资源语言(如英语或中文),有足够数量的注释数据可用。在不太流行的语言中,必须使用多语言模型,这提供了较低的性能。在这篇文章中,我们通过提出一种方法来解决这个问题,该方法用于训练有效的语言特定的句子编码器,而无需手动标记数据。我们的方法是自动构建一个数据集的释义对双语文本语料库对齐。然后,我们使用收集到的数据来微调一个带有额外循环池层的Transformer语言模型。我们的句子编码器可以在不到一天的时间内在单个图形卡上进行训练,在各种各样的任务级别上实现高性能。我们评估我们的方法在波兰语的八个语言任务,比较它与最好的多语言句子编码器。
2022-07-26 cs.CL
Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset
Google Research(谷歌研究院)
由于缺乏高质量的评价数据集,大规模多语言图像描述的研究受到严重阻碍。在本文中,我们介绍了Crossmodal-3600数据集(简称XM 3600),这是一个地理上多样化的3600幅图像集,用36种语言的人类生成的参考标题进行注释。这些图像是从世界各地挑选的,覆盖了36种语言的使用地区,并使用字幕进行注释,以实现所有语言风格的一致性,同时避免由于直接翻译而导致的注释伪影。我们将此基准应用于大规模多语言图像描述模型的模型选择,并在使用XM 3600作为自动度量的黄金参考时显示与人类评估的优越相关性结果。
2022-10-10 cs.CL cs.CV
MUSCAT: MUltilingual, SCientific ConversATion Benchmark
Karlsruhe Institute of Technology(卡尔斯鲁厄大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出MUSCAT基准,用于评估自动语音识别系统在处理多语言混合输入、特定词汇和语言切换等挑战方面的性能,揭示了当前最先进的ASR系统仍面临开放性挑战。
2026-05-18 cs.CL
MaSS: A Large and Clean Multilingual Corpus of Sentence-aligned Spoken Utterances Extracted from the Bible
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);LIDILEM(语言、数字、管理、教育与多语制实验室)
CMU Wilderness Multilingual Speech Dataset(Black,2019)是一个新发布的多语言语音数据集,基于新约的记录阅读。它提供的数据可以为潜在的700种语言构建自动语音识别(ASR)和文本到语音(TTS)模型。然而,由于所有语言的源内容(圣经)都是相同的这一事实,迄今为止还没有得到充分利用,因此本文提出在不同语言的语音片段之间添加多语言链接,并共享了一个包含8种语言(56种语言对)的8,130个平行口语的大而干净的数据集。我们将这个语料库命名为MaSS(多语言句子对齐口语语料库)。所涵盖的语言(巴斯克语,英语,芬兰语,法语,匈牙利语,罗马尼亚语,俄语和西班牙语)允许研究语音到语音对齐以及类型不同的语言对的翻译。最终语料库的质量是通过对语料库子集(100个话语,8个语言对)进行的人类评价来证明的。最后,我们展示了最终产品的实用性双语语音检索任务。
2020-02-26 cs.CL
Self-Supervised Borrowing Detection on Multilingual Wordlists
University of Tübingen(图宾根大学)
本文提出了一种自监督方法用于多语言词表中的借词检测,结合PMI相似性和对比组件,无需标注数据即可实现高精度检测。
2025-12-01 cs.CL
MLS: A Large-Scale Multilingual Dataset for Speech Research
Facebook AI Research(脸书人工智能研究院)
本文介绍了多语言LibriSpeech(MLS)数据集,这是一个适合语音研究的大型多语言语料库。该数据集来自LibriVox的有声读物,由8种语言组成,包括大约44.5K小时的英语和大约6K小时的其他语言。此外,我们还为数据集中的所有语言提供语言模型(LM)和基线自动语音识别(ASR)模型。我们相信这样一个大的转录数据集将为ASR和文本到语音(TTS)研究开辟新的途径。该数据集将在http://www.openslr.org上免费提供给任何人。
2020-12-19 cs.CL cs.SD eess.AS
Reliability-Aware Sexism Detection: Combining DPO with Annotator Agreement and Token-Level Confidence Scoring
Utrecht University(乌得勒支大学);Wageningen University & Research(瓦赫宁根大学及研究中心)
该研究针对在线性别歧视检测的主观性问题,提出RA-DPO方法,结合标注者一致性等信号,在EXIST 2023数据集上验证其可降低训练成本并提升推理准确率。
2026-08-14 cs.CL
Automatic Detection of Sexist Statements Commonly Used at the Workplace
Stanford University(斯坦福大学);ISEP (Institut supérieur d’électronique de Paris)(巴黎高等电子学院)
检测工作场所的仇恨言论是一项独特的分类任务,因为潜在的社会背景意味着传统仇恨言论的微妙版本。关于最先进的工作场所性别歧视检测模型的应用包括人力资源部门的辅助工具,人工智能聊天机器人和情感分析。大多数现有的仇恨言论检测方法,虽然强大和准确,专注于社交媒体上发现的仇恨言论,特别是Twitter。社交媒体的环境比工作场所更加匿名,因此它往往会导致更具侵略性和“敌意”的性别歧视版本。因此,具有大量“敌意”性别歧视的数据集具有稍微容易的检测任务,因为“敌意”性别歧视陈述可以取决于几个词,无论上下文如何,都会提示模型该陈述是性别歧视的。在本文中,我们提出了一个在工作场所更有可能说的性别歧视言论的数据集,以及一个可以实现最先进结果的深度学习模型。以前的研究已经创建了最先进的模型来区分“敌意”和“善意”的性别歧视,仅仅基于汇总的Twitter数据。我们的深度学习方法,初始化为GloVe或随机词嵌入,使用具有注意力机制的LSTM,在更多样化的过滤数据集上优于这些模型,这些数据集更有针对性地针对工作场所的性别歧视,导致F1得分为0.88。
2020-07-08 cs.CL cs.CY cs.LG
SexWEs: Domain-Aware Word Embeddings via Cross-lingual Semantic Specialisation for Chinese Sexism Detection in Social Media
Queen Mary University of London(伦敦玛丽女王大学)
针对中文性别歧视检测数据稀缺问题,提出跨语言领域感知语义特化框架,利用英语语义资源改造中文预训练词向量以注入领域知识,生成的SexWEs在内外评估中均显著提升性能。
2023-03-30 cs.CL cs.SI
Demographic Biases and Gaps in the Perception of Sexism in Large Language Models
Computer Science Department, Mathematics Research Center (CIMAT)(计算机科学系,数学研究中心(CIMAT))
针对LLMs在性别歧视检测中的人口统计偏见问题,本研究利用EXIST 2024数据集评估不同LLMs的检测能力,分析人口统计特征影响,发现其无法复制群体感知多样性,强调需开发兼顾观点多样性的校准模型。
2025-08-25 cs.CL
IUST_NLP at SemEval-2023 Task 10: Explainable Detecting Sexism with Transformers and Task-adaptive Pretraining
Iran University of Science and Technology(伊朗科技大学)
本研究针对 SemEval-2023 任务 10,提出基于 Transformer 的预训练模型,结合任务自适应预训练与集成学习,用于在线性别歧视检测,在子任务 A、B、C 上分别获得 83%、64%、47% 的 F1 分数。
2023-05-11 cs.CL
CL-UZH at SemEval-2023 Task 10: Sexism Detection through Incremental Fine-Tuning and Multi-Task Learning with Label Descriptions
University of Zurich(苏黎世大学)
针对 EDOS 2023 在线性别歧视检测,本文提出先在相关任务上增量微调、再利用标签描述进行多任务成对分类的模型,并在三个子任务上显著优于 DeBERTa-V3 基线。
2023-06-06 cs.CL cs.CY
Through the Eyes of the Beholder: Biometric and Demographic Conditioning for Multimodal Sexism Detection
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工大学);Academy of Romanian Scientists(罗马尼亚科学家学院)
针对互联网性别歧视检测的主观性,提出融合标注者心理与人口统计特征的多模态框架,通过交叉注意力和条件化提升检测性能,在EXIST 2026任务中排名第29。
2026-09-15 cs.AI cs.CL cs.CV
A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives
University of West Bohemia(西波希米亚大学)
本文比较了单语与多语言Wav2Vec 2.0模型在含混合语言句子的口述历史档案上的语音识别性能,发现单语模型在多数情况下优于多语言模型,并公开了预训练模型以促进研究。
2024-07-24 cs.AI cs.CL
Evaluating the Effect of Linguistic Relatedness on Cross-Lingual Transfer in Large Multilingual Automatic Speech Recognition
Princeton University(普林斯顿大学);Maseno University(马塞诺大学)
研究在大型多语言自动语音识别中,通过系统实验设计,探讨语言相关性能否可靠预测跨语言迁移增益,发现仅语言相关性难以有效促进跨语言迁移。
2026-07-28 cs.AI cs.CL
Automatic Translation Alignment Pipeline for Multilingual Digital Editions of Literary Works
本文提出面向文学作品多语言数字版本的自动翻译对齐流水线,以曼佐尼《约婚夫妇》八语译本为对象,指出当前算法局限并设计新评估指标与可视化方案。
2024-10-17 cs.AI cs.CL
Adaptable Moral Stances of Large Language Models on Sexist Content: Implications for Society and Gender Discourse
University of Ottawa(渥太华大学);National Research Council Canada(加拿大国家研究委员会)
本研究评估了八个大型语言模型在性别歧视内容上的道德推理能力,发现它们既能批评也能辩护性别歧视语言,并揭示了模型输出中进步与保守并存的意识形态倾向,警示滥用风险的同时指出其可用于理解歧视根源和设计干预措施。
2024-09-30 cs.CL
Towards Multilingual Automatic Dialogue Evaluation
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Carnegie Mellon University(卡内基梅隆大学);Phrase(Phrase公司)
针对多语言对话评估数据匮乏问题,提出利用机器翻译扩增数据,并通过质量估计筛选低质量翻译以提升微调效果,超越朴素方法。
2023-08-31 cs.CL
Automatic Spanish Translation of the SQuAD Dataset for Multilingual Question Answering
TALP Research Center(TALP研究中心)
最近,多语言问答成为一个重要的研究课题,它正在收到越来越多的兴趣在NLP社区。然而,大规模数据集的不可用性使得训练多语言QA系统具有与英语系统相当的性能具有挑战性。在这项工作中,我们开发的翻译对齐(TAR)方法自动翻译斯坦福问答数据集(SQuAD)v1.1到西班牙语。然后,我们使用该数据集通过微调多语言BERT模型来训练西班牙语QA系统。最后,我们使用最近提出的跨语言提取QA的MLQA和XQuAD基准测试评估了我们的QA模型。实验结果表明,我们的模型优于以前的多语言BERT基线,在西班牙语MLQA语料库上实现了68.1个F1点的最新值,在西班牙语XQuAD语料库上实现了77.6个F1和61.8个精确匹配点。据我们所知,合成生成的SQuAD-es v1.1语料库几乎100%包含在原始英文版本中,是西班牙语的第一个大规模QA培训资源。
2019-12-12 cs.CL
CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition
Tether AI Research(泰瑟人工智能研究院)
该研究针对紧凑多语种ASR中特征蒸馏的问题,提出CAFE方法将CKA梯度限制在英语绕过的适配器中,在Open ASR排行榜上将平均WER降至8.02%,性能优于仅适配器容量控制方法,且在多语言测试中具竞争力。
2026-10-15 cs.AI cs.CL
Multilingual Answer Sentence Reranking via Automatically Translated Data
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文研究了现代问答系统的核心部分--多语言答案句选择模型的设计。主要思想是传输从一种资源丰富的语言创建的数据,例如,英语,相对于其他语言,在资源方面较不丰富。本文的主要发现是:(i)翻译成目标语言的AS 2的训练数据可以用于有效地微调该语言的基于transformer的模型;(ii)一个多语言Transformer模型足以对多种语言的答案进行排名;以及(iii)混合语言问题/答案对可以用于微调模型以从任何语言选择答案,输入的问题只有一种语言这大大降低了多语言QA系统的复杂性和技术要求。我们的实验验证了上述发现,相对于最先进的英语模型,显示出适度的下降,最多3%。
2021-02-20 cs.CL
Automatic Discrimination of Human and Neural Machine Translation in Multilingual Scenarios
Bernoulli Institute(伯努利研究所);University of Groningen(格罗宁根大学);CLCG(语言与认知中心)
本文研究多语言场景下人类与机器翻译的自动判别,证明源文本融入多语言分类器可提升准确率与跨系统鲁棒性,多源语言训练数据和更长文本序列训练均能进一步改善分类性能。
2023-05-31 cs.CL
Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation
European Commission – DG-JRC(欧盟委员会联合研究中心)
与一般文本相比,推文是特定的文本数据。尽管在过去的十年中,对英语的tweets进行情感分析已经变得非常流行,但是仍然很难找到针对非英语语言的大型注释语料库。自然语言处理中最近兴起的Transformer模型允许在许多任务中实现无与伦比的性能,但这些模型需要相应的文本量来适应tweet域。我们建议使用多语言Transformer模型,我们对英语推文进行预训练,并使用自动翻译应用数据增强,以使模型适应非英语语言。我们在法语,西班牙语,德语和意大利语的实验表明,所提出的技术是一种有效的方法来提高结果的Transformers在非英语语言的小语料库的推文。
2020-10-07 cs.CL
Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
本文旨在利用可用数据集构建多语种自动歌词转录(ALT)系统,通过扩展目标词汇集将英语ALT有效架构适配至多语种场景,并探索多种语言信息融入方法,实验证明多语种模型优于单语种模型且融入语言信息能显著提升性能。
2024-06-25 cs.CL cs.SD eess.AS
Developing automatic verbatim transcripts for international multilingual meetings: an end-to-end solution
World Intellectual Property Organization(世界知识产权组织)
本文介绍WIPO利用内部S2T与MT组件构建的端到端多语言会议自动转录与翻译系统,总结其数据、架构、业务收益及对既有会议文档流程的替代。
2023-09-27 cs.AI cs.CL cs.LG
Combining Multiple Methods for the Automatic Construction of Multilingual WordNets
本文探讨了从已有的词汇资源中自动构建多语种词汇知识库的问题。首先,一套自动和互补的技术,用于连接从单语和双语MRD收集的西班牙语单词英语WordNet同义词集。其次,我们将展示如何将每种方法提供的数据结合起来,以产生准确率超过85%的西班牙语WordNet的初步版本。这些组合的应用结果上提取的连接的40%的增量,而不失去准确性。粗粒度(类级别)和细粒度(同义词集分配级别)的置信度比使用和评估。最后,给出了整个过程的结果。
1997-09-16 cmp-lg cs.CL
Together We Can: Multilingual Automatic Post-Editing for Low-Resource Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Surrey(萨里大学)
本文利用英语-印地语和英语-马拉地语的语言相似性,通过合成三元组和QE-APE多任务学习构建多语言自动后编辑模型,显著提升了低资源语言的机器翻译质量。
2024-10-23 cs.CL
Overview of Robust and Multilingual Automatic Evaluation Metrics for Open-Domain Dialogue Systems at DSTC 11 Track 4
Universidad Politécnica de Madrid(马德里理工大学);National University of Singapore(新加坡国立大学);Tencent AI Lab(腾讯人工智能实验室);University of Southern California(南加州大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
本文概述了DSTC11 Track 4,旨在推动开放域对话系统在多领域、多维度和多语言下可靠的自动评估指标,介绍了提供的数据集、基线及两个子任务的提交与结果。
2023-09-14 cs.CL
MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs
本文提出基于Wikidata的多语言自动评估框架MAKIEval,通过四个指标评估LLMs在13种语言、19个国家和地区及6个文化主题上的文化意识,发现模型在英语中表现更强。
2025-09-22 cs.CL
LLM-Powered Automatic Translation and Urgency in Crisis Scenarios
George Mason University(乔治·马歇尔大学);George Mason University – Archimedes AI Research Unit(乔治·马歇尔大学阿基米德人工智能研究单元);Athena RC, Greece(雅典RC,希腊)
本文研究了大型语言模型在危机场景中翻译的性能,发现其在保持紧急性方面存在显著缺陷,强调了对危机通信技术的特殊评估需求。
2026-08-13 cs.AI cs.CL
Char-mander Use mBackdoor! A Study of Cross-lingual Backdoor Attacks in Multilingual LLMs
Indian Institute of Technology Gandhinagar(印度理工学院加尔各答分校)
该研究聚焦多语言大语言模型的跨语言后门攻击问题,揭示单一语言植入的后门可借共享嵌入空间跨语言迁移,验证了单语言数据投毒即可攻破系统,暴露了模型架构的关键安全漏洞。
2025-10-03 cs.AI cs.CL
Evaluating the Evaluation Metrics for Style Transfer: A Case Study in Multilingual Formality Transfer
University of Maryland(马里兰大学);Dataminr, Inc.(Dataminr公司)
虽然风格迁移(ST)领域发展迅速,但由于缺乏自动评估的标准化实践而受到阻碍。在本文中,我们评估了领先的ST自动度量的经常研究的任务,正式风格的转移。与以前的评估,只专注于英语,我们扩大我们的重点,巴西葡萄牙语,法语和意大利语,使这项工作的第一个多语言评估指标在ST。我们概述了自动评估(正式)风格转移的最佳实践,并确定了几个模型,以及与人类的判断,是强大的跨语言。我们希望这项工作将有助于加速ST的发展,因为在ST中,人类评估通常很难收集。
2021-10-20 cs.CL
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India(微软研究院印度)
尽管自动语音识别(ASR)系统在某些语言上取得了与人类相似的性能,但由于缺乏大型语音数据集来训练这些模型,世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案,因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究,然而,自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路,这可以为提高低资源语言的性能铺平道路。在本文中,我们调查的艺术状态,在多语言ASR模型,建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践,讨论了开放性问题,并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
LangMark: A Multilingual Dataset for Automatic Post-Editing
Welocalize(韦洛卡兹);Duke University(杜克大学)
LangMark是一个多语言数据集,用于评估和改进自动后编辑系统,通过大规模标注数据展示大型语言模型在后编辑任务中的有效性。
2025-11-21 cs.CL
Automatic register identification for the open web using multilingual deep learning
University of Turku(图尔库大学)
本文提出多语言深度学习模型,用于识别开放网络中的文本注册,通过多标签分类在16种语言中达到79%的F1值,并发现性能上限源于注册本身的歧义性。
2026-10-05 cs.CL
A new approach to calculating BERTScore for automatic assessment of translation quality
NUST “MISIS”(国立科技研究大学“莫斯科国立钢铁合金学院”)
研究了BERTScore指标在英语-俄语方向句子级翻译质量评估中的适用性。实验使用预训练的多语言BERT以及一对单语言BERT模型进行。为了对齐单语嵌入,使用基于锚标记的正交变换。结果表明,这种转换有助于防止不匹配的问题,并表明这种方法比使用多语言模型的嵌入提供了更好的结果。为了改进标记匹配过程,建议将所有不完整的WorkPiece标记组合成有意义的单词,并使用对应向量的简单平均值,并仅基于锚标记计算BERTScore。这样的修改使我们能够实现模型预测与人类判断的更好相关性。除了对机器翻译进行评价外,还对几种人工翻译进行了评价,并指出了这种方法存在的问题。
2022-03-30 cs.AI cs.CL
Mapping Multilingual Hierarchies Using Relaxation Labeling
本文探讨了从已有的词汇资源中自动构建多语种词汇知识库的问题。我们提出了一个新的和强大的方法来连接已经存在的词汇/语义层次结构。我们使用了一个约束满足算法(松弛标签)选择-在所有的候选翻译提出的双语词典-正确的英语WordNet同义词集的每一个意义上的分类自动派生自西班牙语单语词典。虽然平均而言,在分类法中每个意义有15个可能的WordNet连接,但该方法的准确率超过80%。最后,我们还提出了几种方法,这种技术可以应用于丰富和改善现有的词汇数据库。
1999-06-24 cs.CL