The Massively Multilingual Natural Language Understanding 2022 (MMNLU-22) Workshop and Competition
Amazon（亚马逊）
尽管最近在自然语言理解（NLU）方面取得了进展，但创建多语言NLU系统仍然是一个挑战。由于缺乏可用数据，NLU系统通常限于语言的子集。它们在性能上也经常有很大的差异。我们推出了一个三阶段的方法来解决NLU的局限性，并帮助推动NLU技术达到新的高度。我们发布了一个名为多语言Amazon SLU资源包（SLURP）的52种语言数据集，用于插槽填充、意图分类和虚拟助手评估（MASSIVE），以解决语音助手的并行数据可用性问题。我们组织了大规模多语言NLU 2022挑战赛，以提供一个竞争环境，并推动最先进的模型转换为其他语言。最后，我们举办了第一个大规模多语言NLU研讨会，将这些组件聚集在一起。MMNLU研讨会旨在通过提供一个展示该领域新研究的平台，并连接致力于该研究方向的团队，来推进多语言NLU背后的科学。本文总结了数据集，研讨会和比赛以及每个阶段的发现。
2022-12-13 cs.CL
Intent Classification for Bank Chatbots through LLM Fine-Tuning
Slovak National Supercomputing Centre（斯洛伐克国家超级计算中心）；nettle, s.r.o.（nettle有限责任公司）；Institute of Information Engineering, Automation, and Mathematics, Slovak University of Technology in Bratislava（布拉迪斯拉发斯洛伐克理工大学信息工程、自动化与数学研究所）
本研究针对银行预设回复聊天机器人的意图分类任务，对比SlovakBERT微调版与Llama 8b instruct、Gemma 7b instruct等多语言生成模型的预训练及微调版效果，发现SlovakBERT性能更优，确立其为该场景基准。
2024-10-07 cs.CL
TaskMix: Data Augmentation for Meta-Learning of Spoken Intent Understanding
The Learning Machines（学习机器公司）
元学习已经成为一个研究方向，以更好地将知识从相关任务转移到看不见但相关的任务。然而，元学习需要许多训练任务来学习能够很好地转移到看不见的任务的表示;否则，它会导致过拟合，并且性能退化到比多任务学习更差。我们表明，一个国家的最先进的数据增强方法解决了这个问题的过拟合时，任务多样性低。我们提出了一个简单的方法，TaskMix，它通过线性插值现有的任务来合成新的任务。我们将TaskMix与内部多语言意图分类数据集上的许多基线进行了比较，这些数据集来自现实生活中的人机电话话语和两个来自MTOP的数据集。我们表明，TaskMix优于基线，在任务多样性低时消除过拟合，即使在任务多样性高时也不会降低性能。
2022-09-26 cs.AI cs.CL cs.LG
Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection
IBM Consulting Italy（IBM意大利咨询公司）；IBM Research Europe（IBM欧洲研究院）
本文提出 Zero-Shot-BERT-Adapters 两阶段零样本流水线，将多语言意图分类建模为 NLI，并在已知与未见意图任务上优于基线。
2023-12-08 cs.CL cs.LG
Evaluating Inter-Bilingual Semantic Parsing for Indian Languages
Microsoft（微软）；AI4Bharat；American Express, AI Labs（美国运通人工智能实验室）；University of Utah（犹他大学）
针对印度语言缺乏复杂语义解析数据集的问题，本文构建覆盖11种语言的双语间 Seq2seq 数据集 IE-SEMPARSE，并通过多策略评测验证其与现有多语言基准性能高度相关。
2023-06-05 cs.CL
User Model-Based Intent-Aware Metrics for Multilingual Search Evaluation
Yandex
尽管网络搜索的多语言方面的重要性越来越大，但到目前为止，还没有合适的离线指标来评估其质量。同时，个人语言偏好可以被视为查询的意图。这种方法将多语言搜索问题转化为搜索多样化的特定任务。此外，可以采用标准的意图感知方法，在经典的IR度量（如ERR）的基础上，为多语言搜索构建多样化的度量。意图感知方法在用户行为模型下估计用户满意度。然而，我们发现，底层的用户行为模型是不现实的，在多语言的情况下，产生的意图感知度量不适当地估计用户满意度。我们开发了一种新的方法来建立意图感知的用户行为模型，克服了这些限制，并转换为质量指标，更好地与标准的在线用户满意度指标。
2016-12-13 cs.CL cs.HC cs.IR
Multilingual and Cross-Lingual Intent Detection from Spoken Data
PolyAI Limited（PolyAI有限公司）
我们提出了一个系统的研究，多语言和跨语言的意图检测口语数据。该研究利用了这项工作中提出的一种新资源，称为MInDS-14，这是使用语音数据进行意图检测任务的第一个训练和评估资源。它涵盖了从电子银行领域的商业系统中提取的14个意图，与14种不同语言的口语示例相关联。我们的关键结果表明，将机器翻译模型与最先进的多语言句子编码器（例如，LaBSE）可以在MInDS-14中涵盖的大多数目标语言中产生强大的意图检测器，并提供跨不同轴的比较分析：例如，zero-shot与少样本学习、翻译方向和语音识别的影响。我们认为这项工作是朝着更具包容性的开发和评估来自口语数据的多语言意图检测器迈出的重要一步，与以前的工作相比，它涉及的语言范围要广得多。
2021-04-17 cs.CL
ITALIC: An Italian Intent Classification Dataset
Politecnico di Torino（都灵理工大学）；Kore University of Enna（恩纳科雷大学）；Bocconi University（博科尼大学）
针对现有口语理解数据集多聚焦英语、缺乏意大利语相关资源的问题，研究发布首个意大利语大规模意图分类语音数据集ITALIC，通过实验验证了模型规模、语言适配等对性能的影响，为意大利语SLU研究提供支撑。
2023-06-14 cs.CL cs.SD eess.AS
Multilingual Code-Switching for Zero-Shot Cross-Lingual Intent Prediction and Slot Filling
George Mason University（乔治梅森大学）
在自然语言理解中，预测用户意图和从文本中检测相应的槽是两个关键问题。在零样本学习的上下文中，通常通过使用来自预先训练的多语言Transformers（例如mBERT）的表示来完成该任务，或者通过将源数据机器翻译成已知的目标语言，然后进行微调。我们的工作集中在一个特定的情况下，目标语言是未知的培训。为此，我们提出了一种新的方法来增加单语源数据使用多语言代码切换通过随机翻译，以提高一个Transformer的语言中立性时，微调它的下游任务。该方法还有助于发现世界各地不同语系的语码转换如何影响目标语言的表现。在MultiATIS++的基准数据集上进行的实验表明，使用我们的方法，在8种不同语言中，意图任务的准确率平均提高了+4.2%，插槽任务的F1平均提高了+1.8%。此外，我们提出了一个应用程序，我们的方法危机信息学使用一个新的人类注释的鸣叫数据集的插槽填充英语和海地克里奥尔语，在海地地震灾害期间收集。
2021-03-16 cs.CL cs.LG
A Survey of Intent Classification and Slot-Filling Datasets for Task-Oriented Dialog
Vanderbilt University（范德堡大学）
本综述系统梳理了面向任务型对话的意图分类与槽填充公开数据集，分析其特点与优劣，并探讨其在评估大型语言模型零样本NLU能力中的新角色。
2026-09-09 cs.CL
Exploring Robustness of Multilingual LLMs on Real-World Noisy Data
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究院）
该研究针对多语种大语言模型对真实世界拼写噪声的鲁棒性问题，基于维基百科编辑历史构建多语言真实噪声词典，测试9款不同规模模型在3类NLP任务、6种语言下的表现，发现模型性能下降2.3-4.3个百分点，且mT5系列鲁棒性最优。
2025-01-14 cs.CL
LINSPECTOR WEB: A Multilingual Probing Suite for Word Representations
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出LINSPECTOR WEB，一个开源的多语言检查器来分析单词表示。我们的系统为在低资源环境中工作的研究人员提供了一个易于访问的基于Web的探测工具，以快速了解他们的词嵌入，特别是在英语之外。为了做到这一点，我们采用了16个简单的语言探测任务，如性别，情况下标记，时态为一组不同的28种语言。我们支持探测静态词嵌入以及预训练的AllenNLP模型，这些模型通常用于NLP下游任务，例如命名实体识别，自然语言推理和依存句法分析。结果在极坐标图中可视化，并以表格形式提供。LINSPECTOR WEB可作为离线工具或在https://linspector.ukp.informatik.tu-darmstadt.de上获得。
2019-10-15 cs.CL
MULTI3NLU++: A Multilingual, Multi-Intent, Multi-Domain Dataset for Natural Language Understanding in Task-Oriented Dialogue
University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
构建多语言多意图多领域数据集MULTI3NLU++，用于评测任务型对话系统的意图检测和槽位标注，发现低资源语言场景下性能挑战大。
2023-06-19 cs.CL
Churn Intent Detection in Multilingual Chatbot Conversations and Social Media
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
我们提出了一种新的方法来检测用户何时表达离开服务的意图，也称为流失。虽然以前的工作只关注社交媒体，但我们表明，这种意图可以在聊天机器人对话中检测到。随着公司越来越依赖聊天机器人，他们需要对潜在的流失用户进行概述。为此，我们众包并发布了德语和英语聊天机器人交互中的流失意图表达数据集。我们发现，在社交媒体数据上训练的分类器可以在聊天机器人的上下文中检测到相同的意图。我们引入了一个分类架构，优于现有的工作在社交媒体中的流失意图检测。此外，我们表明，使用双语词嵌入，在英语和德语相结合的数据上训练的系统优于单语方法。由于现有的唯一数据集是英语的，我们众包并发布了一个新的德国推文数据集。因此，我们强调了这个问题的普遍性，因为英语中的流失意图的例子可以帮助我们识别德国推文和聊天机器人对话中的流失。
2018-08-25 cs.CL
One Jailbreak, Many Tongues: Learning Language-Insensitive Intention Representations for Multilingual Jailbreak Detection
School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
针对多语言LLM安全漏洞，提出MLJailDe框架，通过多语言回译数据增强和相对距离约束，实现跨语言越狱检测，F1达98.5%。
2026-06-11 cs.CL
Bootstrapping Multilingual Intent Models via Machine Translation for Dialog Automation
Interactions, LLC；Murray Hill, NJ, USA（美国新泽西州默里希尔（注：此处为地址，非机构，按要求不应提取。正确机构仅为Interactions, LLC））
随着基于聊天的对话系统在消费者和企业应用中的复兴，在开发数据驱动和基于规则的自然语言模型以理解人类意图方面取得了很大成功。由于这些模型需要大量的数据和领域内的知识，因此将等效服务扩展到新市场会受到语言障碍的干扰，这些语言障碍阻碍了对话自动化。本文提出了一个用户研究，以评估实用的开箱即用的机器翻译技术（1）快速引导多语言口语对话系统和（2）使现有的人类分析师理解外语话语。我们还评估了机器翻译在人工辅助环境中的实用性，其中一部分流量由分析师处理。在英语->西班牙语的实验中，我们观察到对话自动化的高潜力，以及人类分析师以高精度处理外语话语的潜力。
2018-05-11 cs.CL
LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging
Amazon（亚马逊）
我们提出了LINGUIST，一种用于生成意图分类和插槽标记（IC+ST）的注释数据的方法，通过微调AlexaTM 5B，一个50亿参数的多语言序列到序列（seq2seq）模型，在灵活的指令提示符上。在SNIPS数据集的10次新意图设置中，LINGUIST大大超过了最先进的方法（反向翻译和示例外推），显示出目标意图的绝对改善，IC回忆为+1.9分，ST F1分数为+2.5分。在mATIS++数据集的zero-shot跨语言设置中，LINGUIST在6种语言的ST F1评分上的表现超过了具有插槽对齐的机器翻译的强基线，绝对值为+4.14分，同时匹配IC的性能。最后，我们验证了我们的结果在内部大规模的多语言数据集的会话代理IC+ST，并显示出显着的改善基线，使用回译，释义和插槽目录回复。据我们所知，我们是第一个演示大规模seq2seq模型的指令微调，以控制多语言意图和插槽标记数据生成的输出。
2022-09-20 cs.AI cs.CL cs.LG
Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
Osaka University（大阪大学）；Megagon Labs（Megagon实验室）
我们提出了Emu，语义增强多语言句子嵌入的系统。我们的框架使用两个主要组件微调预训练的多语言句子嵌入：语义分类器和语言分类器。语义分类器提高了相关句子的语义相似性，而语言分类器通过多语言对抗训练增强了嵌入的多语言性。我们基于几种语言对的实验结果表明，我们的专业嵌入优于国家的最先进的多语言句子嵌入模型的跨语言意图分类任务，仅使用单语标记数据。
2019-11-24 cs.CL cs.LG
Multilingual Datasets for Custom Input Extraction and Explanation Requests Parsing in Conversational XAI Systems
Technische Universität Berlin（技术大学柏林）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland Informatics Campus（萨尔州信息学校区）；Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院）
本文针对对话式可解释AI系统在多语言意图解析和自定义输入提取方面的不足，提出MultiCoXQL和Compass两个多语言数据集，并评估多种LLM的解析性能。
2025-08-20 cs.CL
From Intents to Conversations: Generating Intent-Driven Dialogues with Contrastive Learning for Multi-Turn Classification
Singapore University of Technology and Design（新加坡科技设计大学）
针对多轮意图分类缺乏大规模领域多语言数据的问题，提出融合HMM与LLM的Chain-of-Intent框架生成意图驱动对话，搭配MINT-CL多任务对比学习框架提升分类效果，还发布了电商领域多语言多轮对话语料库MINT-E。
2025-09-01 cs.AI cs.CL
Beyond Good Intentions: When Does the Framing of Multilingual and Low-Resource NLP Research Become a Caricature?
Cardiff University（卡迪夫大学）；University of Alberta（阿尔伯塔大学）
本文考察近期NLP与ML论文，提出研究框架分析框架，发现低资源NLP研究常优先资源创建而非社区受益证据，最后给出评估断言的实用建议。
2026-09-01 cs.CL
UM6P-CS at SemEval-2022 Task 11: Enhancing Multilingual and Code-Mixed Complex Named Entity Recognition via Pseudo Labels using Multilingual Transformer
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
构建现实世界中复杂的命名实体识别（NER）系统是一项具有挑战性的任务。这是由于出现在各种上下文中的命名实体的复杂性和模糊性，例如短输入句子，新兴实体和复杂实体。此外，现实世界的查询大多是畸形的，因为它们可能是代码混合或多语言的，以及其他情况。在本文中，我们介绍了我们提交的系统多语言复杂命名实体识别（MultiCoNER）共享任务。我们的方法复杂的NER多语言和代码混合查询，依赖于多语言Transformer XLM-RoBERTA提供的上下文表示。除了基于CRF的令牌分类层之外，我们还引入了跨度分类损失来识别命名实体跨度。此外，我们使用自训练机制从大型未标记数据集生成弱注释数据。我们提出的系统分别在多语言和代码混合MultiCoNER的曲目中排名第6和第8。
2022-04-28 cs.CL
Mono vs Multilingual BERT: A Case Study in Hindi and Marathi Named Entity Recognition
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
命名实体识别（NER）是对文本中的重要信息（实体）进行识别和分类的过程。专有名词，如人名、组织名称或位置名称，都是实体的示例。NER是人力资源、客户支持、搜索引擎、内容分类和学术界等应用程序中的重要模块之一。在这项工作中，我们考虑NER为低资源的印度语言，如印地语和马拉地语。基于transformer的模型已被广泛用于NER任务。我们考虑不同的变化BERT像基地BERT，RoBERTa，和Al BERT和基准他们公开可用的印地语和马拉地语NER数据集。我们提供了一个详尽的比较不同的单语和多语种的转换器为基础的模型，并建立简单的基线目前在文献中缺失。我们发现，单语MahaRoBERTa模型表现最好的马拉地语NER，而多语言XLM-RoBERTa表现最好的印地语NER。我们还进行跨语言评估，并提出混合观察。
2022-03-24 cs.CL cs.LG
Multilingual Jailbreak Challenges in Large Language Models
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
该研究揭示LLM存在多语言越狱风险，并提出 Self-Defense 框架自动生成多语言安全微调数据，显著降低ChatGPT的不安全输出。
2024-03-04 cs.CL
HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
多语言口语语言理解（SLU）包括两个子任务，即意图检测和槽填充。为了提高这两个子任务的性能，我们建议使用基于混合数据增强策略的一致性正则化。一致性正则化强制示例的预测分布及其语义上等价的增广是一致的。我们在MASSIVE数据集上进行了全数据集和zero-shot设置下的实验。实验结果表明，我们提出的方法提高了性能的意图检测和插槽填充任务。我们的系统\footnote{The code will be available at \url{https://github.com/bozheng-hit/MMNLU-22-HIT-SCIR}.}在MMNLU-22比赛中在全数据集设置下排名第一。
2023-01-05 cs.CL
DAMO-NLP at SemEval-2022 Task 11: A Knowledge-based System for Multilingual Named Entity Recognition
Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；ShanghaiTech University（上海科技大学）
MultiCoNER共享任务的目的是在多种语言的短和低上下文设置中检测语义模糊和复杂的命名实体。上下文的缺乏使得识别具有歧义的命名实体具有挑战性。为了缓解这个问题，我们的团队DAMO-NLP提出了一个基于知识的系统，我们建立了一个基于维基百科的多语言知识库，为命名实体识别（NER）模型提供相关的上下文信息。给定一个输入句子，我们的系统有效地检索相关的知识库中的上下文。然后，原始输入句子被这样的上下文信息增强，从而允许捕获显著更好的上下文化的令牌表示。我们的系统在MultiCoNER共享任务中赢得了13个曲目中的10个。
2022-06-26 cs.CL cs.LG
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University（卡内基梅隆大学）
命名实体（NE）通常在共享公共字母表的不同语言中没有拼写变化。我们表明，这可以被利用，以提高命名实体识别（NER），通过使用无监督的词集群从二级语言的功能，在国家的最先进的判别NER系统。我们观察到显着的性能增加，发现人和位置识别特别改善，和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
MSNER: A Multilingual Speech Dataset for Named Entity Recognition
KU Leuven（鲁汶大学）
针对口语 NER 资源稀缺且仅限英语的问题，本文构建多语言命名实体语音数据集 MSNER，配套高效标注工具、银/金标注分析及基线模型。
2024-05-19 cs.CL cs.LG
ParaNames: A Massively Multilingual Entity Name Corpus
Michtom School of Computer Science（米赫托姆计算机学院）；Brandeis University（布兰迪斯大学）
我们介绍了ParaNames，一个多语言并行名称资源，由跨越400种语言的1.18亿个名称组成。提供了1360万个实体的名称，这些实体被映射到标准化的实体类型（PER/ORG）。使用维基数据作为源，我们创建了迄今为止最大的此类资源。我们描述了我们的方法来过滤和标准化的数据，以提供最好的质量。ParaNames对于多语言处理很有用，既可以定义名称翻译/音译任务，也可以作为命名实体识别和链接等任务的补充数据。我们通过训练一个多语言模型来演示Paranames的应用，该模型用于将规范名称翻译成英语和从英语翻译。我们的资源是根据知识共享许可证（CC BY 4.0）在https://github.com/bltlab/paranames上发布的。
2022-07-12 cs.AI cs.CL
Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF
MIPT（莫斯科物理技术学院）；Sberbank（俄罗斯联邦储蓄银行）
提出一种结合多语言 BERT 嵌入、双向循环网络、注意力机制与 NCRF 的多语言命名实体识别模型，并在 BSNLP 四语种数据集上进行测试。
2019-06-21 cs.CL
JRC-Names: A freely available, highly multilingual named entity resource
European Commission – Joint Research Centre（欧洲委员会联合研究中心）
本文描述了一个新的，免费提供的，高度多语言的命名实体资源的个人和组织名称，已编译超过7年的大规模多语言新闻分析结合维基百科挖掘，导致205，000个人和组织名称加上大约相同数量的拼写变体写在20多个不同的脚本和更多的语言。这一资源是欧洲媒体监测活动的一部分（EMM，http：//emm.news.eu/overview.html），可用于若干目的。这些包括改进数据库或互联网上的名称搜索，播种机器学习系统以学习命名实体识别规则，改进机器翻译结果等等。我们在这里描述了这个资源是如何创建的;我们给出了其当前大小的统计数据;我们解决了形态变化的问题;我们给出了有关其功能的详细信息。此资源的更新将每天提供。
2013-09-24 cs.CL
CMNEROne at SemEval-2022 Task 11: Code-Mixed Named Entity Recognition by leveraging multilingual data
LTRC（语言技术研究中心）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
在自然语言处理领域中，命名实体的识别是一项既实用又具有挑战性的任务。混合文本的命名实体识别由于混合的性质导致的语言复杂性而具有更大的挑战性。本文介绍了CMNEROne团队提交SEMEVAL 2022共享任务11 MultiCoNER的情况。代码混合NER任务旨在识别代码混合数据集上的命名实体。我们的工作包括命名实体识别（NER）的代码混合数据集，利用多语言数据。我们实现了加权平均F1得分0.7044，即，比基线高6%。
2022-06-15 cs.CL
Multilingual person name recognition and transliteration
我们提出了一个探索性的工具，提取人的名字从多语言的新闻集合，匹配的名称变体指的是同一个人，并推断出人与人之间的关系的基础上，他们的名字在相关新闻中的共同出现。一个新的功能是匹配不同语言和书写系统的名称变体，包括用希腊语、西里尔语和阿拉伯语书写系统书写的名称。由于我们的高度多语言设置，我们使用内部标准表示法进行名称表示和匹配，而不是采用传统的双语方法进行音译。这项工作是新闻分析系统NewsExplorer的一部分，该系统每天平均聚类25，000篇新闻文章，以检测相同和不同语言的相关新闻。
2006-09-11 cs.CL cs.IR
KnowNER: Incremental Multilingual Knowledge in Named Entity Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
KnowNER是一个多语言命名实体识别（NER）系统，它利用了不同程度的外部知识。一种新颖的模块化框架将知识分为四类，根据他们传达的知识的深度。每个类别由一组从不同信息源（如知识库、名称列表或特定于文档的语义注释）自动生成的特征组成，并用于训练条件随机场（CRF）。由于这些信息源通常是多语言的，KnowNER可以很容易地接受各种语言的培训。在本文中，我们证明了更深层次的知识的结合系统地提高了准确性，并将KnowNER与三种语言中最先进的NER方法进行了比较（即，英语、德语和西班牙语）在所有这些国家的最先进的系统中表演。
2017-09-11 cs.CL
Call Larisa Ivanovna: Code-Switching Fools Multilingual NLU Models
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）
开发面向任务的对话助手的实际需要需要能够理解多种语言。多语言自然语言理解（NLU）的新基准包括几种语言中的单语句子，注释有意图和槽。在这样的设置中，用于跨语言迁移的模型在联合意图识别和槽填充方面表现出显著的性能。然而，现有的基准缺乏代码转换的话语，这是难以收集和标记，由于语法结构的复杂性。对自然语言理解模型的评价似乎有偏见和局限性，因为语码转换被排除在范围之外。我们的工作采用公认的方法来产生合理的和自然的声音代码转换话语，并使用它们来创建一个合成的代码转换测试集。基于实验，我们报告说，国家的最先进的自然语言理解模型无法处理代码切换。在最坏的情况下，通过语义准确性评估的性能从跨语言的80%下降到15%。此外，我们还表明，对合成代码混合数据进行预训练有助于将拟议测试集的性能保持在与单语数据相当的水平。最后，我们分析了不同的语言对，并表明语言越接近，NLU模型处理它们的交替就越好。这符合多语言模型如何进行语言之间的转换的共识
2021-11-20 cs.CL
POLYGLOT-NER: Massive Multilingual Named Entity Recognition
Stony Brook University（石溪大学）
网络上使用的语言的日益多样性给信息检索（IR）系统带来了新的复杂性。我们不能再假设文本内容是用一种语言甚至同一语系编写的。在本文中，我们演示了如何以最少的人力专业知识和干预来构建大规模的多语言注释器。我们描述了一个系统，建立命名实体识别（NER）注释40个主要语言使用维基百科和Freebase。我们的方法不需要NER人类注释数据集或语言特定的资源，如树库，平行语料库和拼写规则。方法的新颖之处在于-只使用语言不可知的技术，同时实现有竞争力的性能。我们的方法学习分布式单词表示（词嵌入），它编码每种语言中单词的语义和句法特征。然后，我们从维基百科的链接结构和Freebase属性自动生成数据集。最后，我们应用两个预处理阶段（过采样和精确的表面形式匹配），不需要任何语言专业知识。我们的评估有两个方面：首先，我们在人类注释数据集上展示了系统性能。其次，对于没有黄金标准基准的语言，我们提出了一种新的方法，远距离评估，基于统计机器翻译。
2014-10-14 cs.CL cs.LG
Sources of Transfer in Multilingual Named Entity Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
命名实体本质上是多语言的，并且任何给定语言的注释可能是有限的。这促使我们考虑多语言命名实体识别（NER），其中一个模型使用从多种语言中提取的注释数据进行训练。然而，这个简单想法的直接实现并不总是在实践中起作用：使用从多种语言中提取的注释数据对NER模型进行朴素训练，尽管可以访问更多的训练数据，但其性能始终低于单独使用单语数据训练的模型。本文的出发点是这个问题的一个简单的解决方案，其中多语言模型在单语数据上进行微调，以始终显着优于单语模型。为了解释这一现象，我们探讨了多语种NER模型中多语种迁移的来源，并研究了多语种模型与单语模型相比的权重结构。我们发现，多语言模型有效地共享许多参数跨语言和微调可能会利用大量的这些参数。
2020-05-02 cs.CL
What Matters When Building Universal Multilingual Named Entity Recognition Models?
Humboldt Universität zu Berlin（洪堡大学柏林分校）
本文提出Otter模型，通过系统性实验改进多语言NER，实现超过100种语言的高效高精度识别，F1得分超越GLiNER-x-base 5.3个百分点。
2026-09-01 cs.CL
TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents
Research Institute for Digital Future, Khalifa University（哈利法大学数字未来研究所）
本文提出TelcoAgent-Bench和TelcoAgent-Metrics，用于评估多语言电信LLM代理，通过结构化指标评估意图识别、工具执行、解决正确性和稳定性，以量化LLM代理在电信环境中的可靠性。
2026-03-16 cs.CL
Polyglot Prompt: Multilingual Multitask PrompTraining
NUS（新加坡国立大学）；CMU（卡内基梅隆大学）；Inspired Cognition（灵感认知公司）
本文旨在为多语言学习的潜在架构改进，并问：可以从不同的语言不同的任务在一个整体框架中建模，即没有任何任务/语言特定的模块？实现这一目标的好处可以为未来的多语言研究打开新的大门，包括允许在低资源下训练的系统得到其他语言和其他任务的进一步帮助。我们通过开发一个名为Polyglot Prompting的学习框架来实现这一目标，该框架利用多语言提示工程为不同的语言和任务学习统一的语义空间。我们对主题分类、情感分类、命名实体识别、问答、自然语言推理和摘要6个任务进行了综合评估，覆盖了24个数据集和49种语言。实验结果证明了多语言多任务基于学习的有效性，并导致了鼓舞人心的观察。我们还提出了一个可解释的多语言评估方法，并展示了所提出的框架，多语言多任务提示培训，工程。我们以最佳设置和代码发布所有提示的数据集。
2022-11-04 cs.CL
Multi-class Multilingual Classification of Wikipedia Articles Using Extended Named Entity Tag Set
AIP Center for Advanced Intelligence（AIP先进智能中心）
维基百科是一个很好的一般世界知识来源，可以指导NLP模型更好地理解他们做出预测的动机。构建维基百科是实现这一目标的第一步，它可以促进文章的细粒度分类。在这项工作中，我们介绍了神罗5语言分类数据集（SHINRA-5LDS），一个大型的多语言和多标签的注释维基百科的文章集，日语，英语，法语，德语和波斯语使用扩展命名实体（ENE）标签集。我们使用为ENE标签集分类提供的最佳模型来评估数据集，并表明目前可用的分类模型使用细粒度标签集与大型数据集进行斗争。
2020-03-05 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用，允许大规模多语言NLP。然而，虽然并不缺乏预训练的嵌入，但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中，我们进行了广泛的评估比较非上下文子词嵌入，即FastText和BPEmb，和上下文表示方法，即BERT，多语言命名实体识别和词性标注。我们发现，总的来说，BERT，BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点：多语言BERT在中高资源语言中表现良好，但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Balancing Accuracy and Efficiency in Multi-Turn Intent Classification for LLM-Powered Dialog Systems in Production
Forth AI；Shopee；Singapore University of Technology and Design（新加坡科技设计大学）
本文针对生产环境多轮意图分类的准确性与效率问题，提出符号微调和C-LARA框架，利用大语言模型生成合成数据并微调小型模型，在提升准确率5.09%的同时降低40%标注成本，实现低资源多语言工业系统的可扩展部署。
2024-11-19 cs.AI cs.CL cs.IR
Building Multilingual Corpora for a Complex Named Entity Recognition and Classification Hierarchy using Wikipedia and DBpedia
University of Zagreb（萨格勒布大学）；King’s College London（伦敦国王学院）；Leibniz University Hannover（汉诺威莱布尼茨大学）
随着NLP领域的日益普及，对低资源语言数据集的需求也随之而来。根据先前建立的框架，在本文中，我们提出了UNER数据集，一个多语言和层次的平行语料库命名实体注释。我们详细描述了在维基百科上使用DBpedia信息以任何语言创建这种类型的数据集所需的开发过程。这个三步过程从Wikipedia文章中提取实体，将它们链接到DBpedia，并将DBpedia类集映射到UNER标签。之后是一个后处理过程，大大增加了最终结果中识别实体的数量。本文最后对所得数据集进行了统计和定性分析。
2022-12-14 cs.CL
On the Strength of Character Language Models for Multilingual Named Entity Recognition
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）
在英语命名实体识别系统中，文本级模式被广泛用作特征。然而，到目前为止，还没有直接调查文本中名称和非名称标记之间的内在差异，也没有这种属性是否适用于多种语言。本文分析了语料库不可知的命名者级语言模型（CLM）在区分名称标记和非名称标记的二元任务中的能力。我们证明，CLMs提供了一个简单而强大的模型来捕捉这些差异，识别命名实体令牌在一组不同的语言在接近完整的NER系统的性能。此外，通过添加非常简单的基于CLM的功能，我们可以显着提高一个现成的多语言NER系统的性能。
2018-09-20 cs.CL cs.IR
Multi-Task Learning of Query Intent and Named Entities using Transfer Learning
Target Corporation（塔吉特公司）；AI Sciences（AI科学部门）
命名实体识别（NER）已被广泛研究，早期的算法是基于序列标记的，如隐马尔可夫模型（HMM）和条件随机场（CRF）。随后是基于神经网络的深度学习模型。最近，BERT在序列标记任务（如NER）中显示了新的最新水平的准确性。在这篇简短的文章中，我们研究了不同的方法来特定于任务的NER。任务特定的NER有两个组成部分-识别一段文本的意图（如搜索查询），然后用任务特定的命名实体标记查询。例如，我们考虑在搜索查询中标记Target商店位置的任务（可以在搜索框中输入或在Alexa或Google Home等设备中说出）。商店的位置是非常模糊的，有时很难区分，比如说一个位置和一个非位置。例如，“pickup my order at orange store”将“orange”作为商店位置，而“buy orange at target”将“orange”作为水果。我们通过多任务学习来探索这个困难，我们称之为全球到本地的信息转移。我们共同学习查询意图（即存储查找）和命名实体，通过使用多个损失函数在我们的BERT为基础的模型，并找到有趣的结果。
2021-04-28 cs.CL cs.LG
MultiCoNER: A Large-scale Multilingual dataset for Complex Named Entity Recognition
我们提出了MultiCoNER，一个用于命名实体识别的大型多语言数据集，涵盖了11种语言的3个领域（Wiki句子，问题和搜索查询），以及多语言和代码混合子集。该数据集旨在代表NER中的当代挑战，包括低上下文场景（短文本和无内容文本），电影标题等语法复杂的实体以及长尾实体分布。这2600万个令牌数据集是从公共资源中编译而来的，使用了基于语义的句子采样、模板提取和开槽以及机器翻译等技术。我们在数据集上应用了两个NER模型：一个是基准XLM-RoBERTa模型，另一个是利用地名词典的最先进的GEMNET模型。基线达到中等性能（宏观F1 =54%），突出了我们数据的难度。GEMNET使用地名录，改进显著（宏观F1的平均改进=+30%）。MultiCoNER甚至对大型预训练语言模型也提出了挑战，我们相信它可以帮助进一步研究构建强大的NER系统。MultiCoNER可在https://registry.opendata.aws/multiconer/上公开获取，我们希望此资源将有助于推进NER各个方面的研究。
2022-08-30 cs.CL
Universal NER v2: Towards a Massively Multilingual Named Entity Recognition Benchmark
Northeastern University, USA（东北大学）；Duolingo, USA（Duolingo）；Comenius University Bratislava, Slovakia（布拉迪斯拉发康门尼大学）；University of British Columbia, Canada（不列颠哥伦比亚大学）；Alpinference, France（Alpinference）；Research Institute for Artificial Intelligence, Romanian Academy, Romania（罗马尼亚科学院人工智能研究所）；University of Ljubljana, Slovenia（卢布尔雅那大学）；Aristotle University of Thessaloniki / ILSP, Athena Research Center, Greece（雅典纳基大学 / ILSP, 雅典研究中心）；Universitas Pelita Harapan, Indonesia（佩利塔哈盼望大学）；Seoul National University, South Korea（首尔国立大学）；Independent Researcher, South Korea（韩国独立研究员）；Democritus University of Thrace, Greece（特拉布宗大学）；Ben-Gurion University of the Negev, Israel（贝尼·格里大学）
本文提出Universal NER v2，旨在构建多语言命名实体识别基准数据集，通过通用标签集和详尽标注指南实现标准化跨语言标注，提升多语言NER评估的准确性与一致性。
2026-04-14 cs.CL
Efficient Multilingual Name Type Classification Using Convolutional Networks
University of Zagreb（扎格雷布大学）；Mondonomo AI
本文提出了一种高效的卷积神经网络模型，用于多语言名称类型分类，实现了高准确率和低能耗的性能。
2026-01-16 cs.AI cs.CL cs.CY
Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu
University of Konstanz（康斯坦茨大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Monash University Malaysia（莫纳什大学马来西亚校区）；Dalhousie University（达尔豪斯大学）
本研究通过生成93个乌尔都语故事并人工标注错误，发现多语言LLMs在低资源语言中存在基本语法语义错误、缺乏连贯性及文化浅薄等问题，且少样本提示无法解决文化错误。
2026-09-11 cs.AI cs.CL cs.LG
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
LLM-RM at SemEval-2023 Task 2: Multilingual Complex NER using XLM-RoBERTa
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
本文针对多语言复杂命名实体识别任务，团队LLM-RM参与SemEval 2023任务2，通过在12种语言数据集上微调XLM-RoBERTa基础模型、利用其跨语言表示来解决该问题。
2023-05-05 cs.CL
Lost in Execution: On the Multilingual Robustness of Tool Calling in Large Language Models
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）
研究探讨了多语言环境下大型语言模型工具调用的鲁棒性，通过MLCL基准测试发现参数值语言不匹配是主要失败模式，尽管策略减少错误但无法恢复英语水平性能。
2026-06-28 cs.AI cs.CL cs.LG
Dynamic Label Name Refinement for Few-Shot Dialogue Intent Classification
Chung-Ang University（中央大学）；LG AI Research（LG人工智能研究院）
本文提出一种基于上下文学习和动态标签优化的少样本对话意图分类方法，通过大型语言模型动态优化意图标签以区分相似意图，在多个数据集上显著提升性能并增强标签可解释性。
2024-12-20 cs.CL
