Incremental Multilingual Text2Cypher with Adapter Combination
Neo4j London UK（Neo4j伦敦英国）
本文提出一种可扩展的多语言文本到图结构方法，通过训练语言特定的LoRA适配器并结合统一线性融合或学习融合MLP，实现无需全量微调即可支持新语言，提升数据效率和性能。
2026-05-11 cs.CL
AP17-OLR Challenge: Data, Plan, and Baseline
Tsinghua University（清华大学）；SpeechOcean
本文介绍了第二次东方语言识别（OLR）挑战赛AP 17-OLR的数据概况和评估计划。与去年的活动（AP 16-OLR）相比，新的挑战涉及更多的语言，更侧重于简短的话语。数据由SpeechOcean和NSFC M2 ASR项目提供。构造了两种类型的基线来帮助参与者，一种是基于i向量模型，另一种是基于各种神经网络。我们报告的基线结果评估的各种指标定义的AP 17-OLR评估计划，并证明，合并后的数据库是一个合理的数据资源，多语言研究。所有的数据对参与者都是免费的，基线的Kaldi配方已经在网上发布。
2017-06-28 cs.CL
Generating Multilingual Personalized Descriptions of Museum Exhibits - The M-PIRO Project
本文对M-PIRO项目进行了全面介绍。M-PIRO正在开发一种技术，使博物馆能够通过网络或虚拟现实环境自动生成展品的文本或语音描述。这些说明是根据独立于语言的数据库中的信息和文本的小片段以几种语言生成的，并且可以根据用户的背景、年龄以及他们以前与系统的互动进行调整。一个创作工具允许博物馆馆长更新系统的数据库，并控制所产生的描述的语言和内容。虽然该项目仍在进行中，但支持英语、希腊语和意大利语的基于Web的演示程序已经可用，并在整个文件中使用，以突出新兴技术的能力。
2001-10-29 cs.AI cs.CL
AlloVera: A Multilingual Allophone Database
Carnegie Mellon University（卡内基梅隆大学）；National Research Council of Canada（加拿大国家研究委员会）；CNRS-LACITO（法国国家科学研究中心-语言与文明研究所）
我们介绍了一个新的资源，AlloVera，它提供了映射从218 allophones音素为14种语言。音位是对比的语音单位，音位变体是音位的各种具体表现形式，可以从语音语境中预测。虽然音素表征是语言特定的，但语音表征（以（allo）音素表示）更接近于通用的（独立于语言的）转录。AlloVera允许训练语音识别模型，这些模型以国际音标（IPA）输出音标，而不管输入语言如何。我们表明，一个“通用”的异体字模型，异特龙，与AlloVera建成，优于“通用”的音素模型和语言特定的模型上的语音转录任务。我们探讨这种技术（和相关技术）的濒危和少数民族语言的文件的影响。我们进一步探索其他应用程序，其中AlloVera将适合它的成长，包括语音类型学。
2020-04-17 cs.CL
Average Is Not Enough: Caveats of Multilingual Evaluation
Kempelen Institute of Intelligent Technologies（凯姆佩伦智能技术研究所）
这份立场文件讨论了多语言评价的问题。使用简单的统计数据，如平均语言表现，可能会在评估方法中注入有利于主导语言家族的语言偏见。我们认为，定性分析通知比较语言学是需要多语言的结果，以检测这种偏见。我们在案例研究中表明，在已发表的作品的结果确实可以在语言上有偏见，我们表明，基于URIEL类型数据库的可视化可以检测到它。
2023-01-03 cs.CL
IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
National Data and Analytics Platform（国家数据与分析平台）；India Data Portal（印度数据门户）；NDAP（国家数据与分析平台）；ICRISAT（国际作物研究所）；IHDS（印度家庭与育儿调查）
IndicDB是一个多语言文本到SQL基准测试，用于评估跨语言语义解析能力，包含20个数据库和237张表，通过迭代三代理框架生成15617个任务，揭示了印度语言在SQL解析中的性能差距。
2026-11-03 cs.AI cs.CL cs.DB
HistoryBankQA: Multilingual Temporal Question Answering on Historical Events
本文提出了包含1000万以上历史事件的多语言数据库HistoryBank，并构建了涵盖6种时序推理任务的问答基准，评估了多种流行语言模型在多语言历史事件时序推理上的表现。
2025-09-16 cs.CL
Language Lexicons for Hindi-English Multilingual Text Processing
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）
文本文档中的语言识别是根据文档内容自动检测文档中包含的语言的过程。目前的语言识别技术假设文档包含固定语言集合中的一种语言的文本，然而，当处理包括多于一种可能语言的内容的多语言文档时，这种假设是不正确的。由于没有大型标准语料库的印地语-英语混合语言的语言处理任务，我们提出了语言词典，一种新的词汇数据库，支持多种语言处理任务。这些词汇是通过在音译印地语和英语词汇上学习分类器建立的。所设计的词汇比其主要的收集来源具有更丰富的数量特征，这是使用可视化技术揭示的。
2021-06-29 cs.CL
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations
University of Edinburgh（爱丁堡大学）
来自语言类型学数据库的稀疏语言向量和来自多语言机器翻译等任务的学习嵌入已经被孤立地研究，而没有分析它们如何从彼此的语言特征中受益。我们建议使用奇异向量典型相关分析来融合这两种观点，并研究从每个来源诱导出什么样的信息。通过推断类型学特征和语言同源性，我们观察到我们的表征嵌入类型学，并加强与语言关系的相关性。然后，我们利用我们的多视图语言向量空间进行多语言机器翻译，在需要语言相似性信息的任务中，我们实现了具有竞争力的整体翻译准确性，例如语言聚类和多语言转换的候选人排名。使用我们的方法，这也是作为一种工具发布的，我们可以很容易地项目和评估新的语言，而无需昂贵的大量多语言或排名模型的重新训练，这是相关方法的主要缺点。
2020-10-25 cs.CL
MultiTEND: A Multilingual Benchmark for Natural Language to NoSQL Query Translation
The Hong Kong Polytechnic University（香港理工大学）；AI Group WeBank Co Ltd（微众银行AI集团）；Huawei Technologies Ltd.（华为技术有限公司）
本文构建覆盖六种语言的 MultiTEND 基准，评估自然语言到 NoSQL 查询生成，并提出融合并行处理、CoT 与 RAG 的 MultiLink 框架，显著提升多语言执行准确率。
2025-02-16 cs.AI cs.CL
Building from Scratch: A Multi-Agent Framework with Human-in-the-Loop for Multilingual Legal Terminology Mapping
本文提出了一种人机协作的多智能体框架，用于构建多语言法律术语数据库，通过整合AI和人类专家，提升多语言法律术语映射的精度和可扩展性。
2025-12-15 cs.AI cs.CL
Multilingual End-to-End Speech Translation
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Center for Language and Speech Processing, Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一个简单而有效的多语种端到端语音翻译（ST）的框架，在该框架中，源语言的语音话语直接翻译到所需的目标语言与通用序列到序列架构。虽然多语言模型已被证明是有用的自动语音识别（ASR）和机器翻译（MT），这是第一次他们被应用到端到端ST问题。我们展示了多语言端到端ST在两种情况下的有效性：一对多和多对多的翻译与公开可用的数据。我们的实验证实，多语种的端到端ST模型显着优于双语的两种情况下。多语言训练的泛化也在迁移学习场景中评估到非常低资源的语言对。我们所有的代码和数据库都是公开的，以鼓励在这个新兴的多语言ST主题的进一步研究。
2019-10-31 cs.CL eess.AS
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，多语言神经机器翻译（NMT）模型可以用来判断一个句子对同一语言中另一个句子的释义程度（Thompson and Post，2020）;然而，试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法，该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外，输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估，将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较（Hu等人，2019 c），并发现我们的方法产生的释义，更好地保留意义，更符合语法，为同一水平的词汇多样性。其他较小的人类评估表明，我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
Bridging National and International Legal Data: Two Projects Based on the Japanese Legal Standard XML Schema for Comparative Law Studies
Faculty of Engineering, Niigata Institute of Technology（名古屋大学技术学院工学部）
本文提出一个整合框架，通过基于日本法律标准（JLS）XML架构的两个连续研究项目，实现计算比较法的结构互操作性，并利用多语言嵌入模型识别不同国家法律体系中的对应条款。
2026-03-16 cs.AI cs.CL
Multilingual Gradient Word-Order Typology from Universal Dependencies
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Aalborg University（奥尔堡大学）
针对现有类型学分类数据库存在不一致、难以匹配语言现象连续性的问题，研究基于Universal Dependencies提出聚焦语序类型学的连续值种子数据集及可拓展的构建方法，可更好反映语言变异性。
2024-02-02 cs.CL
Open Terminology Management and Sharing Toolkit for Federation of Terminology Databases
Tilde（Tilde公司）；University of Latvia（拉脱维亚大学）
内容创建者和翻译人员需要整合访问来自不同主题领域和语言的当前和可靠术语。人工智能应用程序也需要术语，如机器翻译，语音识别，信息抽取和其他自然语言处理工具。在这项工作中，我们通过提供一个开放的术语管理解决方案-EuroTermBank工具包，促进了基于标准的术语资源共享和管理。它允许组织管理和搜索他们的术语，创建术语集合，并通过参与联合数据库网络在组织内外共享它们。联合数据库中的数据自动与欧洲最大的多语言术语资源EuroTermBank共享，使翻译人员和语言服务提供商以及研究人员和学生能够访问最新版本的术语资源。
2022-07-14 cs.CL
MultiSpider: Towards Benchmarking Multilingual Text-to-SQL Semantic Parsing
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
文本到SQL的语义解析是一项重要的自然语言处理任务，它极大地方便了用户与数据库之间的交互，成为许多人机交互系统中的关键组件。文本到SQL的最新进展是由大规模数据集驱动的，但其中大多数都集中在英语上。在这项工作中，我们提出了MultiSpider，最大的多语言文本到SQL数据集，涵盖七种语言（英语，德语，法语，西班牙语，日语，中文和越南语）。在MultiSpider上，我们进一步确定了文本到SQL的词汇和结构挑战（由特定的语言属性和方言谚语引起）及其在不同语言中的强度。在三种典型设置（zero-shot、单语和多语言）下的实验结果显示，非英语语言的准确率绝对下降了6.1%。定性和定量分析进行，以了解每种语言的性能下降的原因。除了数据集之外，我们还提出了一个简单的模式增强框架SAVe（Schema-Augmentation-with-Verification），它将整体性能显著提高了约1.8%，并缩小了跨语言的29.5%的性能差距。
2022-12-27 cs.CL
LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）；School of Software, Soongsil University（顺天大学软件学院）
LANGSAE 编辑通过事后移除语言身份信号，提升多语言信息检索的排名质量和跨语言覆盖性。
2026-01-08 cs.CL cs.IR
Pivot Through English: Reliably Answering Multilingual Questions without Document Retrieval
University of Washington（华盛顿大学）；Apple Inc.（苹果公司）
现有的开放检索问答方法在低资源语言（LRL）明显落后于英语。他们不仅遭受非英语文献检索的缺点，但依赖于特定语言的监督任务或翻译。我们制定了一个任务设置更现实的可用资源，绕过文档检索可靠地转移知识从英语到较低的资源语言。假设一个强大的英语问答模型或数据库，我们比较和分析的方法，以英语为中心：映射外国查询到英语，然后英语回答回目标语言的答案。在这个任务设置中，我们提出了重新排序的多语言最大内积搜索（RM-MIPS），类似于在英语训练集上进行重新排序的语义相似性检索，在XQuAD和MKQA上分别比最强基线高出2.7%和6.2%。分析表明，在具有挑战性的环境中，这种策略比最先进的替代方案具有特殊的功效：低资源语言，具有广泛的干扰数据和查询分布不一致。绕过检索，我们的分析表明，这种方法提供了快速的答案生成几乎任何现成的语言，而不需要任何额外的训练数据在目标语言。
2021-07-16 cs.CL
Text2Cypher Across Languages: Evaluating and Finetuning LLMs
Neo4j
该研究针对Text2Cypher任务多语言研究不足的问题，构建英、西、土三语数据集，评估发现基础模型性能随语言从英到土递减，提示翻译影响小，且多语言微调可缩小语言间性能差距，助力构建更包容的查询生成系统。
2025-09-04 cs.CL cs.IR
Multilingual Text-to-SQL: Benchmarking the Limits of Language Models with Collaborative Language Agents
Griffith University（格里菲斯大学）
该研究提出覆盖八种语言的 MultiSpider 2.0 多语言 Text-to-SQL 基准，并通过协作语言智能体迭代优化 SQL，揭示当前 LLM 的显著跨语言性能差距。
2025-09-29 cs.AI cs.CL cs.DB
Explanation based In-Context Demonstrations Retrieval for Multilingual Grammatical Error Correction
State Key Laboratory of Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Computer Science, Peking University（北京大学计算机学院）
针对多语言语法错误纠正中上下文示例选择难题，提出基于语法错误解释（GEE）的检索方法，通过匹配错误模式选示例，在5种语言实验中优于现有技术，无需额外训练或适配。
2025-02-12 cs.CL
Universal Phone Recognition with a Multilingual Allophone System
Carnegie Mellon University（卡内基梅隆大学）；SIL International（SIL国际）；National Research Council Canada（加拿大国家研究委员会）；ByteDance AI Lab（字节跳动人工智能实验室）
多语言模型可以通过跨语言共享参数来改善语言处理，特别是在资源不足的情况下。然而，多语言声学模型通常忽略音素（可以支持特定语言中词汇对比的声音）及其对应音素（实际说出的声音，与语言无关）之间的差异。这可能导致在组合各种训练语言时性能下降，因为相同注释的音素实际上可以对应于几个不同的底层语音实现。在这项工作中，我们提出了一个联合模型的语言独立的电话和语言相关的音素分布。在11种语言的多语言ASR实验中，我们发现该模型在低资源条件下将测试性能提高了2%的音素出错率绝对值。此外，由于我们是显式建模语言无关的电话，我们可以构建一个（几乎）通用的电话识别器，当与PHOIBLE大型手动管理的电话库存数据库相结合时，可以自定义为2,000种语言相关的识别器。两个低资源的土著语言，Inuktitut和Tusom的实验表明，我们的识别器实现了电话的准确率提高了17%以上，移动一步接近语音识别的所有语言在世界上。
2020-02-26 cs.CL cs.SD eess.AS
BVS Corpus: A Multilingual Parallel Corpus of Biomedical Scientific Texts
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
BVS数据库（保健虚拟图书馆）是拉丁美洲和加勒比生物医学信息的集中来源，创建于1998年，由BIREME（区域医学图书馆）与泛美卫生组织（OPAS）协调。摘要有英语、西班牙语和葡萄牙语版本，其中一个子集有一种以上的语言版本，因此可能是平行语料库的来源。在这篇文章中，我们提出了平行语料库的发展，从BVS在三种语言：英语，葡萄牙语和西班牙语。使用Hunalign算法自动对齐EN/ES和EN/PT语言对的句子，以及三语文章的子集。我们通过为每个语言对训练神经机器翻译（OpenNMT）系统来展示我们语料库的能力，该系统在科学生物医学文章中的表现优于相关工作。句子对齐也进行了手动评估，在所有语言中平均有96%的句子正确对齐。我们的平行语料库是免费提供的，有关于文章元数据的补充信息。
2019-05-05 cs.CL cs.IR
Multilingual Multiword Expressions
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
该项目旨在提供一种半监督的方法来识别多词表达在一个多语言的背景下，包括英语和大多数主要的印度语言。多词表达是指一些传统的或地区性的表达方式。如果从一种语言逐字翻译成另一种语言，表达将失去其固有的意义。为了从语料库中自动提取多词表达，构建了一个基于规则和统计相结合的提取管道。有几种类型的多词表达方式，它们在结构上有很大的不同。我们采用不同的方法来检测不同类型的多词表达。给定英语或任何印度语言的POS标记语料库，系统最初应用一些正则表达式过滤器来将搜索空间缩小到某些模式（例如，重叠、部分重叠、复合名词、复合动词、联词动词等）。匹配所需模式的单词序列进行一系列的语言测试，包括动词过滤，命名实体过滤和连字过滤测试，以排除误报。然后检查候选者之间的语义关系（使用Wordnet）。为了检测部分重叠，我们使用Wordnet作为词汇数据库以及lemmatizing工具。我们通过调查组成词的特征来检测复杂谓词。统计方法被应用于检测搭配。最后，词典编纂者检查自动提取的候选列表，以验证它们是否是真正的多词表达，并相应地将它们添加到多词词典中。
2016-12-01 cs.CL
Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
University of Alberta（阿尔伯塔大学）
本研究通过探测NLLB-200的表示几何结构，发现其学习了语言通用的概念表示，并展示了跨语言一致性的证据。
2026-11-04 cs.AI cs.CL cs.LG
Hindi-English Code-Switching Speech Corpus
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
语码转换是指在一个句子或语篇中使用两种语言的现象。它是多语言社区中的一种全球现象，并已成为一个独立的研究领域。随着对语码转换自动语音识别（ASR）系统需求的增加，开发语码转换语音语料库已成为迫切需要。然而，对于训练这样的系统，非常有限的代码交换资源是可用的。在这项工作中，我们提出了我们的第一个努力，在印度的背景下建立一个代码转换ASR系统。为此，我们建立了一个印地语-英语语码转换语音数据库。该数据库不仅包含了具有语码转换特性的语音话语，而且涵盖了会话和说话人的发音、口音、年龄、性别等变化。该数据库可以应用于多种语音信号处理应用，如语码转换ASR、语言识别、语言建模、语音合成等。本文主要对收集到的语码转换语音语料进行统计分析。稍后，将为创建的数据库报告ASR任务的性能结果。
2018-09-24 cs.CL
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
MultiClaimNet: A Massively Multilingual Dataset of Fact-Checked Claim Clusters
Queen Mary University of London（伦敦大学玛丽皇后学院）；Newtral Media Audiovisual Spain（西班牙Newtral视听媒体公司）
针对事实核查中声明重复问题，本文提出MultiClaimNet，包含三个多语言声明聚类数据集，覆盖86种语言，并通过近似最近邻和大型语言模型构建了含85.3K条声明的最大数据集，为可扩展声明聚类奠定基础。
2025-03-28 cs.CL
Sorting the Babble in Babel: Assessing the Performance of Language Identification Algorithms on the OpenAlex Database
本研究通过比较不同语言识别算法在OpenAlex数据库上的表现，发现FastText在标题语料库上在召回和处理时间方面表现最佳，为多语言文献分析提供了重要参考。
2026-01-05 cs.CL
Mining Healthcare Procurement Data Using Text Mining and Natural Language Processing -- Reflection From An Industrial Project
Information School, the University of Sheffield（谢菲尔德大学信息学院）；Vamstar Ltd.（Vamstar有限公司）
虽然文本挖掘和NLP研究已经建立了几十年，但在报告这些技术在构建真实世界应用程序中的使用的文献中仍然存在空白。例如，他们通常只关注单一的，有时甚至是简化的任务，而不深入讨论现实世界中常见的数据异构性和不一致性，或者它们对方法开发的影响。此外，很少有以前的工作集中在医疗保健领域。在这项工作中，我们描述了一个行业项目，该项目开发了文本挖掘和NLP解决方案，以挖掘医疗保健行业数百万个异构的多语言采购文档。我们提取结构化的采购合同数据，用于为动态评估供应商风险的平台提供动力。我们的工作在许多方面做出了独特的贡献。首先，我们处理高度异构的多语言数据，并记录我们应对这些挑战的方法。这主要是基于一种有效使用领域知识并推广到多种文本挖掘和NLP任务和语言的方法。其次，应用这种方法挖掘数以百万计的采购文件，我们开发了第一个结构化的采购合同数据库，这将有助于促进招标过程。第二，最后，我们讨论了实际的文本挖掘/NLP开发的经验教训，并为未来的研究和实践提出建议。
2023-01-09 cs.AI cs.CL
Language Diversity: Visible to Humans, Exploitable by Machines
University of Trento（特伦托大学）；National University of Mongolia（蒙古国立大学）
Universal Knowledge Core（UKC）是一个大型的多语言词汇数据库，专注于语言多样性，涵盖了1000多种语言。数据库的目的，以及它的工具和数据目录，是使有点抽象的概念多样性视觉上理解的人类和正式利用的机器。UKC网站允许用户探索数以百万计的单个单词及其含义，以及跨语言趋同和分歧的现象，例如共享的语际含义，词汇相似性，同源集群或词汇空缺。反过来，UKC LiveLanguage Catalogue以计算机可处理的形式提供对底层词汇数据的访问，准备在跨语言应用程序中重用。
2022-03-09 cs.CL
Emotional Voice Messages (EMOVOME) database: emotion recognition in spontaneous voice messages
本文提出EMOVOME自发语音消息数据库，包含100名西班牙语者的999条真实语音消息，并通过语音和文本模型建立情感识别基线。
2024-06-13 cs.AI cs.CL cs.SD
Language-universal phonetic encoder for low-resource speech recognition
ByteDance（字节跳动）
本文首次在注意力编码器-解码器架构内利用基于国际音标的语言通用音素模型提升低资源ASR性能，并提出适应方法，在极端低资源及不匹配场景下优于基线与多数先进工作。
2023-05-19 cs.CL cs.SD eess.AS
A tool set for the quick and efficient exploration of large document collections
我们提出了一套多语言文本分析工具，可以帮助任何领域的分析人员快速探索大型文档集，以确定文档是否包含感兴趣的信息，并找到相关的文本段落。这一自动工具目前是一个功能齐全的原型，预计在用户反复需要筛选大量文件（如从互联网自动下载的文件）时特别有用。建议的系统需要一个完整的文件集作为输入。它首先执行一些自动分析任务（命名实体识别、地理编码、聚类、术语提取），用生成的元信息注释文本，并将元信息存储在数据库中。该系统然后生成一个可放大和超链接的地理地图，其中增加了所发现的实体和术语的信息，当该系统定期使用时，它建立了一个历史数据库，其中包含关于哪些名称与其他名称或地点一起被提及的信息，用户可以查询这个数据库，以检索过去提取的信息。
2006-09-12 cs.CL cs.IR
A Reproducibility Study on Quantifying Language Similarity: The Impact of Missing Values in the URIEL Knowledge Base
University of Toronto（多伦多大学）；University of Michigan（密歇根大学）；Universiteit Gent（根特大学）；Ontario Tech University（安大略理工大学）
本研究针对广泛使用的类型学知识库URIEL展开可复现性分析，发现其在语言距离计算、缺失值处理上存在模糊性，且31%收录语言无类型学特征信息，鉴于其在多类NLP任务中的应用，需严格验证其可靠性。
2024-05-17 cs.CL
Modeling Language Variation and Universals: A Survey on Typological Linguistics for Natural Language Processing
LTL, University of Cambridge（剑桥大学LTL（语言与理论语言学实验室））；Department of Brain and Cognitive Sciences, MIT（麻省理工学院脑与认知科学系）；Faculty of Industrial Engineering and Management, Technion – IIT（以色列理工学院工业工程与管理学院）；LATTICE Lab, CNRS and ENS/PSL and Univ. Sorbonne nouvelle/USPC（LATTICE实验室（法国国家科学研究中心、巴黎高等师范学院/PSL、巴黎索邦大学/巴黎文理研究大学））；ILLC, University of Amsterdam（阿姆斯特丹大学ILLC（语言、逻辑与计算研究所））
语言类型学旨在捕捉世界语言的结构和语义变化。大规模的类型学可以为多语言自然语言处理（NLP）提供很好的指导，特别是对于缺乏人类标记资源的语言。我们提出了一个广泛的文献调查的类型信息的使用在自然语言处理技术的发展。我们的调查表明，到目前为止，在现有的类型数据库中的信息的使用，导致系统性能的一致，但适度的改善。我们发现，这是由于数据库的内在限制（在覆盖范围和功能粒度方面）和就业不足的类型学特征包括在其中。我们提倡一种新的方法，使类型学类别的广泛和离散性质适应当代NLP中使用的机器学习算法的上下文和连续性质。特别是，我们认为，这种方法可以促进最近的发展，数据驱动的归纳类型学知识。
2020-10-26 cs.CL
WASA: A Web Application for Sequence Annotation
The George Washington University（乔治·华盛顿大学）
数据标注是所有自然语言处理应用程序的一项重要且必要的任务。设计和实现一个基于Web的应用程序，使许多注释者能够注释并将他们的输入输入到一个中央数据库中，这不是一个简单的任务。这类基于Web的应用程序需要对底层数据库进行一致且健壮的备份，并支持提高注释的效率和速度。此外，他们需要确保注释以最小的冗余量存储，以便利用可用资源（例如，存储空间）。在本文中，我们介绍了WASA，一个基于Web的注释系统，用于管理大规模的多语言代码切换（CS）数据注释。尽管WASA能够为具有任意标记集的任何标记序列执行注释，但我们将重点关注WASA如何用于CS注释。该系统支持并发注释，处理多种编码，允许多个级别的管理控制，并实现质量控制措施，同时从不同的角度和不同的粒度级别无缝地报告注释统计数据。此外，该系统集成了一个强大的语言特定的数据预处理工具，以提高速度和效率的注释。我们描述了注释和管理接口以及后端引擎。
2019-09-28 cs.CL
Cross-Linguistic Transcription and Phonological Representation in the Huìtóngguǎnxì Huáyíyìyǔ
Department of Korean language and literature, Duksung Women’s University（韩国语言文学系，杜克松女子大学）
本研究将《会同馆华夷译语》视为一个连贯的多语言转写系统，通过数字化和音系分析，揭示了其主要转写和补充转写的跨语言规律，并论证了该系统作为历史音系证据的价值。
2026-05-26 cs.CL
ASR2K: Speech Recognition for Around 2000 Languages without Audio
Carnegie Mellon University（卡内基梅隆大学）
最近的语音识别模型依赖于大型监督数据集，这对于许多低资源语言是不可用的。在这项工作中，我们提出了一个语音识别管道，不需要任何音频的目标语言。唯一的假设是我们可以访问原始文本数据集或一组n-gram统计数据。我们的语音管道由三个组件组成：声学、发音和语言模型。与标准管道不同，我们的声学和发音模型使用多语言模型，无需任何监督。语言模型使用n-gram统计或原始文本数据集构建。我们建立了语音识别的1909种语言，结合它与Crubadan：一个大型的濒危语言n-gram数据库。此外，我们在两个数据集上测试了129种语言：Common Voice和CMU Wilderness数据集。我们实现了50%的CER和74%的WER的荒野数据集与Crubadan统计数据，并提高到45% CER和69% WER时，使用10000个原始文本话语。
2022-09-06 cs.CL
Allophant: Cross-lingual Phoneme Recognition with Articulatory Attributes
AImotion Bavaria, Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学巴伐利亚人工智能运动实验室）；Intel Labs（英特尔实验室）
本文提出多语言音素识别器 Allophant，利用发音属性多任务学习与 PHOIBLE 扩展资源，仅依赖音素清单即可跨语言迁移，并显著降低低资源与零样本场景的音素错误率。
2023-08-16 cs.CL cs.SD eess.AS
Bridging Language Gaps in Audio-Text Retrieval
Xiaomi Corporation（小米公司）
针对音频-文本检索偏重英语的问题，提出结合 SONAR 多语言文本编码与 CED 音频编码器优化的语言增强方法，在英语基准上达到 SOTA，并以少量额外数据支持七种语言检索。
2024-06-17 cs.CL cs.SD eess.AS
Towards Lingua Franca Named Entity Recognition with BERT
IBM Research AI（IBM研究院人工智能部门）
信息抽取是自然语言处理中的一项重要任务，它能够自动抽取数据，用于关系数据库的填充。从历史上看，研究和数据是针对英文文本产生的，随后几年是阿拉伯语，中文（ACE/OntoNotes），荷兰语，西班牙语，德语（CoNLL评估）等数据集。自然的趋势是将每种语言视为不同的数据集，并为每种语言构建优化的模型。在本文中，我们研究了一个单一的命名实体识别模型，基于一个多语言的BERT，这是联合训练的许多语言同时，能够解码这些语言更好的准确性比模型只训练一种语言。为了改进初始模型，我们研究了正则化策略的使用，如多任务学习和部分梯度更新。除了作为可以处理多种语言（包括代码切换）的单个模型之外，该模型还可以用于对新语言进行zero-shot预测，即使是那些没有训练数据的语言。结果表明，该模型不仅与单语模型具有竞争力，而且在CoNLL 02荷兰语和西班牙语数据集，OntoNotes阿拉伯语和中文数据集上也取得了最先进的结果。此外，它在看不见的语言上表现得相当好，在三种CoNLL语言上实现了最先进的zero-shot。
2019-12-12 cs.CL cs.LG stat.ML
"I'm" Lost in Translation: Pronoun Missteps in Crowdsourced Data Sets
Tokyo Institute of Technology（东京工业大学）
该研究考察众包 Tatoeba 数据集中英日代词翻译的性别偏见，发现男性代词偏向及对女性、中性和非二元代词的差异化反应，并提出在 NLP 数据集中纳入复数性的实用方案。
2023-04-22 cs.CL cs.CY cs.HC
