Learning Cross-lingual Distributed Logical Representations for Semantic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
随着用于语义解析的多语言数据集的发展，最近的研究工作已经研究了在多语言设置中学习语义解析器的问题。然而，如何提高一个特定语言的单语语义分析器的性能，利用不同语言的数据注释仍然是一个研究问题，是未充分探讨。在这项工作中，我们提出了一项研究，以显示如何学习分布式表示的逻辑形式的数据注释在不同的语言可以用于提高单语语义分析器的性能。我们扩展了现有的两个单语语义解析器，将这种跨语言的分布式逻辑表示的功能。实验表明，我们提出的方法是能够产生改进的语义解析结果的标准多语言GeoQuery数据集。
2018-06-14 cs.CL
What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties
University of Amsterdam（阿姆斯特丹大学）
多语言句子编码器在下游NLP任务的跨语言模型传输方面取得了很大成功。然而，我们对个别语言的属性或它们编码的语言变异的一般模式知之甚少。我们提出了从最先进的多语言编码器（LASER，M-BERT，XLM和XLM-R）探测句子表示的方法，这些方法涉及词汇，形态和句法结构的一系列类型学属性。此外，我们研究这些信息是如何分布在模型的所有层。我们的研究结果表明，有趣的差异编码语言的变化与不同的预训练策略。
2020-09-27 cs.CL
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen（哥本哈根大学）
语义解析（SP）允许人类通过自然交互来利用大量的知识资源。然而，解析器大多是针对英语资源设计和评估的，例如CFQ（Keysers等人，2020），目前的标准基准基于从语法规则生成的英语数据，并面向Freebase，一个过时的知识库。我们提出了一种方法，用于创建一个多语言的，并行的数据集的问题查询对，接地在维基数据。我们引入这样一个数据集，我们称之为多语言组成维基数据问题（MCWQ），并使用它来分析组成的概括语义分析器在希伯来语，卡纳达语，中文和英文。虽然语言内泛化在不同语言之间是可比的，但zero-shot跨语言迁移的实验表明，跨语言合成泛化失败，即使使用最先进的预训练多语言编码器也是如此。此外，我们的方法，数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India
University of Edinburgh（爱丁堡大学）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
本文提出PMIndiaSum，一个覆盖4个语系、14种语言和196个语言对的大规模平行多语言摘要语料库，通过微调、提示等方法构建基准，证实了该数据在辅助印度语言间摘要任务中的关键作用。
2023-10-20 cs.CL
Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters
University of Edinburgh（爱丁堡大学）；NAVER LABS Europe（NAVER LABS 欧洲）
适配器层是插入在Transformer层之间的轻量级、可学习的单元。最近的工作探索将这些层用于神经机器翻译（NMT），以使预训练模型适应新的领域或语言对，仅为每个新设置（语言对或领域）训练一小部分参数。在这项工作中，我们研究的组合性的语言和领域适配器的背景下，机器翻译。我们的目标是研究，1）参数有效的适应多个领域和语言同时（全资源的情况下）和2）跨语言迁移的领域，并行数据是不可用的某些语言对（部分资源的情况下）。我们发现，在部分资源的情况下，一个天真的特定于域和特定于语言的适配器的组合往往会导致“灾难性遗忘”的失踪的语言。我们研究其他方法来结合适配器，以减轻这个问题，并最大限度地提高跨语言迁移。使用我们最好的适配器组合，对于没有域内数据的源语言，我们平均获得3-4个BLEU的改进。对于没有域内数据的目标语言，我们通过将适配器与反向翻译相结合来实现类似的改进。补充材料可在https://tinyurl.com/r66stbxj上获得
2021-10-18 cs.CL
A Brief Survey of Multilingual Neural Machine Translation
NICT（日本信息通信研究机构）；Institute for Datability Science（数据可及性科学研究所）；Osaka University（大阪大学）；Microsoft AI & Research（微软人工智能研究院）
我们提出了一个调查多语言神经机器翻译（MNMT），这在最近几年获得了很大的牵引力。MNMT作为知识转移的结果，在提高翻译质量方面是有用的。MNMT比它的统计机器翻译同行更有前途和有趣，因为端到端建模和分布式表示开辟了新的途径。为了提高翻译质量，人们提出了许多方法来利用多语言平行语料库。然而，由于缺乏全面的调查，难以确定哪些方法是有希望的，因此值得进一步探讨。在本文中，我们提出了一个深入的调查现有的文献MNMT。我们根据资源场景以及底层建模原则对各种方法进行了分类。我们希望本文将作为一个起点，研究人员和工程师有兴趣在MNMT。
2020-01-04 cs.CL
Multilingual Music Genre Embeddings for Effective Cross-Lingual Music Item Annotation
Deezer Research（Deezer研究院）
用音乐类型来注释音乐项对于音乐推荐和信息检索是至关重要的，但由于音乐类型是主观概念，因此具有挑战性。最近，为了明确地考虑这种主观性，音乐项目的注释被建模为翻译任务：从一组源自其他标签系统的音乐流派标签中预测音乐项目在目标词汇或分类（标签系统）内的音乐流派。然而，如果没有一个平行的语料库，以前的解决方案不能处理其他语言的标签系统，仅限于英语。在这里，通过学习多语言音乐流派嵌入，我们可以在不依赖于平行语料库的情况下进行跨语言音乐流派翻译。首先，我们在预训练的词嵌入上应用组合性函数来表示多词标签。其次，我们通过利用多语言音乐流派图和改进的改进算法来调整标签表示以适应音乐领域。实验表明，我们的方法：1）在翻译多种语言（英语，法语和西班牙语）的标签系统的音乐类型是有效的; 2）在英语多源翻译任务中优于以前的基线。我们公开发布新的多语言数据和代码。
2020-09-16 cs.CL cs.IR cs.LG
Probing for Multilingual Numerical Understanding in Transformer-Based Language Models
University of Washington（华盛顿大学）
自然语言数字是组合结构的一个例子，其中较大的数字由对较小数字的操作组成。鉴于组合推理是自然语言理解的关键，我们提出了新的多语言探测任务测试的蒸馏BERT，XLM，和BERT调查的证据组成推理的数字数据在各种自然语言数字系统。通过使用英语、日语、丹麦语和法语的语法性判断和值比较分类任务，我们发现证据表明，这些预训练模型的嵌入中编码的信息足以进行语法性判断，但通常不足以进行值比较。我们分析了可能的原因，并讨论了如何在进一步的研究中扩展我们的任务。
2020-10-13 cs.CL
Compositional Multilingual and Behavioral Attribute Steering
German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔大学）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
本研究证明在大型语言模型中，将属性引导向量分别注入其最优层可实现无训练的组合式多属性控制，且向量在残差流中近似正交。
2026-09-09 cs.CL
Multilingual Relation Extraction using Compositional Universal Schema
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
通用模式通过联合嵌入输入知识库中的所有关系类型以及表达原始文本中的关系的文本模式来构建实体和关系的知识库（KB）。在以前的大多数通用模式应用中，每个文本模式都表示为单个嵌入，防止泛化到看不见的模式。最近的工作采用了神经网络来捕捉模式的组合语义，为所有可能的输入文本提供泛化。作为回应，本文介绍了显着的进一步改进的覆盖面和灵活性的通用模式关系抽取：预测的实体看不见的训练和多语言迁移学习域没有注释。我们通过对英语和西班牙语TAC KBP基准的广泛实验来评估我们的模型，在没有手写模式或额外注释的情况下，性能优于TAC 2013插槽填充的顶级系统。我们还考虑了一种多语言设置，其中英语训练数据实体与种子KB重叠，但西班牙语文本不重叠。尽管没有对西班牙语数据的注释，我们训练了一个准确的预测器，并通过跨语言绑定词嵌入获得了额外的改进。此外，我们发现，多语言训练提高英语关系抽取的准确性。因此，我们的方法适合于广泛覆盖的自动化知识库建设在各种语言和领域。
2016-03-03 cs.CL cs.LG
Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）；Yonsei University（延世大学）
针对联邦多语言机器翻译中通信受限问题，提出基于元学习的自适应参数选择方法MetaSend，通过动态阈值过滤参数提升传输效率，在有限通信预算下于不同语言分布数据集上显著优于基线模型。
2025-04-18 cs.AI cs.CL
Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
本文提出了多语言组合关系（MCR）基准，包含1,500个测试用例及五种语言，全面评估大型语言模型在组合关系推理中的鲁棒性与多语言适应性。
2024-09-21 cs.CL
Online Language Adaptive Sampling for Better Distributed Cross-lingual Gains
Ontario Tech University（安大略理工大学）；Doctrine（Doctrine公司）；Stanford University（斯坦福大学）；University of the Andes（安第斯大学）；University of Toronto（多伦多大学）
针对多语言模型跨语言对齐中均匀采样次优的问题，提出在线自适应采样策略，按损失动态调整各语言采样概率，提升极低资源语言性能并均衡增益。
2026-09-15 cs.AI cs.CL
A Comprehensive Survey of Multilingual Neural Machine Translation
National Institute of Information and Communications Technology (NICT)（国立信息与通信技术研究所）；Osaka University（大阪大学）；Microsoft AI and Research（微软人工智能与研究院）
我们提出了一个调查多语言神经机器翻译（MNMT），这在最近几年获得了很大的牵引力。作为翻译知识迁移（迁移学习）的结果，MNMT在提高翻译质量方面是有用的。MNMT比统计机器翻译更有前途和有趣，因为端到端建模和分布式表示为机器翻译的研究开辟了新的途径。为了提高翻译质量，人们提出了许多方法来利用多语言平行语料库。然而，由于缺乏全面的调查，难以确定哪些方法是有希望的，因此值得进一步探讨。在本文中，我们提出了一个深入的调查现有的文献MNMT。我们首先根据它们的中心用例对各种方法进行分类，然后根据资源场景、底层建模原则、核心问题和挑战对它们进行进一步分类。只要有可能，我们就通过相互比较来解决几种技术的优点和缺点。我们还讨论了MNMT研究可能采取的未来方向。本文面向NMT初学者和专家。我们希望本文将作为一个起点，以及新的想法，研究人员和工程师有兴趣在MNMT的来源。
2020-01-07 cs.AI cs.CL cs.LG
Distributed Representations for Compositional Semantics
New College（新学院）
语义的数学表示是自然语言处理的一个关键问题。大量的研究致力于寻找在向量空间中表示单个词的语义的方法。分布式方法--即利用大型语料库的共现统计数据的分布式表示--在许多任务中已经被证明是流行和成功的。然而，自然语言通常是在单词层面之外的结构中出现的，其意义不仅来自单个单词，而且来自短语或句子层面上包含它们的结构。对话语的意义从其各部分的意义中产生的合成过程进行建模是NLP的一项同样基本的任务。本文探讨了学习分布式语义表示的方法和模型，用于将这些表示组成更大的语言单元。我们的基本假设是，神经模型是学习语义丰富的表示的合适工具，而这些表示反过来又是解决自然语言处理中重要任务的合适工具。这篇论文的贡献是我们的假设进行了彻底的评估，作为其中的一部分，我们介绍了几种新的方法，表示学习和组合语义，以及多种国家的最先进的模型，适用于分布式语义表示在NLP的各种任务。
2014-11-12 cs.CL
Polyglot: Distributed Word Representations for Multilingual NLP
Stony Brook University（石溪大学）
分布式词表示（词嵌入）最近在语言建模和几个NLP任务中的竞争性能做出了贡献。在这项工作中，我们训练词嵌入超过100种语言使用相应的维基百科。我们定量地证明了我们的词嵌入的效用，通过使用它们作为训练这些语言的一个子集的词性标注器的唯一功能。我们发现他们的表现与英语，丹麦语和瑞典语的最先进方法相比具有竞争力。此外，我们调查的语义特征，这些嵌入通过接近的词组。我们将公开发布这些嵌入，以帮助研究人员开发和增强多语言应用程序。
2014-06-27 cs.CL cs.LG
Automated Generation of Multilingual Clusters for the Evaluation of Distributed Representations
Basis Technology（基础技术公司）
我们提出了一种语言无关的方式，自动生成一组语义相似的集群的实体与集的“离群”元素，然后可以用来执行一个内在的评价词嵌入中的离群检测任务。我们使用我们的方法创建了一个黄金标准数据集，我们称之为WikiSem500，并评估了多个最先进的嵌入。结果显示了该数据集上的性能与情感分析上的性能之间的相关性。
2017-04-05 cs.CL cs.LG
Lost in Reordering: Structural Sensitivity of Multilingual LLMs under Semantics-Preserving Perturbations
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
该研究针对印地语、马拉雅拉姆语等语言，构建含GSM8K-Reordered等变体的IndicReStruct基准，发现多语言LLMs在结构扰动输入下数学推理性能显著下降，其失败源于实体-数量对齐破坏，中间Transformer层对推理恢复贡献最大，揭示其缺乏稳健组合不变性。
2026-09-04 cs.CL
Accent Vector: Controllable Accent Manipulation for Multilingual TTS Without Accented Data
Signal Analysis and Interpretation Lab, University of Southern California, USA（信号分析与解释实验室，南加州大学）；Thomas Lord Department of Computer Science, University of Southern California, USA（托马斯·劳德计算机科学系，南加州大学）；Department of Linguistics, University of Southern California（语言学系，南加州大学）
本文提出Accent Vector，一种无需带口音数据的多语言TTS可控口音操控方法，通过微调和向量操作实现精细口音控制。
2026-03-08 cs.CL
Towards Robust Knowledge Representations in Multilingual LLMs for Equivalence and Inheritance based Consistent Reasoning
Amazon（亚马逊公司）；IIT Jammu（印度理工学院贾姆鲁）
本研究通过引入多语言任务和基准，评估LLMs在等价和继承推理中的稳健性，并提出组合表示以提升跨语言一致性。
2024-10-18 cs.CL
Federated Learning Based Multilingual Emoji Prediction In Clean and Attack Scenarios
Queen’s University（女王大学）；Microsoft（微软公司）
本文研究联邦学习框架下的多语言表情符号预测，在干净数据和标签翻转攻击两种场景下训练不同规模Transformer，证明联邦学习在已见与未见语言上可达到与集中式训练相当的性能，并在SemEval数据集上优于其他方法。
2023-07-07 cs.CL
IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following
Large Language Model Department, Tencent（腾讯大语言模型部）
提出IFMTBench基准，涵盖7种语言、4506个单约束和2838个多约束项，通过确定性检查器和基于LLM的评分器评估翻译指令遵循能力，揭示指令遵循随模型规模增长快于翻译质量，且术语表和结构化格式约束难度最高。
2026-05-27 cs.CL
MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark
Facebook（脸书）
由于缺乏可用的数据集，将面向任务的对话系统的语义解析模型扩展到新的语言通常是昂贵且耗时的。现有的数据集有几个缺点：a）它们包含很少的语言b）它们包含少量的每种语言的标记示例c）它们基于非组合查询的简单意图和槽检测范式。在本文中，我们提出了一个新的多语言数据集，称为MTOP，包括10万注释话语6种语言在11个领域。我们使用这个数据集和其他公开可用的数据集，对使用各种最先进的多语言预训练模型进行面向任务的语义解析进行全面的基准测试研究。对于两个现有的多语言数据集，我们在Slot F1上实现了+6.3点的平均改进，超过了他们实验中报告的最佳结果。此外，我们展示了强大的zero-shot性能，使用预训练模型结合自动翻译和对齐，并提出了远程监督方法，以减少槽标签投影中的噪声。
2021-01-27 cs.CL cs.LG
Sparse Coding of Neural Word Embeddings for Multilingual Sequence Labeling
University of Szeged（塞格德大学）
在本文中，我们提出并仔细评估了一个序列标签框架，它只利用稀疏的指示器功能来自密集的分布式字表示。所提出的模型获得（近）国家的最先进的性能，为各种语言的词性标注和命名实体识别。我们的模型仅依赖于几千个稀疏编码衍生的特征，而不对用于不同任务的单词表示进行任何修改。该模型具有良好的泛化性能，当在总可用训练数据的1.2%，即~每种语言150句。
2016-12-21 cs.CL
Language Exposure Matters: Distribution and Order in Multilingual BabyLM Pre-training
School of Computation, Information and Technology, TU Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich Data Science Institute（慕尼黑数据科学研究所）
该研究针对有限数据下的多语言BabyLM预训练，对比了不同语言曝光分布与顺序的效果，发现混合训练优于课程训练，荷兰语主导的混合配置整体表现最佳。
2026-10-15 cs.CL
Distributed Representations of Words and Phrases and their Compositionality
Google Inc.（谷歌公司）
最近引入的连续Skip-gram模型是一种有效的方法，用于学习高质量的分布式向量表示，捕获大量精确的语法和语义词的关系。在本文中，我们提出了几个扩展，提高了向量的质量和训练速度。通过对频繁单词进行子采样，我们获得了显着的加速，并且还学习了更多的规则单词表示。我们还描述了一个简单的替代分层softmax称为负采样。词表示的一个固有局限性是它们对词序的漠不关心，以及它们不能表示惯用短语。例如，“Canada”和“Air”的含义不能轻易组合成“Air Canada”。受这个例子的启发，我们提出了一种在文本中查找短语的简单方法，并表明学习数百万短语的良好矢量表示是可能的。
2013-10-16 cs.CL cs.LG stat.ML
Attention on Multiword Expressions: A Multilingual Study of BERT-based Models with Regard to Idiomaticity and Microsyntax
Saarland University（萨尔兰大学）
本文通过六种印欧语言研究基于BERT的模型对习语和微句法单位的注意力模式，发现微调会显著改变模型对多词表达的注意力分配，语义任务使习语注意力更均匀分布，句法任务则增强低层对微句法单位的关注。
2025-05-09 cs.CL
Multilingual Holistic Bias: Extending Descriptors and Patterns to Unveil Demographic Biases in Languages at Scale
Meta AI
研究提出MULTILINGUALHOLISTICBIAS数据集，通过扩展描述符和模式覆盖50种语言，旨在揭示人口统计偏见并量化缓解措施，发现翻译质量在男性参考下普遍优于女性。
2023-05-22 cs.CL
NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization
Michigan State University（密歇根州立大学）
提出神经符号框架NeSyCoCo，利用大语言模型生成符号表示并映射至可微神经计算，通过依存结构增强输入、分布式词表示链接谓词与神经模块及软组合对齐推理，在组合泛化基准上达到最优。
2024-12-20 cs.CL
Multilingual Embedding Probes Fail to Generalize Across Learner Corpora
Department of Linguistics, Cognitive Science, and Semiotics, Aarhus University, Denmark（丹麦奥胡斯大学语言学、认知科学与符号学系）
研究探讨多语言嵌入是否能编码通用 proficiency 表示，发现探针在分布内表现佳，但跨语料库时性能崩溃，表明学习到的映射捕捉了语料特定特性而非抽象 proficiency 维度。
2026-08-12 cs.CL
Multilingual Factor Analysis
Babylon Health（巴比伦健康）
在这项工作中，我们通过将生成潜在变量模型拟合到多语言词典来实现以离线方式学习多语言单词表示的任务。我们在不同的语言中的等效词作为同一个词的不同意见所产生的一个共同的潜在变量代表他们的潜在词汇意义。我们通过查询多语言嵌入的拟合模型来探索对齐的任务，在各种任务中获得有竞争力的结果。该模型对嵌入空间中的噪声具有鲁棒性，使其成为从噪声语料库中学习分布式表示的合适方法。
2019-10-23 cs.CL cs.LG stat.ML
Investigating Inner Properties of Multimodal Representation and Semantic Compositionality with Brain-based Componential Semantics
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Key Laboratory of Behavioural Science, Institute of Psychology（中国科学院心理研究所行为科学重点实验室）；Department of Psychology, University of Chinese Academy of Sciences（中国科学院大学心理学系）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
多模态模型已经被证明在学习语义表示方面优于基于文本的方法。然而，多模态表征中编码了哪些属性，它们在哪些方面优于单模态表征，以及不同输入模态的语义合成过程中发生了什么，这些都还不清楚。考虑到多模态模型最初是由人类的概念表征所激发的，我们假设将多模态表征与基于大脑的语义相关联将解释其内部属性以回答上述问题。为此，我们提出了简单的解释方法的基础上，基于大脑的成分语义。首先，我们研究多模态表征的内部属性，将它们与相应的基于大脑的属性向量相关联。然后，我们将分布式向量空间映射到可解释的基于大脑的成分空间，以探索语义组合性的内在属性。最后，本文揭示了自然语言理解的基本问题，如如何表示单词的含义，以及如何将单词的含义组合成更大的单位。
2017-11-22 cs.CL
Evaluating Distributed Representations for Multi-Level Lexical Semantics: A Research Proposal
Tsinghua University（清华大学）
该研究计划提出形式化局部、全局、混合三层词汇语义，并通过多语言数据集、多种语言模型与语言分析理论，系统评估神经网络分布式表征编码词汇意义的能力。
2024-12-03 cs.CL
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA（Iprova股份公司）；EPFL（洛桑联邦理工学院）
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题，即是否也可以导出类似的方法来改进词序列的嵌入（即语义表示）。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型，突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation
本文提出PolyFrame系统，通过统一管道处理图像+文本排名和纯文本描述排名任务，利用轻量模块提升多语言成语消歧性能，无需微调大模型。
2026-03-15 cs.CL
What do Language Representations Really Represent?
University of Copenhagen（哥本哈根大学）；Stockholm University（斯德哥尔摩大学）；University of Zurich（苏黎世大学）；University of Helsinki（赫尔辛基大学）
在文本语料库上训练的神经语言模型可以用于诱导单词的分布式表示，使得相似的单词最终具有相似的表示。如果语料库是多语言的，则可以使用相同的模型来学习语言的分布式表示，使得类似的语言最终具有类似的表示。我们表明，即使多语言语料库已被翻译成英语，通过拿起微弱的信号留下的源语言，这也成立。然而，就像在单词表示中分离语义和句法相似性是一个棘手的问题一样，语言表示捕获的相似性类型并不明显。我们调查的相关性和因果关系的语言表征从翻译学习一方面，遗传，地理，和其他语言之间的结构相似性的几个层次。其中，结构相似性被发现与语言表征相似性相关性最强，而遗传关系-在以前的工作中用于评估的一个方便的基准-似乎是一个混杂因素。除了对翻译效果的影响外，我们更普遍地认为这是一个NLP和语言类型学可以相互作用并相互受益的案例。
2019-01-09 cs.CL
IdiomX A Multilingual Benchmark for Idiom Understanding, Retrieval, and Interpretation
Data ScienceTech Institute（数据科学技术学院）
提出IdiomX，一个大规模多语言习语基准，通过可复现的多阶段流水线构建，涵盖190K+上下文示例和12K+习语，定义四项任务（检测、上下文-习语检索、阿拉伯语-英语习语检索、习语解释），实验表明上下文Transformer模型提升检测，混合检索重排序增强单语和跨语言检索，习语解释可建模为语义检索任务。
2026-04-25 cs.AI cs.CL cs.IR
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了概率主题建模的两个挑战，以便更好地估计给定上下文中单词的概率，即，P（单词|上下文）：（1）语境中无语言结构：概率主题模型通过将给定的语境概括为“词袋”而忽略词序，因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示，并对语言的复杂特征（例如，语法和语义），而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM（例如，DocNADE）和统一概率框架中的LM，命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库：在具有少量单词出现的设置中（即，缺乏上下文）或在少量文档的语料库中数据稀疏，TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战：我们使用词嵌入作为LSTM-LM的输入，旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体，加上神经LM和嵌入先验，在泛化（困惑），可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成TM，超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要，我们开发了一个数据驱动的新的摘要系统称为HNet，它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示，即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来，以进行句子排名。在DUC基准数据集（DUC-2001，DUC-2002和DUC-2004）上的实验表明，与最先进的基线相比，我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
Multilingual Safety Signals Are Multi-Layered: Filtering Safety-Degrading Data for Safer LLMs
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Qingdao Research Institute, Beihang University（北京航空航天大学青岛研究院）
针对多语言模型微调中安全数据过滤问题，提出多层框架MMSAFE，捕获跨语言共享及语言特定安全信号，将平均有害响应率降低60%，优于单层基线。
2026-09-22 cs.AI cs.CL cs.LG
Disentangling Syntax and Semantics in the Brain with Deep Networks
Inria（法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）；École normale supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）
像GPT-2这样的语言Transformers的激活已经被证明在语音理解过程中线性映射到大脑活动。然而，这些激活的性质在很大程度上仍然是未知的，可能会混淆不同的语言类。在这里，我们提出了一个分类法分解成四个组合类的语言模型的高维激活：词汇，成分，句法和语义表示。然后，我们引入了一种统计方法来分解，通过GPT-2的激活镜头，功能性磁共振成像（fMRI）记录的345名受试者在听~4.6小时的叙述文本的大脑活动。结果突出了两个发现。首先，成分表征比词汇表征招募了更广泛的皮层网络，包括双侧颞叶、顶叶和前额叶皮层。第二，与先前的主张相反，语法和语义并不与分离的模块相关联，而是似乎共享一个共同的分布式神经基质。总体而言，这项研究介绍了一个通用的框架，隔离，在大脑活动中，语言结构的分布式表示。
2021-06-15 cs.CL cs.LG q-bio.NC
Beyond Catalogue Counts: the Dataset Visibility Asymmetry in Low-Resource Multilingual NLP
L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）；Technische Universität Darmstadt（达姆施塔特技术大学）
本研究探讨了多语言NLP中数据集可见性不对称问题，通过结合目录基准和文献证据，提出了资源密度指数（RDI）来衡量语言的数据集可见性，揭示了大量语言在目录记录中数据贫乏但文献中存在明显数据集活动的现象。
2026-05-17 cs.AI cs.CL cs.IR
An Empirical Evaluation of Text Representation Schemes on Multilingual Social Web to Filter the Textual Aggression
DA-IICT（古吉拉特邦达拉尔巴伊信息技术与通信技术研究所）
本文试图研究两个任务，即：用户攻击和事实检测的社会媒体内容的文本表示方案的有效性。在用户攻击检测，目的是从社交媒体中生成的内容和写在英语，梵文印地语和罗马化印地语识别侵略的水平.攻击性水平分为三个预定义的类，即：“非攻击性”，“公开攻击性”和“隐蔽攻击性”。在与灾难有关的事件，社会媒体一样，推特是充斥着数以百万计的职位。在这种紧急情况下，查明实际员额对参与救济行动的组织很重要。我们预计这个问题是分类和排名问题的组合。本文对基于BoW技术、分布式词/句表示、分类器上的迁移学习的各种文本表示方案进行了比较。加权$F_1$评分用作主要评价指标。实验结果表明，在机器学习分类器上，使用BoW的文本表示比词嵌入的效果更好。而预训练的词嵌入技术在基于深度神经网络的分类器上表现更好。最近的迁移学习模型，如ELMO，ULMFiT，针对攻击分类任务进行了微调。然而，结果与预训练的词嵌入模型不一致。总的来说，使用fastText的词嵌入比Word 2 Vec和Glove产生最好的加权$F_1$分数。使用预训练的向量模型进一步改进结果。采用统计显著性检验来确保分类结果的显著性。在词汇上不同的测试数据集的情况下，除了训练数据集之外，深度神经模型更健壮，并且比机器学习分类器表现得更好。
2019-04-16 cs.CL cs.IR cs.SI
Learning Semantic Script Knowledge with Event Embeddings
Saarland University（萨尔大学）；University of Amsterdam（阿姆斯特丹大学）
关于事件原型序列的常识知识归纳近年来受到广泛关注。而不是诱导这种知识的形式的图形，在以前的工作中，在我们的方法中，分布式表示的事件实现计算的基础上分布式表示的谓词和他们的参数，然后这些表示被用来预测原型事件排序。用于计算事件表示和模型的排名组件的组合过程的参数是从文本中联合估计的。我们表明，这种方法的结果在一个显着的提升，相对于以前的方法在订购性能。
2014-04-25 cs.AI cs.CL cs.LG
