SimCLAD: A Simple Framework for Contrastive Learning of Acronym Disambiguation
College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
首字母缩略词消歧是指从词典中找到一个有歧义的首字母缩略词在给定句子中的正确含义,这是科学文档理解的关键点之一(SDU@AAAI-22)。最近,许多尝试试图通过微调预训练的掩蔽语言模型(MLM)来解决这个问题,以获得更好的首字母缩略词表示。然而,缩略词的意义在不同的上下文中是不同的,其对应的短语表示在不同的方向上映射在整个向量空间中缺乏区分。因此,预先训练的MLM的原始表示对于首字母缩略词消歧任务并不理想。在本文中,我们提出了一个简单的框架对比学习的首字母缩略词消歧(SimCLAD)方法,以更好地理解首字母缩略词的含义。具体来说,我们设计了一种持续对比的预训练方法,通过学习真实含义和歧义短语之间的短语级对比分布来增强预训练模型的泛化能力。对英文科技领域首字母缩略词的消歧实验结果表明,该方法优于所有其他竞争性最先进(SOTA)方法。
2021-12-09 cs.AI cs.CL
Machine Learning with Lexical Features: The Duluth Approach to Senseval-2
本文介绍了在Senseval-2的词义消歧系统之间的比较练习中的16个德卢斯条目。在西班牙语和英语词汇样本任务中输入了八对德卢斯系统。这些都是基于标准的机器学习算法,这些算法从带有意义标签的训练文本中归纳出分类器,其中出现歧义词的上下文由简单的词汇特征表示。这些都是高度可移植的,强大的方法,可以作为更有针对性的方法的基础。
2002-05-27 cs.CL
Learning Representations for Soft Skill Matching
Aalto University(阿尔托大学)
雇主积极寻找不仅具有特定硬技能,而且具有各种软技能的人才。为了分析就业市场上的软技能需求,重要的是能够从招聘广告中自动检测软技能短语。然而,当诸如友好的软技能短语被用于描述公司、团队或另一实体而不是期望的候选者时,软技能短语的朴素匹配可能导致假阳性匹配。在本文中,我们提出了一种基于短语匹配的方法,区分软技能短语指的是候选人与其他东西。消歧被公式化为二进制文本分类问题,其中基于其发生的上下文对潜在的软技能进行预测。为了告知模型预测的软技能,我们开发了几种方法,包括软技能掩蔽和软技能标记。我们比较了几种基于神经网络的方法,包括CNN,LSTM和分层注意力模型。使用LSTM提出的基于标记的输入表示在将精度固定为95%时,在作业数据集上实现了83.92%的最高召回率。
2018-07-20 cs.CL cs.LG stat.ML
Cross-lingual Visual Verb Sense Disambiguation
University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
最近的研究表明,视觉语境改善了名词的跨语言意义消歧。我们将这一系列工作扩展到跨语言动词意义消歧这一更具挑战性的任务,介绍了包含9,504幅标注有英语,德语和西班牙语动词的图像的MultiSense数据集。MultiSense中的每个图像都用英语动词及其德语或西班牙语翻译进行注释。我们表明,跨语言的动词意义消歧模型受益于视觉上下文,单峰基线相比。我们还表明,我们最好的消歧模型预测的动词意义,可以提高纯文本的机器翻译系统用于多模态翻译任务时的结果。
2019-04-17 cs.CL cs.CV
One Size Does Not Fit All: Finding the Optimal Subword Sizes for FastText Models across Languages
Masaryk University(马萨里克大学)
对来自大型多语言语料库的单词的无监督表示学习对于诸如词义消歧、语义文本相似性和信息检索之类的下游任务是有用的。对数双线性fastText模型的表示精度主要是由于它们使用子字信息。在以前的工作中,fastText的子字大小的优化还没有得到充分的探索,非英语fastText模型使用针对英语和德语单词类比任务优化的子字大小进行训练。在我们的工作中,我们找到了最佳的子字大小的英语,德语,捷克语,意大利语,西班牙语,法语,印地语,土耳其语和俄语单词类比任务。然后,我们提出了一个简单的n-gram覆盖模型,我们表明,它预测优于默认的西班牙语,法语,印地语,土耳其语和俄语单词类比任务的子字大小。我们表明,优化fastText的子字大小的事项,并在捷克语单词类比任务的14%的改善结果。我们还表明,昂贵的参数优化可以被一个简单的n-gram覆盖模型所取代,与默认子字大小相比,该模型可以将fastText模型在单词类比任务上的准确性提高高达3%,并且其准确性在最佳子字大小的1%以内。
2021-09-20 cs.CL
Spanish Legalese Language Model and Corpora
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
根据英语在世界范围内的相关性,英语有许多语言模型。然而,对于西班牙语来说,即使它是一种广泛使用的语言,也只有很少的西班牙语语言模型,这导致其规模小且过于通用。法律俚语可以被认为是西班牙语的变体,因为它在词汇,语义和短语理解方面非常复杂。在这项工作中,我们收集了来自不同来源的法律领域语料库,生成了一个模型,并对西班牙语的一般领域任务进行了评估。该模型在这些任务中提供了合理的结果。
2021-10-23 cs.AI cs.CL
A Dual-Attention Neural Network for Pun Location and Using Pun-Gloss Pairs for Interpretation
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Shanghai Transsion Co., Ltd(上海传音有限公司)
双关定位是指在一个给定的短文中识别出双关词(通常是使文章具有歧义的词或短语),双关解读是指找出双关词的两种不同含义。以往的研究大多采用词义消歧技术获得有限的词义或孤立的语音信息来确定双关的位置。对于双关语的理解,相关的工作关注于各种词义消歧算法。本文提出了一种双注意神经网络(Dual-Attentive Neural Network,DANN)的双关语定位模型,该模型有效地将词义、发音和上下文信息结合起来,能够同时处理两类双关语。此外,我们把双关语的解释作为一个分类任务,并构建双关语对作为处理数据来解决这个任务。两个基准数据集上的实验表明,我们提出的方法取得了新的国家的最先进的结果。我们的源代码可以在公共代码库中找到。
2021-10-14 cs.AI cs.CL
Low-dimensional Semantic Space: from Text to Word Embedding
Xiamen University(厦门大学);DeepAI Tech Co., Ltd.(深湃信息科技(深圳)有限公司)
本文重点研究词嵌入,这是自然语言处理中的一种特征学习技术,它将词或短语映射到低维向量。本文从语境相似性的语言学理论--“分布假设”和“情景语境”出发,介绍了文本的两种数值表征方式:单热表征和分布表征。此外,本文还介绍了基于语义的语言模型(如共生矩阵和奇异值分解)以及神经网络语言模型(NNLM,如连续词袋和跳格)。本文还分析了词嵌入在词义消歧和历时语言学研究中的应用。
2019-11-03 cs.CL cs.LG
Japanese-Spanish Thesaurus Construction Using English as a Pivot
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
我们提出的研究结果的目标是自动创建一个多语种的词库的基础上,维基百科和WordNet的免费资源。我们的目标是增加用于自然语言处理任务的资源,例如针对日语-西班牙语对的机器翻译。鉴于资源的稀缺性,我们使用现有的英语资源作为一个支点,建立一个三语的日本-西班牙语-英语词库。我们的方法包括从维基百科中提取翻译元组,通过将它们映射到WordNet词义来消除它们的歧义。我们目前的结果比较两种方法的消歧,第一个使用VSM维基百科的文章文本和WordNet的定义,第二个使用分类信息提取的维基百科,我们发现,混合这两种方法产生有利的结果。使用所提出的方法,我们已经构建了一个多语种的西班牙语-日语-英语词库,由25,375个条目。同样的方法可以应用于维基百科中链接到英语的任何一对语言。
2013-03-06 cs.AI cs.CL
SpaDeLeF: A Dataset for Hierarchical Classification of Lexical Functions for Collocations in Spanish
Instituto Politécnico Nacional (IPN)(墨西哥国立理工学院);Centro de Investigación en Computación (CIC)(计算机研究中心)
本研究构建了西班牙语动词-名词搭配词汇功能层级分类数据集SpaDeLeF,含37类功能的树状层级结构,通过新闻依存分析匹配生成,提供基线与数据划分,填补相关标注数据缺口。
2023-11-07 cs.CL
Distributed Entity Disambiguation with Per-Mention Learning
Bell Labs, Nokia(诺基亚贝尔实验室);University College Dublin(都柏林大学学院)
实体消歧或将短语映射到其在知识库中的规范表示是许多自然语言处理应用中的基本步骤。现有的基于全局排名模型的技术无法捕捉单词的个体特性,因此,要么难以满足许多现实世界应用的准确性要求,要么过于复杂,无法满足应用的实时约束。在本文中,我们提出了一个新的消歧系统,学习专门的功能和模型,消除英语中的每个歧义短语。为了训练和验证数十万个学习模型,我们使用了一个维基百科超链接数据集,其中包含超过1.7亿个带标签的注释。我们提供了一个广泛的实验评估表明,我们的方法的准确性比较有利的许多国家的最先进的消歧系统。我们的方法所需的训练可以很容易地分布在一个集群中。此外,为新实体更新我们的系统或为特殊实体校准它是一个计算快速的过程,这不会影响其他实体的消歧。
2016-04-20 cs.CL cs.IR
Coin_flipper at eHealth-KD Challenge 2019: Voting LSTMs for Key Phrases and Semantic Relation Identification Applied to Spanish eHealth Texts
TALP Research Center - Universitat Politècnica de Catalunya(加泰罗尼亚理工大学TALP研究中心);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文描述了我们为eHealth-KD 2019挑战提出的方法。我们的参与旨在测试我们可以走多远,使用文本处理的通用工具,但同时,使用数据采掘领域的常见优化技术。为挑战的两个任务提出的架构是标准的堆叠2层bi-LSTM。我们的方法的主要特点是:(a)使用F1的代理函数作为损失函数,以缩小最小化函数和评估指标之间的差距,以及(b)生成的合奏模型,用于通过多数表决生成预测。我们的系统在主要任务中以62.18%的F1得分排名第二,获胜者得分为63.94%。
2019-09-26 cs.CL cs.LG
Word and Phrase Translation with word2vec
单词和短语表是机器翻译的关键输入,但制作成本很高。新的无监督学习方法在高维向量空间中表示单词和短语,这些单语嵌入已被证明可以编码语言元素之间的句法和语义关系。这些嵌入捕获的信息可以通过学习转换矩阵来用于双语翻译,该转换矩阵允许在两个单语向量空间中匹配相对位置。该方法旨在从未标记的数据中更经济有效地识别高质量的单词和短语翻译候选。本文将以前的双语翻译尝试的范围扩大到四种语言(英语,德语,西班牙语和法语)。它展示了如何处理源数据,训练一个神经网络来学习各个语言的高维嵌入,并扩展了测试英语之外的质量的框架。此外,它还展示了如何学习双语转换矩阵,获得单词和短语翻译的候选项,并评估其质量。
2018-04-24 cs.AI cs.CL
A New NMT Model for Translating Clinical Texts from English to Spanish
College of Information and Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特信息与计算机科学学院);Department of Computer Sciences, University of Massachusetts Lowell(马萨诸塞大学洛约拉计算机科学系);Department of Quantitative Health Sciences, University of Massachusetts Medical School(马萨诸塞大学医学学院定量健康科学系);Bedford VAMC and CHOIR(贝德福德退伍军人医疗中心和CHOIR)
针对英语到西班牙语临床文本翻译因缺乏平行语料库和未知词多而困难的问题,提出仅需少量域内平行语料库训练的NOOV系统,通过集成双语词典和生物医学短语查询表提升翻译准确性与流畅性。
2025-08-26 cs.CL
The Causal Structure of Semantic Ambiguities
University College London(伦敦大学学院)
本研究利用层论因果模型形式化语义歧义的消歧过程,识别出主语-动词和宾语-动词两种主要消歧顺序,并验证了多义动词消歧延迟的心理语言学发现。
2023-11-15 cs.AI cs.CL quant-ph
An Algorithm to Co-Ordinate Anaphora Resolution and PPS Disambiguation Process
本文研究了自然语言处理中最常见的两种歧义现象:回指消解和介词短语附加。已经提出了几种方法来分别处理每种现象,但是没有一个提出的系统考虑了处理这两种现象的方式。我们解决这个问题,提出了一种算法来协调这两个问题的有效治疗,即,目的还在于在每一步利用每一个组成部分可以提供的所有结果。
1995-02-24 cmp-lg cs.CL
How Contentious Terms About People and Cultures are Used in Linked Open Data
Centrum Wiskunde & Informatica(数学与计算机科学中心);VU University Amsterdam(阿姆斯特丹自由大学)
研究分析了Wikidata等四个数据集中关于人物与文化的争议性术语的使用频率及标记情况,发现此类术语频繁出现且标记方式缺乏一致性,为系统性解决LOD中的刻板印象传播问题提供了见解。
2023-11-13 cs.AI cs.CL
Prepositional Attachment Disambiguation Using Bilingual Parsing and Alignments
Monash University(莫纳什大学);IIT Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究院)
本文试图解决英语中介词短语的附加问题。这项工作的动机来自于像机器翻译这样的NLP应用程序,对于这些应用程序来说,正确地连接介词是非常关键的。这个想法是正确的PP附件的一个句子的帮助下,从另一种语言的平行数据的对齐。我们的工作的新颖之处在于制定的问题到一个双重分解为基础的算法,强制执行协议之间的解析树从两种语言的约束。在英语-印地语语言对上进行了实验,并且性能比基线提高了10%,其中基线是由针对英语训练的MSTParser模型预测的附件。
2016-03-29 cs.CL
Prompt Balance Matters: Understanding How Imbalanced Few-Shot Learning Affects Multilingual Sense Disambiguation in LLMs
Department of Computer Science, Swansea University(计算机科学系,萨斯奎汉大学)
本研究针对少样本提示中样本分布不平衡的问题,采用GLOSSGPT提示法在五种语言上测试,发现不平衡样本会引发多语言词义消歧偏差,强调需采用平衡的提示策略。
2025-10-04 cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego(加州大学圣迭戈分校)
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集,系统评估单语与多语BERT模型的语境化语义表征,揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Evaluating Indirect Strategies for Chinese-Spanish Statistical Machine Translation
Institute for Infocomm Research(信息通信研究所)
尽管汉语和西班牙语是世界上使用最多的两种语言,但对这两种语言的机器翻译研究并不多。统计机器翻译是当今最流行的机器翻译方法之一。为了这个目的,我们报告的细节,可用的平行语料库是基本的旅行者表达语料库(BTEC),圣经和联合国(UN)。此外,我们进行了实验工作,这三个语料库中最大的探索替代SMT策略,通过使用枢轴语言。三种替代方案被认为是枢:级联,伪语料库和三角测量。作为枢纽语言,我们使用英语,阿拉伯语或法语。结果表明,对于一个基于短语的SMT系统,英语是最好的枢纽语言之间的中文和西班牙语。我们提出了一个系统的输出组合使用枢轴策略,这是能够优于直接翻译策略。这项工作的主要目标是激励和参与研究界在这对重要的语言工作,因为它们的人口影响。
2014-02-04 cs.CL
Exploiting Similarities among Languages for Machine Translation
Google Inc.(谷歌公司)
词典和短语表是现代统计机器翻译系统的基础。本文提出了一种方法,可以自动生成和扩展字典和短语表的过程。我们的方法可以通过学习语言结构的基础上大单语数据和语言之间的映射,从小双语数据翻译丢失的单词和短语条目。它使用单词的分布式表示,并学习语言向量空间之间的线性映射。尽管简单,我们的方法是令人惊讶的有效:我们可以实现几乎90%的精度@5英语和西班牙语之间的单词翻译。这种方法对语言的假设很少,因此它可以用于扩展和改进任何语言对的词典和翻译表。
2013-09-17 cs.CL
Optimal word order for non-causal text generation with Large Language Models: the Spanish case
University of Vigo(维戈大学)
本文针对单向因果LLM可能不适应自由词序语言的问题,提出基于Viterbi算法的最大似然词序估计方法,并通过西班牙语实验比较非因果与因果生成顺序。
2025-02-20 cs.CL
Large Language Models and Multimodal Retrieval for Visual Word Sense Disambiguation
School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典国立技术大学)
本文研究视觉词义消歧任务,通过结合大型语言模型、多模态检索、单模态转换及思维链提示等多种方法,并训练学习排序模型融合各模块,取得了具竞争力的检索结果。
2023-10-21 cs.CL
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
跨语言词嵌入(CLWE)已被证明是有用的,在许多跨语言的任务。然而,大多数现有的学习CLWE的方法,包括那些与上下文嵌入是意义不可知的。在这项工作中,我们提出了一个新的框架,对齐上下文嵌入的意义上的水平,利用跨语言的信号,从双语词典。我们首先提出了一种新的感知交叉熵损失模型明确的词义操作我们的框架。用我们的感知交叉熵损失预训练的单语ELMo和BERT模型在词义消歧任务中表现出显着的性能改善。然后,我们在感知交叉熵损失的基础上提出了一个感知对齐目标,用于跨语言模型预训练,并为几种语言对(英语到德语/西班牙语/日语/中文)预训练跨语言模型。与最佳基线结果相比,我们的跨语言模型在zero-shot跨语言NER、情感分类和XNLI任务上的平均性能分别提高了0.52%、2.09%和1.29%。
2022-09-15 cs.AI cs.CL
Fine-tuning of Large Language Models for Constituency Parsing Using a Sequence to Sequence Approach
University of Murcia(穆尔西亚大学)
本文通过序列到序列方式微调多个 Hugging Face 大语言模型,利用 AnCora-ES 语料库生成训练数据,以 F1 评估并提升西班牙语句法教学工具 MiSintaxis 的短语结构分析能力。
2025-10-18 cs.CL
Augmenters at SemEval-2023 Task 1: Enhancing CLIP in Handling Compositionality and Ambiguity for Zero-Shot Visual WSD through Prompt Augmentation and Text-To-Image Diffusion
University of Maryland, College Park(马里兰大学帕克分校);Duolingo, Inc.(多邻国公司)
针对零样本视觉词义消歧中 CLIP 难以处理语言组合性、短语焦点变化和图文多对多匹配的问题,提出 LLM 提示增强、跨语言 CLIP 与 Stable Diffusion 采样方法。
2023-07-09 cs.CL
Multilingual Relative Clause Attachment Ambiguity Resolution in Large Language Models
Miami University(迈阿密大学);Portland State University(波特兰州立大学)
本研究探讨LLMs在多语言中消解关系从句附着歧义的能力,发现其在印欧语系表现优于亚洲语言,强调需改进非欧洲语言处理。
2025-03-04 cs.CL
An Ensemble Approach to Acronym Extraction using Transformers
Hitachi CRL(日立中央研究所);Centre for Translation Studies, University of Surrey(萨里大学翻译研究中心)
首字母缩略词是一个短语的缩写单位,通过使用文本中短语的初始成分来构建。从文本中自动提取首字母缩略词可以帮助各种自然语言处理任务,如机器翻译、信息检索和文本摘要。本文讨论了一种集成方法的任务的首字母缩略词提取,它利用两种不同的方法来提取首字母缩略词及其相应的长形式。第一种方法利用多语言上下文语言模型并微调模型以执行任务。第二种方法依赖于卷积神经网络架构来提取首字母缩略词并将它们附加到前一种方法的输出中。我们还使用从多个开放获取期刊中提取的额外训练样本来增强官方训练数据集,以帮助提高任务性能。我们的数据集分析还突出了当前任务数据集中的噪声。我们的方法在与任务一起发布的测试数据上实现了以下宏观F1分数:丹麦语(0.74),英语-法律(0.72),英语-科学(0.73),法语(0.63),波斯语(0.57),西班牙语(0.65),越南语(0.65)。我们公开发布代码和模型。
2022-01-09 cs.CL
One Representation per Word - Does it make Sense for Composition?
University of Sussex(萨塞克斯大学)
在本文中,我们调查是否一个先验的词义消歧是严格必要的,或者是否一个词在上下文中的意义可以通过单独的组合消歧。我们评估了现成的单向量和多意义向量模型在基准短语相似性任务和一个新的词义判别任务上的性能。我们发现,单感矢量模型的表现以及或更好的多感矢量模型,尽管可以说是不干净的基本表示。我们的研究结果还表明,简单的组合函数,如逐点加法能够恢复感特定的信息,从一个单一的意义向量模型非常好。
2017-02-22 cs.CL
Fixing Errors of the Google Voice Recognizer through Phonetic Distance Metrics
SoldAI Research(索尔德艾研究机构);Facultad de Matemáticas, Universidad Autónoma de Yucatán(尤卡坦自治大学数学学院)
用于西班牙语的语音识别系统,例如Google的系统,当用于特定领域的应用时,非常频繁地产生错误。这些错误大多发生在识别对识别器的语言模型来说是新的单词或对域来说是特别的单词时。本文提出了一种利用音素Levenshtein距离来减少语音识别器错误的算法。初步结果表明,它是可能的,以纠正识别器的错误显着使用此度量标准,并使用字典的特定短语从域的应用程序。尽管被设计为特定的领域,这里提出的算法是一般的应用。可以为每个应用明确定义必须识别的短语,而不必修改算法。这足以向算法指出它必须处理的句子集。该算法的复杂度为$O(tn)$,其中$t$是要更正的文本中的单词数量,而$n$是特定于该领域的短语数量。
2021-02-18 cs.CL eess.AS
The Google Similarity Distance
单词和短语从它们在社会中的使用方式中获得意义,从它们与其他单词和短语的相关语义中获得意义。对于计算机来说,“社会”的等价物是“数据库”,而“使用”的等价物是“搜索数据库的方式”。“我们提出了一种基于信息距离和Kolmogorov复杂度的词和短语之间相似性的新理论。我们使用万维网作为数据库,谷歌作为搜索引擎来修复思想。该方法也适用于其他搜索引擎和数据库。然后,该理论被应用于构建一种方法来自动提取相似性,谷歌相似性距离,从万维网使用谷歌页面计数的单词和短语。万维网是地球上最大的数据库,数百万独立用户输入的上下文信息平均起来提供有用质量的自动语义。我们给出了层次聚类,分类和语言翻译中的应用。我们给出的例子来区分颜色和数字,集群名称的绘画由17世纪的荷兰大师和书籍的名称由英国小说家,理解紧急情况的能力,和素数,我们展示了做一个简单的自动英语-西班牙语翻译的能力。最后,我们使用WordNet数据库作为一个客观的基准,以判断我们的方法的性能。我们使用支持向量机在二进制分类中进行了大规模的随机试验,以根据Google距离学习类别,结果与专家制作的WordNet类别的平均一致率为87%。
2007-05-30 cs.AI cs.CL cs.DB
Learning to Resolve Natural Language Ambiguities: A Unified Approach
我们分析了几个常用的基于统计和机器学习算法的自然语言消歧任务,并观察到它们可以重新转换为特征空间中的学习线性分隔符。每种方法都有一个先验假设,在搜索假设时,根据给定的数据,它会使用这些假设。然而,正如我们所展示的,它搜索的空间与所有线性分隔符的空间一样丰富。我们用它来建立一个数据驱动的方法,它只是在特征空间中搜索一个好的线性分隔符,没有进一步的假设域或一个特定的问题。我们提出了这样一种方法-稀疏网络的线性分离器,利用Winnow学习算法-并展示了如何使用它在各种模糊度解决问题。提出的学习方法是属性有效的,因此,适合域具有非常大的属性数量。特别是,我们提出了一个广泛的实验比较,我们的方法与其他方法在几个研究得很好的词汇消歧任务,如上下文敏感的拼写校正,介词短语附件和词性标注。在所有情况下,我们表明,我们的方法要么优于其他方法尝试这些任务或执行最好的。
1998-11-03 cs.CL cs.LG
Towards one-shot learning for rare-word translation with external experts
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
神经机器翻译(NMT)显著提高了自动翻译模型的质量。当前系统中的主要挑战之一是稀有词的翻译。我们提出了一种通用的方法来解决这个弱点,通过外部模型将训练数据注释为专家,并使用指针网络和强化学习控制模型与专家的交互。我们使用基于短语的模型来模拟专家以补充神经机器翻译模型的实验表明,该模型可以被训练成一致地将注释复制到输出中。我们证明了我们提出的框架在只有词汇资源的域外翻译场景中的好处,在英语到西班牙语和德语到英语的两个翻译方向上提高了1.0 BLEU点以上
2018-09-10 cs.CL
Understanding and Analyzing Model Robustness and Knowledge-Transfer in Multilingual Neural Machine Translation using TX-Ray
University of Potsdam(波茨坦大学)
本研究探讨极低资源下多语言神经机器翻译的跨语言知识迁移,通过顺序迁移学习提升性能,并利用 TX-Ray 分析剪枝对鲁棒性与泛化的影响。
2024-12-18 cs.AI cs.CL
Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing
Department of Electrical Engineering, Indian Institute of Technology Delhi(印度理工学院德里电气工程系);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(印度理工学院德里人工智能学院)
研究探讨多语言大语言模型在处理双语词时,如何通过拼写和语义特征进行区分,发现模型在处理双语同形词时存在显著困难,倾向于依赖拼写相似性而非语义理解。
2026-03-18 cs.CL