A Computational Acquisition Model for Multimodal Word Categorization
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Melbourne（墨尔本大学）
近年来，文本和图像的自监督建模技术的发展为儿童语言习得的计算模型提供了新的机会，而儿童语言习得被认为在很大程度上依赖于跨模态信号。然而，之前的研究受到了限制，因为它们依赖于在大型图像数据集上训练的视觉模型，这些图像数据集用一组预定义的描绘对象类别进行注释。这是（a）不忠实于儿童收到的信息和（b）禁止评估这些模型的类别学习任务，由于预先规定的类别结构。我们解决了这一差距，并提出了一个认知启发，多模态采集模型，训练从图像标题对自然的数据，使用跨模态自我监督。我们表明，该模型学习单词类别和对象识别能力，并提出了发展文献中报道的趋势。我们公开我们的代码和训练模型，以供将来参考和使用。
2022-05-12 cs.CL
Acquisition of morphological families and derivational series from a machine readable dictionary
Université de Toulouse（图卢兹大学）
本文提出了一种语言学和计算模型，旨在使词汇的形态结构从其所包含的词的形式和语义的描述中显现出来。该模型是基于单词的。所提出的形态结构包括：（1）二元关系，它将每个中心词与形态上相关的词联系起来，特别是与其形态家族及其派生系列的成员联系起来;（2）词之间的类比。该模型已被测试的法语词典使用TLFi机器可读词典。
2009-05-11 cs.CL
Review of Unsupervised POS Tagging and Its Implications on Language Acquisition
University of California Irvine（加州大学欧文分校）
本文综述了无监督词性标注的各类工程方法，探讨了模型评估指标、约束学习的额外信息、上下文使用等共同主题，为句法范畴习得的认知研究及无监督POS标注的发展提供参考。
2023-12-15 cs.CL
Simplifying Translations for Children: Iterative Simplification Considering Age of Acquisition with LLMs
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；NTT Communication Science Laboratories, NTT Corporation（NTT株式会社NTT通信科学研究所）
本文提出利用大语言模型，根据词汇习得年龄迭代替换译文中的高难度词，以生成适合儿童理解水平的简化翻译，并在保持BLEU和COMET分数的同时有效降低词汇难度。
2024-08-08 cs.CL
Is Child-Directed Language Optimized for Word Learning? A Computational Study of Verb Meaning Acquisition
Center for Language and Cognition (CLCG), University of Groningen（语言与认知中心（CLCG），格罗宁根大学）
本文通过神经语言模型对比分析儿童导向语言与成人导向语言对动词意义学习的影响，发现口语领域中语义优先于语法发展，可能反映口语本身的特性而非儿童导向语言的独特优化。
2026-05-12 cs.CL
WinoDict: Probing language models for in-context word acquisition
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
我们引入了一个新的上下文学习范式来衡量大语言模型（LLM）在推理过程中学习新单词的能力。特别是，我们重写了Winograd风格的共指消解问题，用一个合成的但似乎合理的词来替换关键概念词，模型必须理解这个词才能完成任务。解决这个任务需要模型使用提示中给出的新词的字典定义。这个基准解决了单词习得问题，这是困扰LLM的历时性退化的一个重要方面。由于LLM在接受培训时被冻结，因此它们通常无法反映语言随时间变化的方式。我们发现，在我们的基准测试中，与原始Winograd任务相比，LLM的准确性大幅下降，从而确定了当前模型的局限性，并提供了一个基准来衡量LLM在上下文学习能力方面的未来改进。
2022-09-25 cs.AI cs.CL
Self-play for Data Efficient Language Acquisition
Brown University（布朗大学）
在交流时，人们在不同的对话角色中表现一致：人们理解他们所说的话，并能够说出他们听到的话。到目前为止，为语言任务开发的人工智能体缺乏这种对称性，这意味着受过语言训练的智能体无法理解语言，反之亦然。在这项工作中，我们利用通信的对称性，以提高学习代理的语言习得的效率和质量。具体来说，我们考虑的设置中，代理人必须学会理解和生成的话，在现有的语言，但与“甲骨文”的语言扬声器的交互访问的假设是非常有限的。我们表明，使用自我发挥作为直接监督的替代品，使代理跨角色转移其知识（例如，培训作为一个听众，但测试作为一个扬声器），并作出更好的推理地面真理词典使用只有少数的互动与神谕。
2020-10-10 cs.CL
Human Inspired Progressive Alignment and Comparative Learning for Grounded Word Acquisition
University of Michigan（密歇根大学）；ASAPP（ASAPP公司）
受人类婴儿语言习得启发，提出一种通过比较学习进行具身词汇习得的计算方法，无需固定词汇量，实验显示其在持续学习中的潜力。
2023-07-05 cs.AI cs.CL cs.LG
Lexical Acquisition via Constraint Solving
本文介绍了一种自动获取未登录词句法和语义分类的方法。我们的方法减少了搜索空间的词汇习得问题，同时利用左，右上下文的未知词。链接语法提供了一个方便的框架来实现我们的方法。
1995-02-22 cmp-lg cs.CL
Spatial Concept Acquisition for a Mobile Robot that Integrates Self-Localization and Unsupervised Word Discovery from Spoken Sentences
Ritsumeikan University（立命馆大学）；National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）
在本文中，我们提出了一种新的无监督学习方法的词汇收购的机器人访问的地方，从人类连续语音信号。我们解决的问题，学习新的单词的机器人，除了一个原始的声学模型，这些话没有先验知识。此外，我们提出了一种方法，允许机器人有效地使用学习的单词及其含义的自我定位任务。该方法是一种非参数贝叶斯空间概念获取方法（SpCoA），该方法通过与空间概念相关的潜变量，将自定位生成模型和无监督分词方法相结合。我们实现了所提出的方法SpCoA上SIGVerse，这是一个仿真环境，和TurtleBot2，这是一个移动机器人在真实的环境。此外，我们进行了用于评估SpCoA性能的实验。实验结果表明，SpCoA使机器人能够从语音句子中获取地名。他们还表明，机器人可以有效地利用获得的空间概念，减少自我定位的不确定性。
2016-05-07 cs.AI cs.CL cs.RO
Towards Using Diachronic Distributed Word Representations as Models of Lexical Development
BITS Pilani, Goa Campus（BITS Pilani 果阿校区）
最近的工作表明，分布式单词表示可以从儿童导向的语音中编码抽象信息。在本文中，我们使用历时分布的词汇表征进行时间建模和儿童词汇发展的分析。与以前的所有工作不同，我们使用时间切片语料库学习分布式单词表示的儿童语音和儿童导向语音下的学习设置。在我们的实验中，我们执行了一个词汇分类任务，以绘制儿童的语义和句法知识获取轨迹。接下来，我们对历时表征变化进行线性混合效应建模，以研究输入词频在儿童词汇习得率中的作用。我们还使用表征相似性分析对成人向儿童的词汇知识转移进行了细粒度分析。最后，我们对该模型的历时表征进行了定性分析，揭示了儿童心理词汇中的背景和词汇联想。我们的实验表明，易于使用和有效性的历时分布式词表示建模词汇发展。
2021-11-26 cs.CL
Visually grounded few-shot word acquisition with fewer shots
Stellenbosch University（斯泰伦博斯大学）
本文提出一种基于视觉基础的语音模型，利用少量自然词-图像对挖掘无监督训练数据，并结合词到图像注意力机制，在更少样本条件下实现更优的新词习得性能。
2023-05-25 cs.AI cs.CL eess.AS
Multiplex lexical networks reveal patterns in early word acquisition in children
University of Southampton（南安普顿大学）；University of Kansas（堪萨斯大学）
语言的网络模型提供了一种将认知过程与语言的结构和连通性联系起来的方法。然而，目前的方法的一个缺点是在同一时间只关注一种类型的语言关系，错过了复杂的多关系的语言性质。在这项工作中，我们克服了这个限制，通过建模的心理词汇的英语幼儿作为一个多元化的词汇网络，即一个多层网络，其中N=529个单词/节点连接根据四种类型的关系：（i）自由协会，（ii）功能共享，（iii）同现，（iv）语音相似性。我们提供分析的拓扑结构所产生的多重，然后继续评估单层以及完整的多重结构，他们的能力来预测经验观察到的年龄的收购数据的讲英语的幼儿。我们发现，新兴的多重网络拓扑结构是一个重要的代理的认知过程中的收购，能够捕捉新兴的词汇结构。事实上，我们表明，多重拓扑结构是从根本上更强大的比单独的层在预测的顺序与收购的话。此外，多重分析允许量化的不同阶段的词汇习得在早期学习者：虽然最初所有的多重层有助于单词学习，约23个月后，自由协会带头驾驶单词习得。
2017-05-26 cond-mat.dis-nn cs.CL cs.LG
A model of early word acquisition based on realistic-scale audiovisual naming events
Tampere University（坦佩雷大学）
本文提出一个仅依赖未标注视听输入的统计学习模型，在现实规模命名事件条件下模拟12个月以下婴儿的词汇习得，验证了无需先验语言能力即可实现与婴儿相当的词语识别和词汇增长。
2024-06-07 cs.AI cs.CL eess.AS
Second Language Acquisition of Neural Language Models
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
该研究通过模拟人类第二语言习得过程训练双语语言模型，分析L1预训练及迁移配置对L2语言概括的影响，揭示其类人与非类人习得特征。
2023-06-05 cs.CL
World-to-Words: Grounded Open Vocabulary Acquisition through Fast Mapping in Vision-Language Models
University of Michigan（密歇根大学）；Computer Science and Engineering Division, University of Michigan（密歇根大学计算机科学与工程系）
本文提出GOVA框架和OctoBERT模型，通过在图像-文本对上以接地为目标的预训练，验证视觉-语言模型能更快速稳健地学习新词汇，揭示了接地能力对新词学习的自举作用。
2024-12-26 cs.AI cs.CL cs.CV
Language Acquisition is Embodied, Interactive, Emotive: a Research Proposal
Boise State University（博伊西州立大学）；Department of Computer Science（计算机科学系）
人类对世界的体验从一开始就是深刻的多模态的，那么为什么现有的最先进的语言模型只使用文本作为模态来学习和表示语义呢？在本文中，我们回顾了文学的体现和情感的作用，在互动设置的口语对话作为必要的先决条件，为人类儿童的语言学习，包括如何在儿童词汇主要是具体的，然后转移到变得更加抽象的孩子长大。我们勾勒出一个语义模型，利用当前的transformer为基础的模型和单词级接地模型，然后解释机器人对话系统，将利用我们的语义模型，系统学习语言的设置，和现有的基准评估。
2021-05-10 cs.CL
Acquisition of Inflectional Morphology in Artificial Neural Networks With Prior Knowledge
New York University（纽约大学）
一种语言的形态学知识是如何影响学习第二种语言的变形规则的？为了在人工神经网络模型中研究这个问题，我们使用序列到序列架构进行实验，我们在八种源语言和三种目标语言的不同组合上进行训练。对模型输出的详细分析表明：（i）如果源语言和目标语言密切相关，则目标语言的屈折形态学的习得对模型来说是一项更容易的任务;（ii）前缀知识（分别为后缀）语言使后缀的习得（分别为前缀）语言的形态更具挑战性;和（iii）令人惊讶的是，一个源语言，表现出一个粘着形态简化了学习第二语言的屈折形态，独立于他们的相关性。
2019-10-12 cs.CL
From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition
Rice University（莱斯大学）；Northern Arizona University（北亚利桑那大学）
本文从人类语言习得视角提出三阶段框架评估语言模型能力，发现其发展轨迹不同于人类，且生成表现受训练数据语言特征影响。
2024-10-17 cs.CL
Emphasizing Unseen Words: New Vocabulary Acquisition for End-to-End Speech Recognition
University of Hamburg（汉堡大学）；Zhejiang Lab（之江实验室）
由于人类语言的动态特性，自动语音识别（ASR）系统需要不断地获取新的词汇。词汇表外（OOV）单词，如趋势单词和新命名实体，给现代ASR系统带来了问题，这些系统需要长时间的训练来适应其大量的参数。不同于以往大多数研究集中在语言模型后处理，我们解决了这个问题的早期处理水平，并消除了偏见的声学建模，声学识别OOV字。我们建议使用文本到语音系统生成OOV单词，并重新调整损失，以鼓励神经网络更加关注OOV单词。具体来说，我们扩大了用于训练包含OOV单词的话语的神经网络参数的分类损失（话语级），或者当对合成音频微调先前训练的模型时，重新调整用于OOV单词的反向传播的梯度（单词级）。为了克服灾难性遗忘，我们还探索了损失重标度和模型正则化的结合，即L2正则化和弹性权重合并（EWC）。在LibriSpeech基准测试上的实验结果表明，与以往只使用EWC对合成音频进行微调的方法相比，本文提出的损失重缩放方法在单词出错率略有下降的情况下，能够显著提高召回率。此外，词级重缩放比话语级重缩放更稳定，并导致更高的召回率和准确率的OOV词识别。此外，我们提出的组合损失重新缩放和权重合并方法可以支持ASR系统的持续学习。
2023-02-21 cs.CL cs.SD eess.AS
Interactive Grounded Language Acquisition and Generalization in a 2D World
Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Applications（深度学习技术及应用国家工程实验室）
我们建立了一个虚拟代理学习语言在一个2D迷宫般的世界。智能体可以看到周围环境的图像，听虚拟老师讲课，并采取行动获得奖励。它基于两个语言用例从头开始交互式地学习教师的语言：直接导航和问答。它同时学习世界的视觉表征、语言和动作控制。通过将语言基础与其他计算例程分开，并在语言基础和预测之间共享概念检测功能，智能体可靠地内插和外推来解释包含新词组合或训练句子中缺失的新词的句子。新词是从语言预测的答案中转移出来的。这种语言能力是在160多万个不同的句子中训练和评估的，这些句子包括119个目标词，8个颜色词，9个空间关系词和50个语法词。该模型在解释zero-shot句子方面明显优于五种比较方法。此外，我们在附录中展示了模型的人类可解释的中间输出。
2018-08-13 cs.AI cs.CL cs.LG
Language Acquisition in Computers
这个项目探讨了计算机语言习得的本质，并以类似于儿童语言习得的技术为指导。虽然现有的自然语言处理方法在范围和理解上是有限的，但我们的系统旨在从第一原理获得对语言的理解，从而最小化初始输入。我们的系统的第一部分是在Java中实现的，重点是使用bigram来理解语言的形态。我们使用频率分布和它们之间的差异来定义和区分语言。对英语和法语文本进行了分析，以确定在文本被认为是不同语言之前的差异阈值为55，并使用西班牙语文本验证了该阈值。我们系统的第二部分侧重于使用递归方法来理解语言的语法。该程序使用两种可能的方法之一来分析给定的句子，无论是基于句型或周围的话。这两种方法都是用C++实现的。该程序能够理解简单句子的结构并学习新单词。此外，我们还就未来的工作和现有计划的潜在扩展提出了一些建议。
2012-05-31 cs.CL
Robots Learning to Say `No': Prohibition and Rejective Mechanisms in Acquisition of Linguistic Negation
University of Hertfordshire（赫特福德大学）；Università di Macerata（马切拉塔大学）
本文通过 iCub 机器人与普通教师的自由语音互动实验，研究否定词“不”的社会习得与符号接地机制，强调情感、意志和韵律线索的作用，并质疑 Hebbian 型算法的适用性。
2018-10-28 cs.AI cs.CL cs.RO
Bootstrapping Deep Lexical Resources: Resources for Courses
University of Melbourne（墨尔本大学）
我们提出了一系列的深层词汇获取方法，利用形态，句法和本体的语言资源，从种子词典建模单词相似性和引导。不同的方法部署在学习词汇项目的精确语法，并显示每个有不同的词类的优势和劣势。本文的一个特别的重点是不同的语言资源类型的相对可及性，并预测“bang for the buck”与每一个在深层词汇习得应用程序。
2007-09-15 cs.CL
Spatio-Temporal Graph Neural Networks for Infant Language Acquisition Prediction
University of Liverpool（利物浦大学）
本研究针对现有模型单独使用无法充分捕捉婴儿语言习得复杂性的问题，提出融合多类语言关系的STGCN预测方法，实验显示其在感觉运动、语义关系下的词汇预测准确率优于2层前馈神经网络，且不同关系类型的召回率存在差异。
2025-03-18 cs.AI cs.CL
Function Words as Statistical Cues for Language Learning
Georgetown University（乔治城大学）
研究探讨功能词的统计特性如何促进抽象语法知识的学习，通过跨语言语料分析验证了功能词的高频、句法关联性和短语边界对齐性是普遍规律，实验表明保留这些特性能提升神经网络学习效果。
2026-04-20 cs.AI cs.CL
Characterizing the Influence of Features on Reading Difficulty Estimation for Non-native Readers
Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）
近年来，将英语作为第二语言（ESL）学习的人数已经超过了以英语为母语的人数。最近的工作已经证明了基于阅读难度提供个性化内容的成功，例如信息检索和摘要。然而，几乎所有先前的阅读困难的研究是专为母语者，而不是非母语读者。在这项研究中，我们调查了ESL读者的各种特征，通过进行线性回归来估计英语语言源的阅读水平。这种估计不仅基于词汇和句法特征的复杂性，而且还基于几个新的概念，包括从几个来源获得的单词和语法的年龄，WordNet的词义以及句子之间的隐含关系。通过使用贝叶斯信息准则（BIC）来选择最优模型，我们发现单词数量、单词获取年龄和句法分析树高度的组合比其他竞争模型产生更好的结果。因此，我们的研究结果表明，建议的第二语言阅读难度估计优于其他第一语言阅读难度估计。
2018-08-29 cs.CL
Learning Part-of-Speech Guessing Rules from Lexicon: Extension to Non-Concatenative Operations
实词文本词性标注中的一个问题是词典中的未知词标注。在Mikheev（ACL-96 cmp-lg/9604022）中，提出了一种用于完全无监督统计获取规则的技术，该规则猜测未知词的可能词性。这种学习技术的一个过度简化假设是获得形态规则，这些规则只服从主词与词缀的简单连接。在本文中，我们将这种技术扩展到非连接后缀的情况下，并评估性能的增益。
1996-04-30 cmp-lg cs.CL
What is Learned in Visually Grounded Neural Syntax Acquisition
Cornell University（康奈尔大学）
视觉特征是学习自举文本模型的一个很有前途的信号。然而，黑盒学习模型很难隔离视觉组件的具体贡献。在该分析中，我们考虑了视觉接地神经元学习器的案例研究（Shi等人，2019），一种从视觉训练信号中学习语法的最新方法。通过构建模型的简化版本，我们隔离了产生模型强大性能的核心因素。与模型可能能够学习的内容相反，我们发现表达能力明显较低的版本会产生类似的预测，并且表现得一样好，甚至更好。我们还发现，一个简单的词汇信号的名词具体性起着主要作用，在模型的预测，而不是更复杂的句法推理。
2020-05-18 cs.CL
Learning to Discover, Ground and Use Words with Segmental Neural Language Models
DeepMind（深度思维）；University of Oxford（牛津大学）
我们提出了一个分段神经语言模型，结合了神经网络的泛化能力与发现未分段字符序列中潜在的单词样单元的能力。与以前将分词视为一项孤立任务的分割模型相比，我们的模型统一了单词发现，学习单词如何组合在一起形成句子，以及通过调节视觉上下文模型，单词的含义如何在非语言模态的表示中扎根。实验表明，无条件模型比字符LSTM模型更好地学习预测分布，与非参数贝叶斯分词模型竞争性地发现单词，并且以视觉上下文为条件的语言建模提高了两者的性能。
2019-06-18 cs.CL
Feature-rich multiplex lexical networks reveal mental strategies of early language learning
University of Pisa（比萨大学）；ISTI (CNR)（意大利国家研究委员会信息科学与技术研究所）；University of Kansas（堪萨斯大学）；University of Exeter（埃克塞特大学）
人类头脑中的知识表现出二元矢量/网络性质。将单词建模为向量是自然语言处理的关键，而单词关联网络可以映射语义记忆的性质。我们调和这些范式-分散在语言学，心理学和计算机科学-通过引入功能丰富的多功能词汇（FERMULEX）网络。这种新的框架融合了网络中的结构相似性和词的向量特征，可以组合或独立探索。相似性模型跨语义/句法/语音知识方面的异质词关联。词汇的多维特征嵌入丰富了词汇，包括频率、习得年龄、长度和多义性。这些方面使认知知识的前所未有的探索。通过CHILDES数据，我们使用FERMULEX网络来模拟1000名18至30个月的幼儿的规范语言习得。相似性和嵌入通过一致性来捕获词的同质性，一致性通过距离和特征来测量连续混合。一致性挖掘出一个语言核心的频繁/多义/短名词和动词的关键基本句子生产，支持最近的证据表明，儿童的句法结构出现在30个月。这个内核对于网络核心检测和仅特征聚类是不可见的：它来自单词的双重向量/网络性质。我们的定量分析揭示了两个关键策略在早期的单词学习。建模字收购FERMULEX拓扑结构上的随机行走，我们强调非均匀填充的沟通发展库存（CDIs）。基于一致性的步行者导致准确（75%），精确（55%）和部分回忆良好（34%）的预测早期单词学习的CDIs，提供定量支持以前的实证研究结果和发展理论。
2022-01-13 cs.CL cs.SI
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Calculating Probabilities Simplifies Word Learning
University of Toronto（多伦多大学）
孩子们可以利用他们所处环境的统计数据来学习词义，这种机制被称为跨情境学习。我们采用计算的方法来研究在跨情境框架下，每次观察过程中出现的信息如何影响词义的整体习得。我们通过制定各种即时学习机制来实现这一点，这些机制对环境的不同统计数据（如计数和条件概率）敏感。每种机制都为模型引入了一个独特的竞争或互斥偏差源;最大限度地利用模型对词义的知识的机制表现最好。此外，这种机制与其他机制之间的差距在更具挑战性的学习场景中被放大，例如从很少的例子中学习。
2017-02-22 cs.CL
Fast and Accurate Neural Word Segmentation for Chinese
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）
在中文分词任务中，具有最小特征工程的神经模型取得了与传统方法相媲美的性能。然而，目前的神经模型的训练和工作过程都是计算效率低下的。本文提出了一种贪婪神经分词器，平衡的词和字符嵌入输入，以减轻现有的缺点。我们的分割器是真正的端到端，能够在中国基准数据集上比最先进的神经模型更快甚至更准确地执行分割。
2017-04-24 cs.CL
A Language-agnostic Model of Child Language Acquisition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Computer Science and Engineering, Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）；Department of Linguistics, Macquarie University（麦考瑞大学语言学系）；School of Computing, Macquarie University（麦考瑞大学计算学院）
本研究重新实现英语语义引导儿童语言习得模型以学习希伯来语，发现其虽可迁移但受限于形态丰富性导致学习变慢且鲁棒性降低，未来需利用词汇形式相似性改进。
2024-08-22 cs.AI cs.CL
End-to-End Neural Word Alignment Outperforms GIZA++
Lilt, Inc.（Lilt公司）
单词对齐曾经是自然语言处理中的核心无监督学习任务，因为它在训练统计机器翻译（MT）模型中起着至关重要的作用。虽然词对齐对于训练神经机器翻译模型是不必要的，但是词对齐在神经机器翻译的交互式应用中仍然起着重要的作用，例如注释转移和词典注入。虽然统计机器翻译方法已经被性能优越的神经方法所取代，但二十年前的GIZA++工具包仍然是最先进的单词对齐系统的关键组成部分。之前关于神经单词对齐的工作只能通过在训练过程中使用其输出来超越GIZA++。我们提出了第一个端到端神经单词对齐方法，该方法在三个数据集上的性能始终优于GIZA++。我们的方法重新使用了一个为监督翻译训练的Transformer模型，以一种紧密集成且不影响翻译质量的方式作为一个无监督的单词对齐模型。
2020-04-30 cs.CL
Subword models struggle with word learning, but surprisal hides it
Computational Linguistics, Department of Linguistics（计算语言学系，语言学系）；Bielefeld University（比勒菲尔德大学）
本文通过词汇决策任务发现子词LM在区分词汇与非词上不如字符LM，且两者学习轨迹不同，质疑了子词LM在语言习得建模中的充分性。
2025-06-02 cs.CL
DAG-based Long Short-Term Memory for Neural Word Segmentation
Fudan University（复旦大学）
神经分词由于能够通过预先训练好的字符或词嵌入来减轻特征工程的工作量，并能充分利用外部资源，因此引起了越来越多的研究兴趣。在本文中，我们提出了一个新的神经模型，将词级信息的中文分词。与以往的基于词的模型不同，我们的模型仍然采用了基于字符的序列标记框架，这在推理阶段的有效性和效率上都具有优势。为了利用单词级信息，我们还提出了一种新的基于有向无环图（DAG）的长短期记忆（LSTM）架构。实验结果表明，我们的模型导致更好的性能比基线模型。
2017-07-02 cs.CL
Khmer Text Classification Using Word Embedding and Neural Networks
Techo Startup Center（Techo创业中心）
文本分类是自然语言处理中的基本任务之一，用于标记开放式文本，并且对于诸如情感分析的各种应用是有用的。在本文中，我们讨论了各种分类方法的高棉文本，从一个经典的TF-IDF算法与支持向量机分类器的现代词嵌入为基础的神经网络分类器，包括线性层模型，递归神经网络和卷积神经网络。在3000万高棉词语料库上训练高棉词嵌入模型，以构建用于训练三个不同神经网络分类器的词向量表示。我们评估了不同方法在新闻文章数据集上进行多类和多标签文本分类任务的性能。结果表明，使用词嵌入模型的神经网络分类器始终优于使用TF-IDF的传统分类器。与卷积网络和线性层网络相比，递归神经网络分类器提供稍好的结果。
2021-12-13 cs.CL
Semi-supervised Word Sense Disambiguation with Neural Models
Google（谷歌）
确定文本中单词的预期意义--词义消歧（WSD）--是自然语言处理中的一个长期存在的问题。最近，研究人员已经显示出有前途的结果，使用从神经网络语言模型中提取的词向量作为特征的词义消歧算法。然而，文本中每个词的词向量的简单平均或连接丢失了文本的顺序和句法信息。在本文中，我们使用序列学习神经网络LSTM来研究WSD，以更好地捕获文本的序列和语法模式。为了缓解全词WSD中缺乏训练数据的问题，我们在半监督标签传播分类器中使用相同的LSTM。我们展示了最先进的结果，特别是在动词上。
2016-11-05 cs.CL
Modeling Order in Neural Word Embeddings at Scale
Digital Reasoning Systems, Inc.（数字推理系统公司）
自然语言处理（NLP）系统通常利用词袋共现技术来捕获语义和句法词关系。由此产生的单词级分布式表示通常忽略形态信息，尽管字符级嵌入已被证明对NLP任务很有价值。我们提出了一种新的神经语言模型，在其嵌入的词序和字符顺序。该模型产生了几个向量空间有意义的子结构，证明了其性能的85.8%，最近的单词类比任务，超过最好的发表的句法单词类比分数的58%的误差幅度。此外，该模型包括几种并行训练方法，最值得注意的是允许在3个多核CPU上过夜训练具有1600亿个参数的skip-gram网络，比之前最大的神经网络大14倍。
2015-06-11 cs.CL
Neural Word Segmentation with Rich Pretraining
Singapore University of Technology and Design（新加坡科技设计大学）
神经分词研究通过利用大规模原始文本进行字符和词嵌入的预训练而受益。另一方面，统计分词研究利用了更丰富的外部信息源，如标点符号、自动分词和词性。我们通过构建一个模块化的分词模型，使用丰富的外部资源对最重要的子模块进行预训练，研究了一系列外部训练源对神经分词的有效性。结果表明，这样的预训练显着提高了模型，导致精度竞争的最佳方法在六个基准。
2017-04-28 cs.CL
Neural Network-based Word Alignment through Score Aggregation
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个简单的神经网络字对齐，建立源和目标词窗口表示计算对齐分数的句子对。为了实现无监督训练，我们使用聚合操作来汇总给定目标词的对齐分数。软边目标增加真实目标词的得分，同时减少不存在的目标词的得分。与流行的快速对齐模型相比，我们的方法在英语-捷克语上提高了7 AER的对齐精度，在罗马尼亚语-英语上提高了6 AER，在英语-法语对齐上提高了1.7 AER。
2016-06-30 cs.CL
Early Language Learning via Spreading Activation and Category Exploration in Complex Networks
National Research Council (CNR)（国家研究理事会）
研究儿童词汇习得在语义和词汇类别上是否不均衡，将早期语言学习建模为基于图的搜索，由扩散激活和类别探索驱动，用多种资源评估模型在四种语言上的性能，发现扩散激活表现更好，揭示词汇发展与激活动态及约束的关系。
2026-07-08 cs.CL
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.（达闼科技有限公司）
槽填充是口语语言理解（SLU）和自然语言处理（NLP）中的重要问题，其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法，并将其结合到卷积神经网络（CNN）中。我们考虑了18个单词特征，每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念，我们提出了一种特征集的方法，这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
The Acquisition of a Lexicon from Paired Phoneme Sequences and Semantic Representations
我们提出了一个算法，获取单词（配对的语音形式和语义表示）从较大的话语未分割的音素序列和语义表示。该算法保持从话语到话语只有一个连贯的字典，并学习存在的同音异义词，同义词，和噪音。测试结果超过语料库的话语产生的Childes数据库的母子互动。
1994-07-15 cmp-lg cs.CL
Learning to Learn Words from Visual Scenes
Columbia University（哥伦比亚大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
语言习得是从周围的场景中学习单词的过程。我们引入了一个元学习框架，学习如何从不受约束的场景中学习单词表示。我们利用语言的自然组成结构来创建训练片段，使元学习者学习强大的语言习得策略。在两个数据集上的实验表明，我们的方法能够更快地获取新单词，并更稳健地推广到看不见的成分，显著优于既定的基线。我们的方法的一个关键优势是它是数据高效的，允许从头开始学习表示，而无需语言预训练。可视化和分析表明，视觉信息有助于我们的方法从最少的例子中学习丰富的跨模态表示。项目网页：https://expert.cs.columbia.edu/
2020-07-12 cs.CL cs.CV cs.LG
Convolutional neural networks for chemical-disease relation extraction are improved with character-based word embeddings
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
我们研究了将基于字符的单词表示纳入标准的基于CNN的关系抽取模型。我们使用两种常见的神经架构CNN和LSTM进行实验，以从字符嵌入中学习单词向量表示。通过BioCreative-V CDR语料库上的一项任务，提取化学品和疾病之间的关系，我们表明，利用基于字符的单词表示的模型改进了不使用此信息的模型，获得了相对于以前的神经方法的最先进的结果。
2018-05-27 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Multi-view Recurrent Neural Acoustic Word Embeddings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）
最近的工作已经开始探索神经声学词嵌入-对应于词的任意长度语音片段的固定维向量表示。这种嵌入适用于语音检索和识别任务，其中关于整个单词的推理可以避免模糊的子单词表示。其主要思想是将声学序列映射到固定维度的向量，使得相同单词的示例映射到相似的向量，而不同单词的示例映射到非常不同的向量。在这项工作中，我们采取了多视角的方法来学习声学词嵌入，其中我们共同学习嵌入声学序列和它们对应的字符序列。我们使用深度双向LSTM嵌入模型和多视图对比损失。我们研究了不同损失变量的影响，包括固定保证金和成本敏感损失。我们的声学词嵌入改善了以前的方法的任务，词歧视。我们还提出了其他任务的结果，使多视图的方法，包括跨视图的单词歧视和单词相似性。
2017-03-10 cs.CL
Neural Unsupervised Reconstruction of Protolanguage Word Forms
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种最先进的神经方法来无监督地重建古老的单词形式。在这一领域的先前工作使用期望最大化来预测古代词形式和它们在现代语言中的同源词之间的简单语音变化。我们扩展这项工作的神经模型，可以捕捉更复杂的语音和形态的变化。同时，我们通过在模型中建立单调对齐约束并在最大化步骤中故意欠拟合来保留经典方法的归纳偏差。我们评估了我们的表现重建拉丁语从数据集的同源词在五个浪漫的语言，实现了显着减少编辑距离与以前的方法相比，从目标词的形式。
2022-11-16 cs.CL
Convolutional Neural Network with Word Embeddings for Chinese Word Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列标注的汉语分词框架是一种灵活、高效的分词框架。近年来，许多基于特征的神经网络模型已被应用于CWS。虽然他们取得了很好的成绩，但他们有两个明显的弱点。首先，它们严重依赖于手动设计的bigram特征，即它们不善于自动捕获n-gram特征。第二，他们没有使用完整的单词信息。对于第一个弱点，我们提出了一个卷积神经模型，它能够在没有任何特征工程的情况下捕获丰富的n-gram特征。对于第二个，我们提出了一个有效的方法来整合所提出的模型与词嵌入。我们在两个基准数据集上评估了模型：PKU和MSR。在没有任何特征工程的情况下，该模型获得了有竞争力的性能-在PKU上为95.7%，在MSR上为97.3%。借助词嵌入，该模型在两个数据集上都实现了最先进的性能-在PKU上为96.5%，在MSR上为98.0%，而不使用任何外部标记资源。
2017-11-13 cs.CL
Context-Dependent Word Representation for Neural Machine Translation
Samsung Electronics（三星电子）；University of Montreal（蒙特利尔大学）；New York University（纽约大学）
我们首先观察到神经机器翻译中符号的连续向量表示的潜在弱点。也就是说，符号的连续向量表示或词嵌入向量对相似性的多个维度进行编码，相当于对词的多个含义进行编码。这导致神经机器翻译中的编码器和解码器递归网络需要花费大量的容量来基于由源句子定义的上下文来消除源和目标词的歧义。基于这一观察，在本文中，我们提出了上下文的词嵌入向量使用的非线性袋的词表示的源句子。此外，我们建议用类型化符号表示特殊标记（如数字、专有名词和首字母缩略词），以便于翻译那些不适合通过连续向量翻译的单词。在En-Fr和En-De上的实验表明，本文提出的语境化和符号化方法显著提高了神经机器翻译系统的翻译质量。
2016-07-03 cs.CL
Third-Party Aligner for Neural Word Alignments
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
词对齐是指在源语句和目标语句之间找到语义上对等的词。以前的工作已经证明，自我训练可以实现有竞争力的词对齐结果。在本文中，我们建议使用第三方词对齐器生成的词对齐来监督神经词对齐训练。具体地，当微调预训练的跨语言语言模型时，由第三方对齐器对齐的每个词对的源词和目标词被训练为在上下文化嵌入空间中彼此近邻。在各种语言对的基准测试上的实验表明，我们的方法可以通过找到更准确的词对齐和删除错误的词对齐，从而在第三方监督下进行自我纠正，从而获得比各种第三方词对齐器更好的性能，包括目前最好的一个。当我们整合来自各种第三方对齐器的所有监督时，我们实现了最先进的单词对齐性能，对齐出错率平均比最好的第三方对齐器低两个点以上。我们在https://github.com/sdongchuanqi/Third-Party-Supervised-Aligner上发布了我们的代码。
2022-11-08 cs.CL
