Polysemy in Controlled Natural Language Texts
Institute of Mathematics and Computer Science, University of Latvia(拉脱维亚大学数学与计算机科学研究所)
计算语义学和基于逻辑的受控自然语言(CNL)没有系统地解决实词的词义消歧问题,即,他们倾向于只解释一些对构建话语表征结构至关重要的功能词。我们发现,微本体和多词单元允许整合的丰富和多义的多领域背景知识到CNL,从而提供解释的内容词。该方法通过扩展Attempto控制英语(ACE)与多义和程序结构,从而产生一个更自然的CNL命名为PAO覆盖叙事多域文本。
2015-11-20 cs.CL
Metaphorical Polysemy Detection: Conventional Metaphor meets Word Sense Disambiguation
University of Cambridge(剑桥大学)
语言学家区分了新的和传统的隐喻,NLP中的隐喻检测任务没有考虑到这一区别。相反,隐喻性被公式化为句子中标记的属性,而不管隐喻类型。在本文中,我们探讨了传统的隐喻,以这种方式处理的局限性,并提倡一种替代方案,我们命名为“隐喻多义词检测”(MPD)。在MPD中,只处理常规隐喻性,它是制定为一个词汇的意义属性。我们开发了第一个MPD模型,它学习识别英语WordNet中的传统隐喻。为了训练它,我们提出了一个新的训练过程,结合隐喻检测和词义消歧(WSD)。为了评估,我们手动注释WordNet的两个子集中的隐喻。我们的模型显著优于基于最先进的隐喻检测模型的强大基线,在其中一组上获得了0.78的ROC-AUC得分(与0.65相比)。此外,当与WSD模型配对时,我们的方法在识别文本中的传统隐喻方面优于最先进的隐喻检测模型(.659 F1与.626相比)。
2022-12-16 cs.CL
Analyzing Polysemy Evolution Using Semantic Cells
The University of Tokyo(东京大学)
本文以 Semantic Cells 为演化框架,通过 Spring 的 1000 句序列案例分析,证明按义项演化顺序排列时词语会单调获得多义性。
2024-08-06 cs.AI cs.CL
Resolving Regular Polysemy in Named Entities
National Taiwan University(国立台湾大学)
本文提出组合式 WSD 模型,将专有名称的规则多义形式化为点对象,并结合 CWN 释义与例句,在稀疏数据上同时实现普通名词和专有名词的竞争性消歧效果。
2024-01-18 cs.CL
Linear Algebraic Structure of Word Senses, with Applications to Polysemy
Princeton University(普林斯顿大学)
词嵌入在自然语言处理和信息检索中是普遍存在的,但当词是多义词时,它们表示什么还不清楚。在这里,它表明,多个词的意义驻留在线性叠加内的词嵌入和简单的稀疏编码可以恢复向量,近似捕获的意义。我们的方法的成功,适用于几种嵌入方法,在数学上解释使用随机游走的话语模型的变体(Arora等人,2016年)。我们的技术的一个新颖的方面是,每个提取的词义都伴随着大约2000个“话语原子”,给出了一个简洁的描述,其他词共同出现的词义。话语原子可以是独立的兴趣,并使该方法潜在地更有用。实证检验是用来验证和支持的理论。
2018-12-07 cs.CL cs.LG stat.ML
Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics
George Washington University(乔治华盛顿大学)
研究探讨了词义重叠是否由词汇混淆导致,发现词汇相同但意义不同的情况在模型中表现更显著,影响下游任务性能。
2026-04-01 cs.AI cs.CL
PolyLM: Learning about Polysemy through Language Modeling
University of Cambridge(剑桥大学);University of Waikato(怀卡托大学);University of Chile(智利大学);IMFD(智利数学与计算机科学研究所)
为了避免词嵌入的“意义合并缺陷”,许多模型的目标是嵌入单个词义。这些方法曾经在词义归纳(WSI)等任务上表现良好,但后来被利用上下文嵌入的特定于任务的技术所取代。然而,意义嵌入和语境化并不一定是相互排斥的。我们引入PolyLM,一种将学习感觉嵌入的任务制定为语言建模问题的方法,允许应用上下文化技术。PolyLM基于关于词义的两个基本假设:首先,一个词在给定上下文中出现的概率等于其各个词义出现的概率之和;其次,对于一个词的给定出现,它的一个词义在上下文中往往比其他词义更合理。我们在WSI上对PolyLM进行了评估,结果表明它的性能比以前的意义嵌入技术要好得多,并且与当前最先进的专门WSI方法相匹配,尽管参数少了六倍。代码和预训练模型可在https://github.com/AlanAnsell/PolyLM上获得。
2021-01-25 cs.CL
Geometry of Polysemy
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
词的向量表示预示着NLP中经典问题的转换方法;最流行的例子是word 2 vec。然而,单个向量不足以对许多(频繁)词的多义性质进行建模,即,具有多重含义的单词。在本文中,我们提出了一种无监督多义性建模的三重方法:(a)上下文表示,(b)意义归纳和消歧以及(c)词位(作为词和意义对)表示。我们的工作的一个关键特点是发现,一个句子包含一个目标词是很好地表示一个低秩子空间,而不是一个点在向量空间。然后,我们表明,与目标词的特定意义相关联的子空间往往相交于一条线(一维子空间),我们用它来消除歧义的意义使用聚类算法,利用格拉斯曼几何的表示。消歧算法,我们称之为$K$ -Grassmeans,导致一个过程来标记语料库中目标词的不同含义-产生词素向量表示,所有这些都是以无监督的方式从一个大型的(维基百科)英语语料库开始的。除了几个典型的目标(词,意义)的例子和大量的实证研究,直观和证明各种几何表示,我们验证我们的算法在标准的意义归纳和消歧数据集,并提出新的国家的最先进的结果。
2016-10-24 cs.CL cs.LG stat.ML
Distributional Analysis of Polysemous Function Words
University of Stuttgart(斯图加特大学)
本文对汉语中的虚词多义现象进行了研究。我们采用分布式语义学的框架,通过观察大语料库中的出现上下文来表征词义,原则上可以很好地模拟多义词。然而,由于虚词的高度灵活的使用模式,传统上被认为是不可能进行分布分析的。我们建立的语境化词嵌入,最新一代的分布方法,在这方面提供了希望。以德语反身代词“sich”为例,我们发现,语境化的词嵌入捕捉理论动机的词的意义“sich”的程度上,这些意义是反映系统的语言使用。
2021-01-27 cs.CL
It Means More if It Sounds Good: Yet Another Hypothesis Concerning the Evolution of Polysemous Words
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Institute of Computational Technologies SB RAS(俄罗斯科学院西伯利亚分院计算技术研究所)
这份立场文件探讨了语言的形成,并显示了英语中单词的结构特性与其一词多义之间的联系。使用奥利维尔-利玛窦曲率在一个大的同义词图上估计多义词,它表明经验上的话,可以说是更容易发音也往往有多种含义。
2021-01-07 cs.CL math.MG
Robust Handling of Polysemy via Sparse Representations
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
词是多义的,是多面的,有许多不同的意义。我们建议,稀疏分布式表示比其他常用的(密集)表示更适合表达这些多个方面,目前的类别生成器,一个工作系统,如我们所示,利用稀疏表示来支持多方面的词汇表示。我们认为,集扩展任务是非常适合研究这些意义的区别,因为一个词可能属于多个集合,在每个成员不同的原因。因此,我们展示了类别生成器在此任务上的性能,同时表明我们的表示同时捕获了类似问题,如“埃及的恒河”或“托尔金的伏地魔”。类别生成器被证明是一个更有表现力的词汇表示,并优于密集的表示,如Word2Vec在一些类比类,尽管只显示两个三个输入项。
2018-05-18 cs.AI cs.CL
Children, but not language models, show accelerating returns in word learning
该研究对比儿童与语言模型的词汇学习,发现儿童词汇学习呈加速积累特征,而语言模型则呈现恒定比例回报,且儿童学习所需训练数据远少于语言模型。
2026-08-19 cs.CL
Multi-Sense Language Modelling
University of Southern Denmark(南丹麦大学);Ordbogen A/S(Ordbogen公司);University of Copenhagen(哥本哈根大学)
语言模型的有效性受其标记表示的影响,标记表示必须对上下文信息进行编码并处理具有多个含义(一词多义)的相同单词形式。目前,没有一个公共语言建模架构明确地对多义词进行建模。我们提出了一个语言模型,它不仅预测下一个词,而且还预测它在上下文中的意义。我们认为,这种更高的预测粒度可能是有用的最终任务,如辅助写作,并允许更精确的链接语言模型与知识库。我们发现,多意义的语言建模需要的架构,超越标准的语言模型,并在这里提出了一个结构化的预测框架,分解成一个词的任务,其次是一个意义预测任务。为了帮助意义预测,我们利用了一个图形注意力网络,它对词义的定义和示例使用进行编码。总的来说,我们发现多意义语言建模是一项极具挑战性的任务,并建议未来的工作重点放在创建更多注释的训练数据集上。
2022-06-01 cs.CL
Predicting Word Learning in Children from the Performance of Computer Vision Systems
Princeton University(普林斯顿大学)
本研究通过将计算机视觉系统的表现作为视觉线索学习词汇难度的代理指标,发现儿童习得不同类别词汇的年龄与视觉分类和图像描述系统的表现相关,且超越词频影响,表明模型能捕捉词汇与视觉现象的关系。
2023-09-09 cs.AI cs.CL cs.CV
Towards Using Diachronic Distributed Word Representations as Models of Lexical Development
BITS Pilani, Goa Campus(BITS Pilani 果阿校区)
最近的工作表明,分布式单词表示可以从儿童导向的语音中编码抽象信息。在本文中,我们使用历时分布的词汇表征进行时间建模和儿童词汇发展的分析。与以前的所有工作不同,我们使用时间切片语料库学习分布式单词表示的儿童语音和儿童导向语音下的学习设置。在我们的实验中,我们执行了一个词汇分类任务,以绘制儿童的语义和句法知识获取轨迹。接下来,我们对历时表征变化进行线性混合效应建模,以研究输入词频在儿童词汇习得率中的作用。我们还使用表征相似性分析对成人向儿童的词汇知识转移进行了细粒度分析。最后,我们对该模型的历时表征进行了定性分析,揭示了儿童心理词汇中的背景和词汇联想。我们的实验表明,易于使用和有效性的历时分布式词表示建模词汇发展。
2021-11-26 cs.CL
Word Acquisition in Neural Language Models
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Department of Cognitive Science(认知科学系);Halıcıoğlu Data Science Institute(Halıcıoğlu数据科学研究所)
我们研究了神经语言模型如何在训练过程中获取单个单词,提取学习曲线和MacArthur-Bates沟通发展量表上超过600个单词的获取年龄(Fenson等人,2007年)。借鉴儿童词汇习得的研究,我们评估了LSTM、BERT和GPT-2中词汇习得年龄的多个预测因素。我们发现,具体性,字长和词汇类的影响是有针对性的不同,在儿童和语言模型,加强互动和感觉运动经验在儿童语言习得的重要性。语言模型比儿童更依赖于词频,但像儿童一样,他们在较长的话语中表现出较慢的单词学习。有趣的是,模型在单向和双向模型以及LSTM和Transformer架构的训练过程中遵循一致的模式。模型在训练早期基于unigram标记频率进行预测,然后松散地过渡到bigram概率,最终收敛到更细微的预测。这些结果揭示了儿童分布式学习机制的作用,同时也为语言模型中更像人类的语言习得提供了见解。
2021-10-05 cs.CL
Word learning and the acquisition of syntactic--semantic overhypotheses
Massachusetts Institute of Technology(麻省理工学院)
儿童在学习第一语言时面临着多种归纳问题:如何学习单词的含义,以及如何根据句法规则从这些单词中构建有意义的短语。我们考虑如何儿童可能会解决这些问题,有效地解决他们共同的,通过计算模型,学习语法和语义的多字的话语在一个接地的参考游戏。我们选择了一个经过充分研究的实证案例,在该案例中,儿童意识到将单词的句法和语义属性联系起来的模式--基本名词选择的属性往往与形状相关,而前置形容词往往指的是其他属性,例如颜色。我们发现,儿童应用这种归纳偏见准确地反映了儿童导向的语音统计,并在我们的计算模型中诱导类似的偏见捕捉儿童的行为在一个经典的形容词学习实验。我们的模型结合了这种偏见,也证明了一个明确的数据效率在学习中,相对于一个基线模型,学习没有形成语法敏感的过度假设的词义。因此,解决一个更复杂的联合推理问题可能会使语言习得的整个问题变得更容易,而不是更难。
2018-05-14 cs.CL
To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
University of Lille(里尔大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189 - CRIStAL
本文提出概念归纳任务,通过结合局部词元视角和全局跨词表视角的双层无监督方法,从数据中学习词间软聚类以定义概念,并在SemCor和Word-in-Context任务上验证了其有效性。
2025-11-07 cs.CL
Data augmentation using prosody and false starts to recognize non-native children's speech
Aalto University(阿尔托大学)
本文介绍了AaltoASR的语音识别系统,用于INTERSPEECH 2020共享任务,即针对非母语儿童语音的自动语音识别(ASR)。该任务是从不同年龄组的儿童中识别出有限数量的非母语语音。此外,语音是自发的,有错误的开始转录为部分单词,这在测试转录导致看不见的部分单词。为了应对这两个挑战,我们研究了一种基于数据增强的方法。首先,我们应用基于韵律的数据增强来补充音频数据。其次,我们通过在语言建模语料库中引入部分词噪声来模拟错误启动。在基于韵律的增强数据上训练的声学模型优于使用基线配方或基于SpecAugment的增强的模型。部分词噪声也有助于改进基线语言模型。我们的ASR系统,这些方案的组合,是在评估期内排名第三,并实现了18.71%的字错误率。评估后,我们观察到,增加基于韵律的增强数据的量会导致更好的性能。此外,从假设中去除低置信度分数的单词可以带来进一步的收益。这两项改进将ASR错误率降低到17.99%。
2020-08-29 cs.CL eess.AS
Simplifying Translations for Children: Iterative Simplification Considering Age of Acquisition with LLMs
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学研究所)
本文提出利用大语言模型,根据词汇习得年龄迭代替换译文中的高难度词,以生成适合儿童理解水平的简化翻译,并在保持BLEU和COMET分数的同时有效降低词汇难度。
2024-08-08 cs.CL
How Adults Understand What Young Children Say
Massachusetts Institute of Technology(麻省理工学院);Duke University(杜克大学);University of Chicago(芝加哥大学)
儿童的早期语言通常与成人的语言几乎没有相似之处,但父母和其他照顾者能够解释这种语言并做出相应的反应。在这里,我们调查这些成年人的推理作为听众反映了复杂的信念,孩子们试图沟通,以及如何儿童可能会发音的话。使用贝叶斯框架建模口语单词识别,我们发现,计算模型可以复制成人的解释儿童的讲话,只有当他们包括强大的,特定于上下文的事先预期的消息,儿童会想要沟通。这表明了成人认知过程在支持早期沟通方面的关键作用,并揭示了儿童如何积极促使成人代表他们采取行动,即使他们对成人语言只有初步的理解。我们讨论了第一语言习得理论的成年人强大的听力能力的广泛影响。
2023-03-16 cs.CL
The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations
Facebook AI Research(脸书人工智能研究院);University of Cambridge(剑桥大学)
我们引入了一个新的测试如何以及语言模型捕捉儿童书籍的意义。与标准语言建模基准不同,它将预测句法功能词的任务与预测低频词的任务区分开来,低频词承载更大的语义内容。我们比较了一系列最先进的模型,每个模型都有不同的编码方式。我们发现,模型存储明确表示的长期上下文优于国家的最先进的神经语言模型在预测语义内容的话,虽然这种优势是没有观察到的句法功能词。有趣的是,我们发现编码在单个记忆表征中的文本数量对表现有很大的影响:在单个单词和完整的句子之间有一个甜蜜点,不太大也不太小,它允许文本中最有意义的信息被有效地保留和回忆。此外,这种基于窗口的记忆的注意力可以通过自我监督有效地训练。然后,我们通过将其应用于CNN QA基准来评估该原则的一般性,该基准涉及在新闻文章的释义摘要中识别命名实体,并实现最先进的性能。
2016-04-01 cs.CL
Can Large Language Models (LLMs) Describe Pictures Like Children? A Comparative Corpus Study
Self-Learning Systems Lab, Faculty of Human Sciences, Department of Special Education and Rehabilitation(自主学习系统实验室,人文科学学院,特殊教育与康复系)
本研究通过对比LLM生成文本与德国儿童图片描述语料库,发现LLM虽经少样本提示仍难以复现儿童语言的词汇与语义特征,揭示了LLM在儿童教育工具中的适用性局限。
2025-08-19 cs.CL
On the robustness of modeling grounded word learning through a child's egocentric input
Center for Data Science, New York University(纽约大学数据科学中心);Department of Psychology, New York University(纽约大学心理学系)
本文通过分析儿童自体输入数据,验证了多模态神经网络在 grounded 词学习中的鲁棒性,并揭示了不同儿童经验对学习模式的影响。
2026-01-08 cs.CL
Using Context to Improve Word Segmentation
本文复现并扩展Goldwater等人的unigram与bigram统计切分模型,验证上下文能提升词语切分,并探索幼儿利用已学词语切分新话语的基本机制。
2025-03-13 cs.CL
Multiplex lexical networks reveal patterns in early word acquisition in children
University of Southampton(南安普顿大学);University of Kansas(堪萨斯大学)
语言的网络模型提供了一种将认知过程与语言的结构和连通性联系起来的方法。然而,目前的方法的一个缺点是在同一时间只关注一种类型的语言关系,错过了复杂的多关系的语言性质。在这项工作中,我们克服了这个限制,通过建模的心理词汇的英语幼儿作为一个多元化的词汇网络,即一个多层网络,其中N=529个单词/节点连接根据四种类型的关系:(i)自由协会,(ii)功能共享,(iii)同现,(iv)语音相似性。我们提供分析的拓扑结构所产生的多重,然后继续评估单层以及完整的多重结构,他们的能力来预测经验观察到的年龄的收购数据的讲英语的幼儿。我们发现,新兴的多重网络拓扑结构是一个重要的代理的认知过程中的收购,能够捕捉新兴的词汇结构。事实上,我们表明,多重拓扑结构是从根本上更强大的比单独的层在预测的顺序与收购的话。此外,多重分析允许量化的不同阶段的词汇习得在早期学习者:虽然最初所有的多重层有助于单词学习,约23个月后,自由协会带头驾驶单词习得。
2017-05-26 cond-mat.dis-nn cs.CL cs.LG
Order matters: Distributional properties of speech to young children bootstraps learning of semantic representations
University of California Riverside(加州大学河滨分校)
一些研究者认为,语言的习得主要依赖于对语言输入的体验,而语言输入的复杂程度是递增的。我们开始使用一个简单的递归神经网络(SRN)来测试这个假设,该网络被训练用于预测CHILDES中的单词序列,CHILDES是一个针对儿童的500万单词的语音语料库。首先,我们证明了年龄排序的儿童表现出逐渐增加的语言复杂性。接下来,我们比较了在CHILDES上训练的两组SRN的性能,这两组SRN要么是按年龄排序的,要么不是。具体来说,我们评估了语法和语义结构的学习,并表明,年龄顺序输入的培训有利于语义的学习,但不是顺序结构。我们发现,当模型在去除了话语边界信息的输入上训练时,这种优势就被消除了。
2018-02-02 cs.CL
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University(高丽大学);MediaZen;The Catholic University of Korea(韩国天主教大学);Dankook University(檀国大学)
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音,用于诊断韩语语音障碍,准确率约90%,可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Analyzing language development from a network approach
在本文中,我们提出了一些新的措施,语言的发展,使用网络分析,这是最近的兴趣激增,在许多现实世界的系统的网络研究的启发。本研究将儿童和看护者的言语数据纵向地表示为一系列网络,以词的形式为节点,以词的搭配为连接。对网络性质的测量,如规模、连通性、枢纽和权威分析等,可以让我们进行定量比较,从而揭示不同的发展路径。例如,网络规模和平均程度的发展的不确定性表明,儿童不能简单地通过一两个措施被归类为早说话者或晚说话者。孩子们在多维空间中走不同的路。他们可能在一个维度上发展得更快,但在另一个维度上发展得更慢。网络方法不需要对词进行预处理和对句子结构的分析,词的特征和用法都是从网络中产生的,不依赖于任何语法假设。我们发现,“the”和“a”在网络中作为重要节点的角色变化反映了儿童句法发展的进程:这两个冠词在儿童网络中往往是枢纽,后来转变为权威,而在成人网络中则始终是权威。网络分析为研究语言发展提供了一个新的视角,同时语言发展也为网络理论提供了一个丰富的研究领域。
2006-01-04 cs.CL
Opinion aspect extraction in Dutch childrens diary entries
TNO(荷兰应用科学研究组织)
方面提取可以用于对话系统中,以理解有意见的文本的主题。表达对意见的同情反应可以加强人类与机器人之间的联系。本研究的目的有三:1。为荷兰儿童语言的方面提取和意见词创建新的注释数据集,2.获取该任务的方面提取结果,以及3.改进了荷兰语评论中方面提取的当前结果。这是通过在荷兰餐厅评论数据上训练最初为英语评论数据集开发的深度学习门控递归单元(GRU)模型来完成的,以分类观点词及其各自的方面。我们在荷兰餐厅评论数据集上获得了最先进的性能。此外,我们获得了荷兰儿童数据集的方面提取结果。由于该模型是在标准化语言上训练的,因此这些结果非常有希望。
2019-10-21 cs.CL cs.LG
Prosodic Features from Large Corpora of Child-Directed Speech as Predictors of the Age of Acquisition of Words
University of Edinburgh(爱丁堡大学);Stanford University(斯坦福大学)
儿童习得语言的能力是一个被广泛研究的现象,影响词汇学习速度和模式的因素仍然是一个活跃的研究课题。虽然已经提出了许多模型来预测词汇习得的年龄,但很少强调儿童获得的原始输入。在这项工作中,我们提出了一个比较大规模的多模态语料库的韵律文本对齐的儿童导向语音。我们的语料库包含自动提取的词级韵律特征,我们调查这些信息作为预测年龄的收购的效用。我们表明,韵律功能提高预测能力的正则化回归,并证明他们的效用的背景下,多模态分解语言模型训练和测试儿童导向的语音。
2017-09-27 cs.CL
Using Known Words to Learn More Words: A Distributional Analysis of Child Vocabulary Development
为什么孩子会比别人先学会一些单词?了解儿童个体差异以及词汇差异,可能有助于了解语言学习过程。我们调查了基于项目的变化,在词汇发展中使用的词汇属性的分布统计数据来自一个大型语料库的儿童为导向的语音。与之前的分析不同,我们预测了横截面的单词轨迹,揭示了词汇发展的趋势,这些趋势在单个时间点可能并不明显。我们还表明,无论是在一个单一的年龄组或跨年龄作为一个整体,最好的分布预测一个孩子是否知道一个词是其他已知的单词的数量,该词往往共同出现。关键词:习得年龄;词汇发展;词汇多样性;儿童言语;
2021-11-21 cs.CL stat.OT
Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
De La Salle University(德拉萨大学);National University(国立大学)
正确识别儿童阅读材料的年级是有效学习的重要一步。最近的英语领域可读性评估研究应用了自然语言处理(NLP)中的现代方法,如机器学习(ML)技术来自动化该过程。在对可读性公式建模时,还需要提取正确的语言特征。在菲律宾语的背景下,有限的工作已经完成[1,2],特别是在考虑语言的词汇复杂性作为主要特征。在本文中,我们探讨使用词汇的特点,对提高儿童的可读性识别的发展写在菲律宾语的书籍。结果表明,结合词汇特征(LEX),包括类型标记比,词汇密度,词汇变化,外国单词计数与传统的功能(TRAD),如句子长度,平均音节长度,多音节词,单词,句子和短语计数增加了近5%的利润率(从42%到47.2%)的可读性模型的性能。进一步的分析和排名的最重要的功能,以确定哪些功能贡献最大的阅读复杂性。
2021-01-22 cs.CL cs.LG
Word-Centered Semantic Graphs for Interpretable Diachronic Sense Tracking
University of Zurich(苏黎世大学);TU Dortmund University(多特蒙德技术大学)
本文提出基于词中心语义图的方法,用于可解释地追踪词义随时间的变化,通过整合分布相似性和词汇替代性,揭示多义性动态和意义演变轨迹。
2026-01-29 cs.CL
The optimality of attaching unlinked labels to unlinked meanings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
儿童的词汇学习有许多偏差。当遇到一个新单词时,儿童和成人都倾向于认为它的意思与他们已经知道的单词完全不同。据我们所知,第一数学证明的最优性,这种偏见是在这里。首先,它表明,这种偏见是一个特殊的情况下,最大化的互信息之间的词和意义。第二,最优性证明在一个更一般的信息理论框架内,互信息最大化竞争与其他信息理论的原则。这种偏差是现代信息论的一种预测。信息论原理与对比原理和互斥原理之间的关系也被显示出来。
2016-11-11 cs.CL physics.data-an physics.soc-ph
Can Peter Pan Survive MT? A Stylometric Study of LLMs, NMTs, and HTs in Children's Literature Translation
School of Foreign Studies, Tongji University(同济大学外国语言学院);Language and Translation Technology Team, Ghent University(根特大学语言与翻译技术团队)
本研究从计量文体学角度构建Peter Pan语料库,对比了LLMs、NMTs和HTs在英译中儿童文学翻译中的表现,发现LLMs在创意文本翻译特征上比NMTs更接近HTs,展现出在儿童文学翻译中的潜力。
2025-06-27 cs.CL
Child-directed Listening: How Caregiver Inference Enables Children's Early Verbal Communication
MIT(麻省理工学院);Duke University(杜克大学);University of Chicago(芝加哥大学)
成人如何理解儿童的言语?在语言发展过程中,儿童的发音往往与典型的成人发音几乎没有相似之处,但照顾者仍然可以可靠地从中恢复意义。在这里,我们采用了一套贝叶斯模型的口语单词识别,以了解成人如何克服儿童语言的噪音,表明儿童和成人之间的沟通成功在很大程度上依赖于成人的推理过程。通过对语音注释语料库上的竞争模型进行评估,我们发现,成年人恢复的意义最好由专门适合儿童语言环境的先验期望来预测,而不是典型的成人-成人语言。在量化了这种“儿童导向的听力”在发展过程中的贡献后,我们讨论了语言习得理论的后果,以及对评估儿童语言能力常用方法的影响。
2021-02-09 cs.CL
Assessing the alignment between infants' visual and linguistic experience using multimodal language models
Department of Psychology, Stanford University(心理学系,斯坦福大学);Department of Psychology, University of California, San Diego(心理学系,加州大学圣地亚哥分校);Department of Psychology, Tsinghua University(心理学系,清华大学)
基于多模态语言模型评估婴儿视觉与语言经验一致性,揭示日常学习中视觉与语言对齐的稀有性及跨儿童差异。
2025-11-24 cs.CL cs.CV
The advent and fall of a vocabulary learning bias from communicative efficiency
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
生物符号学是一个在同时存在的两种选择之间做出选择的过程。众所周知,当足够小的孩子遇到一个新单词时,他们倾向于将其解释为指向一个在他们的词典中还没有单词的含义,而不是指向一个已经有单词的含义。在以前的研究中,从信息论的角度来看,该策略被证明是最优的。在这个框架中,口译被假设为由成本函数的最小化驱动:选择最小沟通成本的选项。然而,该研究中采用的信息论模型既不能解释年龄较大的儿童或多语种者词汇学习偏见的减弱,也不能再现Zipf的意义频率定律,即一个词的含义数量与其频率之间的非线性关系。在这里,我们考虑一个推广的模型,是渠道重现该法律。新模型的分析揭示了相空间中的偏差消失的区域与年龄较大的儿童或多语者的偏差的减弱或丧失一致。该模型是抽象的,足以支持未来的研究在其他层面的生活是相关的生物符号学。在深度学习时代,该模型是未来实验研究的透明低维工具,并说明了最初设计用于阐明Zipf秩频定律起源的理论框架的预测能力。
2021-07-20 cs.CL cs.IT math.IT
Non-native Children's Automatic Speech Assessment Challenge (NOCASA)
NOCASA挑战赛旨在评估非母语儿童单词发音,提供TeflonNorL2数据集及SVM与wav2vec 2.0基线模型,后者以36.37%的UAR取得最佳表现。
2025-08-13 cs.CL eess.AS
Deep Learning For Prominence Detection In Children's Read Speech
Indian Institute of Technology Bombay(印度理工学院孟买分校)
从基于语言学知识的声学特征设计到从音高和强度轮廓等超音段属性的自动特征学习,语音中感知显著性的检测吸引了各种方法。相反,我们在这里提出了一个系统,直接操作分段的语音波形学习相关的功能,突出的字检测儿童的口语流利性评估。所选择的CRNN(卷积递归神经网络)框架,结合了词级特征和序列信息,被发现受益于感知激励的SincNet滤波器作为第一个卷积层。我们进一步探讨了在不同的多任务结构下,短语边界和突显的韵律事件之间的语言关联的好处。匹配先前报告的性能在同一数据集上的随机森林合奏预测训练精心挑选的手工制作的声学特征,我们进一步评估可能的互补信息,从手工制作的声学和预先训练的词汇功能。
2021-10-27 cs.CL cs.SD eess.AS
Language Acquisition is Embodied, Interactive, Emotive: a Research Proposal
Boise State University(博伊西州立大学);Department of Computer Science(计算机科学系)
人类对世界的体验从一开始就是深刻的多模态的,那么为什么现有的最先进的语言模型只使用文本作为模态来学习和表示语义呢?在本文中,我们回顾了文学的体现和情感的作用,在互动设置的口语对话作为必要的先决条件,为人类儿童的语言学习,包括如何在儿童词汇主要是具体的,然后转移到变得更加抽象的孩子长大。我们勾勒出一个语义模型,利用当前的transformer为基础的模型和单词级接地模型,然后解释机器人对话系统,将利用我们的语义模型,系统学习语言的设置,和现有的基准评估。
2021-05-10 cs.CL
Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs
ALTA Institute, Department of Engineering, University of Cambridge(ALTA研究所,工程系,剑桥大学)
本文提出将大语言模型与英语词汇画像(EVP)相结合,对二语写作中的单个词进行语境化能力等级评估,实验表明该方法优于基于词性的基线,并能检验EVP等级一致性。
2025-06-03 cs.AI cs.CL
Calculating Probabilities Simplifies Word Learning
University of Toronto(多伦多大学)
孩子们可以利用他们所处环境的统计数据来学习词义,这种机制被称为跨情境学习。我们采用计算的方法来研究在跨情境框架下,每次观察过程中出现的信息如何影响词义的整体习得。我们通过制定各种即时学习机制来实现这一点,这些机制对环境的不同统计数据(如计数和条件概率)敏感。每种机制都为模型引入了一个独特的竞争或互斥偏差源;最大限度地利用模型对词义的知识的机制表现最好。此外,这种机制与其他机制之间的差距在更具挑战性的学习场景中被放大,例如从很少的例子中学习。
2017-02-22 cs.CL
Deep daxes: Mutual exclusivity arises through both learning biases and pragmatic strategies in neural networks
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚高等研究院)
儿童将新奇的词语与新奇的指称物联系起来的倾向被认为反映了一种相互排斥的偏见。这种倾向可能是有利的,因为(1)一个特设的所指选择启发式挑选出缺乏标签的所指和(2)词汇习得的组织原则。本文研究了在什么情况下跨情境神经模型可以表现出类似的行为,以儿童,重点是这两种可能性和它们的相互作用。为此,我们评估神经网络的符号数据,并作为第一,大规模的图像数据。我们发现,在学习和选择的限制可以促进相互排斥,只要他们把词在词汇意义的竞争。对于计算模型,这些研究结果澄清的作用,可用的选项,以更好地执行任务,互斥是有利的。对于认知研究,他们强调了词汇学习,指称选择机制和不同复杂性的刺激结构(符号和视觉)之间的潜在相互作用。
2021-04-01 cs.CL
MEWL: Few-shot multimodal word learning with referential uncertainty
Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Beijing Institute of Technology(北京理工大学);Yangtze Delta Region Academy of Beijing Institute of Technology(北京理工大学长三角研究院)
针对机器类人词汇学习缺乏严格评测的问题,提出MEWL少样本多模态基准,通过九项接地视觉场景任务考察跨情境推理、自举和语用学习,并对比人类表现揭示人机差异。
2023-06-01 cs.AI cs.CL cs.CV
TICL+: A Case Study On Speech In-Context Learning for Children's Speech Recognition
TICL+通过结合语义和音学信息,提升儿童语音识别的准确性和鲁棒性。
2025-12-20 cs.AI cs.CL cs.LG
"Once Upon a Time..." Literary Narrative Connectedness Progresses with Grade Level: Potential Impact on Reading Fluency and Literacy Skills
Mobile Brain(移动脑机构);Bioinformatics Multidisciplinary Environment (BioME), Federal University of Rio Grande do Norte (UFRN)(巴西北里奥格兰德联邦大学生物信息学多学科环境);Árvore(阿沃雷机构);Institute of Psychiatry (IPUB), Federal University of Rio de Janeiro (UFRJ)(里约热内卢联邦大学精神病学研究所)
本研究探索学校文学文本的叙事复杂性随年级的演变,通过词重复图分析1627本文本,发现连贯性呈指数增长(尤其入学前三年),为儿童阅读书籍选择及读写能力培养提供参考。
2025-02-10 cs.CL
Towards Data-Efficient Language Models: A Child-Inspired Approach to Language Learning
College of Engineering, University of Tehran(德黑兰大学工程学院)
本研究提出一种受儿童学习启发的数据高效语言模型训练方法,通过精选儿童导向语料、缩减词表至32,000 tokens并采用 curriculum learning,在部分 benchmarks 上超越 baseline,证明了数据选择与词汇缩放的重要性。
2025-03-06 cs.CL
Learning to Read through Machine Teaching
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Louisiana State University(路易斯安那州立大学)
学会大声朗读单词是成为一名读者的重要一步。许多孩子在这项任务中遇到了困难,因为英语拼写与发音的对应关系不一致。在如何教授这些模式方面,课程有很大的不同。然而,儿童仍需要在有限的时间内(到四年级)掌握这一系统。我们使用了一个认知上有趣的神经网络架构来检验学习试验的序列是否可以被结构化以促进学习。这是一个困难的组合优化问题,即使对于适度数量的学习试验(例如,10K)。我们展示了如何这个序列优化问题可以作为优化随时间变化的分布,即,在训练中的不同步骤定义单词上的概率分布。然后,我们使用随机梯度下降找到一个最佳的时变分布和相应的最佳训练序列。与基线条件(随机序列;词频偏置的序列)相比,我们观察到泛化准确性的显着改善。这些研究结果表明,在性能取决于概括能力超出有限的培训经验的领域,提高学习成果的方法。
2020-07-02 cs.CL cs.LG stat.ML
A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文首次构建完整评估框架,利用分布语义模型检测同义词演变中分化定律与平行变化定律何者占主导,实验表明分化定律更具优势,最佳方法平衡准确率超过0.6。
2023-05-30 cs.CL
Mutual exclusivity as a challenge for deep neural networks
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究)
强烈的归纳偏见使孩子们能够以快速和适应性强的方式学习。孩子们使用互斥性(ME)偏见来帮助消除单词如何映射到所指对象的歧义,假设如果一个对象有一个标签,那么它就不需要另一个标签。在本文中,我们研究了标准神经架构是否具有ME偏差,证明它们缺乏这种学习假设。此外,我们表明,他们的归纳偏见是不匹配的终身学习配方的分类和翻译。我们证明,有一个令人信服的情况下,设计神经网络的原因是相互排斥,这仍然是一个开放的挑战。
2020-10-21 cs.CL cs.LG
WorryWords: Norms of Anxiety Association for over 44k English Words
National Research Council Canada(加拿大国家研究委员会)
WorryWords是首个涵盖超4.4万英语单词的人工推导焦虑关联库,验证了其可靠性,并展示了其在追踪文本焦虑变化及研究焦虑与情绪、儿童词汇习得关系中的应用。
2024-11-06 cs.CL
GASC: Genre-Aware Semantic Change for Ancient Greek
Amazon(亚马逊);University of Warwick(华威大学);University of Helsinki(赫尔辛基大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
单词含义会随着时间的推移而变化,具体取决于语言和语言外因素。将一个词的正确含义与其历史背景相关联是历时研究的核心挑战,并且与一系列NLP任务相关,包括历史文本中的信息检索和语义搜索。贝叶斯模型的语义变化已经成为一个强大的工具,以解决这一挑战,提供明确的和可解释的表示语义变化现象。然而,虽然语料库通常带有丰富的元数据,现有的模型是有限的,他们无法利用上下文信息(如文本体裁)超出文档的时间戳。这一点在古代语言中尤为重要,因为缺乏数据和漫长的历时跨度使得很难明确区分一词多义(一个词有几个意义)和语义变化(获得、失去或改变意义的过程),而目前的系统在这些语言中表现不佳。我们开发了GASC,一个动态语义变化模型,利用关于文本体裁的分类元数据来促进推理,并揭示古希腊语料库中的意义演变。在一个新的评估框架中,与最先进的模型相比,我们的模型实现了更好的预测性能。
2019-06-02 cs.CL cs.LG stat.ML