Unsupervised Word Segmentation with Bi-directional Neural Language Model
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室)
我们提出了一个无监督的分词模型,其中的学习目标是最大限度地提高一个句子的生成概率给定其所有可能的分割。这种生成概率可以以递归方式分解为给定上下文的每个可能片段的可能性。为了更好地捕捉长期和短期的依赖关系,我们建议使用双向神经语言模型,以更好地捕捉段的上下文的功能。两个解码算法也被描述为结合上下文特征从两个方向来生成最终的分割,这有助于调和词边界歧义。实验结果表明,我们的上下文敏感的无监督分割模型实现了国家的最先进的在不同的评估设置对各种数据集的中文,和泰国的可比结果。
2021-03-02 cs.CL
Local word statistics affect reading times independently of surprisal
Northwestern University(西北大学);Duolingo(多邻国公司)
Surprisal理论为理解句子处理中的许多现象提供了一个统一的框架(Hale,2001; Levy,2008 a),假设一个词的条件概率在所有先前的上下文下完全决定了处理难度。对于这种说法,一个局部统计,词频,也被证明会影响处理,即使在给定上下文的条件概率保持不变。在这里,我们要问的是,其他局部统计数据是否在处理中发挥作用,或者词频是否是一个特例。我们提出的第一个明确的证据表明,更复杂的本地统计,字bigram和trigram概率,也影响独立的处理missal。这些研究结果表明,一个显着的和独立的作用,当地的统计数据在处理。此外,它还激发了对新的统计学概括的研究,这些概括也可以解释为什么当地的统计信息会产生巨大的影响。
2021-03-15 cs.CL cs.LG
Unleashing the Multilingual Encoder Potential: Boosting Zero-Shot Performance via Probability Calibration
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出通过概率校准技术修正预训练多语言编码器在完形填空式零样本任务中对高频标签词的预测偏好,并在单语和多语编码器的零样本及少样本场景中验证了该方法能带来显著性能提升。
2023-10-19 cs.CL
Ideogram Based Chinese Sentiment Word Orientation Computation
University of Electro-Communications(电气通信大学)
提出了一种新的中文情感词情感倾向度计算算法。该算法使用汉字,这是一个显着的特点,中文。该算法可以应用于任何情感分类方案。使用所提出的算法来计算词的情感倾向,只需要词本身和预先计算的字符本体,而不是语料库。分析了三个参数对算法性能的影响,并通过实验进行了验证。实验结果表明,该算法的F测度为85.02%,优于现有的基于表意文字的算法。
2011-10-19 cs.CL
Contextual Aware Joint Probability Model Towards Question Answering System
Stanford University(斯坦福大学)
在本文中,我们解决了SQuAD 2.0数据集的问答挑战。我们设计了一个模型架构,利用BERT的上下文感知的词嵌入和Bioblog的上下文交互式探索机制的能力。通过整合这两个国家的最先进的架构,我们的系统试图提取上下文单词表示在单词和字符的水平,更好地理解问题和上下文及其相关性。我们还提出了我们原来的联合后验概率预测模块及其相关的损失函数。到目前为止,我们最好的模型在测试PCE排行榜上获得了75.842%的F1分数和72.24%的EM分数。
2019-04-17 cs.AI cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);National Institute of Information and Communications Technology(信息通信研究机构)
数据增强是神经机器翻译(NMT)中通过生成额外的双语数据来提高性能的一种有效方法。在本文中,我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同,我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索,以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明,我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Gaussian Word Embedding with a Wasserstein Distance Loss
Fudan University(复旦大学)
与基于点表示的词嵌入相比,基于分布的词嵌入在表达不确定性时表现出更大的灵活性,因此在表示词时嵌入了更丰富的语义信息。Wasserstein距离提供了一个自然的概念与概率测度的不相似性,并在测量两个高斯分布之间的距离时有一个封闭形式的解决方案。因此,为了以高效的方式表示单词,我们提出了一种基于Wasserstein距离的损失函数的高斯词嵌入模型。此外,来自ConceptNet的外部信息将用于半监督高斯词嵌入的结果。本文将评估来自单词相似性任务的13个数据集,以及来自单词蕴涵任务的1个数据集和来自下游文档分类任务的6个数据集,以验证我们的假设。
2018-09-01 cs.CL
Probing neural language models for understanding of words of estimative probability
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);KU Leuven(鲁汶大学)
本研究通过构建提示和概率推理数据集,测量神经语言模型捕捉概率估计词共识概率水平及组合推理的能力,发现现成模型无法解决这些任务,但微调能带来可迁移的改进。
2023-06-25 cs.AI cs.CL
Unsupervised Separation of Transliterable and Native Words for Malayalam
Queen’s University Belfast(贝尔法斯特女王大学)
区分固有语言词和可译词是辅助涉及不同自然语言的文本处理任务的关键步骤。我们考虑的问题,无监督的分离的可音译的话,从母语的文字在马拉雅拉姆语。概述了一个关键的观察字符的多样性超出词干,我们开发了一种优化方法来评分的基础上,他们的原生词。我们的方法依赖于使用的概率分布在字符n-gram中,在迭代优化公式中与原生评分的步骤中进行细化。使用实证评估,我们说明,我们的方法,DTIM,提供了显着的改善,马拉雅拉姆语的本土得分,建立DTIM作为任务的首选方法。
2018-03-26 cs.CL
Similarity-Based Estimation of Word Cooccurrence Probabilities
在自然语言处理的许多应用中,有必要确定给定单词组合的可能性。例如,语音识别器可能需要确定“吃桃子”和"吃海滩“这两个单词组合中的哪一个更可能。统计NLP方法根据训练语料库中单词组合的频率来确定单词组合的可能性。然而,语言的本质是,许多单词组合是罕见的,不会出现在给定的语料库中。在这项工作中,我们提出了一种方法来估计这种以前看不见的单词组合的概率,使用现有的信息“最相似”的话。我们描述了一个概率词关联模型的基础上分布的词相似性,并将其应用于改进的概率估计看不见的词bigrams在卡茨的退避模型的一个变体。基于相似性的方法在预测看不见的二元组和统计上显着减少语音识别错误方面产生了20%的困惑改善。
1994-05-02 cmp-lg cs.CL
A Geometric Method to Obtain the Generation Probability of a Sentence
Nanjing Normal University(南京师范大学)
“如何生成句子”是所有自然语言处理技术中最关键也是最困难的问题。本文从数学的角度提出了一种新的解释句子生成过程的方法。我们的方法是基于这样一个前提,即在我们的大脑中,一个句子是由许多单词节点形成的单词网络的一部分。实验表明,通过单个词的概率和词对的共现概率可以得到整个句子的概率,这表明人类使用合成方法来生成句子。
2014-06-04 cs.AI cs.CL math.ST
Learning to Compute Word Embeddings On the Fly
ElementAI(元素人工智能公司);MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学);Jagiellonian University(雅盖隆大学);DeepMind(深度思维公司);Facebook AI Research(脸书人工智能研究院)
自然语言中的词遵循齐普夫分布,即一些词是频繁的,但大多数是罕见的。学习这种分布的“长尾”中的单词的表示需要大量的数据。直接在终端任务上训练的稀有单词的表示通常很差,需要我们在外部数据上预训练嵌入,或者将所有稀有单词视为具有唯一表示的词汇表外单词。我们提供了一种方法,用于从少量辅助数据中动态预测稀有词的嵌入,并为下游任务训练端到端的网络。我们表明,这改善了基线的结果,其中嵌入是在阅读理解,识别文本蕴涵和语言建模的最终任务上训练的。
2018-03-07 cs.CL cs.LG
Modeling the Unigram Distribution
University of Cambridge(剑桥大学);Harvard University(哈佛大学);MPI for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所);HSE University(高等经济大学);ETH Zürich(苏黎世联邦理工学院)
unigram分布是在语料库中找到特定单词形式的非上下文概率。虽然对语言研究至关重要,但它通常近似于语料库中每个单词的样本频率。这种方法高度依赖于样本大小,对任何词汇表外(oov)单词形式分配零概率。因此,它产生负偏置的概率为任何oov词的形式,而正偏置的概率为语料库中的词。在这项工作中,我们主张正确建模的unigram分布-声称它应该是自然语言处理的中心任务。考虑到这一点,我们提出了一个新的模型来估计它的语言(戈德华特等人的神经化。的(2011)模型),并表明它在7种语言的不同集合中产生了比单纯使用神经字符级语言模型更好的估计。
2021-06-04 cs.CL
Neural or Statistical: An Empirical Study on Language Models for Chinese Input Recommendation on Mobile
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
中文输入推荐对于减轻中文输入的人工成本具有重要作用,特别是在移动应用场景中。基本问题是预测给定前一个单词序列的下一个单词的条件概率。因此,统计语言模型,即~基于n-gram的模型已经在实际应用中被广泛用于该任务。然而,极端不同的打字行为的特性通常会导致严重的稀疏性问题,即使是平滑的n-gram也会失败。解决这个问题的一个合理的方法是使用最近提出的神经模型,如概率神经语言模型,递归神经网络和word 2 vec。他们可以利用语义上更相似的单词来估计概率。然而,这两种方法中的哪一种在实际应用中更好,还没有结论。在本文中,我们进行了广泛的实证研究,以显示统计和神经语言模型之间的差异。实验结果表明,两种不同的方法各有优势,混合方法将带来显着的改善。
2019-07-09 cs.CL
Word forms - not just their lengths- are optimized for efficient communication
University of California, Berkeley(加州大学伯克利分校)
一个词的长度和它的使用频率之间的反比关系,最早由G. K. Zipf在1935年提出,是一个经典的经验法则,适用于各种人类语言。我们证明,长度是一个更普遍的属性的一个方面的话:他们是如何独特的相对于其他词在一种语言。区别性在识别流利语音中的单词中起着关键作用,因为它反映了在为模糊信号选择最佳候选时潜在竞争者的实力。语音信息量是在一种语言的声音或字符序列的统计模型下对单词的字符串概率的测量,它简明地捕捉了独特性。通过对13种语言的大规模语料库的分析,我们发现独特性在预测频率方面明显优于字长。这一发现提供了证据表明,听众的处理限制形状细粒度方面的词的形式跨越语言。
2017-05-31 cs.CL
Optimal word order for non-causal text generation with Large Language Models: the Spanish case
University of Vigo(维戈大学)
本文针对单向因果LLM可能不适应自由词序语言的问题,提出基于Viterbi算法的最大似然词序估计方法,并通过西班牙语实验比较非因果与因果生成顺序。
2025-02-20 cs.CL
How Well Does First-Token Entropy Approximate Word Entropy as a Psycholinguistic Predictor?
The Ohio State University(俄亥俄州立大学);New York University(纽约大学)
本研究针对首词元熵近似单词熵存在低估与偏差的问题,提出允许单词含可变词元数的蒙特卡洛单词熵估计法,实验发现二者与阅读时长的回归结果有差异,提示使用首词元近似语境熵需谨慎。
2025-07-29 cs.CL
Contextual Word Representations: A Contextual Introduction
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
这篇介绍旨在讲述我们如何将文字输入计算机的故事。它是人工智能的一个分支自然语言处理(NLP)领域故事的一部分。它的目标受众广泛,对计算机编程有基本的了解,但避免了详细的数学处理,也没有提出任何算法。它也不关注NLP的任何特定应用,如翻译,问答或信息抽取。这里提出的想法是由许多研究人员在几十年中发展起来的,所以引用并不详尽,而是引导读者阅读一些论文,在作者看来,这些论文是开创性的。阅读本文档后,您应该对词向量(也称为词嵌入)有一个大致的了解:它们为什么存在,它们解决了什么问题,它们来自哪里,它们如何随着时间的推移而变化,以及关于它们的一些开放性问题是什么。对于已经熟悉词向量的读者,建议跳到第5节来讨论最新的进展,上下文词向量。
2020-04-17 cs.CL
Truncation Sampling as Language Model Desmoothing
Stanford University(斯坦福大学)
来自神经语言模型的长文本样本的质量可能很差。截断抽样算法--如top- $p$或top- $k$ --通过在每一步将某些单词的概率设置为零来解决这个问题。这项工作提供了框架的截断的目的,并为该目的的改进算法。我们建议将神经语言模型视为真实分布和平滑分布的混合物,以避免无限的困惑。在这种情况下,截断算法的目的是执行去平滑,估计真实分布的支持度的子集。找到一个好的子集是至关重要的:我们表明,顶级$p$不必要地截断高概率的话,例如,导致它截断所有的话,但特朗普的文件开始与唐纳德。我们引入了$η$ -采样,它截断低于熵相关概率阈值的单词。与以前的算法相比,$η$ -sampling生成更合理的长英文文档根据人类,是更好地打破重复,并表现出更合理的电池上的测试分布。
2022-10-27 cs.CL
Language Model Behavioral Phases are Consistent Across Architecture, Training Data, and Scale
Department of Brain and Cognitive Sciences, MIT(麻省理工学院脑科学与认知科学系);MIT Libraries CREOS(麻省理工学院图书馆 CREOS);Deparmtent of Cognitive Science, UCSD(加州大学圣地亚哥分校认知科学系)
该研究通过分析超1400个不同架构、数据集、规模的语言模型检查点,发现预训练中行为变化模式高度一致,词级行为方差98%可由三类启发式规则解释,且存在一致行为阶段,表明神经语言模型学习轨迹具有共性。
2025-10-28 cs.CL
Leveraging Sentiment to Compute Word Similarity
在本文中,我们介绍了一种新的基于WordNet的相似性度量,SenSim,它包含情感内容(即,积极或消极情绪的程度)来测量它们之间的相似性。所提出的度量是基于这样的假设,即知道的情绪是有益的,在测量的相似性。为了验证这一假设,我们测量并比较了两种注释策略的注释者一致性:1)注释时考虑一对词的情感信息,2)注释时不考虑一对词的情感信息。注释者之间的相关性分数表明,当两个注释者考虑情感信息,同时为一对单词分配相似性分数时,协议更好。我们使用这个假设来衡量一对词之间的相似性。具体来说,我们将每个单词表示为一个向量,该向量包含该单词意义的WordNet注释中所有内容单词的情感得分。这些情感得分是从情感词典中导出的。然后,我们测量两个向量之间的余弦相似性。我们执行的SenSim的内在和外在的评价和比较性能与其他广泛使用的WordNet相似性指标。
2012-09-18 cs.CL cs.IR
Quantum Visual Word Sense Disambiguation: Unraveling Ambiguities Through Quantum Inference Model
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
本文提出量子推理模型用于视觉词义消歧,通过量子叠加态缓解语义偏见,实验显示优于经典方法,尤其利用大语言模型非专业词义提升性能。
2025-12-31 cs.CL quant-ph
Analyzing Effect of Repeated Reading on Oral Fluency and Narrative Production for Computer-Assisted Language Learning
Indian Institute of Information Technology, Allahabad(印度理工学院安拉阿巴德分校)
重复阅读(RR)可以帮助那些几乎没有流利阅读经验的学习者获得自信,速度和自动处理单词。重复阅读的好处包括帮助所有学习者回忆事实,帮助识别学习者的主要思想和词汇,提高理解力,加快阅读速度,提高单词识别的准确性,并帮助学习者从逐字阅读过渡到更有意义的措辞。因此,叙述性语言最终有助于提高学习者的口语流利性和叙述性产出。然而,有没有开放的音频数据集提供的口头回应的学习者的基础上,他们的RR实践。因此,在本文中,我们提出了我们的数据集,讨论其属性,并提出了一种方法来评估口语流利性和叙事生产的英语学习者使用声学,韵律,词汇和句法特征。结果表明,计算机辅助语言学习系统可以用来评估学习者口语流利性和叙述性产出的提高。
2020-06-25 cs.CL
Methods to integrate a language model with semantic information for a word prediction component
Université François Rabelais de Tours(图尔弗朗索瓦·拉伯雷大学);Laboratoire d’Informatique (LI)(计算机实验室(LI))
目前的词预测系统大多使用n元语言模型(LM)来估计短语中后续词的概率。在过去的几年中,已经有许多尝试来用进一步的句法或语义信息来丰富这样的语言模型。我们想探索潜在语义分析(LSA)的预测能力,这种方法已被证明可以提供有关上下文中单词之间长距离语义依赖关系的可靠信息。我们在这里提出并评估几种方法,集成基于LSA的信息与标准的语言模型:语义缓存,部分重新排序,和不同形式的插值。我们发现,与4-gram基线相比,所有方法都显示出显着的改进,其中大多数方法也适用于简单的缓存模型。
2008-01-30 cs.CL
Topic2Vec: Learning Distributed Representations of Topics
Nanjing University(南京大学)
潜在狄利克雷分配(LDA)挖掘文档主题结构在自然语言处理和机器学习领域有着重要的应用。然而,LDA的概率分布仅描述了语料库中出现的统计关系,并且通常在实践中,概率不是特征表示的最佳选择。最近,已经提出了通过学习基本概念和表示来表示单词和文档的嵌入方法,例如Word2Vec和Doc2Vec。嵌入式表示在许多任务中表现出比LDA风格表示更有效的效果。在本文中,我们提出了Topic2Vec方法,它可以学习主题表示在相同的语义向量空间的话,作为一种替代概率。实验结果表明,Topic2Vec取得了有趣和有意义的结果。
2015-06-28 cs.CL cs.LG
Segmenting DNA sequence into `words'
Tencent(腾讯);SOSO(搜搜);Hong Kong Baptist University(香港浸会大学)
提出了一种基于n-gram统计语言模型的DNA序列分割/解码方法。首先,我们通过对12个模式物种的基因组进行分析,发现大多数DNA“单词”的长度为12 - 15 bp。然后,我们设计了一个无监督的基于概率的方法来分割的DNA序列。提出了分割方法的基准。
2013-06-22 cs.CL q-bio.GN
On Minimum Word Error Rate Training of the Hybrid Autoregressive Transducer
Microsoft Corp.(微软公司)
混合自回归转换器(HAT)是最近提出的一种端到端声学模型,它扩展了标准的递归神经网络转换器(RNN-T),用于外部语言模型(LM)融合。在HAT中,使用两个单独的概率分布来估计空白概率和标签概率,这为内部LM分数估计提供了更准确的解决方案,因此在与外部LM组合时效果更好。以前的工作主要集中在负对数似然损失的HAT模型训练,而在本文中,我们研究了HAT的最小字出错率(MWER)训练-一个标准,更接近于语音识别的评价指标,并已成功地应用于其他类型的端到端模型,如序列到序列(S2 S)和RNN-T模型。从大约30,000小时的训练数据的实验中,我们表明MWER训练可以提高HAT模型的准确性,同时,提高模型对解码超参数的鲁棒性,如长度归一化和解码波束。
2021-03-26 cs.CL eess.AS
Similarity-Based Models of Word Cooccurrence Probabilities
在自然语言处理(NLP)的许多应用中,需要确定给定单词组合的可能性。例如,语音识别器可能需要确定“吃桃子”和"吃海滩“这两个单词组合中的哪一个更可能。统计NLP方法根据训练语料库中单词组合的频率来确定单词组合的可能性。然而,语言的本质是,许多单词组合是罕见的,不会出现在任何给定的语料库。在这项工作中,我们提出了一种方法来估计这种以前看不见的单词组合的概率,使用现有的信息“最相似”的话。我们描述了基于分布词相似度的概率词关联模型,并将其应用于两个任务,语言建模和伪词消歧。在语言建模任务中,使用基于相似性的模型来改进退避语言模型中的不可见二元组的概率估计。基于相似性的方法在预测看不见的二元组和统计上显着减少语音识别错误方面产生了20%的困惑改善。我们还比较了四个基于相似性的估计方法对回退和最大似然估计方法的伪词义消歧任务,在该任务中,我们控制了一元和二元频率,以避免给予太多的权重,易于消除歧义的高频配置。基于相似性的方法在这一特定任务上的性能提高了40%。
1998-09-27 cs.AI cs.CL cs.LG
Conceptualization Topic Modeling
Beijing Institute of Technology(北京理工大学);South China University of Technology(华南理工大学)
近年来,主题建模被广泛用于发现文本语料库中的抽象主题。现有的主题模型大多是基于三层贝叶斯结构的假设,即每个文档被建模为主题上的概率分布,每个主题是词上的概率分布。然而,这个假设并不是最优的。直观地说,假设每个主题是概念上的概率分布,然后每个概念是词上的概率分布,即在传统的三层假设中在主题层和词层之间增加一个潜在的概念层,这是更合理的。在本文中,我们验证了所提出的假设,将新的假设在两个代表性的主题模型,并获得两个新的主题模型。实验结果表明,新模型在案例分析和困惑度方面都明显优于基线模型,说明新假设比传统假设更合理。
2017-04-07 cs.CL cs.IR
Distinct word length frequencies: distributions and symbol entropies
我们将使用两种方法来分析一种语言的词汇中不同单词的频率计数在长度上的分布。第一,将着眼于几种语言的经验分布,并得出一个合理解释不同单词数量作为长度函数的分布。我们将能够根据字母和空格的边际概率导出频率计数、平均字长和字长的方差。第二部分是基于信息论,证明了条件熵也可以用来估计语言中给定长度的不同词的频率。此外,它将显示如何这些技术也可以应用于估计高阶熵使用词汇字长。
2012-07-15 cs.CL physics.data-an
Hierarchical Density Order Embeddings
Cornell University(康奈尔大学);Ithaca, NY 14850, USA(美国纽约州伊萨卡市)
概率词嵌入通过用概率密度而不是点向量来表示词,可以捕获丰富的、可解释的语义信息和不确定性。不确定性信息在捕获蕴涵关系时可能特别有意义--由此,诸如“实体”之类的一般词对应于包含诸如“动物”或“仪器”之类的更具体词的广泛分布。我们引入密度顺序嵌入,通过封装概率密度来学习层次表示。特别是,我们提出了简单而有效的损失函数和距离度量,以及基于图形的计划来选择负样本,以更好地学习分层密度表示。我们的方法在WordNet上位词关系预测任务和具有挑战性的HyperLex词汇蕴涵数据集上提供了最先进的性能-同时保留了丰富且可解释的密度表示。
2018-04-26 cs.AI cs.CL cs.LG
Language Models Explain Word Reading Times Better Than Empirical Predictability
University of Wuppertal(伍珀塔尔大学);Universität Hamburg(汉堡大学);International Psychoanalytic University(国际精神分析大学);University of Exeter(埃克塞特大学);The University of Sydney(悉尼大学);McGill University(麦吉尔大学);Washington University in St. Louis(圣路易斯华盛顿大学);Indiana University(印第安纳大学)
尽管人们普遍认为字长和频率是决定心理词典视觉拼写访问的最重要的单字特征,但对于如何最好地捕捉句法和语义因素,人们的共识较少。认知阅读研究的传统方法认为,从句子语境中预测单词的最佳方法是从人的表现数据中推导出的完形填空概率。我们回顾了最近的研究表明,概率语言模型提供更深入的解释句法和语义的影响比CCP。然后,我们比较了CCP与(1)符号n-gram模型通过计算一个词出现的概率来巩固句法和语义的短程关系,给定两个前面的词。(2)主题模型依赖于子符号表示,以捕捉长期的语义相似度的词共现计数的文件。(3)在递归神经网络(RNN)中,子符号单元被训练来预测下一个单词,给定句子中所有前面的单词。为了检查词汇检索,这些模型被用来预测单固定持续时间和凝视持续时间,以捕捉快速成功和标准的词汇访问,和总观看时间捕捉后期语义整合。线性项目水平分析显示,所有语言模型与所有眼动测量的相关性大于CCP。然后,我们研究了不同类型的可预测性和阅读时间之间的非线性关系,使用广义加性模型。与主题模型或CCP相比,当前单词的N-gram和RNN概率更一致地预测阅读成绩。
2022-02-02 cs.AI cs.CL
Backward and Forward Language Modeling for Constrained Sentence Generation
Peking University(北京大学);Baidu Inc.(百度公司)
最近的语言模型,特别是那些基于递归神经网络(RNN),使得有可能从学习的概率生成自然语言。语言生成具有广泛的应用,包括机器翻译、摘要、问答、会话系统等。现有方法通常学习以附加信息为条件的单词的联合概率,该附加信息(静态或动态地)被馈送到RNN的隐藏层。在许多应用中,我们可能会对生成的文本施加硬约束,即,一个特定的词必须出现在句子中。不幸的是,现有的方法不能解决这个问题。在本文中,我们提出了一种新的向后和向前语言模型。提供一个特定的单词,我们使用RNN同时或异步地生成以前的单词和将来的单词,从而产生两个模型变体。这样,给定的单词可以出现在句子中的任何位置。实验结果表明,生成的文本质量与序列LM相当。
2016-01-03 cs.CL cs.LG cs.NE
Document Classification Using a Finite Mixture Model
我们提出了一种新的方法来分类文件到类别。对基于词的类别分布进行假设检验的简单方法受到数据稀疏问题的影响。为了解决这个困难,Guthrie等人已经开发了一种使用基于词的硬聚类的分布的方法,即,其中将单词分配给单个簇,并且统一处理同一簇中的单词。然而,这种方法可能会降低分类结果,因为它使用的分布并不总是足够精确,无法表示类别之间的差异。我们在这里建议使用软聚类的话,即,其中一个单词可以被分配到几个不同的簇,并且每个簇的特征在于特定的单词概率分布。我们为每个文档类别定义了一个有限混合模型,它是聚类概率分布的线性组合。因此,我们对待的问题进行统计假设检验有限混合模型的文件分类。为了完成这一测试,我们采用EM算法,这有助于有效地估计参数的有限混合模型。实验结果表明,该方法不仅优于基于硬聚类的分布方法,而且优于基于词分布的方法和基于余弦相似度的方法。
1997-05-06 cmp-lg cs.CL
Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood
The University of Tokyo(东京大学)
在本文中,我们提出了一种新的信息准则为基础的方法来选择的维度的字2vec跳图(SG)。从概率论的角度出发,在假设词之间存在真实的上下文分布的前提下,SG被认为是一种隐含的概率分布估计。因此,我们应用信息准则,目的是选择最佳的维数,使相应的模型可以尽可能接近真实的分布。我们研究了以下信息标准的维度选择问题:赤池信息标准,贝叶斯信息标准,序列归一化最大似然(SNML)标准。SNML是在最小描述长度的基础上对数据序列进行顺序编码所需的总代码长度。将该方法应用于原始SG模型和SG负采样模型,以阐明使用信息准则的思想。此外,由于原始SNML存在计算上的缺点,我们引入了新的算法来提高计算效率。此外,我们的经验表明,SNML优于BIC和AIC。与其他词嵌入评价方法相比,SNML选择的维度更接近于词类比或词相似性任务的最优维度。
2020-08-25 cs.CL cs.LG stat.ML
Entropy analysis of word-length series of natural language texts: Effects of text language and genre
University of Athens(雅典大学);NCSR Demokritos(德谟克利特国家科学研究中心);Institute for Language and Speech Processing(语言与言语处理研究所)
我们估计了自然语言文本在字长表示中的$n$ -gram熵,发现这些熵对文本语言和体裁敏感。我们将这种敏感性归因于单个单词长度的概率分布的变化,并强调单词长度在5到10之间的概率的均匀性的关键作用。此外,与混洗数据的熵的比较揭示了估计的$n$ -gram熵的字长相关性的影响。
2014-01-17 cs.CL physics.data-an
Graph-Stega: Semantic Controllable Steganographic Text Generation Guided by Knowledge Graph
Tsinghua University(清华大学)
现有的文本生成隐写方法大多是基于在生成过程中对每个词的条件概率分布进行编码,然后根据秘密信息选择特定的词,从而实现信息隐藏。这些方法有其局限性,可能带来潜在的安全风险。首先,随着嵌入率的增加,这些模型会选择条件概率较低的词,从而降低生成隐写文本的质量;其次,它们无法控制最终生成的隐写文本的语义表达。本文提出了一种新的文本生成隐写方法,这是一个安静的不同于现有的模型。我们使用一个知识图谱(KG)来指导隐写语句的生成。一方面,我们通过对知识图谱中的路径进行编码来隐藏秘密信息,而不是每个生成词的条件概率;另一方面,我们可以在一定程度上控制生成隐写文本的语义表达。实验结果表明,该模型在保证生成文本质量的同时,也保证了文本的语义表达,是对当前文本生成隐写术的补充和改进。
2020-06-02 cs.CL cs.CR
Information-Weighted Neural Cache Language Models for ASR
KU Leuven(鲁汶大学)
神经缓存语言模型(LM)扩展了常规缓存语言模型的思想,使缓存概率依赖于当前上下文与缓存中单词上下文之间的相似性。我们做了一个广泛的比较“常规”缓存模型与神经缓存模型,无论是在困惑和WER重新评分后的第一遍ASR结果。此外,我们提出了两个扩展的神经缓存模型,利用的内容值/信息权重的字:首先,结合缓存概率和LM概率与信息加权插值,其次,选择性地只添加内容的话到缓存。相对于WikiText-2数据集上的基线LSTM LM,我们获得了29.9%/32.1%(验证/测试集)的困惑度相对改善,优于之前在神经缓存LM上的工作。此外,我们观察到显着WER减少相对于基线模型的WSJ ASR任务。
2018-09-24 cs.CL cs.LG
Information-theoretical analysis of the statistical dependencies among three variables: Applications to written language
Centro Atómico Bariloche(巴里洛切原子中心);Instituto Balseiro(巴尔塞罗研究所)
我们开发了研究三个变量之间的统计依赖关系所需的信息理论概念。其中一些依赖关系是纯粹的三重相互作用,从某种意义上说,它们不能用成对相关性的组合来解释。我们推导出三重依赖的界限,并描述了三个二元变量的联合概率分布的形状与高三重相互作用。该分析还允许我们量化变量对之间的互信息中的冗余量,并评估两个变量之间的信息是否由第三个变量介导。这些概念适用于书面文本的分析。我们发现,一个给定的单词被发现在一个特定的位置内的文本的概率不仅调制的存在或不存在的其他附近的话,但也,对存在或不存在的附近的单词对。我们确定的话包围的关键语义概念的文本,高成对和三重相互作用的三元组的话,和调解其他词之间的成对相互作用的话。
2015-07-30 cs.CL physics.data-an physics.soc-ph
PairConnect: A Compute-Efficient MLP Alternative to Attention
Rice University(莱斯大学)
Transformer模型在自然语言处理方面表现出了优越的性能。Transformer中的点积自我注意力使我们能够对单词之间的交互进行建模。然而,这种建模伴随着显著的计算开销。在这项工作中,我们重新审视了与Transformer相关的内存-计算权衡,特别是多头注意力,并显示了一个内存繁重但计算效率更高的替代方案Transformer。我们的建议,表示为PairConnect,多层感知器(MLP),模型的两两之间的相互作用,明确的两两词嵌入。因此,PairConnect用一个简单的嵌入查找代替了自点积。我们在数学上表明,尽管是一个MLP,我们的计算效率PairConnect严格比Transformer更有表现力。我们在语言建模任务上的实验表明,PairConnect可以实现与Transformer相当的结果,同时显著降低与推理相关的计算成本。
2021-06-15 cs.CL cs.LG
Compressing Neural Language Models by Sparse Word Representations
Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学)
神经网络是用于语言建模的最先进的技术之一。现有的神经语言模型通常将离散单词映射到分布式的密集向量表示。在通过隐藏层对前面的上下文单词进行信息处理之后,输出层估计下一个单词的概率。由于用于词嵌入和输出层的大量参数,这种方法是时间和内存密集型的。在本文中,我们提出了压缩神经语言模型的稀疏词表示。在实验中,我们的模型中的参数的数量增加非常缓慢的词汇量的增长,这是几乎察觉不到的。此外,我们的方法不仅减少了参数空间在很大程度上,但也提高了性能方面的困惑措施。
2016-10-13 cs.CL cs.LG
Stochastic model for the vocabulary growth in natural languages
Max Planck Institute for the Physics of Complex Systems(马克斯·普朗克复杂系统物理研究所)
我们提出了一个随机模型,在一个给定的数据库中,它结合了对数据库大小和历史变化的依赖不同的单词的数量。我们的模型的主要特点是存在两类不同的词:(i)有限数量的核心词,具有较高的频率,并不影响一个新词被使用的概率;(ii)剩余的几乎无限数量的非核心词,具有较低的频率,一旦使用,降低了一个新词在未来被使用的概率。我们的模型依赖于仔细分析的google-ngram数据库的书籍出版在过去的几个世纪,其主要后果是推广的Zipf和堆的法律两个缩放制度。我们确认,这些概括产生最好的简单描述的数据之间的通用描述性模型和两个自由参数只依赖于语言,但不依赖于数据库。从我们的模型的角度来看,历史时间尺度上的主要变化是有限的核心词列表中包含的特定词的组成,我们观察到这些词在时间上呈指数衰减,英语每年约有30个词。
2013-04-04 cs.CL physics.data-an physics.soc-ph
The role of grammar in transition-probabilities of subsequent words in English text
Medical University of Vienna(维也纳医科大学);Complexity Science Hub Vienna(维也纳复杂科学中心);Santa Fe Institute(圣塔菲研究所);IIASA(国际应用系统分析研究所)
句子的形成是一个高度结构化、依赖于历史和样本空间缩减(SSR)的过程。虽然句子中的第一个单词可以从整个词汇中选择,但随着句子的发展,选择后续单词的自由度越来越受到语法和上下文的限制。这种样本空间减少属性提供了一个自然的解释Zipf定律在词频,但是,它无法捕捉的结构的词到词的转移概率矩阵的英语文本。在这里,我们采用的观点,语法约束(如主语-谓语-宾语)本地重新排序的词序在句子中采样SSR词生成过程。我们表明,叠加的语法结构-作为一个本地字重新排序(置换)的过程-在一个样本空间减少的过程是足够的解释,字的频率和字到字的转换概率。我们比较质量的语法有序SSR模型再现几个测试统计的真实文本与其他文本生成模型,如伯努利模型,西蒙模型,和猴子打字模型。
2018-12-28 cs.CL physics.soc-ph
Probabilistic Automata for Computing with Words
通常,概率自动机和概率文法都有清晰的符号作为输入,可以看作是带值计算的形式化模型。在本文中,我们首先介绍了概率自动机和概率语法计算(一些特殊)的话在概率框架中,这些话被解释为概率分布或概率分布在一组清晰的符号。通过概率条件化,我们建立了一个处理清晰输入的从用词计算到用值计算的收缩原理和一个处理任意输入的从用词计算到用所有词计算的广义扩展原理。这些原则表明,用值计算和用所有字计算可以分别通过用一些特殊字计算来实现。为了比较两个邻近输入的转移概率,我们还研究了广义扩张的转移概率函数的一些分析性质。此外,收缩和广义扩张被证明是等价保持的。最后,我们澄清了Qiu和Wang最近研究的收缩、广义扩张和扩张之间的一些关系。
2006-04-23 cs.AI cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码(BPE)算法来表示子字。我们评估了生物医学词嵌入,获得了比以前的版本更好的结果,这表明随着数据的增加,我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
Random Text, Zipf's Law, Critical Length,and Implications for Large Language Models
Aitiologia LLC(Aitiologia公司)
该研究通过简单模型推导出词长、词汇增长和齐夫定律之间的关系,揭示了随机文本中词频分布的结构基础。
2025-11-14 cs.CL stat.ME stat.ML
Conformal Nucleus Sampling
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Bar-Ilan University(巴伊兰大学)
本研究针对top-$p$核采样的概率含义匹配问题,引入保形预测将参数p校准为下一词分布熵的函数,发现OPT模型过度自信且校准效果与模型规模呈中等逆缩放关系。
2023-05-04 cs.CL cs.LG
Density Matching for Bilingual Word Embedding
Carnegie Mellon University(卡内基梅隆大学)
最近的跨语言词嵌入方法通常基于两种语言中的嵌入向量集之间的线性变换。在本文中,我们提出了一种方法,而不是表示两个单语嵌入空间的概率密度定义的高斯混合模型,并匹配两个密度使用一种方法称为归一化流。该方法不需要明确的监督,并且可以仅使用具有相同字符串的单词的种子字典来学习。我们认为,这种提法有几个直观的吸引力的属性,特别是在提高鲁棒性和泛化困难的语言对或词对之间的映射。在双语词典归纳和跨语言单词相似性的基准数据集上,与最先进的已发表结果相比,我们的方法可以实现具有竞争力或优越的性能,在词源遥远和/或形态丰富的语言上发现了特别强大的结果。
2019-04-30 cs.CL cs.LG
Quantum Methods for Managing Ambiguity in Natural Language Processing
Vrije Universiteit Brussel(布鲁塞尔自由大学)
该研究针对自然语言的句法歧义问题,在DisCoCat框架基础上提出用量子电路上的过程概率分布建模歧义句语义(以密度矩阵表示),并通过实验验证该量子NLP方法的有效性。
2025-03-30 cs.AI cs.CL quant-ph
Embedding Words as Distributions with a Bayesian Skip-gram Model
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
我们介绍了一种方法,用于嵌入单词的概率密度在低维空间。而不是假设一个词嵌入是固定的整个文本集合,在标准的词嵌入方法,在我们的贝叶斯模型中,我们从一个词特定的先验密度为每个给定的词的出现。直觉上,对于每个单词,先验密度编码了其潜在“含义”的分布。这些先验密度在概念上类似于高斯嵌入。有趣的是,与高斯嵌入不同,我们还可以获得上下文特定的密度:它们编码了给定上下文的单词意义的不确定性,并对应于我们模型中的后验分布。上下文相关的密度有许多潜在的应用:例如,我们表明,它们可以直接用于词汇替换任务。我们描述了一种有效的估计方法的基础上变分自编码框架。我们还证明了我们的嵌入在标准基准测试中取得了有竞争力的结果。
2018-06-10 cs.AI cs.CL cs.LG
Dual-Attention Neural Transducers for Efficient Wake Word Spotting in Speech Recognition
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出Dual-Attention Neural Biasing架构,通过WW spotting动态选择注意力网络分支,在仅增加1%参数的情况下将WW音频帧计算成本降低90%,WW F1分数相对提升16%。
2023-04-05 cs.CL cs.LG cs.SD