Non-Zipfian Distribution of Stopwords or Function Words and Subset Selection Models
该研究提出了一种基于Hill函数的停用词选择模型,通过分析停用词和非停用词的排名-频率分布,揭示了其在Zipf定律下的分布特性。
2026-07-24 cs.CL
A Statistical Model for Word Discovery in Transcribed Speech
提出了一种连续语音分词和词发现的统计模型。描述了一种基于该模型的增量式无监督学习词边界推断算法。实证测试的结果表明,该算法是具有竞争力的其他模型已被用于类似的任务。
2001-11-30 cs.CL
Statistical Inferences for Polarity Identification in Natural Language
University of Freiburg(弗莱堡大学);ETH Zurich(苏黎世联邦理工学院)
信息构成了所有人类行为的基础,包括人们在日常生活中不断执行的无处不在的决策。因此,研究人员的使命是了解人类如何处理信息以做出决策。为了促进这项任务,这项工作提出了一种新的方法来研究自然语言中的颗粒表达的接收。该方法利用LASSO正则化作为一种统计工具,从文本内容中提取决定性的单词,并根据单词的出现与外源响应变量之间的对应关系进行统计推断。因此,该方法立即表明了对社会科学和信息系统研究的重要意义:每个人现在都可以识别与作者或读者统计相关的文本片段和单词选择,并基于此知识,测试行为研究的假设。我们通过研究作者如何通过叙事材料传达主观信息来展示我们方法的贡献。这使我们能够回答在传达负面信息时选择哪些词语的问题。另一方面,我们表明,投资者的交易不仅在财务披露的事实,但分散了由填充词和非信息性语言。从业者-例如投资者沟通或营销领域的从业者-可以利用我们的见解,根据对词语选择的真实感知来提高他们的写作。
2018-04-05 cs.CL stat.AP
How Cute is Pikachu? Gathering and Ranking Pokémon Properties from Data with Pokémon Word Embeddings
University of Helsinki(赫尔辛基大学)
我们提出了不同的方法来获得描述性的属性自动为151个原始的神奇宝贝。我们训练几个不同的词嵌入模型上爬行的神奇宝贝语料库,并使用它们来自动排名英语形容词的基础上,他们是一个给定的神奇宝贝的特点。根据我们的实验,使用特定于领域的数据训练模型比使用预训练的模型更好。Word2Vec在结果中产生的噪音比fastText模型少。此外,我们会自动扩展每个神奇宝贝的属性列表。然而,没有一种方法是正确的,并且在不同的语义模型中存在相当多的噪声。我们的模型已在Zenodo上发布。
2021-08-21 cs.CL
Hinting Semantic Parsing with Statistical Word Sense Disambiguation
University of Rochester(罗切斯特大学)
语义解析的任务可以近似为将话语转换为逻辑形式图,其中边表示语义角色,节点表示词义。所得到的表示应该捕获话语的含义并且适合于推理。词义和语义角色是相互依存的,词义分配错误会导致语义角色分配错误,反之亦然。虽然统计方法的词义消歧优于逻辑,基于规则的语义解析器的原始词义分配,这些统计词义消歧系统不产生丰富的角色结构或详细的语义表示的输入。在这项工作中,我们提供了一个统计的WSD系统的提示,以指导逻辑语义解析器产生更好的语义类型分配,同时保持所产生的逻辑形式的合理性。我们观察到F分数提高了10.5%,但是我们发现这种提高是以语法分析的结构完整性为代价的
2020-07-06 cs.CL
Learning Better Word Embedding by Asymmetric Low-Rank Projection of Knowledge Graph
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
词嵌入是指自然词的低维密集向量表示,它在许多自然语言处理任务中表现出了强大的功能。然而,自由文本语料库中作为训练数据的信息不准确和不完整可能会使其受到影响。为了应对这一挑战,已经有相当多的作品利用知识图谱作为额外的信息源来提高词嵌入的质量。虽然这些工作取得了一定的成功,但他们忽略了一些关于知识图谱的重要事实:(i)知识图谱中的许多关系是\emph{many-to-one},\emph{one-to-many}甚至\emph{many-to-many},而不是简单的\emph{one-to-one} ;(ii)知识图谱中的大多数头实体和尾实体来自非常不同的语义空间。为了解决这些问题,在本文中,我们提出了一个新的算法名为ProjectNet。ProjecNet在使用不同的低秩投影矩阵进行转换后,对头部和尾部实体之间的关系进行建模。低秩投影可以允许实体之间的非\emph{one-to-one}关系,而头部和尾部实体的不同投影矩阵允许它们起源于不同的语义空间。实验结果表明,ProjectNet的词嵌入比以前的工作更准确,从而导致各种自然语言处理任务的明显改善。
2015-06-14 cs.CL
A statistical model for word discovery in child directed speech
提出了一种用于儿童引导语音中的分词和词发现的统计模型。一个增量的无监督学习算法来推断词边界的基础上,这个模型和实证测试的结果表明,该算法是有竞争力的其他模型已被用于类似的任务也被提出。
1999-10-13 cs.CL cs.LG
Words ranking and Hirsch index for identifying the core of the hapaxes in political texts
School of Business London South Bank University(伦敦南岸大学商学院);Sapienza University of Rome(罗马第一大学);School of Business University of Leicester(莱斯特大学商学院);Bucharest University of Economic Studies(布加勒斯特经济研究大学)
本文对官方政治演讲的内容进行了定量分析。我们研究了从华盛顿到特朗普的美国总统发表的大约一千次谈话。特别是,我们搜索的相关性的罕见的话,即那些只说一次,在每个演讲-所谓的hapaxes。我们实现了Zipf-Mandelbrot类型的秩大小过程,用于讨论整个语音集上的hapaxes频率规律性。从获得的秩大小法,我们定义和检测的hapaxes集的核心通过一个程序的基础上的赫希指数的变体。我们根据美国总统的演讲来讨论由此产生的词汇表。我们进一步表明,这一核心hapaxes本身可以很好地拟合通过Zipf-Mandelbrot法,并包含元素生产偏差之间的散点图和拟合曲线-所谓的国王和副罗伊效应的低秩。一些社会政治的见解来自于对美国总统的信息所获得的调查结果。
2020-06-13 cs.CL
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology(挪威科技大学);Aalto University(阿尔托大学)
将单词编码为向量的词嵌入是自然语言处理的重要起点,并且通常用于许多基于文本的机器学习任务。然而,在大多数当前的词嵌入方法中,嵌入空间中的相似性在学习中没有被优化。在本文中,我们提出了一种新的邻居嵌入方法,直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走,从而能够更好地揭示词之间的主题。实验结果表明,与现有的词嵌入方法相比,该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change
Stanford University(斯坦福大学)
理解词语如何随着时间的推移而改变其含义是语言和文化进化模型的关键,但关于含义的历史数据很少,使得理论难以发展和测试。词嵌入作为一种历时工具显示出了希望,但尚未得到仔细的评估。我们开发了一个强大的方法来量化语义变化评估词嵌入(PPMI,SVD,word 2 vec)对已知的历史变化。然后,我们使用这种方法来揭示语义进化的统计规律。我们使用了六个历史语料库,跨越四种语言和两个世纪,我们提出了两个定量的法律的语义变化:(一)法律的一致性--的语义变化率的规模与词频的逆幂律;(二)法律的创新--独立的频率,词越多义有较高的语义变化率。
2018-10-25 cs.CL
More than Just Statistical Recurrence: Human and Machine Unsupervised Learning of Māori Word Segmentation across Morphological Processes
University of California Santa Barbara(加州大学圣巴巴拉分校);University of Canterbury(坎特伯雷大学)
本研究比较非毛利语新西兰人与Morfessor模型在毛利语词语切分上的表现,发现人类能利用模板等超越统计递归的线索切分复杂形态词汇,揭示了人类无监督学习机制超越纯统计递归的敏感性。
2024-03-21 cs.CL
Crosslingual Document Embedding as Reduced-Rank Ridge Regression
EPFL(洛桑联邦理工学院);MIT(麻省理工学院);BlackRock(贝莱德)
最近,人们对将基于向量的单词表示扩展到多种语言非常感兴趣,这样单词就可以跨语言进行比较。在本文中,我们将重点从单词转移到文档,并介绍了一种方法,用于将以任何语言编写的文档嵌入到一个独立于语言的向量空间中。对于训练,我们的方法利用多语言语料库,其中相同的概念以多种语言(但不一定通过精确的翻译)覆盖,例如维基百科。我们的方法Cr5(跨语言降秩岭回归)首先训练一个基于岭回归的分类器,该分类器使用特定于语言的词袋特征来预测给定文档的概念。我们表明,当约束学习的权重矩阵是低秩的,它可以被分解,以获得所需的映射从语言特定的词袋语言无关的嵌入。与大多数先前的方法相反,这些方法使用预先训练的单语词向量,对它们进行后处理以使它们跨语言,最后对词向量进行平均以获得文档向量,Cr5是端到端训练的,因此是原生的跨语言和文档级。此外,由于我们的算法使用奇异值分解作为其核心操作,它是高度可扩展的。实验表明,我们的方法实现了国家的最先进的跨语言文档检索任务的性能。最后,虽然没有经过嵌入句子和单词的训练,但它在跨语言句子和单词检索任务上也取得了有竞争力的表现。
2019-04-08 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design(新加坡科技设计大学)
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上,几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标,训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词,建模的上下文嵌入率矩阵的泰勒级数。我们表明,不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较,并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标,提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础,同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Representing Sentences as Low-Rank Subspaces
University of Illinois at Urbana Champaign(伊利诺伊大学香槟分校)
句子是自然语言的重要语义单位。一个通用的,分布式表示的句子,可以捕捉潜在的语义是有益的多个下游应用程序。我们观察到一个简单的句子几何--给定句子的单词表示(在所有SemEval数据集中平均10.23个单词,标准差为4.84)大致位于低秩子空间(大致为4)。基于这种观察,我们用词向量所构成的低秩子空间来表示句子。这种无监督的表示通过19个不同数据集上的语义文本相似性任务进行了经验验证,平均比复杂的神经网络模型(包括跳过思维向量)高出15%。
2017-04-18 cs.CL
To Swap or Not to Swap? Exploiting Dependency Word Pairs for Reordering in Statistical Machine Translation
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
在语序有显著差异的两种语言之间进行机器翻译时,重新排序是一个主要的挑战。在本文中,我们提出了一种新的重新排序方法,利用稀疏特征的依赖词对的基础上。这些特征的每个实例捕获在源句子依存关系解析树中通过依存关系链接相关的两个单词是否遵循相同的顺序或在翻译输出中交换。中文到英文的翻译实验表明,使用我们的方法,统计上显着的改善1.21 BLEU点,相比,一个国家的最先进的统计MT系统,采用先前的重新排序方法。
2016-08-03 cs.CL
An exploratory study of L1-specific non-words
在本文中,我们探讨L1特定的非词,即非词在一个目标语言(在这种情况下,瑞典语),重新排名由不同的语言语言模型。我们推测,母语为某一特定语言的人对母语特有的非词的反应不同于对一般非词的反应。我们提出了两个小的案例研究的结果,探讨是否重新排名不同的语言模型的非单词导致感知差异“瑞典”(试点研究1)和是否德语和英语为母语的人有更长的反应时间在词汇决策任务时,提出了各自的L1特定的非单词(试点研究2)。初步的结果似乎表明,L1特定的非词处理第二慢,纯粹的瑞典人期待的非词。
2020-09-02 cs.CL
A statistical learning algorithm for word segmentation
Microsoft Corporation(微软公司)
在自然语音中,说话者在单词之间不会停顿,但人类听者不知何故会将这种连续的音素流视为一系列不同的单词。检测口语单词之间的边界是人类新皮层记忆和识别重复序列的一般能力的一个实例。本文介绍了一种计算机算法,旨在解决定位的问题,从英语文本块中的空格已被删除的词的边界。这个问题避免了语音处理的复杂性,但需要类似的能力来检测重复序列。该算法完全依赖于输入流中字母之间的统计关系来推断单词边界的位置。维特比网格用于同时评估相邻字块的一组假设分割。这种技术提高了准确性,但在输入流中的字母到达和将单词发送到输出流之间会产生很小的延迟。该算法的C++版本的源代码在附录中给出。
2011-06-26 cs.CL
Augmenting Statistical Machine Translation with Subword Translation of Out-of-Vocabulary Words
University of Southern California(南加州大学);University of Washington(华盛顿大学)
大多数统计机器翻译系统无法翻译在训练数据中看不到的单词。然而,人类可以翻译许多类别的词汇表外(OOV)单词(例如,新的形态变体、拼写错误和复合词)。根据这一观察,我们描述和评估几个一般的方法只使用子字信息的OOV翻译。我们把OOV翻译问题作为一个独立的任务,并在不同的资源水平上对14种类型不同的语言进行本质上的评估。将OOV翻译器添加到统计机器翻译系统中,可以为所有14种语言产生一致的BLEU增益(平均0.5分,最高可达2.0分),特别是在低资源场景中。
2018-08-16 cs.CL
Generate & Rank: A Multi-task Framework for Math Word Problems
Huawei HiSilicon(华为海思);Peking University(北京大学)
数学应用题是自然语言处理中的一个具有挑战性和关键性的任务。最近的许多研究将MWP形式化为生成任务,并采用序列到序列模型将问题描述转换为数学表达式。然而,数学表达式容易出现小错误,而生成目标并不明确地处理这样的错误。为了解决这个问题,我们设计了一个新的排名任务MWP和提出生成&排名,一个多任务框架的基础上生成预训练的语言模型。通过与生成和排名的联合训练,模型从自己的错误中学习,并能够区分正确和不正确的表达。同时,我们执行专门为MWP设计的基于树的扰动和在线更新以提高排名。我们证明了我们提出的方法在基准测试中的有效性,结果表明,我们的方法在所有数据集中的性能始终优于基线。特别地,在经典的Math23 k中,我们的方法比最先进的方法高7%(78.4% $\rightarrow$ 85.4%)。
2021-09-07 cs.AI cs.CL
The statistical trade-off between word order and word structure - large-scale evidence for the principle of least effort
Institute for the German Language (IDS), Mannheim, Germany(德语语言研究所(IDS),曼海姆,德国)
语言使用不同的策略来传递结构和语法信息。例如,虽然句子中的语法依赖关系主要通过汉语普通话或越南语等语言的单词排序来传达,但对于因纽特语或克丘亚语等语言,单词排序的限制要少得多,因为这些语言(也)使用单词的内部结构(例如屈折形态)来标记句子中的语法关系。基于对1,500多个独特的翻译圣经不同的书籍在1,100多个不同的语言,作为母语约60亿人的定量分析(超过世界人口的80%),我们提供了大量的统计贸易证据-单词排序所传达的信息量和单词内部结构所传达的信息量之间的差异:更强烈地依赖于词序信息的语言倾向于更少地依赖于词结构信息,反之亦然。此外,我们发现,尽管信息表达方式存在差异,但也有证据表明圣经正典的不同书籍之间存在权衡,这种权衡在不同语言之间几乎没有变化:书的词序信息量越多,其文字结构的信息量就越少,反之亦然。我们认为,这可能表明,一方面,语言编码信息的方式非常不同(但有效)。另一方面,与内容相关的特征和风格特征以非常相似的方式进行统计编码。
2016-08-25 cs.CL
Just Rank: Rethinking Evaluation with Word and Sentence Similarities
National University of Singapore(新加坡国立大学);University of Southern California(南加州大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI(科通智能)
在自然语言处理中,词和句子嵌入是非常有用的特征表示。然而,嵌入的内在评估远远落后,自过去十年以来一直没有重大更新。词语和句子相似性任务已经成为事实上的评价方法。它导致模型过度拟合这些评估,对嵌入模型的开发产生负面影响。本文首先指出了使用语义相似度作为词和句子嵌入评价的金标准存在的问题。此外,我们提出了一种新的内在评估方法,称为EvalRank,它与下游任务的相关性要强得多。基于60多个模型和流行的数据集进行了广泛的实验,以证明我们的判断。最后,发布了实用评价工具包,以供今后制定基准之用。
2022-03-21 cs.AI cs.CL
Grouping Words Using Statistical Context
本文(cmp-lg/yymmnnn)已被EACL-95学生会议接受出版。它概述了正在进行的工作,使用统计和无监督的神经网络方法对未标记语料库中的单词进行聚类。当试图理解人类对语言的直观分类的发展以及试图改进自然语言理解中的计算方法时,这种方法是有意义的。使用一个简单的统计方法的一些初步结果进行了描述,随着工作使用无监督的神经网络来区分的意义类的话落。
1995-02-24 cmp-lg cs.CL
Word Embedding Algorithms as Generalized Low Rank Models and their Canonical Form
McGill University(麦吉尔大学)
词嵌入算法产生非常可靠的词的特征表示,这些特征表示由神经网络模型在不断增长的大量NLP任务中使用。因此,NLP从业者必须了解他们的单词表示是如何产生的,以及为什么它们如此有影响力。目前的工作提出了简单的嵌入框架,概括了国家的最先进的现有词嵌入算法(包括Word 2 vec(SGNS)和GloVe)的保护伞下的广义低秩模型。我们得出,这两种算法都试图产生嵌入的内积,近似逐点互信息(PMI)的统计在语料库中。一旦转换为简单嵌入,这些模型的比较表明,这些成功的嵌入器都类似于由内积参数化的PMI的直接最大似然估计(MLE)(嵌入之间)。这个MLE诱导我们提出的新的词嵌入模型,希尔伯特-MLE,作为简单嵌入框架的典型代表。我们经验比较这些算法与17个不同的数据集上的评估。Hilbert-MLE在每个外部评估(新闻分类,情感分析,POS标记和超意义标记)上都始终观察到第二好的性能,而第一好的模型取决于任务的不同。此外,Hilbert-MLE一致地观察到双向LSTM中权重的随机初始化结果的最小方差。我们的实证结果表明,Hilbert-MLE是一个非常一致的词嵌入算法,可以可靠地集成到现有的NLP系统,以获得高质量的结果。
2019-11-06 cs.CL cs.LG
Is this word borrowed? An automatic approach to quantify the likeliness of borrowing in social media
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Microsoft Research India(微软印度研究院)
语码混合或语码转换是在一次会话中两种或多种语言之间自然转换的现象。在一种语言中使用一个外来词;然而,并不一定意味着说话者是语码转换,因为语言经常从其他语言借用词汇。如果一个词是借来的,它就成为一种语言词汇的一部分;而在语码转换过程中,说话者意识到对话中涉及到外国词或短语。识别双语者使用的外来词是借用还是语码转换是多语理论的重要组成部分,也是多语社区语言和语音技术发展的必要前提。在本文中,我们提出了一系列新的计算方法来识别一个词的借来的喜欢,基于社交媒体信号。首先提出基于上下文的聚类方法从社交媒体数据中抽取一组候选词,然后根据用户在不同推文中对这些词的使用情况,提出三个新颖且相似的度量标准,对候选词进行评分和排序,以表明其借用的喜好。我们将这些排名与通过人类判断实验构建的真实排名进行比较。两个排名之间的斯皮尔曼等级相关性(所有三个指标变量接近0.62)是文献中报道的最具竞争力的现有基线值(0.26)的两倍多。其他一些引人注目的观察结果是,(i)从年轻参与者(年龄小于30岁)中得出的地面真实数据的相关性高于老年参与者,(ii)那些使用混合语言发推文的参与者最少,提供了最好的借用信号。
2017-03-15 cs.CL
Statistically significant detection of semantic shifts using contextual word embeddings
University of Helsinki(赫尔辛基大学)
在较小的数据集中检测词汇语义变化,例如在历史语言学和数字人文学中,由于缺乏统计能力而具有挑战性。非上下文嵌入模型使这个问题变得更加严重,这种模型每个单词产生一个嵌入,因此掩盖了数据中存在的可变性。在这篇文章中,我们提出了一种方法来估计语义转移相结合的上下文词嵌入与置换为基础的统计测试。我们使用错误发现率程序来解决同时进行的大量假设检验。我们证明了这种方法在模拟中的性能,它实现了一贯的高精度抑制误报。我们还分析了SemEval-2020任务1和利物浦足球俱乐部subreddit语料库的真实数据。我们表明,通过考虑样本的变化,我们可以提高个体语义偏移估计的鲁棒性,而不会降低整体性能。
2021-09-24 cs.CL
Function Words as Statistical Cues for Language Learning
Georgetown University(乔治城大学)
研究探讨功能词的统计特性如何促进抽象语法知识的学习,通过跨语言语料分析验证了功能词的高频、句法关联性和短语边界对齐性是普遍规律,实验表明保留这些特性能提升神经网络学习效果。
2026-04-20 cs.AI cs.CL
A Dependency-Based Neural Reordering Model for Statistical Machine Translation
National University of Singapore(新加坡国立大学)
在涉及在词序有显著差异的两种语言之间进行翻译的机器翻译(MT)中,确定翻译词的正确词序是一个主要挑战。源句子的依存关系分析树可以帮助确定翻译单词的正确词序。在本文中,我们提出了一种新的重新排序方法,利用神经网络和依赖性为基础的嵌入预测是否翻译的两个源词连接的依赖关系应保持在相同的顺序,或应交换的翻译句子。中文到英文的翻译实验表明,我们的方法产生了0.57 BLEU点的基准NIST测试集上的统计显着改善,相比我们以前的国家的最先进的统计MT系统,使用稀疏依赖为基础的重新排序功能。
2017-02-15 cs.CL
FAQ-based Question Answering via Word Alignment
IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们提出了一种新的基于词对齐的方法来解决基于常见问题的问答任务。首先,我们采用一个神经网络模型来计算问题的相似度,其中两个问题之间的词对齐用于提取特征。其次,我们设计了一个基于Bootstrap的特征提取方法来提取一小部分有效的词汇特征。第三,我们提出了一个学习排名算法,训练参数更适合的排名任务。在英语、西班牙语和日语三种语言上进行的实验结果表明,问题相似度模型比基线系统更有效,稀疏特征使top-1准确率提高了5%,学习排名算法的效果明显优于传统方法。我们进一步评估我们的方法上的答案句子选择任务。我们的方法优于所有以前的系统上的标准TREC数据集。
2015-07-09 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Microsoft Research India(微软研究院印度分部)
本文提出基于社交媒体信号识别单词被借用可能性的计算方法,其预测表现优于基线两倍多,并发现88%的外来语标签应被替换为母语标签,揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
A Generative Word Embedding Model and its Low Rank Positive Semidefinite Solution
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)(南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心(LILY));Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
现有的大多数词嵌入方法可以分为神经嵌入模型和基于矩阵分解(MF)的方法。然而,一些模型是不透明的概率解释,和MF为基础的方法,通常使用奇异值分解(SVD)解决,可能会导致语料库信息的损失。此外,期望将诸如主题、情感或写作风格的全局潜在因素并入到词嵌入模型中。由于生成模型提供了一个原则性的方式来纳入潜在的因素,我们提出了一个生成的词嵌入模型,这是很容易解释,并可以作为更复杂的潜在因素模型的基础。模型推理归结为一个低秩加权半正定逼近问题。其优化方法是通过对子矩阵进行特征分解,然后进行在线分块回归,这是可扩展的,避免了SVD中的信息丢失。在7个常见的基准数据集上的实验中,我们的向量与word2vec竞争,并且优于其他基于MF的方法。
2015-08-16 cs.CL cs.LG stat.ML
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich(慕尼黑大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
单词对齐对于统计和神经机器翻译(NMT)以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好,NMT中提取对齐与翻译的方法也是如此。然而,大多数方法需要并行的训练数据,并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建,而不依赖于任何并行数据或字典。我们发现,与传统统计对齐器产生的对齐相比,从嵌入创建的对齐对于四种语言对是优越的,并且对于两种语言对是可比的,即使具有丰富的并行数据;例如,语境化嵌入实现了英语-德语的单词对齐F1,比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
RAPO: An Adaptive Ranking Paradigm for Bilingual Lexicon Induction
Microsoft(微软)
双语词典归纳通过对齐两种语言中独立训练的词嵌入来归纳词的翻译。现有的方法通常集中在最小化对齐对中的单词之间的距离,同时遭受区分正候选者和负候选者之间的相对顺序的低辨别能力。此外,映射功能是全局共享的所有的话,其性能可能会受到不同语言的分布偏差。在这项工作中,我们提出了一种新的面向排名的归纳模型RAPO学习个性化的映射功能,为每个字。RAPO能够同时享受单个词的独特性和跨语言同构的优点。在公共数据集上的大量实验结果表明了该方法的优越性。我们的代码在\url{https://github.com/Jlfj345wf/RAPO}中公开提供。
2022-10-18 cs.AI cs.CL cs.LG
Statistical analysis of word flow among five Indo-European languages
Facultad de Ciencias, Universidad Nacional Autónoma de México(墨西哥国立自治大学理学院);Instituto de Física, Universidad Nacional Autónoma de México(墨西哥国立自治大学物理研究所);Instituto de Investigaciones en Matemáticas Aplicadas y Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所);Centro de Ciencias de la Complejidad, Universidad Nacional Autónoma de México(墨西哥国立自治大学复杂性科学中心);Santa Fe Institute(圣塔菲研究所)
最近增加的数据可用性允许进行不同的统计语言学研究的可能性。在这里,我们使用Google Books Ngram数据集来分析英语、法语、德语、意大利语和西班牙语之间的单词流。我们研究我们定义为“移民词”,一种不会改变拼写的外来词。我们量化了不同年代从一种语言到另一种语言的移民词,并注意到大多数移民词可以在语义场中聚合并与历史事件相关联。我们还研究了累积迁移词的统计特性及其等级动态。我们提出了一个措施,可以用来作为文化影响力的代理移民的话使用。我们的方法并非没有警告,但我们的结果是令人鼓舞的,以促进在这个方向上的进一步研究。
2023-01-17 cs.CL physics.soc-ph
Statistical Uncertainty in Word Embeddings: GloVe-V
Stanford University(斯坦福大学)
针对静态词嵌入下游结论统计不确定性评估难的问题,该研究提出基于多元正态解析近似的GloVe-V方法,可生成GloVe的可扩展方差估计,支撑词嵌入相关的标准化假设检验。
2024-06-18 cs.CL
Transformer Based Language Models for Similar Text Retrieval and Ranking
Casetext Machine Learning(凯斯文本机器学习部门)
大多数用于相似文本检索和具有长自然语言查询的排序的方法在某种程度上依赖于具有彼此共同的词的查询和响应。最近的应用基于transformer的神经语言模型的文本检索和排名问题已经非常有前途,但仍然涉及一个两步的过程中,结果候选人首先通过袋的字为基础的方法,然后重新排名的神经Transformer。在本文中,我们介绍了新的方法,有效地应用神经Transformer模型相似的文本检索和排名,而无需初始的词袋为基础的步骤。通过消除基于词袋的步骤,我们的方法能够准确地检索和排名结果,即使他们没有共同的非停用词的查询。我们通过使用来自Transformers(BERT)的双向编码器表示来创建长度为1的文本的矢量化表示,以及矢量最近邻搜索索引来实现这一点。我们演示了使用BERT来完成这项任务的监督和无监督手段。
2020-05-21 cs.CL cs.IR
A Statistical Comparison of Some Theories of NP Word Order
语言类型学的一个常见研究对象是名词短语中成分{指示、形容词、数词、名词}的顺序。我们的目标是预测这些命令在不同语言中的相对频率。在这里,我们使用泊松回归来统计比较这种变化的一些突出的帐户。我们比较了Cinque(2005)的特征系统与Cysouw(2010)和Dryer(准备中)的特征系统。在这种情况下,我们没有找到更喜欢Cinque(2005)或Dryer(准备中)模型的明确理由,但我们发现这两个模型都比Cysouw(2010)的模型更好地拟合类型数据。
2017-09-08 cs.CL
Semi-automatic WordNet Linking using Word Embeddings
Indian Institute of Technology Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学联合研究院);Monash University(莫纳什大学)
词网是丰富的词汇语义资源。链接词网是词网的扩展,它将不同语言的词网中相似的概念联系起来。这些资源在许多自然语言处理(NLP)应用程序中非常有用,主要是那些基于知识的方法。在这种方法中,这些资源被认为是黄金标准/甲骨文。因此,至关重要的是,这些资源拥有正确的信息。它们是由人类专家创造的。然而,这些资源的手动维护是一件繁琐且昂贵的事情。因此,可以帮助专家的技术是可取的。在本文中,我们提出了一种方法来连接wordnets。给定源语言的同义词集,该方法返回目标语言的潜在候选同义词集的排序列表,人类专家可以从中选择正确的同义词集。我们的技术是能够检索一个冠军同义词在排名前10位的列表中的60%的所有同义词和70%的名词同义词。
2022-01-05 cs.CL
Improving Statistical Language Model Performance with Automatically Generated Word Hierarchies
设计了一个自动词分类系统,该系统处理从自然语言语料库中提取的单字和二元词频统计。该系统实现了一个二进制自上而下的形式,采用平均类互信息度量的词聚类。产生的分类是分层的,允许可变的类粒度。字被表示为结构标记-唯一的$n$位数,其最重要的位模式包含类信息。对结构标签的访问立即提供了对相应单词的所有分类级别的访问。分类系统成功地揭示了英语的一些结构,从音位到语义层次。该系统已被比较-直接和间接-与其他最近的词分类系统。基于类的内插语言模型已经被构造来利用分类所提供的额外信息,并且一些实验已经表明新的模型提高了模型性能。
1995-03-09 cmp-lg cs.CL
Accurate and Efficient Statistical Testing for Word Semantic Breadth
Tokyo Gakugei University(东京大学)
本文提出一种基于Householder对齐的置换检验方法,用于区分词义广度与方向差异,降低I类错误并提升效率。
2026-05-08 cs.CL
BRUMS at SemEval-2020 Task 3: Contextualised Embeddings for Predicting the (Graded) Effect of Context in Word Similarity
Birmingham City University(伯明翰城市大学);University of Wolverhampton(伍尔弗汉普顿大学)
本文介绍了团队BRUMS提交SemEval-2020任务3:上下文中的分级单词相似性。该系统采用了最先进的上下文化词嵌入,它有一些特定于任务的适应,包括堆叠嵌入和平均嵌入。总体而言,该方法在所有语言中都获得了良好的评价分数,同时保持了简单性。在最终排名之后,我们的方法在每种语言的前5名解决方案中排名第一,同时保留了芬兰语子任务2的第一名。
2021-05-20 cs.AI cs.CL
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Microsoft Research Asia(微软亚洲研究院)
语言模型是统计机器翻译中最重要的模块之一,目前基于词的语言模型占据主导地位。然而,许多翻译模型(例如,基于短语的模型)通过渲染和合成短语而不是单词来生成目标语言句子。因此,对短语之间的依赖关系进行建模更为合理,但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题,该模型试图解决三个关键子问题:1,如何在语言模型中定义短语; 2,如何在大规模单语数据中确定短语边界以扩大训练集; 3,如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题,大量的汉英翻译实验表明,我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University(斯坦福大学);Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系,并且在各种自然语言处理应用中得到了广泛报道。然而,自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数,这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点,提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点,从而在一个直接的方式来链接沟通的努力(建模扬声器/听众的偏见),以特定的词汇使用(由字排名)。我们展示了我们的积分变换的实际效用,通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能,用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏,并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能(和准确性)的相对影响。
2018-11-30 cs.AI cs.CL
On the Linear Algebraic Structure of Distributed Word Representations
Princeton University(普林斯顿大学)
在这项工作中,我们利用分布式单词表示的线性代数结构来自动扩展知识库,并允许机器学习关于世界的新事实。我们的目标是以更简单的方式从语料库中提取结构化事实,而不应用分类器或模式,只使用单词的共现统计。我们证明了词嵌入的线性代数结构可以用来减少学习事实的方法的数据要求。特别是,我们证明了属于一个共同的类别,或对字满足一定的关系,形成一个低秩子空间中的投影空间。我们使用奇异值分解(SVD)计算这个低秩子空间的基础,然后使用这个基础来发现新的事实,并为我们还没有向量的不太频繁的单词拟合向量。
2015-11-22 cs.CL cs.LG
Phonology-Augmented Statistical Framework for Machine Transliteration using Limited Linguistic Resources
Cornell University(康奈尔大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);National University of Singapore(新加坡国立大学)
音译转换源语言中的单词(例如,英语)转换成目标语言的单词(例如,越南语)。这种转换考虑了目标语言的语音结构,因为音译输出需要在目标语言中可发音。例如,越南语中以辅音群开头的单词在语音上是无效的,因此将是音译系统的错误输出。大多数统计音译方法,虽然被广泛采用,没有明确的模型目标语言的语音,这往往会导致无效的输出。在将外来词转换为目标语言的音译词时,可用的语言资源有限,这使得问题更加复杂。在这项工作中,我们提出了一个语音增强的统计框架,适用于音译,特别是当只有有限的语言资源。我们提出了伪音节的概念,作为一种结构,代表了如何根据目标语言的音系学音节的外国词的片段组织。我们对越南语和粤语进行了音译实验。我们表明,所提出的框架优于统计基线高达44.68%相对,当有有限的训练样本(587个条目)。
2018-10-07 cs.CL
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
National Information Processing Institute(国家信息处理研究所)
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统,在 SemEval 2023 多语言任务中获第三名,并在波斯语赛道夺冠。
2023-04-14 cs.CL
Statistical Laws Governing Fluctuations in Word Use from Word Birth to Word Death
IMT Lucca Institute for Advanced Studies(IMT卢卡高等研究院);Boston University(波士顿大学);Bar-Ilan University(巴伊兰大学)
我们分析了1800- 2008年间英语、西班牙语和希伯来语中记录的10^7个单词的动态特性,以深入了解语言和文化的共同进化。我们报告语言独立的模式有用的基准语言进化的理论模型。一个显着减少(增加)的趋势,在出生(死亡)率的话表明最近的转变,在选择法律的文字使用。对于新词,我们观察到的增长率波动峰值约40年后引入,符合标准词典的典型输入时间和人类世代的时间尺度。战争期间语言动态的显著变化表明,跨时间和词与词之间的词相关性在很大程度上受到共同进化的社会、技术和政治因素的影响。我们量化的文化记忆,通过分析长期的相关性,在使用个别的话,使用去趋势波动分析。
2012-02-15 cs.CL cs.IR nlin.AO
Evolution of the Modern Phase of Written Bangla: A Statistical Study
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
活跃的语言,如孟加拉语(或孟加拉语),由于各种社会,文化,经济和政治问题而随着时间的推移而演变。本文从文字层面、音节层面、语素层面和词汇层面对孟加拉语现代阶段书面形式的变化进行了定量分析。我们收集了三种不同类型的语料库-古典,报纸和博客-并测试其特征的差异是否具有统计学意义。结果表明,在汉字方面,一个词的长度有显著的变化,但在一个词中不同的字、音节和语素的用法以及在一个句子中不同的词的用法上没有太大的差异。据我们所知,这是第一部关于孟加拉语的此类作品。
2013-10-06 cs.CL
One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling
Google(谷歌);University of Edinburgh(爱丁堡大学);Cantab Research Ltd(Cantab研究有限公司)
我们提出了一个新的基准语料库,用于衡量统计语言建模的进展。有了近10亿字的训练数据,我们希望这个基准将有助于快速评估新的语言建模技术,并比较它们与其他先进技术相结合时的贡献。我们展示了几种知名类型的语言模型的性能,其中基于递归神经网络的语言模型取得了最好的效果。基线未修剪的Kneser-Ney 5-gram模型实现了困惑度67.6;技术的组合导致困惑度降低35%,或交叉熵(位)降低10%。该基准可作为code.google.com项目提供;除了重建训练/保留数据所需的脚本之外,对于每个基线n元语法模型,它还使得10个保留数据集中的每个数据集中的每个单词的对数概率值可用。
2014-03-04 cs.CL
Is space a word, too?
Drexel University(德雷塞尔大学)
换句话说,秩-频分布长期以来一直被认为符合一个潜在的普遍现象,即齐普夫定律。这一经验现象的假设形式被本尼迪克特·曼德尔布罗特提炼为现在被称为齐普夫-曼德尔布罗特定律的形式。与此同时,Herbet Simon提出了一个可能解释齐普夫定律的选择模型。然而,西蒙和曼德尔布罗特之间的重大争议,显着的经验例外,以及西蒙的模型和齐普夫-曼德尔布罗特定律之间缺乏强有力的经验联系,留下了普遍性和机械生成的问题。我们通过展示分词的暗物质,即,空格、标点等,把齐普夫-曼德布洛定律和西蒙的机械过程联系起来。这就解释了曼德尔布罗特的改进只不过是一个模糊因子,适应了排除秩频暗物质的影响。因此,整合这些非词对象解决了更普遍的等级频率定律。由于这依赖于空间等的整合,我们发现支持的假设,$all$产生的共同进程,从物理的角度来看,空间是一个字,太。
2017-10-20 cond-mat.stat-mech cs.CL
A Survey of Word Reordering in Statistical Machine Translation: Computational Models and Language Phenomena
University of Amsterdam(阿姆斯特丹大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
词的重排是统计机器翻译(SMT)的难点之一,也是影响其翻译质量和效率的重要因素。尽管迄今为止发表了大量的研究,但社区对这个问题的兴趣并没有减少,而且没有一种方法在语言对中占主导地位。相反,对于一个新的翻译任务的最佳方法的选择似乎仍然主要是由经验试验驱动的。为了使读者在这个广阔而复杂的研究领域中定位,我们提出了一个全面的调查单词重排视为一个统计建模的挑战,并作为一个自然语言现象。该调查详细描述了如何在不同的基于字符串和基于树的SMT框架中建模单词重排序,并将其作为一项独立任务,包括对高级重排序建模文献的系统概述。然后,我们质疑为什么有些方法在不同的语言对中比其他方法更成功。我们认为,除了测量重新排序的数量,重要的是要了解哪些类型的重新排序发生在一个给定的语言对。为此,我们进行了定性分析的单词重排现象在不同的语言对样本,大量收集的语言学知识的基础上。SMT文献中的实证结果表明,支持的假设,一些语言事实可以是非常有用的,以预期的语言对的重新排序的特点,并选择最适合他们的SMT框架。
2016-03-14 cs.CL
Word Alignment in the Era of Deep Learning: A Tutorial
The University of Pennsylvania(宾夕法尼亚大学)
单词对齐任务,尽管在统计机器翻译(SMT)时代很突出,但在今天是利基和未充分开发的。在这个由两部分组成的教程中,我们将讨论单词对齐的持续相关性。第一部分介绍了作为传统SMT流水线核心组件的单词对齐的历史背景。我们瞄准了GIZA++,这是一个无监督的统计单词对齐器,寿命惊人。跳跃到神经机器翻译(NMT)时代,我们展示了单词对齐的见解如何启发了当今NMT的基本注意力机制。第二部分转向调查方法。我们涵盖了神经单词对齐器,显示了超越GIZA++性能的缓慢但稳定的进展。最后,我们涵盖了词对齐的当前应用,从跨语言注释投影到改进翻译。
2022-11-30 cs.CL
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University(南洋理工大学)
使用预先训练的语言模型(例如BERT)的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中,我们建议制定词义消歧作为一个相关性排名任务,并微调BERT序列对排名任务,以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术,我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
Neural or Statistical: An Empirical Study on Language Models for Chinese Input Recommendation on Mobile
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
中文输入推荐对于减轻中文输入的人工成本具有重要作用,特别是在移动应用场景中。基本问题是预测给定前一个单词序列的下一个单词的条件概率。因此,统计语言模型,即~基于n-gram的模型已经在实际应用中被广泛用于该任务。然而,极端不同的打字行为的特性通常会导致严重的稀疏性问题,即使是平滑的n-gram也会失败。解决这个问题的一个合理的方法是使用最近提出的神经模型,如概率神经语言模型,递归神经网络和word 2 vec。他们可以利用语义上更相似的单词来估计概率。然而,这两种方法中的哪一种在实际应用中更好,还没有结论。在本文中,我们进行了广泛的实证研究,以显示统计和神经语言模型之间的差异。实验结果表明,两种不同的方法各有优势,混合方法将带来显着的改善。
2019-07-09 cs.CL
Word-to-Word Models of Translational Equivalence
并行文本(双文本)具有将其与其他类型的并行数据区分开的属性。首先,大多数单词只能翻译成另一个单词。第二,bitext通信是嘈杂的。本文介绍了偏置统计翻译模型来反映这些属性的方法。在稀疏数据存在的情况下,对这些偏差的预期行为进行分析,可以预测它们将导致更准确的模型。预测是通过相对于黄金标准的评估来证实的-以这种方式有偏见的翻译模型比基线知识贫乏的模型要准确得多。本文还展示了统计翻译模型如何利用关于特定语言对的各种预先存在的知识。即使是最简单的语言特定知识,例如内容词和功能词之间的区别,也可以可靠地提高翻译模型在某些任务上的性能。由关于模型领域的预先存在的知识所告知的统计模型结合了理性主义和非理性主义传统的最佳之处。
1998-05-11 cmp-lg cs.CL