A statistical learning algorithm for word segmentation
Microsoft Corporation（微软公司）
在自然语音中，说话者在单词之间不会停顿，但人类听者不知何故会将这种连续的音素流视为一系列不同的单词。检测口语单词之间的边界是人类新皮层记忆和识别重复序列的一般能力的一个实例。本文介绍了一种计算机算法，旨在解决定位的问题，从英语文本块中的空格已被删除的词的边界。这个问题避免了语音处理的复杂性，但需要类似的能力来检测重复序列。该算法完全依赖于输入流中字母之间的统计关系来推断单词边界的位置。维特比网格用于同时评估相邻字块的一组假设分割。这种技术提高了准确性，但在输入流中的字母到达和将单词发送到输出流之间会产生很小的延迟。该算法的C++版本的源代码在附录中给出。
2011-06-26 cs.CL
Augmenting Statistical Machine Translation with Subword Translation of Out-of-Vocabulary Words
University of Southern California（南加州大学）；University of Washington（华盛顿大学）
大多数统计机器翻译系统无法翻译在训练数据中看不到的单词。然而，人类可以翻译许多类别的词汇表外（OOV）单词（例如，新的形态变体、拼写错误和复合词）。根据这一观察，我们描述和评估几个一般的方法只使用子字信息的OOV翻译。我们把OOV翻译问题作为一个独立的任务，并在不同的资源水平上对14种类型不同的语言进行本质上的评估。将OOV翻译器添加到统计机器翻译系统中，可以为所有14种语言产生一致的BLEU增益（平均0.5分，最高可达2.0分），特别是在低资源场景中。
2018-08-16 cs.CL
The statistical trade-off between word order and word structure - large-scale evidence for the principle of least effort
Institute for the German Language (IDS), Mannheim, Germany（德语语言研究所（IDS），曼海姆，德国）
语言使用不同的策略来传递结构和语法信息。例如，虽然句子中的语法依赖关系主要通过汉语普通话或越南语等语言的单词排序来传达，但对于因纽特语或克丘亚语等语言，单词排序的限制要少得多，因为这些语言（也）使用单词的内部结构（例如屈折形态）来标记句子中的语法关系。基于对1,500多个独特的翻译圣经不同的书籍在1,100多个不同的语言，作为母语约60亿人的定量分析（超过世界人口的80%），我们提供了大量的统计贸易证据-单词排序所传达的信息量和单词内部结构所传达的信息量之间的差异：更强烈地依赖于词序信息的语言倾向于更少地依赖于词结构信息，反之亦然。此外，我们发现，尽管信息表达方式存在差异，但也有证据表明圣经正典的不同书籍之间存在权衡，这种权衡在不同语言之间几乎没有变化：书的词序信息量越多，其文字结构的信息量就越少，反之亦然。我们认为，这可能表明，一方面，语言编码信息的方式非常不同（但有效）。另一方面，与内容相关的特征和风格特征以非常相似的方式进行统计编码。
2016-08-25 cs.CL
Statistically significant detection of semantic shifts using contextual word embeddings
University of Helsinki（赫尔辛基大学）
在较小的数据集中检测词汇语义变化，例如在历史语言学和数字人文学中，由于缺乏统计能力而具有挑战性。非上下文嵌入模型使这个问题变得更加严重，这种模型每个单词产生一个嵌入，因此掩盖了数据中存在的可变性。在这篇文章中，我们提出了一种方法来估计语义转移相结合的上下文词嵌入与置换为基础的统计测试。我们使用错误发现率程序来解决同时进行的大量假设检验。我们证明了这种方法在模拟中的性能，它实现了一贯的高精度抑制误报。我们还分析了SemEval-2020任务1和利物浦足球俱乐部subreddit语料库的真实数据。我们表明，通过考虑样本的变化，我们可以提高个体语义偏移估计的鲁棒性，而不会降低整体性能。
2021-09-24 cs.CL
A Dependency-Based Neural Reordering Model for Statistical Machine Translation
National University of Singapore（新加坡国立大学）
在涉及在词序有显著差异的两种语言之间进行翻译的机器翻译（MT）中，确定翻译词的正确词序是一个主要挑战。源句子的依存关系分析树可以帮助确定翻译单词的正确词序。在本文中，我们提出了一种新的重新排序方法，利用神经网络和依赖性为基础的嵌入预测是否翻译的两个源词连接的依赖关系应保持在相同的顺序，或应交换的翻译句子。中文到英文的翻译实验表明，我们的方法产生了0.57 BLEU点的基准NIST测试集上的统计显着改善，相比我们以前的国家的最先进的统计MT系统，使用稀疏依赖为基础的重新排序功能。
2017-02-15 cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Statistical Uncertainty in Word Embeddings: GloVe-V
Stanford University（斯坦福大学）
针对静态词嵌入下游结论统计不确定性评估难的问题，该研究提出基于多元正态解析近似的GloVe-V方法，可生成GloVe的可扩展方差估计，支撑词嵌入相关的标准化假设检验。
2024-06-18 cs.CL
A statistical model for word discovery in child directed speech
提出了一种用于儿童引导语音中的分词和词发现的统计模型。一个增量的无监督学习算法来推断词边界的基础上，这个模型和实证测试的结果表明，该算法是有竞争力的其他模型已被用于类似的任务也被提出。
1999-10-13 cs.CL cs.LG
Accurate and Efficient Statistical Testing for Word Semantic Breadth
Tokyo Gakugei University（东京大学）
本文提出一种基于Householder对齐的置换检验方法，用于区分词义广度与方向差异，降低I类错误并提升效率。
2026-05-08 cs.CL
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）
语言模型是统计机器翻译中最重要的模块之一，目前基于词的语言模型占据主导地位。然而，许多翻译模型（例如，基于短语的模型）通过渲染和合成短语而不是单词来生成目标语言句子。因此，对短语之间的依赖关系进行建模更为合理，但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题，该模型试图解决三个关键子问题：1，如何在语言模型中定义短语; 2，如何在大规模单语数据中确定短语边界以扩大训练集; 3，如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题，大量的汉英翻译实验表明，我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
BabyLM's First Words: Word Segmentation as a Phonological Probing Task
Department of Computer Science & Technology, University of Cambridge, U.K.（计算机科学与技术系，剑桥大学）
针对大语言模型音系分析难、非英语音系基准少的问题，本研究将分词作为音系探测任务，基于31种语言的儿童语音训练音位语言模型，提出提取词边界的无监督方法，验证了统计学习理论并为子词分词器训练提供新思路。
2025-06-12 cs.CL
Phonology-Augmented Statistical Framework for Machine Transliteration using Limited Linguistic Resources
Cornell University（康奈尔大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
音译转换源语言中的单词（例如，英语）转换成目标语言的单词（例如，越南语）。这种转换考虑了目标语言的语音结构，因为音译输出需要在目标语言中可发音。例如，越南语中以辅音群开头的单词在语音上是无效的，因此将是音译系统的错误输出。大多数统计音译方法，虽然被广泛采用，没有明确的模型目标语言的语音，这往往会导致无效的输出。在将外来词转换为目标语言的音译词时，可用的语言资源有限，这使得问题更加复杂。在这项工作中，我们提出了一个语音增强的统计框架，适用于音译，特别是当只有有限的语言资源。我们提出了伪音节的概念，作为一种结构，代表了如何根据目标语言的音系学音节的外国词的片段组织。我们对越南语和粤语进行了音译实验。我们表明，所提出的框架优于统计基线高达44.68%相对，当有有限的训练样本（587个条目）。
2018-10-07 cs.CL
Evolution of the Modern Phase of Written Bangla: A Statistical Study
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
活跃的语言，如孟加拉语（或孟加拉语），由于各种社会，文化，经济和政治问题而随着时间的推移而演变。本文从文字层面、音节层面、语素层面和词汇层面对孟加拉语现代阶段书面形式的变化进行了定量分析。我们收集了三种不同类型的语料库-古典，报纸和博客-并测试其特征的差异是否具有统计学意义。结果表明，在汉字方面，一个词的长度有显著的变化，但在一个词中不同的字、音节和语素的用法以及在一个句子中不同的词的用法上没有太大的差异。据我们所知，这是第一部关于孟加拉语的此类作品。
2013-10-06 cs.CL
One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling
Google（谷歌）；University of Edinburgh（爱丁堡大学）；Cantab Research Ltd（Cantab研究有限公司）
我们提出了一个新的基准语料库，用于衡量统计语言建模的进展。有了近10亿字的训练数据，我们希望这个基准将有助于快速评估新的语言建模技术，并比较它们与其他先进技术相结合时的贡献。我们展示了几种知名类型的语言模型的性能，其中基于递归神经网络的语言模型取得了最好的效果。基线未修剪的Kneser-Ney 5-gram模型实现了困惑度67.6;技术的组合导致困惑度降低35%，或交叉熵（位）降低10%。该基准可作为code.google.com项目提供;除了重建训练/保留数据所需的脚本之外，对于每个基线n元语法模型，它还使得10个保留数据集中的每个数据集中的每个单词的对数概率值可用。
2014-03-04 cs.CL
A Survey of Word Reordering in Statistical Machine Translation: Computational Models and Language Phenomena
University of Amsterdam（阿姆斯特丹大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
词的重排是统计机器翻译（SMT）的难点之一，也是影响其翻译质量和效率的重要因素。尽管迄今为止发表了大量的研究，但社区对这个问题的兴趣并没有减少，而且没有一种方法在语言对中占主导地位。相反，对于一个新的翻译任务的最佳方法的选择似乎仍然主要是由经验试验驱动的。为了使读者在这个广阔而复杂的研究领域中定位，我们提出了一个全面的调查单词重排视为一个统计建模的挑战，并作为一个自然语言现象。该调查详细描述了如何在不同的基于字符串和基于树的SMT框架中建模单词重排序，并将其作为一项独立任务，包括对高级重排序建模文献的系统概述。然后，我们质疑为什么有些方法在不同的语言对中比其他方法更成功。我们认为，除了测量重新排序的数量，重要的是要了解哪些类型的重新排序发生在一个给定的语言对。为此，我们进行了定性分析的单词重排现象在不同的语言对样本，大量收集的语言学知识的基础上。SMT文献中的实证结果表明，支持的假设，一些语言事实可以是非常有用的，以预期的语言对的重新排序的特点，并选择最适合他们的SMT框架。
2016-03-14 cs.CL
Word Alignment in the Era of Deep Learning: A Tutorial
The University of Pennsylvania（宾夕法尼亚大学）
单词对齐任务，尽管在统计机器翻译（SMT）时代很突出，但在今天是利基和未充分开发的。在这个由两部分组成的教程中，我们将讨论单词对齐的持续相关性。第一部分介绍了作为传统SMT流水线核心组件的单词对齐的历史背景。我们瞄准了GIZA++，这是一个无监督的统计单词对齐器，寿命惊人。跳跃到神经机器翻译（NMT）时代，我们展示了单词对齐的见解如何启发了当今NMT的基本注意力机制。第二部分转向调查方法。我们涵盖了神经单词对齐器，显示了超越GIZA++性能的缓慢但稳定的进展。最后，我们涵盖了词对齐的当前应用，从跨语言注释投影到改进翻译。
2022-11-30 cs.CL
Grouping Words Using Statistical Context
本文（cmp-lg/yymmnnn）已被EACL-95学生会议接受出版。它概述了正在进行的工作，使用统计和无监督的神经网络方法对未标记语料库中的单词进行聚类。当试图理解人类对语言的直观分类的发展以及试图改进自然语言理解中的计算方法时，这种方法是有意义的。使用一个简单的统计方法的一些初步结果进行了描述，随着工作使用无监督的神经网络来区分的意义类的话落。
1995-02-24 cmp-lg cs.CL
Neural or Statistical: An Empirical Study on Language Models for Chinese Input Recommendation on Mobile
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
中文输入推荐对于减轻中文输入的人工成本具有重要作用，特别是在移动应用场景中。基本问题是预测给定前一个单词序列的下一个单词的条件概率。因此，统计语言模型，即~基于n-gram的模型已经在实际应用中被广泛用于该任务。然而，极端不同的打字行为的特性通常会导致严重的稀疏性问题，即使是平滑的n-gram也会失败。解决这个问题的一个合理的方法是使用最近提出的神经模型，如概率神经语言模型，递归神经网络和word 2 vec。他们可以利用语义上更相似的单词来估计概率。然而，这两种方法中的哪一种在实际应用中更好，还没有结论。在本文中，我们进行了广泛的实证研究，以显示统计和神经语言模型之间的差异。实验结果表明，两种不同的方法各有优势，混合方法将带来显着的改善。
2019-07-09 cs.CL
Using Context to Improve Word Segmentation
本文复现并扩展Goldwater等人的unigram与bigram统计切分模型，验证上下文能提升词语切分，并探索幼儿利用已学词语切分新话语的基本机制。
2025-03-13 cs.CL
Using Statistical and Semantic Models for Multi-Document Summarization
LNM Institute of Information Technology（LNM信息技术学院）
我们报告了一系列的实验，不同的语义模型上的各种统计模型提取文本摘要。虽然统计模型可以更好地捕获文本周围的单词共现和分布，但它们无法检测句子/单词作为一个整体的上下文和意义。语义模型帮助我们更好地洞察句子的上下文。我们展示了如何调整不同模型之间的权重可以帮助我们在各种基准测试中取得显着的结果。在给定的语料库上，进一步学习语义模型中使用的预训练向量可以在性能上提供额外的尖峰。在不同的统计模型之间使用加权技术也进一步改进了我们的结果。对于统计模型，我们使用了TF/IDF，TextRANK，Jaccard/Cosine相似性。对于语义模型，我们使用了基于WordNet的模型，并提出了两个模型的基础上手套向量和Facebook的Infersent。我们在DUC 2004数据集上测试了我们的方法，生成了100字的摘要。我们已经讨论了系统，算法，分析，并提出和测试可能的改进。使用ROUGE评分与其他汇总器进行比较。
2018-05-17 cs.CL
Function Words as Statistical Cues for Language Learning
Georgetown University（乔治城大学）
研究探讨功能词的统计特性如何促进抽象语法知识的学习，通过跨语言语料分析验证了功能词的高频、句法关联性和短语边界对齐性是普遍规律，实验表明保留这些特性能提升神经网络学习效果。
2026-04-20 cs.AI cs.CL
Scale-dependent Relationships in Natural Language
Boston University（波士顿大学）
自然语言在广泛的尺度上表现出统计依赖性。例如，自然语言中单词之间的互信息随着它们之间的时间滞后而像幂律一样衰减。然而，许多应用于语言的统计学习模型在提取统计结构时强加了一个采样尺度。例如，Word 2 Vec构造了一个向量嵌入，该向量嵌入最大化了目标词和出现在语料库中附近的上下文词之间的预测。上下文的大小由用户选择，并定义了一个强大的规模;在更大的时间尺度上的关系将是不可见的算法。本文探讨了家庭的Word 2 Vec嵌入系统地操纵用于定义每个单词周围的上下文的采样尺度时产生的。主要的结果是，不同的语言关系优先编码在不同的尺度。不同的尺度强调了词与词之间不同的句法和语义关系，而且词在嵌入中的邻域也会随着尺度的不同而发生显著变化。这些结果表明，任何单独的规模只能确定一个词可能有意义的关系的一个子集，并指出发展无尺度模型的语义意义的重要性。
2019-12-16 cs.CL
Clinical Predictive Keyboard using Statistical and Neural Language Modeling
Stockholm University（斯德哥尔摩大学）
语言模型可用于在创作期间预测下一个单词、纠正拼写或加速书写（例如，在短信或电子邮件中）。然而，语言模型仅以非常小的规模被应用以在创作期间辅助医师（例如，出院小结或放射学报告）。但是，随着对医生的帮助，基于计算机的系统，加快病人的退出也有助于减少医院感染。我们采用统计和神经语言建模来预测临床文本的下一个单词，并在两个放射学报告数据集上评估所有模型的准确性和折扣率。我们表明，神经语言模型在放射学报告中可以达到高达51.3%的准确率（正确预测两个单词中的一个）。我们还表明，即使当模型只用于频繁的话，医生可以节省宝贵的时间。
2020-06-22 cs.CL
Statistical analysis of word flow among five Indo-European languages
Facultad de Ciencias, Universidad Nacional Autónoma de México（墨西哥国立自治大学理学院）；Instituto de Física, Universidad Nacional Autónoma de México（墨西哥国立自治大学物理研究所）；Instituto de Investigaciones en Matemáticas Aplicadas y Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）；Centro de Ciencias de la Complejidad, Universidad Nacional Autónoma de México（墨西哥国立自治大学复杂性科学中心）；Santa Fe Institute（圣塔菲研究所）
最近增加的数据可用性允许进行不同的统计语言学研究的可能性。在这里，我们使用Google Books Ngram数据集来分析英语、法语、德语、意大利语和西班牙语之间的单词流。我们研究我们定义为“移民词”，一种不会改变拼写的外来词。我们量化了不同年代从一种语言到另一种语言的移民词，并注意到大多数移民词可以在语义场中聚合并与历史事件相关联。我们还研究了累积迁移词的统计特性及其等级动态。我们提出了一个措施，可以用来作为文化影响力的代理移民的话使用。我们的方法并非没有警告，但我们的结果是令人鼓舞的，以促进在这个方向上的进一步研究。
2023-01-17 cs.CL physics.soc-ph
Polish and English wordnets -- statistical analysis of interconnected networks
Warsaw University of Technology（华沙理工大学）
词网是由名词、动词、形容词和副词组成的语义网络，它们通过语义关系按照语言学原则组织起来。在这项工作中，我们采用了复杂网络的角度进行比较分析的英语和波兰语的词网。我们确定它们的相似性，并表明网络表现出一些在其他现实世界的网络中观察到的典型特征。我们分析两个词网之间的语际关系和深思熟虑的问题，映射到英语的波兰语词汇。
2014-04-07 cs.CL physics.soc-ph
Improving Statistical Language Model Performance with Automatically Generated Word Hierarchies
设计了一个自动词分类系统，该系统处理从自然语言语料库中提取的单字和二元词频统计。该系统实现了一个二进制自上而下的形式，采用平均类互信息度量的词聚类。产生的分类是分层的，允许可变的类粒度。字被表示为结构标记-唯一的$n$位数，其最重要的位模式包含类信息。对结构标签的访问立即提供了对相应单词的所有分类级别的访问。分类系统成功地揭示了英语的一些结构，从音位到语义层次。该系统已被比较-直接和间接-与其他最近的词分类系统。基于类的内插语言模型已经被构造来利用分类所提供的额外信息，并且一些实验已经表明新的模型提高了模型性能。
1995-03-09 cmp-lg cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时，情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而，由于双语列表包含基本形式的单词，因此它不会翻译形态丰富的语言（如僧伽罗语和泰米尔语）的屈折形式。本文主要研究统计机器翻译中的数据增强技术，即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
Phrase Based Language Model for Statistical Machine Translation: Empirical Study
重排序是机器翻译系统面临的一个挑战。在机器翻译中，广泛使用的方法是应用基于词的语言模型（LM），它将句子的组成单位视为词。在语音识别（SR）中，已经提出了一些基于短语的LM。然而，这些LM不一定适合于重新排序或对于重新排序是最佳的。我们提出了两个短语为基础的LM认为一个句子的组成单位作为短语。实验表明，我们的短语为基础的LM优于基于词的LM方面的困惑和n-best列表重新排名。
2015-02-18 cs.CL
Mostly-Unsupervised Statistical Segmentation of Japanese Kanji Sequences
由于书面日语中缺少单词分隔符，因此分词通常被认为是处理日语文本的关键第一步。典型的日本分割算法依赖于词典和句法分析或预分割数据，但这些都是劳动密集型的，并且词典-句法技术容易受到未知词问题的影响。相比之下，我们介绍了一种新的，更强大的统计方法，利用未分割的训练数据。尽管它的简单性，该算法产生的长汉字序列的性能相当，有时超过国家的最先进的形态分析仪在各种错误度量。该算法也优于另一个大部分无监督的统计算法以前提出的中国。此外，我们提出了一个两级的注释计划，日本将多个分割粒度，并引入两个新的评价指标，都基于一个兼容的括号的概念，可以同时考虑多个粒度。
2002-05-10 cs.CL
Introduction of a novel word embedding approach based on technology labels extracted from patent data
EQMania UG
本文提出一种基于人工标注专利技术标签统计分析的词嵌入方法，生成语言无关的准确技术词向量，并展示初步定性结果。
2021-01-31 cs.CL
What is a word?
University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
本文探讨“什么是词”这一基础问题，指出学界对词性的常见误解，并基于现有理论阐明词库的可能本质及其对语言实验设计的启示。
2024-02-19 cs.CL
MelBERT: Metaphor Detection via Contextualized Late Interaction using Metaphorical Identification Theories
Sungkyunkwan University（成均馆大学）；Bering Lab；The Pennsylvania State University（宾夕法尼亚州立大学）
自动隐喻检测是一个具有挑战性的任务，以确定隐喻表达的话在一个句子。为了解决这个问题，我们采用预先训练的上下文化模型，例如，BERT和ROBERTA。为此，我们提出了一个新的隐喻检测模型，即隐喻感知的后期交互BERT（MelBERT）。我们的模型不仅利用语境化的单词表示，而且还受益于语言隐喻识别理论，以区分单词的上下文和字面意义。我们的实证结果表明，MelBERT在四个基准数据集上优于几个强基线，即，VUA-18、VUA-20、MOH-X和TroFi。
2021-04-28 cs.CL cs.LG
A Formal Look at Dependency Grammars and Phrase-Structure Grammars, with Special Consideration of Word-Order Phenomena
词汇在意义语篇理论和其他依赖性语言学理论中的核心作用在基于上下文无关语法的语言学理论中是不可复制的。我们描述树邻接语法（TAG）作为一个系统，自然出现在词汇化的过程中的CFGs。因此，TAG语法可以直接与意义文本模型（MTM）进行比较。我们说明了这一点，通过讨论某些非投射结构的计算复杂性，并提出了一种方法，将局部的词序定义到表面的语法组件MTT。
1994-10-18 cmp-lg cs.CL
Word-to-Word Models of Translational Equivalence
并行文本（双文本）具有将其与其他类型的并行数据区分开的属性。首先，大多数单词只能翻译成另一个单词。第二，bitext通信是嘈杂的。本文介绍了偏置统计翻译模型来反映这些属性的方法。在稀疏数据存在的情况下，对这些偏差的预期行为进行分析，可以预测它们将导致更准确的模型。预测是通过相对于黄金标准的评估来证实的-以这种方式有偏见的翻译模型比基线知识贫乏的模型要准确得多。本文还展示了统计翻译模型如何利用关于特定语言对的各种预先存在的知识。即使是最简单的语言特定知识，例如内容词和功能词之间的区别，也可以可靠地提高翻译模型在某些任务上的性能。由关于模型领域的预先存在的知识所告知的统计模型结合了理性主义和非理性主义传统的最佳之处。
1998-05-11 cmp-lg cs.CL
Towards Integration of Statistical Hypothesis Tests into Deep Neural Networks
Zurich University of Applied Sciences（苏黎世应用科学大学）
我们报告了我们正在进行的关于一个新的深度架构的工作，该架构与一个统计测试程序协同工作，用于联合训练文本及其标签描述，以实现多标签和多类分类任务。一个统计假设检验方法是用来提取最翔实的话，为每个给定的类。这些词被用作更具有标签意识的文本分类的类描述。直觉是帮助模型专注于信息量更大的单词，而不是更频繁的单词。该模型利用标签描述的使用，除了输入文本，以提高文本分类性能。我们的方法是完全数据驱动的，没有依赖于其他来源的信息比训练数据，并适应于不同的分类问题，通过提供适当的训练数据，而无需主要的超参数调整。我们在几个公开可用的数据集上训练和测试了我们的系统，在这些数据集上，我们成功地提高了一个高利润率数据集的最新技术水平，并在所有其他数据集上获得了有竞争力的结果。
2019-06-15 cs.CL
Phrase Pair Mappings for Hindi-English Statistical Machine Translation
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
在本文中，我们提出了我们的工作，创造词汇资源的机器翻译之间的英语和印地语。我们描述了短语对映射的发展，我们的实验和不同的训练模型之间的比较性能评估的基础上的统计机器翻译系统。我们致力于通过探索不同的方法来增加平行语料库中的词汇量以及各种屈折形式。我们使用各种词汇资源（例如词汇词、同义词、虚词和动词短语）扩展了训练语料库。我们已经描述了案例研究，自动和主观评价，详细的错误分析的英语到印地语和印地语到英语的机器翻译系统。进一步分析表明，随着各种词汇资源的使用，机器翻译的质量也在不断提高。因此，词汇资源确实有助于提高资源贫乏语言的翻译质量。
2017-11-10 cs.CL
Modeling informational novelty in a conversational system with a hybrid statistical and grammar-based approach to natural language generation
我们提出了一个混合统计和基于语法的系统，表面自然语言生成（NLG），使用语法规则，使用这些语法规则的条件，和语料库统计，以确定词序。我们还描述了如何在一个原型会话系统中实现这个表面NLG模块，以及它如何试图通过改变词序来模拟信息新奇。使用规则和统计信息的组合，会话系统根据运行时对话状态以与给定信息不同的方式表达新信息。我们还讨论了我们的计划，评估发电战略。
2001-06-21 cs.CL
Constructions are Revealed in Word Distributions
Stanford University（斯坦福大学）；Uppsala University（乌普萨拉大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究以RoBERTa为词分布代理，验证构式可显现为统计亲和模式，虽能区分多数构式，但统计亲和仅是识别构式的部分信号。
2025-09-25 cs.CL
Lexical Co-occurrence, Statistical Significance, and Word Association
IIT Bombay（印度理工学院孟买分校）；Microsoft Research India（微软印度研究院）
词汇同现是检测词汇联想的重要线索。我们提出了一个理论框架，发现统计上显着的词汇共现从一个给定的语料库。与普遍的做法给予权重的unigram频率相比，我们只关注包含两个术语（候选bigram）的文档。我们检测的相关词的跨度分布的偏见，而不可知的全球单字频率的变化。我们的框架具有保真度，区分不同类别的词汇同现，根据强度的文件和语料库水平的线索的同现数据。我们在基准数据集上进行了大量的实验，以研究目前文献中已知的各种同现措施的性能。我们发现，一个相对模糊的措施称为Ochiai，和一个新推出的措施CSA捕获词汇共现的概念最好的，其次是LLR，骰子，和TTest，而另一个流行的措施，PMI，令人惊讶的是，表现不佳的上下文中的词汇共现。
2010-08-31 cs.CL cs.IR
Statistical patterns of word frequency suggesting the probabilistic nature of human languages
Beijing Language and Culture University（北京语言大学）；Anhui Jianzhu University（安徽建筑大学）；Zhejiang University（浙江大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
传统的语言学理论在很大程度上把语言看作是由严格的规则组成的形式系统。然而，他们在处理真实语言方面的失败，最近在统计自然语言处理方面的成功，以及许多心理学实验的发现都表明，语言可能更像是一个概率系统，而不是一个形式系统，因此不能忠实地用形式语言学理论的非此即彼规则来建模。本研究以真实语料为基础，证实了语言共性、历时漂移和语言变异等重要语言学问题都可以转化为言语中的概率和频率模式。这些发现表明，人类语言很可能是概率系统的性质，统计很可能使人类语言的固有属性。
2020-12-01 cs.CL physics.comp-ph
Statistical Inferences for Polarity Identification in Natural Language
University of Freiburg（弗莱堡大学）；ETH Zurich（苏黎世联邦理工学院）
信息构成了所有人类行为的基础，包括人们在日常生活中不断执行的无处不在的决策。因此，研究人员的使命是了解人类如何处理信息以做出决策。为了促进这项任务，这项工作提出了一种新的方法来研究自然语言中的颗粒表达的接收。该方法利用LASSO正则化作为一种统计工具，从文本内容中提取决定性的单词，并根据单词的出现与外源响应变量之间的对应关系进行统计推断。因此，该方法立即表明了对社会科学和信息系统研究的重要意义：每个人现在都可以识别与作者或读者统计相关的文本片段和单词选择，并基于此知识，测试行为研究的假设。我们通过研究作者如何通过叙事材料传达主观信息来展示我们方法的贡献。这使我们能够回答在传达负面信息时选择哪些词语的问题。另一方面，我们表明，投资者的交易不仅在财务披露的事实，但分散了由填充词和非信息性语言。从业者-例如投资者沟通或营销领域的从业者-可以利用我们的见解，根据对词语选择的真实感知来提高他们的写作。
2018-04-05 cs.CL stat.AP
Statistical Laws Governing Fluctuations in Word Use from Word Birth to Word Death
IMT Lucca Institute for Advanced Studies（IMT卢卡高等研究院）；Boston University（波士顿大学）；Bar-Ilan University（巴伊兰大学）
我们分析了1800- 2008年间英语、西班牙语和希伯来语中记录的10^7个单词的动态特性，以深入了解语言和文化的共同进化。我们报告语言独立的模式有用的基准语言进化的理论模型。一个显着减少（增加）的趋势，在出生（死亡）率的话表明最近的转变，在选择法律的文字使用。对于新词，我们观察到的增长率波动峰值约40年后引入，符合标准词典的典型输入时间和人类世代的时间尺度。战争期间语言动态的显著变化表明，跨时间和词与词之间的词相关性在很大程度上受到共同进化的社会、技术和政治因素的影响。我们量化的文化记忆，通过分析长期的相关性，在使用个别的话，使用去趋势波动分析。
2012-02-15 cs.CL cs.IR nlin.AO
A Computational Operationalisation of Competing Maturational Theories of Syntactic Development via Statistical Grammar Induction
Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
本文探讨了儿童在第一语言发展中获得中间语法类别及其顺序，通过统计语法诱导验证不同成熟理论的预测，发现GROWING模型在三个评估指标上显著优于INWARD模型。
2026-05-08 cs.CL
Entropic analysis of the role of words in literary texts
除了语法所施加的局部约束之外，在长序列中连接的单词携带复杂的信息，显示出统计上的相似性，这可能反映了它们在信息中的语言作用。本文对文学英语语料库中的词汇使用情况进行了系统的统计分析。我们发现，有一个定量的关系，在文学英语中的内容词的作用和香农信息熵定义在一个适当的概率分布。在不假设任何关于语言句法结构的先验知识的情况下，我们能够根据它们在文本中的特定作用对某些单词组进行聚类。
2001-09-12 cond-mat.stat-mech cs.CL
A Meaning-based Statistical English Math Word Problem Solver
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
本文介绍了MeSys，一种基于意义的方法，通过理解和推理解决英语数学应用题（MWPs）。它首先对文本进行分析，将主体部分和疑问部分转化为相应的逻辑形式，然后进行推理。每个量的相关联的上下文用所提议的角色标签（例如，nsubj、动词等），其提供了用其相关联的上下文信息来注释所提取的数学量的灵活性（即，这个量的物理意义）。提出了统计模型来选择操作符和操作数。噪声数据集被设计为评估求解器是否主要通过理解或机械模式匹配来求解MWP。实验结果表明，我们的方法优于现有的系统在基准数据集和噪声数据集，这表明所提出的方法理解的意义，每个量的文本中更多。
2018-07-06 cs.AI cs.CL
Complexity and universality in the long-range order of words
The University of Manchester（曼彻斯特大学）
正如复杂系统产生的许多信号一样，语言呈现出一种在有序和无序之间平衡的统计结构。在这里，我们回顾和扩展最近的结果，从定量表征的程度，以便在语言序列，深入了解语言的两个相关方面：存在的统计共性在单词排序，语义信息和统计语言结构之间的联系。我们首先分析了相对熵的测量，它评估了单词的排序对语言整体统计结构的贡献。该测量在几个语言家族中呈现接近3.5比特/字的几乎恒定的值。然后，我们表明，直接应用信息论导致的熵测量，可以量化和提取语义结构的语言样本，即使没有先验知识的基础语言。
2015-03-03 cs.CL physics.data-an physics.soc-ph
A Statistical Model of Word Rank Evolution
University of California Merced（加利福尼亚大学默塞德分校）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
大量语言数据集的可用性使数据驱动的方法能够研究语言变化。Google图书语料库的单字频率数据集被用来调查八种语言的单词排名动态。我们观察了从1900年到2008年的一元图的排名变化，并将其与我们为分析开发的赖特-费舍尔启发模型进行了比较。该模型模拟了一个中性的进化过程，限制没有消失和添加的单词。这项工作解释了该模型的数学框架-写为具有多项式转移概率的马尔可夫链-以显示单词的频率如何随时间变化。从我们对数据和模型的观察来看，单词等级稳定性表现出两种类型的特征：（1）等级的增加/减少是单调的，或者（2）等级保持不变。根据我们的模型，高排名的单词往往更稳定，而低排名的单词往往更不稳定。有些词的等级变化有两种方式：（a）随着时间的推移，等级的小幅度上升/下降变化的积累;（b）等级上升/下降的冲击。我们所研究的所有语言中的大多数单词都是等级稳定的，但并不像中性模型预测的那样稳定。停用词和Swadesh词被观察到在八种语言中排名稳定，表明在既定语言中的语言一致性。这些特征表明，所有语言中的单字频率都以一种与纯粹中性进化过程不一致的方式发生了变化。
2022-02-14 cs.CL stat.AP
Essentia: Mining Domain-Specific Paraphrases with Word-Alignment Graphs
University of Pennsylvania（宾夕法尼亚大学）；Megagon Labs（Megagon实验室）
释义是自然语言处理中的重要语言资源。人们已经提出了许多从普通语料库中自动挖掘释义的技术。虽然这些技术在发现通用释义方面是成功的，但是它们通常不能识别领域特定释义（例如，酒店领域的{员工、礼宾}）。这是因为目前的技术往往是基于统计方法，而特定领域的语料库太小，以适应统计方法。在本文中，我们提出了一种无监督的基于图的技术，从一小部分大致共享相同主题或意图的句子中挖掘释义。我们的系统，repla，依赖于单词对齐技术来创建一个单词对齐图，合并和组织输入句子的标记。然后使用所得到的图来生成候选释义。我们证明，我们的系统获得高质量的释义，人群工作人员的评价。我们进一步表明，大多数确定的释义是特定领域的，从而补充现有的释义数据库。
2019-10-04 cs.CL
What company do words keep? Revisiting the distributional semantics of J.R. Firth & Zellig Harris
McGill University（麦吉尔大学）；Columbia University（哥伦比亚大学）
词嵌入的强大力量归因于语言学理论，即相似的词会出现在相似的上下文中。英国语言学家J.R.的一句话“你应该通过它的同伴来了解一个词”，这一观点被特别引用。弗斯和他的美国同事泽利格·哈里斯经常被认为是“分布语义学”的发明者。虽然所有主要的NLP教科书和许多基础论文都引用了Firth和Harris，但很少讨论他们理论之间的内容和差异。仔细阅读他们的作品，我们会发现两种截然不同的意义理论，在许多方面都是不同的。一种是专门关注语言形式的内部运作，而另一种是邀请我们在新的公司中考虑单词-不仅与其他语言元素，而且还在更广泛的文化和情景背景下。从当前NLP争论的角度对比这些理论，我们发现弗斯是一个可以引导该领域走向更有文化基础的语义学概念的人物。我们考虑如何通过两种不同的策略：比较分层和组合扩展，在实践中建立一个扩展的“语境”概念
2022-05-16 cs.AI cs.CL cs.CY
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
该研究首次将基于预群语法的量子组合自然语言处理应用于阿拉伯语，通过将句子转换为拓扑反映语法结构的量子电路进行实验，对比量子电路方法与经典基线，为阿拉伯语处理提供新途径。
2026-07-17 cs.CL
Toward a statistical mechanics of four letter words
Joseph Henry Laboratories of Physics（约瑟夫·亨利物理实验室）；Lewis--Sigler Institute for Integrative Genomics（刘易斯-西格勒整合基因组学研究所）；Center for the Study of Mind, Brain and Behavior（心智、大脑与行为研究中心）；Princeton Center for Theoretical Physics（普林斯顿理论物理中心）；Princeton University（普林斯顿大学）
该研究将四字母单词视为字母交互网络，用与字母成对相关性一致的最大熵模型近似其概率分布，捕捉约92%字母多信息、发现未在训练数据中的真实词，其能量景观局部极小值占书面英语所用单词近三分之二。
2007-12-31 cs.CL physics.data-an physics.soc-ph
Empirical observations of ultraslow diffusion driven by the fractional dynamics in languages: Dynamical statistical properties of word counts of already popular words
The Institute of Statistical Mathematics（统计数理研究所）；The Research Organization of Information and Systems（信息与系统研究机构）
超低扩散（即对数扩散）已被广泛研究的理论，但几乎没有观察到经验。在本文中，首先，我们通过分析三个不同的全国性语言数据库：（i）报纸文章（日语），（ii）博客文章（日语），和（iii）维基百科的页面浏览量（英语，法语，中文和日语），发现已经流行的单词的字数的时间序列的超慢扩散。其次，我们用理论分析表明，这种扩散基本上是由指数为$β\approx 0.5$的幂律遗忘的随机行走模型解释的，它与分数朗之万方程有关。指数$β$表征遗忘的速度，并且$β\approx 0.5$对应于（i）平稳和非平稳之间的边界（或阈值）以及（ii）$β=1$的IID噪声和$β=0$的正常随机游走之间的中间动态。第三，流行词词数时间序列的生成模型是一种Poisson过程，其参数由上述随机游走模型采样得到，该模型不仅能近似地再现经验均方位移，而且能近似地再现功率谱密度和概率密度函数。
2018-06-29 cs.CL cs.CY physics.soc-ph
Comparative Experiments on Disambiguating Word Senses: An Illustration of the Role of Bias in Machine Learning
本文描述了一个实验比较的七种不同的学习算法的学习问题，以消除歧义的一个词的含义从上下文。测试的算法包括统计，神经网络，决策树，基于规则的，基于案例的分类技术。测试的具体问题涉及使用当前和进行句子中的单词作为上下文来消除单词“行”的六种含义的歧义。统计和神经网络方法在这个特定的问题上表现最好，我们讨论了这种观察到的差异的潜在原因。我们还讨论了偏见在机器学习中的作用，以及它在解释特定问题上观察到的性能差异方面的重要性。
1996-12-09 cmp-lg cs.CL
Information-theoretical analysis of the statistical dependencies among three variables: Applications to written language
Centro Atómico Bariloche（巴里洛切原子中心）；Instituto Balseiro（巴尔塞罗研究所）
我们开发了研究三个变量之间的统计依赖关系所需的信息理论概念。其中一些依赖关系是纯粹的三重相互作用，从某种意义上说，它们不能用成对相关性的组合来解释。我们推导出三重依赖的界限，并描述了三个二元变量的联合概率分布的形状与高三重相互作用。该分析还允许我们量化变量对之间的互信息中的冗余量，并评估两个变量之间的信息是否由第三个变量介导。这些概念适用于书面文本的分析。我们发现，一个给定的单词被发现在一个特定的位置内的文本的概率不仅调制的存在或不存在的其他附近的话，但也，对存在或不存在的附近的单词对。我们确定的话包围的关键语义概念的文本，高成对和三重相互作用的三元组的话，和调解其他词之间的成对相互作用的话。
2015-07-30 cs.CL physics.data-an physics.soc-ph
