Word Segmentation as Graph Partition
University of Michigan（密歇根大学）；Tsinghua University（清华大学）
本文提出了一种新的中文分词方法，将句子看作是一个无向图，其节点是汉字。可以使用各种技术来计算边权重，该边权重测量字符之间的连接强度。利用谱图划分算法对字符进行分组，实现分词。我们遵循图分割的方法，设计了几种无监督的分词算法，并在两个语料库上展示了它们令人鼓舞的分词结果：（1）中文电子病历，（2）第二届国际汉语分词评测的基准数据。
2018-04-05 cs.CL
Word Segmentation on Micro-blog Texts with External Lexicon and Heterogeneous Data
Soochow University（苏州大学）
本文介绍了我们为NLPCC 2016共享任务设计的微博文本分词系统。
2016-09-29 cs.CL
Investigating Self-Attention Network for Chinese Word Segmentation
Westlake University（西湖大学）
神经网络已经成为中文分词的主流方法。大多数现有的模型将任务转换为序列标记，使用BiLSTM-CRF表示输入并进行输出预测。最近，基于注意力的序列模型已经成为LSTM的一个极具竞争力的替代方案，它通过并行计算实现了更好的运行速度。本文研究了自注意网络在中文分词中的应用，并与BiLSTM-CRF模型进行了比较。此外，使用BERT的上下文字符嵌入的影响进行了研究，并提出了一种方法，将词的信息集成到SAN分割。结果表明，SAN提供了非常有竞争力的结果相比，BiLSTM，与BERT和词的信息进一步提高了领域内和跨领域的分割。我们的最终模型给出了6个异构域基准测试的最佳结果。
2019-07-26 cs.CL
Reduce Meaningless Words for Joint Chinese Word Segmentation and Part-of-speech Tagging
Xiamen University（厦门大学）；Tsinghua University（清华大学）
传统的汉语分词和词性标注（S&T）联合方法具有泛化能力，不能识别出在训练数据中没有出现的新词。一个不受欢迎的副作用是，许多无意义的单词将被错误地创建。我们提出了一个有效的和高效的框架S&T，引入功能，以显着减少无意义的单词生成。一个通用的词典，维基百科和一个大规模的原始语料库的2000亿个字符被用来生成基于词的特征的词。基于词格的框架包括一个基于字符的模型和一个基于词的模型，以利用我们的基于词的功能。在Penn中文树库5上的实验表明，与基线相比，该方法的无意义词生成减少了62.9%。因此，用于分割的F1度量增加到0.984。
2013-05-25 cs.CL
Word Segmentation for Asian Languages: Chinese, Korean, and Japanese
Georgia Institute of Technology（佐治亚理工学院）
本文详细概述了中文、韩文和日文的多种分词方法，分析了各方法的优缺点，并指出该领域仍有未来研究空间。
2024-07-28 cs.CL
Word Segmentation and Morphological Parsing for Sanskrit
University of Tübingen（蒂宾根大学）
我们描述了我们参与的分词和形态分析（WSMP）的梵文黑客。我们接近的分词任务作为一个序列标签的任务，通过预测的编辑操作，从分割的。我们通过预测形态标签和规则，将词形变化转化为相应的词干，接近形态分析任务。此外，我们提出了一个端到端的可训练管道模型，用于联合分割和形态分析。我们的模型在联合分割和分析子任务中表现最好（80.018 F1得分），在单个子任务中表现第二好（分割：96.189 F1得分/分析：69.180 F1得分）。最后，我们分析了我们的模型所犯的错误，并提出了未来的工作和可能的改进数据和评估。
2022-01-30 cs.CL
Switch-LSTMs for Multi-Criteria Chinese Word Segmentation
Fudan University（复旦大学）；Shanghai Insitute of Intelligent Electroics & Systems（上海智能电子与系统研究所）
多准则汉语分词是一个很有前途但也很有挑战性的研究课题，它需要利用多种不同的分词准则并挖掘它们的共同知识。在本文中，我们提出了一个灵活的多准则学习的中文分词。通常，一个分割标准可以分解为多个子标准，这些子标准可以与其他分割标准共享。分词的过程是在这些子标准之间的路由。从这个角度来看，我们提出了Switch-LSTM来分割单词，它由几个长短期记忆神经网络（LSTM）和一个切换器组成，用于自动切换这些LSTM之间的路由。有了这些自动切换的LSTM，我们的模型为多标准CWS提供了一个更灵活的解决方案，这也很容易将学到的知识转移到新的标准。实验结果表明，该模型在8个具有异质分割标准的语料库上，与以前的方法和单标准学习相比，取得了显着的改善。
2018-12-19 cs.CL
Robust Chinese Word Segmentation with Contextualized Word Representations
National Taiwan University（台湾大学）
近年来，基于神经网络的分词方法提出后，中文分词任务的准确率有了很大的提高。然而，在处理词汇表外的单词时，仍然存在很大的出错率。我们使用简单的双向LSTM架构和大规模预训练的语言模型来生成高质量的上下文化字符表示，成功地减少了汉字中广泛出现的每个汉字的歧义的弱点，从而有效地降低了OOV的出错率。在许多数据集上实现了最先进的性能。
2019-01-17 cs.CL
DAG-based Long Short-Term Memory for Neural Word Segmentation
Fudan University（复旦大学）
神经分词由于能够通过预先训练好的字符或词嵌入来减轻特征工程的工作量，并能充分利用外部资源，因此引起了越来越多的研究兴趣。在本文中，我们提出了一个新的神经模型，将词级信息的中文分词。与以往的基于词的模型不同，我们的模型仍然采用了基于字符的序列标记框架，这在推理阶段的有效性和效率上都具有优势。为了利用单词级信息，我们还提出了一种新的基于有向无环图（DAG）的长短期记忆（LSTM）架构。实验结果表明，我们的模型导致更好的性能比基线模型。
2017-07-02 cs.CL
Urdu Word Segmentation using Conditional Random Fields (CRFs)
ITU（信息技术大学）；EMBL-EBI（欧洲分子生物学实验室-欧洲生物信息研究所）
最先进的自然语言处理算法在很大程度上依赖于高效的分词。乌尔都语是其中分词是一项复杂的任务，因为它表现出空间省略以及空间插入问题的语言。这部分是由于阿拉伯文字，虽然草书的性质，包括字符，有内在的连接和非连接属性，无论字的边界。本文提出了一个乌尔都语分词系统，它使用了一个条件随机场序列建模与拼写，语言和形态特征。我们提出的模型自动学习预测空白作为词边界以及零宽度非连接器（ZWNJ）作为子词边界。使用手动注释的语料库，我们的模型实现了F1分数为0.97字边界识别和0.85子字边界识别任务。我们已经公开了我们的代码和语料库，以使我们的结果可重复。
2018-06-14 cs.CL
Evaluating Sentence Segmentation and Word Tokenization Systems on Estonian Web Texts
University of Tartu（塔尔图大学）
从网络上获取的文本是嘈杂的，不一定遵循正字法句子和词边界规则。因此，在格式良好的文本上开发的句子分割和单词标记化系统在未经编辑的Web文本上可能不会表现得那么好。在本文中，我们首先描述了爱沙尼亚网络数据集的句子边界的手动注释，然后给出了三个现有的句子分割和单词标记化系统在这个语料库上的评估结果：EstNLTK，Stanza和UDPipe。虽然EstNLTK在此数据集上的句子分割方面获得了与其他系统相比最高的性能，但Stanza和UDPipe的句子分割性能仍然远低于在更完善的爱沙尼亚UD测试集上获得的结果。
2020-11-16 cs.CL
Is word segmentation necessary for Vietnamese sentiment classification?
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
据我们所知，本文首次尝试回答分词是否是必要的越南语情感分类。为此，我们为越南语提供了五个预训练的基于单语S4的语言模型，包括一个没有分词的模型，以及四个在预处理数据阶段使用RDRsegmenter，uitnlp，pyvi或under thesea工具包的模型。根据对VLSP 2016-SA新闻和社交媒体技术文章评论语料库和教育调查语料库VLSP 2016-VSFC的综合实验结果，我们有两个建议。首先，使用传统的分类器，如朴素贝叶斯或支持向量机，分词可能是不必要的越南情感分类语料库，这来自社会领域。其次，当在使用BPE方法并输入到深度学习模型之前使用分词时，分词对于越南语情感分类是必要的。通过这种方式，RDRsegmenter是uitnlp、pyvi和underthesea工具包中用于分词的稳定工具包。
2023-01-01 cs.CL
Fast and Accurate Neural Word Segmentation for Chinese
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）
在中文分词任务中，具有最小特征工程的神经模型取得了与传统方法相媲美的性能。然而，目前的神经模型的训练和工作过程都是计算效率低下的。本文提出了一种贪婪神经分词器，平衡的词和字符嵌入输入，以减轻现有的缺点。我们的分割器是真正的端到端，能够在中国基准数据集上比最先进的神经模型更快甚至更准确地执行分割。
2017-04-24 cs.CL
Universal Word Segmentation: Implementation and Interpretation
Uppsala University（乌普萨拉大学）
分词是一个低级的NLP任务，对于相当多的语言来说是不平凡的。在本文中，我们提出了一个序列标记框架，并将其应用到分词的广泛的语言与不同的写作系统和类型学特征。此外，我们还研究了各种类型因素与分词准确率之间的相关性。实验结果表明，分词准确率与词边界标记呈正相关，与非分词词的数量呈负相关。基于分析，我们设计了一小部分特定语言的设置，并在通用数据集上广泛评估了分割系统。我们的模型在所有UD语言上都获得了最先进的精度。与以前的工作相比，它在非平凡的语言上表现得更好，例如中文，日语，阿拉伯语和希伯来语。
2018-07-09 cs.CL
Incremental Learning for Fully Unsupervised Word Segmentation Using Penalized Likelihood and Model Selection
National Taiwan University（国立台湾大学）
我们提出了一种新的增量学习方法，结合概率建模和模型选择的功能，无监督分词。这包括用于解决长词形成所造成的认知负担的超加性惩罚，以及基于高阶生成假设的新模型选择标准。我们的方法是完全无监督的;它依赖于少量的参数，允许灵活的建模和自动从数据中学习参数的机制。通过实验，我们表明，这种复杂的设计，导致顶级性能在音素和正字法分词。
2016-09-23 cs.CL
Adversarial Multi-Criteria Learning for Chinese Word Segmentation
Fudan University（复旦大学）
不同的语言学视角导致了汉语分词标准的差异。大多数现有的方法侧重于提高性能的每一个单一的标准。然而，利用这些不同的标准并挖掘其共同的基础知识是有趣的。在本文中，我们提出了对抗性的多标准学习CWS通过整合共享的知识，从多个异构的分割标准。在八个具有异构切分标准的语料库上的实验表明，与单一标准学习相比，每个语料库的性能都得到了显著的提高。本文的源代码可以在Github上找到。
2017-04-25 cs.CL
Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT
Sharif University of Technology（谢里夫理工大学）；Dathena Science Pte. Ltd.（达特纳科学私人有限公司）
在波斯语书写系统中，单词被适当地分段;然而，在实践中，这些书写规则经常被忽视，导致单个单词被不连续地书写，而多个单词在它们之间没有任何空格。本文讨论了波斯语中的分词和零宽度非连接器（ZWNJ）识别问题，我们将其作为一个序列标记问题来处理。我们在仔细收集的500句高难度句子的语料库上获得了92.40%的宏观平均F1分数。
2020-10-28 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型联合越南语分词，词性（POS）标记和依存句法分析。特别地，我们的模型用基于BiLSTM-CRF的神经层（Huang et al.，2015）用于分词和POS标记。在越南基准数据集上的实验结果表明，我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
Parsing Through Boundaries in Chinese Word Segmentation
The Chinese University of Hong Kong, Hong Kong（香港中文大学）；University College London, United Kingdom（伦敦大学学院）；The University of British Columbia, Canada（不列颠哥伦比亚大学）
本文以中文GSD树库为对象，研究不同分词边界方案对依存句法结构的影响，并开发交互式可视化工具以支持对比分析。
2025-07-04 cs.CL
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Long Short-Term Memory for Japanese Word Segmentation
Yahoo Japan Corporation（雅虎日本公司）；Tokyo Metropolitan University（东京都立大学）
本研究提出了一种用于日语分词（JWS）的长短期记忆（LSTM）神经网络方法。以往的中文分词（CWS）研究成功地使用了递归神经网络，如LSTM和门控递归单元（GRU）。然而，与中文相比，日语包括几种字符类型，如平假名、片假名和汉字，这些字符类型会产生拼写变化，并增加分词的难度。此外，对于JWS任务来说，考虑全局上下文是很重要的，而传统的JWS方法依赖于本地特性。为了解决这个问题，本研究提出采用基于LSTM的方法来JWS。实验结果表明，该模型实现了国家的最先进的准确性与各种日语语料库。
2018-09-27 cs.CL
A realistic and robust model for Chinese word segmentation
Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）；Hong Kong Polytechnic University（香港理工大学）；Academia Sinica（中央研究院）；National Taiwan Normal University（台湾师范大学）
一个现实的中文分词工具必须适应文本的变化与最小的训练输入，但足够强大，以产生可靠的分割结果的所有变体。各种词汇驱动的中文分割方法，例如[1，16]，实现了高f分数，但需要对任何变化进行大量训练。文本驱动的方法，例如[12]，可以很容易地适应领域和体裁的变化，但很难匹配词典驱动方法的高f分数。在本文中，我们改进并实现了[15]中提出的创新的文本驱动的词边界决策（WBD）分割模型。WBD模型将分词简单有效地视为是否实现两个相邻字符之间的自然文本中断作为词边界的二元决策。WBD模型允许简单快速的训练数据准备，将字符转换为上下文向量，用于学习单词边界决策。使用四种不同分类器进行的机器学习实验表明，使用1,000个向量和100万个向量进行训练可以获得相当可靠的结果。此外，当应用于SigHAN Bakeoff 3竞争数据时，WBD模型产生的OOV召回率高于所有已发表的结果。与以前的所有工作不同，我们的OOV召回率与我们自己的F分数相当。这两个实验都支持WBD模型是一个现实的中文分词模型，因为它可以很容易地适应新的变体与鲁棒的结果。最后，我们将讨论语言的影响，以及未来的影响WBD的方法。
2019-05-21 cs.CL cs.IR cs.LG
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning
Techo Startup Center (TSC)（Techo创业中心）；Royal University of Phnom Penh (RUPP)（金边皇家大学）
高棉语文本从左到右书写，可选空格。空格不是用作单词边界，而是用于可读性或其他功能目的。分词是诸如词性（POS）标注之类的下游任务的优先步骤，因此，POS标注的鲁棒性高度依赖于分词。传统的高棉语词性标注是一个两阶段的过程，首先是分词，然后是对每个词的实际标注。在这项工作中，提出了一种使用单个深度学习模型的联合分词和POS标记方法，以便可以自发地执行分词和POS标记。该模型使用公开的高棉POS数据集进行了训练和测试。实验结果表明，联合模型的性能与传统的两阶段词性标注方法相当。
2021-03-31 cs.CL cs.LG
Chinese Word Segmentation with Heterogeneous Graph Neural Network
Peking University（北京大学）
近年来，深度学习在中文分词（CWS）任务中取得了重大成功。这些方法中的大多数通过利用外部信息来提高CWS的性能，例如，单词，子单词，句法然而，现有的方法不能有效地整合多层次的语言信息，也忽视了外部信息的结构特征。因此，在本文中，我们提出了一个框架，以改善CWS，命名为HGNSeg。它利用预先训练好的语言模型和异构的图神经网络，充分利用多层次的外部信息。在六个基准数据集上的实验结果（例如，Bakeoff 2005，Bakeoff 2008）验证了该方法可以有效地提高中文分词的性能。重要的是，在跨领域的情况下，我们的方法也表现出很强的能力，以减轻词汇（OOV）的问题。
2022-01-22 cs.CL
A New Clustering neural network for Chinese word segmentation
本文提出了一种新的中文分词模型，该模型具有在其他领域应用的潜力。与以往的研究相比，将中文分词视为聚类问题而不是标记问题是一种新的思路。在该模型中，使用LSTM和自注意结构在每一层收集上下文和句子级别的特征，经过几层，采用聚类模型对字符进行分组，得到最终的分割结果，称之为CLNN.该算法在训练数据集上的F值可以达到98%（无OOV词）和85%~ 95%（有OOV词）.错误分析表明，OOV词会大大降低性能，这需要进一步研究.
2020-02-18 cs.CL
Improving Cross-Domain Chinese Word Segmentation with Word Embeddings
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）；Westlake University（西湖大学）
跨领域中文分词（CWS）仍然是一个挑战，尽管最近的进展，基于神经的CWS。目标域中有限数量的带注释数据一直是令人满意的性能的关键障碍。在本文中，我们提出了一个半监督的基于词的方法，以提高跨域CWS给定的基线分割。特别是，我们的模型只部署了在目标领域的原始文本上训练的词嵌入，丢弃了复杂的手工制作的特征和特定于领域的字典。创新的子采样和负采样方法，提出了获得词嵌入优化CWS。我们在五个特定领域的数据集上进行了实验，涵盖了小说，医学和专利领域。实验结果表明，该模型能明显提高跨领域的CWS，尤其是在领域专有名词实体的切分方面。在四个数据集上，单词F-度量增加了3.0%以上，远远优于最先进的半监督和无监督跨域CWS方法。我们在Github上提供代码和数据。
2019-03-29 cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
PKUSEG: A Toolkit for Multi-Domain Chinese Word Segmentation
Peking University（北京大学）
中文分词是中文自然语言处理的一个基本步骤。在本文中，我们建立了一个新的工具包，命名为PKUSEG，多领域的分词。与现有的单一模型工具包不同，PKUSEG针对多领域分词，并为不同的领域提供单独的模型，如Web，医学和旅游。此外，由于在许多领域缺乏标记的数据，我们提出了一个领域自适应范式，通过翻译系统引入跨领域的语义知识。该方法利用目标领域中大量未标注的数据生成合成数据，进而得到目标领域的分词模型。我们还借助合成数据进一步改进了默认模型的性能。实验表明，PKUSEG在多个域上都取得了很好的性能.新工具包还支持POS标记和模型训练，以适应各种应用场景。该工具包现已免费公开，供研究和工业界使用。
2022-05-28 cs.CL
Combine CRF and MMSEG to Boost Chinese Word Segmentation in Social Media
Shanghai Jiaotong University（上海交通大学）
本文提出了一种中文社交媒体分词的联合算法。以往的工作主要集中在针对普通中文文本的分词，要开发一个中文社会化媒体处理工具，需要考虑到社会化媒体的主要特点，其语法结构不严谨，使用口语化和网络术语的倾向使得现有的中文处理工具在社会化媒体上效率低下，无法获得良好的性能。在该方法中，我们将CRF和MMSEG算法相结合，并扩展了传统CRF算法的特点，对模型进行训练，用于分词。我们在新浪微博上的实验结果表明，我们的方法优于国家的最先进的模型。
2015-10-24 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Overview of the NLPCC 2015 Shared Task: Chinese Word Segmentation and POS Tagging for Micro-blog Texts
Fudan University（复旦大学）
本文综述了第四届CCF自然语言处理与中文计算会议（NLPCC 2015）的共同课题：微博文本的中文分词和词性标注。与目前流行的新闻专线数据集不同，该共享任务的数据集由相对非正式的微文本组成。共享任务包括两个子任务：（1）单个汉语分词和（2）联合汉语分词和词性标注。每个子任务有三个轨道，以区分具有不同资源的系统。我们首先介绍数据集和任务，然后描述参与系统的不同方法，报告测试结果，并对这些结果进行概述分析。在http://nlp.fudan.edu.cn/nlpcc2015上有一个在线系统可供公开登记和评估。
2015-06-30 cs.CL
Unsupervised Word Segmentation with Bi-directional Neural Language Model
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
我们提出了一个无监督的分词模型，其中的学习目标是最大限度地提高一个句子的生成概率给定其所有可能的分割。这种生成概率可以以递归方式分解为给定上下文的每个可能片段的可能性。为了更好地捕捉长期和短期的依赖关系，我们建议使用双向神经语言模型，以更好地捕捉段的上下文的功能。两个解码算法也被描述为结合上下文特征从两个方向来生成最终的分割，这有助于调和词边界歧义。实验结果表明，我们的上下文敏感的无监督分割模型实现了国家的最先进的在不同的评估设置对各种数据集的中文，和泰国的可比结果。
2021-03-02 cs.CL
Neural Word Segmentation Learning for Chinese
Shanghai Jiao Tong University（上海交通大学）
大多数以前的中文分词方法将此问题形式化为基于字符的序列标记任务，其中只能捕获固定大小的局部窗口内的上下文信息和相邻标签之间的简单交互。在本文中，我们提出了一种新的神经框架，彻底消除了上下文窗口，可以利用完整的分割历史。我们的模型在字符上采用门控组合神经网络来产生候选单词的分布式表示，然后将其提供给长短期记忆（LSTM）语言评分模型。在基准数据集上的实验表明，在没有像大多数现有方法那样的特征工程的帮助下，我们的模型与以前的最先进的方法相比具有竞争力或更好的性能。
2016-12-02 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
Free as in Free Word Order: An Energy Based Model for Word Segmentation and Morphological Tagging in Sanskrit
IIT Kharagpur（印度理工学院克勒格布尔分校）；Flipkart（Flipkart公司）；University of Waterloo（滑铁卢大学）；American Express India Pvt Ltd（美国运通印度私人有限公司）；Chinmaya Vishwavidyapeeth（钦玛雅大学）
在自由词序语言（如梵语）的句子中，构形信息的使用是有限的。因此，即使对于诸如分词之类的基本处理任务，整个句子的上下文也将是期望的。我们提出了一个结构化的预测框架，共同解决了分词和形态标记的梵文任务。我们建立了一个基于能量的模型，其中我们采用了基于图的解析技术中通常采用的方法（McDonald等人，2005 a; Carreras，2007）。我们的模型以96.92的F分数（7.06%的百分比提高）优于最先进的技术，同时使用不到十分之一的特定于任务的训练数据。我们发现，使用基于图的方法，而不是传统的基于网格的顺序标记方法，导致分割任务的F分数的百分比增益为12.6%。
2018-10-25 cs.CL
Fast Neural Chinese Word Segmentation for Long Sentences
Shanghai Jiao Tong University（上海交通大学）
近年来，神经网络模型在中文分词中取得了与传统分词模型相当的性能。然而，大多数方法遇到的计算效率低，特别是对于长句，因为增加的模型复杂度和较慢的解码器。本文提出了一种简单的神经分割器，它直接标记相邻字符之间的间隙存在，以减轻现有的缺点。我们的分割器是完全端到端的，能够非常快速地执行分割。我们还显示了不同的标记集的性能差异。实验表明，我们的分割器可以提供与国家的最先进的性能相当。
2019-01-29 cs.CL
Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning
Human Language Technology Center of Excellence（人类语言技术卓越中心）；Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
命名实体识别和其他信息抽取任务经常使用语言特征，例如词性标签或组块。对于在文本中不容易识别词边界的语言，分词是为NER系统生成特征的关键第一步。虽然使用词边界标签作为特征是有帮助的，但是帮助识别这些边界的信号可以为NER系统提供更丰富的信息。新的最先进的分词系统使用神经模型来学习用于预测词边界的表示。我们发现，这些相同的表示，与NER系统联合训练，对中国社交媒体的NER产生了显着的改善。在我们的实验中，使用LSTM-CRF模型联合训练NER和分词比以前发表的结果有近5%的绝对改善。
2017-03-28 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
BabyLM's First Words: Word Segmentation as a Phonological Probing Task
Department of Computer Science & Technology, University of Cambridge, U.K.（计算机科学与技术系，剑桥大学）
针对大语言模型音系分析难、非英语音系基准少的问题，本研究将分词作为音系探测任务，基于31种语言的儿童语音训练音位语言模型，提出提取词边界的无监督方法，验证了统计学习理论并为子词分词器训练提供新思路。
2025-06-12 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
CASICT Tibetan Word Segmentation System for MLWS2017
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Key Laboratory of Intelligent Information Processing（智能信息处理重点实验室）；ADAPT Centre, School of Computing, Dublin City University（都柏林城市大学计算学院 ADAPT 中心）
我们参加了MLWS 2017关于藏文分词的任务，我们的系统是以无限制的方式训练的，通过引入基线系统和我们的76 w藏文分词句子。该系统首先将字符序列经基线系统处理成词序列，然后通过子词单元（BPE算法）将生僻词分解成具有相应特征的子词，再采用神经网络分类器将每个子词标记成“B，M，E，S”标签，解码时采用简单规则恢复出最终的词序列。通过评估从76w个句子中预提取的开发集中的F分数来选择用于提交的候选系统。实验结果表明，该方法可以修正基线系统的分割错误，并取得显著的性能提升。
2017-10-17 cs.CL
Joint Chinese Word Segmentation and Span-based Constituency Parsing
Sun Yat-sen University（中山大学）
在选区句法分析中，基于广度的解码是一个重要的研究方向。然而，对于汉语句子，由于其语言特点，需要先利用其他模型进行分词，这就引入了一系列的不确定性，通常会导致后续选区树的计算出现错误。本文提出了一种通过在句法树上的单个汉字上添加额外的标签来实现汉语分词和基于跨度的选区句法分析的方法。通过实验，该算法在CTB 5.1上的联合分割和选区解析性能优于最新模型。
2022-11-30 cs.CL cs.LG
A Stochastic Finite-State Word-Segmentation Algorithm for Chinese
我们提出了一个随机有限状态模型分割成字典条目和富有成效的派生词的中文文本，并提供这些词的发音，该方法采用了基于类的模型在其治疗的个人姓名。我们还评估了系统的性能，考虑到人们往往不同意一个单一的分割。
1994-05-05 cmp-lg cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Is Word Segmentation Necessary for Deep Learning of Chinese Representations?
Stanford University（斯坦福大学）
分词是中文文本处理的第一步，但其必要性却很少被探讨。在本文中，我们提出了一个基本问题，即中文分词（CWS）是否是基于深度学习的中文自然语言处理所必需的。我们在四个端到端NLP基准测试任务中对依赖于分词的基于神经词的模型与不涉及分词的基于神经字符的模型进行基准测试：语言建模，机器翻译，句子匹配/释义和文本分类。通过这两种模型之间的直接比较，我们发现基于字符的模型始终优于基于单词的模型。基于这些观察，我们进行了全面的实验，以研究为什么基于单词的模型在这些基于深度学习的NLP任务中表现不佳。我们表明，这是因为基于单词的模型更容易受到数据稀疏性和词汇表外（OOV）单词的存在，因此更容易过拟合。我们希望这篇论文能鼓励社区的研究人员重新思考基于深度学习的中文自然语言处理中分词的必要性。\footnote{Yuxian Meng and Xiaoya Li contributed equally to this paper.}
2019-10-06 cs.AI cs.CL
A Graph-based Model for Joint Chinese Word Segmentation and Dependency Parsing
Fudan University（复旦大学）
汉语分词和依存句法分析是汉语自然语言处理的两个基本任务。依存句法分析是在词级上定义的。因此分词是依存句法分析的前提，这使得依存句法分析容易产生错误传播，无法直接利用预先训练好的字符级语言模型（如BERT）。本文提出了一个基于图的汉语分词和依存句法分析的集成模型。与以往的基于过渡的关节模型不同，我们提出的模型更加简洁，从而减少了特征工程的工作量。本文提出的基于图的联合模型在中文分词和依存句法分析两个方面都取得了较好的性能。此外，当结合BERT时，我们的模型可以大大减少联合模型和基于黄金分割词的模型之间的依存句法分析的性能差距。我们的代码可在https://github.com/fastnlp/JointCwsParser上公开获取。
2019-12-18 cs.AI cs.CL
Controlling Utterance Length in NMT-based Word Segmentation with Attention
LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LIG（格勒诺布尔信息学实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
计算语言文档（CLD）的基本任务之一是在未分割的音素流中识别单词边界。虽然文献中存在几种无监督单语分词算法，但它们在现实世界的CLD设置中受到少量可用数据的挑战。一种可能的补救办法是利用注释或翻译成资源丰富的外语，这类数据通常都有。在本文中，我们探索和比较的方法，利用神经机器翻译模型进行无监督的边界检测与双语信息，特别是引入了一个新的损失函数联合学习对齐和分割。我们的实验与实际的资源不足的语言，Mboshi，并表明，这些技术可以有效地控制输出分割长度。
2019-10-18 cs.CL
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL（洛桑联邦理工学院）；Iprova SA（Iprova公司）
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中，我们展示了如何训练词嵌入联合二元组，甚至三元组嵌入，结果在改进的unigram嵌入。我们声称，训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息，从而产生更好的独立词嵌入。我们的经验表明，我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling
Multimedia Communications Laboratory, University of Information Technology（信息技术大学多媒体通信实验室）；University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
汉语分词和词性标注是计算语言学和自然语言处理应用中必不可少的任务。许多研究者仍然在争论深度学习时代对中文分词和词性标注的需求。然而，解决歧义和检测未登录词在这一领域具有挑战性的问题。以往的汉语分词和词性标注联合研究主要遵循基于字符的标注模型，侧重于n-gram特征建模。与以往的工作不同，我们提出了一个神经模型命名为SpanSegTag联合中文分词和词性标记的跨度标记，其中每个n-gram的概率是词和词性标记的主要问题。我们使用双仿射操作的左，右边界表示的连续字符模型的n-gram。我们的实验表明，我们的基于BERT的模型SpanSegTag在CTB 5，CTB 6和UD上实现了具有竞争力的性能，或者与使用BERT或ZEN编码器的当前最先进的方法相比，在CTB 7和CTB 9基准数据集上实现了显着的改进。
2021-12-17 cs.CL
Toward Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning
Ant Group（蚂蚁集团）
模糊的标注标准导致不同粒度的中文分词数据集的差异。多准则中文分词的目标是在数据集之间捕获各种标注准则，并利用它们的共同基础知识。在本文中，我们提出了一个域自适应分割器，利用不同的标准，各种数据集。我们的模型是基于双向编码器表示从Transformers（BERT），这是负责引入开放领域的知识。私有和共享投影层分别用于捕获特定领域的知识和公共知识。我们还通过蒸馏、量化和编译器优化来优化计算效率。实验表明，我们的分割器在10个CWS数据集上的性能优于以前的最先进的（SOTA）模型，具有优越的效率。
2020-10-09 cs.CL
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University（斯泰伦博斯大学）
最近的无监督语音分割工作使用了自监督模型，其中包含联合训练的电话和分词模块。相反，本文重新审视了一个旧的方法，分词：自下而上的电话样单位的发现是第一次，符号分词，然后在发现的单位（不影响较低的水平）。为此，我提出了一个新的单元发现模型，一个新的符号分词模型，然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本，并具有鼓励更长单位的额外持续时间惩罚。具体地，对于声学单元发现，使用持续时间惩罚动态规划（DPDP）与对比预测编码模型作为评分网络。对于分词，DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果，以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上，它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明，链式DPDP系统分割较短的填充字，但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
