Investigating Self-Attention Network for Chinese Word Segmentation
Westlake University（西湖大学）
神经网络已经成为中文分词的主流方法。大多数现有的模型将任务转换为序列标记，使用BiLSTM-CRF表示输入并进行输出预测。最近，基于注意力的序列模型已经成为LSTM的一个极具竞争力的替代方案，它通过并行计算实现了更好的运行速度。本文研究了自注意网络在中文分词中的应用，并与BiLSTM-CRF模型进行了比较。此外，使用BERT的上下文字符嵌入的影响进行了研究，并提出了一种方法，将词的信息集成到SAN分割。结果表明，SAN提供了非常有竞争力的结果相比，BiLSTM，与BERT和词的信息进一步提高了领域内和跨领域的分割。我们的最终模型给出了6个异构域基准测试的最佳结果。
2019-07-26 cs.CL
Reduce Meaningless Words for Joint Chinese Word Segmentation and Part-of-speech Tagging
Xiamen University（厦门大学）；Tsinghua University（清华大学）
传统的汉语分词和词性标注（S&T）联合方法具有泛化能力，不能识别出在训练数据中没有出现的新词。一个不受欢迎的副作用是，许多无意义的单词将被错误地创建。我们提出了一个有效的和高效的框架S&T，引入功能，以显着减少无意义的单词生成。一个通用的词典，维基百科和一个大规模的原始语料库的2000亿个字符被用来生成基于词的特征的词。基于词格的框架包括一个基于字符的模型和一个基于词的模型，以利用我们的基于词的功能。在Penn中文树库5上的实验表明，与基线相比，该方法的无意义词生成减少了62.9%。因此，用于分割的F1度量增加到0.984。
2013-05-25 cs.CL
Word Segmentation for Asian Languages: Chinese, Korean, and Japanese
Georgia Institute of Technology（佐治亚理工学院）
本文详细概述了中文、韩文和日文的多种分词方法，分析了各方法的优缺点，并指出该领域仍有未来研究空间。
2024-07-28 cs.CL
Word Segmentation and Morphological Parsing for Sanskrit
University of Tübingen（蒂宾根大学）
我们描述了我们参与的分词和形态分析（WSMP）的梵文黑客。我们接近的分词任务作为一个序列标签的任务，通过预测的编辑操作，从分割的。我们通过预测形态标签和规则，将词形变化转化为相应的词干，接近形态分析任务。此外，我们提出了一个端到端的可训练管道模型，用于联合分割和形态分析。我们的模型在联合分割和分析子任务中表现最好（80.018 F1得分），在单个子任务中表现第二好（分割：96.189 F1得分/分析：69.180 F1得分）。最后，我们分析了我们的模型所犯的错误，并提出了未来的工作和可能的改进数据和评估。
2022-01-30 cs.CL
Switch-LSTMs for Multi-Criteria Chinese Word Segmentation
Fudan University（复旦大学）；Shanghai Insitute of Intelligent Electroics & Systems（上海智能电子与系统研究所）
多准则汉语分词是一个很有前途但也很有挑战性的研究课题，它需要利用多种不同的分词准则并挖掘它们的共同知识。在本文中，我们提出了一个灵活的多准则学习的中文分词。通常，一个分割标准可以分解为多个子标准，这些子标准可以与其他分割标准共享。分词的过程是在这些子标准之间的路由。从这个角度来看，我们提出了Switch-LSTM来分割单词，它由几个长短期记忆神经网络（LSTM）和一个切换器组成，用于自动切换这些LSTM之间的路由。有了这些自动切换的LSTM，我们的模型为多标准CWS提供了一个更灵活的解决方案，这也很容易将学到的知识转移到新的标准。实验结果表明，该模型在8个具有异质分割标准的语料库上，与以前的方法和单标准学习相比，取得了显着的改善。
2018-12-19 cs.CL
Robust Chinese Word Segmentation with Contextualized Word Representations
National Taiwan University（台湾大学）
近年来，基于神经网络的分词方法提出后，中文分词任务的准确率有了很大的提高。然而，在处理词汇表外的单词时，仍然存在很大的出错率。我们使用简单的双向LSTM架构和大规模预训练的语言模型来生成高质量的上下文化字符表示，成功地减少了汉字中广泛出现的每个汉字的歧义的弱点，从而有效地降低了OOV的出错率。在许多数据集上实现了最先进的性能。
2019-01-17 cs.CL
DAG-based Long Short-Term Memory for Neural Word Segmentation
Fudan University（复旦大学）
神经分词由于能够通过预先训练好的字符或词嵌入来减轻特征工程的工作量，并能充分利用外部资源，因此引起了越来越多的研究兴趣。在本文中，我们提出了一个新的神经模型，将词级信息的中文分词。与以往的基于词的模型不同，我们的模型仍然采用了基于字符的序列标记框架，这在推理阶段的有效性和效率上都具有优势。为了利用单词级信息，我们还提出了一种新的基于有向无环图（DAG）的长短期记忆（LSTM）架构。实验结果表明，我们的模型导致更好的性能比基线模型。
2017-07-02 cs.CL
Urdu Word Segmentation using Conditional Random Fields (CRFs)
ITU（信息技术大学）；EMBL-EBI（欧洲分子生物学实验室-欧洲生物信息研究所）
最先进的自然语言处理算法在很大程度上依赖于高效的分词。乌尔都语是其中分词是一项复杂的任务，因为它表现出空间省略以及空间插入问题的语言。这部分是由于阿拉伯文字，虽然草书的性质，包括字符，有内在的连接和非连接属性，无论字的边界。本文提出了一个乌尔都语分词系统，它使用了一个条件随机场序列建模与拼写，语言和形态特征。我们提出的模型自动学习预测空白作为词边界以及零宽度非连接器（ZWNJ）作为子词边界。使用手动注释的语料库，我们的模型实现了F1分数为0.97字边界识别和0.85子字边界识别任务。我们已经公开了我们的代码和语料库，以使我们的结果可重复。
2018-06-14 cs.CL
Evaluating Sentence Segmentation and Word Tokenization Systems on Estonian Web Texts
University of Tartu（塔尔图大学）
从网络上获取的文本是嘈杂的，不一定遵循正字法句子和词边界规则。因此，在格式良好的文本上开发的句子分割和单词标记化系统在未经编辑的Web文本上可能不会表现得那么好。在本文中，我们首先描述了爱沙尼亚网络数据集的句子边界的手动注释，然后给出了三个现有的句子分割和单词标记化系统在这个语料库上的评估结果：EstNLTK，Stanza和UDPipe。虽然EstNLTK在此数据集上的句子分割方面获得了与其他系统相比最高的性能，但Stanza和UDPipe的句子分割性能仍然远低于在更完善的爱沙尼亚UD测试集上获得的结果。
2020-11-16 cs.CL
Is word segmentation necessary for Vietnamese sentiment classification?
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
据我们所知，本文首次尝试回答分词是否是必要的越南语情感分类。为此，我们为越南语提供了五个预训练的基于单语S4的语言模型，包括一个没有分词的模型，以及四个在预处理数据阶段使用RDRsegmenter，uitnlp，pyvi或under thesea工具包的模型。根据对VLSP 2016-SA新闻和社交媒体技术文章评论语料库和教育调查语料库VLSP 2016-VSFC的综合实验结果，我们有两个建议。首先，使用传统的分类器，如朴素贝叶斯或支持向量机，分词可能是不必要的越南情感分类语料库，这来自社会领域。其次，当在使用BPE方法并输入到深度学习模型之前使用分词时，分词对于越南语情感分类是必要的。通过这种方式，RDRsegmenter是uitnlp、pyvi和underthesea工具包中用于分词的稳定工具包。
2023-01-01 cs.CL
Fast and Accurate Neural Word Segmentation for Chinese
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）
在中文分词任务中，具有最小特征工程的神经模型取得了与传统方法相媲美的性能。然而，目前的神经模型的训练和工作过程都是计算效率低下的。本文提出了一种贪婪神经分词器，平衡的词和字符嵌入输入，以减轻现有的缺点。我们的分割器是真正的端到端，能够在中国基准数据集上比最先进的神经模型更快甚至更准确地执行分割。
2017-04-24 cs.CL
Universal Word Segmentation: Implementation and Interpretation
Uppsala University（乌普萨拉大学）
分词是一个低级的NLP任务，对于相当多的语言来说是不平凡的。在本文中，我们提出了一个序列标记框架，并将其应用到分词的广泛的语言与不同的写作系统和类型学特征。此外，我们还研究了各种类型因素与分词准确率之间的相关性。实验结果表明，分词准确率与词边界标记呈正相关，与非分词词的数量呈负相关。基于分析，我们设计了一小部分特定语言的设置，并在通用数据集上广泛评估了分割系统。我们的模型在所有UD语言上都获得了最先进的精度。与以前的工作相比，它在非平凡的语言上表现得更好，例如中文，日语，阿拉伯语和希伯来语。
2018-07-09 cs.CL
Incremental Learning for Fully Unsupervised Word Segmentation Using Penalized Likelihood and Model Selection
National Taiwan University（国立台湾大学）
我们提出了一种新的增量学习方法，结合概率建模和模型选择的功能，无监督分词。这包括用于解决长词形成所造成的认知负担的超加性惩罚，以及基于高阶生成假设的新模型选择标准。我们的方法是完全无监督的;它依赖于少量的参数，允许灵活的建模和自动从数据中学习参数的机制。通过实验，我们表明，这种复杂的设计，导致顶级性能在音素和正字法分词。
2016-09-23 cs.CL
Adversarial Multi-Criteria Learning for Chinese Word Segmentation
Fudan University（复旦大学）
不同的语言学视角导致了汉语分词标准的差异。大多数现有的方法侧重于提高性能的每一个单一的标准。然而，利用这些不同的标准并挖掘其共同的基础知识是有趣的。在本文中，我们提出了对抗性的多标准学习CWS通过整合共享的知识，从多个异构的分割标准。在八个具有异构切分标准的语料库上的实验表明，与单一标准学习相比，每个语料库的性能都得到了显著的提高。本文的源代码可以在Github上找到。
2017-04-25 cs.CL
Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT
Sharif University of Technology（谢里夫理工大学）；Dathena Science Pte. Ltd.（达特纳科学私人有限公司）
在波斯语书写系统中，单词被适当地分段;然而，在实践中，这些书写规则经常被忽视，导致单个单词被不连续地书写，而多个单词在它们之间没有任何空格。本文讨论了波斯语中的分词和零宽度非连接器（ZWNJ）识别问题，我们将其作为一个序列标记问题来处理。我们在仔细收集的500句高难度句子的语料库上获得了92.40%的宏观平均F1分数。
2020-10-28 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型联合越南语分词，词性（POS）标记和依存句法分析。特别地，我们的模型用基于BiLSTM-CRF的神经层（Huang et al.，2015）用于分词和POS标记。在越南基准数据集上的实验结果表明，我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
Parsing Through Boundaries in Chinese Word Segmentation
The Chinese University of Hong Kong, Hong Kong（香港中文大学）；University College London, United Kingdom（伦敦大学学院）；The University of British Columbia, Canada（不列颠哥伦比亚大学）
本文以中文GSD树库为对象，研究不同分词边界方案对依存句法结构的影响，并开发交互式可视化工具以支持对比分析。
2025-07-04 cs.CL
Long Short-Term Memory for Japanese Word Segmentation
Yahoo Japan Corporation（雅虎日本公司）；Tokyo Metropolitan University（东京都立大学）
本研究提出了一种用于日语分词（JWS）的长短期记忆（LSTM）神经网络方法。以往的中文分词（CWS）研究成功地使用了递归神经网络，如LSTM和门控递归单元（GRU）。然而，与中文相比，日语包括几种字符类型，如平假名、片假名和汉字，这些字符类型会产生拼写变化，并增加分词的难度。此外，对于JWS任务来说，考虑全局上下文是很重要的，而传统的JWS方法依赖于本地特性。为了解决这个问题，本研究提出采用基于LSTM的方法来JWS。实验结果表明，该模型实现了国家的最先进的准确性与各种日语语料库。
2018-09-27 cs.CL
Chinese Word Segmentation with Heterogeneous Graph Neural Network
Peking University（北京大学）
近年来，深度学习在中文分词（CWS）任务中取得了重大成功。这些方法中的大多数通过利用外部信息来提高CWS的性能，例如，单词，子单词，句法然而，现有的方法不能有效地整合多层次的语言信息，也忽视了外部信息的结构特征。因此，在本文中，我们提出了一个框架，以改善CWS，命名为HGNSeg。它利用预先训练好的语言模型和异构的图神经网络，充分利用多层次的外部信息。在六个基准数据集上的实验结果（例如，Bakeoff 2005，Bakeoff 2008）验证了该方法可以有效地提高中文分词的性能。重要的是，在跨领域的情况下，我们的方法也表现出很强的能力，以减轻词汇（OOV）的问题。
2022-01-22 cs.CL
A New Clustering neural network for Chinese word segmentation
本文提出了一种新的中文分词模型，该模型具有在其他领域应用的潜力。与以往的研究相比，将中文分词视为聚类问题而不是标记问题是一种新的思路。在该模型中，使用LSTM和自注意结构在每一层收集上下文和句子级别的特征，经过几层，采用聚类模型对字符进行分组，得到最终的分割结果，称之为CLNN.该算法在训练数据集上的F值可以达到98%（无OOV词）和85%~ 95%（有OOV词）.错误分析表明，OOV词会大大降低性能，这需要进一步研究.
2020-02-18 cs.CL
Improving Cross-Domain Chinese Word Segmentation with Word Embeddings
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）；Westlake University（西湖大学）
跨领域中文分词（CWS）仍然是一个挑战，尽管最近的进展，基于神经的CWS。目标域中有限数量的带注释数据一直是令人满意的性能的关键障碍。在本文中，我们提出了一个半监督的基于词的方法，以提高跨域CWS给定的基线分割。特别是，我们的模型只部署了在目标领域的原始文本上训练的词嵌入，丢弃了复杂的手工制作的特征和特定于领域的字典。创新的子采样和负采样方法，提出了获得词嵌入优化CWS。我们在五个特定领域的数据集上进行了实验，涵盖了小说，医学和专利领域。实验结果表明，该模型能明显提高跨领域的CWS，尤其是在领域专有名词实体的切分方面。在四个数据集上，单词F-度量增加了3.0%以上，远远优于最先进的半监督和无监督跨域CWS方法。我们在Github上提供代码和数据。
2019-03-29 cs.CL
PKUSEG: A Toolkit for Multi-Domain Chinese Word Segmentation
Peking University（北京大学）
中文分词是中文自然语言处理的一个基本步骤。在本文中，我们建立了一个新的工具包，命名为PKUSEG，多领域的分词。与现有的单一模型工具包不同，PKUSEG针对多领域分词，并为不同的领域提供单独的模型，如Web，医学和旅游。此外，由于在许多领域缺乏标记的数据，我们提出了一个领域自适应范式，通过翻译系统引入跨领域的语义知识。该方法利用目标领域中大量未标注的数据生成合成数据，进而得到目标领域的分词模型。我们还借助合成数据进一步改进了默认模型的性能。实验表明，PKUSEG在多个域上都取得了很好的性能.新工具包还支持POS标记和模型训练，以适应各种应用场景。该工具包现已免费公开，供研究和工业界使用。
2022-05-28 cs.CL
Combine CRF and MMSEG to Boost Chinese Word Segmentation in Social Media
Shanghai Jiaotong University（上海交通大学）
本文提出了一种中文社交媒体分词的联合算法。以往的工作主要集中在针对普通中文文本的分词，要开发一个中文社会化媒体处理工具，需要考虑到社会化媒体的主要特点，其语法结构不严谨，使用口语化和网络术语的倾向使得现有的中文处理工具在社会化媒体上效率低下，无法获得良好的性能。在该方法中，我们将CRF和MMSEG算法相结合，并扩展了传统CRF算法的特点，对模型进行训练，用于分词。我们在新浪微博上的实验结果表明，我们的方法优于国家的最先进的模型。
2015-10-24 cs.CL
Overview of the NLPCC 2015 Shared Task: Chinese Word Segmentation and POS Tagging for Micro-blog Texts
Fudan University（复旦大学）
本文综述了第四届CCF自然语言处理与中文计算会议（NLPCC 2015）的共同课题：微博文本的中文分词和词性标注。与目前流行的新闻专线数据集不同，该共享任务的数据集由相对非正式的微文本组成。共享任务包括两个子任务：（1）单个汉语分词和（2）联合汉语分词和词性标注。每个子任务有三个轨道，以区分具有不同资源的系统。我们首先介绍数据集和任务，然后描述参与系统的不同方法，报告测试结果，并对这些结果进行概述分析。在http://nlp.fudan.edu.cn/nlpcc2015上有一个在线系统可供公开登记和评估。
2015-06-30 cs.CL
Unsupervised Word Segmentation with Bi-directional Neural Language Model
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
我们提出了一个无监督的分词模型，其中的学习目标是最大限度地提高一个句子的生成概率给定其所有可能的分割。这种生成概率可以以递归方式分解为给定上下文的每个可能片段的可能性。为了更好地捕捉长期和短期的依赖关系，我们建议使用双向神经语言模型，以更好地捕捉段的上下文的功能。两个解码算法也被描述为结合上下文特征从两个方向来生成最终的分割，这有助于调和词边界歧义。实验结果表明，我们的上下文敏感的无监督分割模型实现了国家的最先进的在不同的评估设置对各种数据集的中文，和泰国的可比结果。
2021-03-02 cs.CL
Neural Word Segmentation Learning for Chinese
Shanghai Jiao Tong University（上海交通大学）
大多数以前的中文分词方法将此问题形式化为基于字符的序列标记任务，其中只能捕获固定大小的局部窗口内的上下文信息和相邻标签之间的简单交互。在本文中，我们提出了一种新的神经框架，彻底消除了上下文窗口，可以利用完整的分割历史。我们的模型在字符上采用门控组合神经网络来产生候选单词的分布式表示，然后将其提供给长短期记忆（LSTM）语言评分模型。在基准数据集上的实验表明，在没有像大多数现有方法那样的特征工程的帮助下，我们的模型与以前的最先进的方法相比具有竞争力或更好的性能。
2016-12-02 cs.CL
Free as in Free Word Order: An Energy Based Model for Word Segmentation and Morphological Tagging in Sanskrit
IIT Kharagpur（印度理工学院克勒格布尔分校）；Flipkart（Flipkart公司）；University of Waterloo（滑铁卢大学）；American Express India Pvt Ltd（美国运通印度私人有限公司）；Chinmaya Vishwavidyapeeth（钦玛雅大学）
在自由词序语言（如梵语）的句子中，构形信息的使用是有限的。因此，即使对于诸如分词之类的基本处理任务，整个句子的上下文也将是期望的。我们提出了一个结构化的预测框架，共同解决了分词和形态标记的梵文任务。我们建立了一个基于能量的模型，其中我们采用了基于图的解析技术中通常采用的方法（McDonald等人，2005 a; Carreras，2007）。我们的模型以96.92的F分数（7.06%的百分比提高）优于最先进的技术，同时使用不到十分之一的特定于任务的训练数据。我们发现，使用基于图的方法，而不是传统的基于网格的顺序标记方法，导致分割任务的F分数的百分比增益为12.6%。
2018-10-25 cs.CL
Fast Neural Chinese Word Segmentation for Long Sentences
Shanghai Jiao Tong University（上海交通大学）
近年来，神经网络模型在中文分词中取得了与传统分词模型相当的性能。然而，大多数方法遇到的计算效率低，特别是对于长句，因为增加的模型复杂度和较慢的解码器。本文提出了一种简单的神经分割器，它直接标记相邻字符之间的间隙存在，以减轻现有的缺点。我们的分割器是完全端到端的，能够非常快速地执行分割。我们还显示了不同的标记集的性能差异。实验表明，我们的分割器可以提供与国家的最先进的性能相当。
2019-01-29 cs.CL
Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning
Human Language Technology Center of Excellence（人类语言技术卓越中心）；Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
命名实体识别和其他信息抽取任务经常使用语言特征，例如词性标签或组块。对于在文本中不容易识别词边界的语言，分词是为NER系统生成特征的关键第一步。虽然使用词边界标签作为特征是有帮助的，但是帮助识别这些边界的信号可以为NER系统提供更丰富的信息。新的最先进的分词系统使用神经模型来学习用于预测词边界的表示。我们发现，这些相同的表示，与NER系统联合训练，对中国社交媒体的NER产生了显着的改善。在我们的实验中，使用LSTM-CRF模型联合训练NER和分词比以前发表的结果有近5%的绝对改善。
2017-03-28 cs.CL
BabyLM's First Words: Word Segmentation as a Phonological Probing Task
Department of Computer Science & Technology, University of Cambridge, U.K.（计算机科学与技术系，剑桥大学）
针对大语言模型音系分析难、非英语音系基准少的问题，本研究将分词作为音系探测任务，基于31种语言的儿童语音训练音位语言模型，提出提取词边界的无监督方法，验证了统计学习理论并为子词分词器训练提供新思路。
2025-06-12 cs.CL
CASICT Tibetan Word Segmentation System for MLWS2017
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Key Laboratory of Intelligent Information Processing（智能信息处理重点实验室）；ADAPT Centre, School of Computing, Dublin City University（都柏林城市大学计算学院 ADAPT 中心）
我们参加了MLWS 2017关于藏文分词的任务，我们的系统是以无限制的方式训练的，通过引入基线系统和我们的76 w藏文分词句子。该系统首先将字符序列经基线系统处理成词序列，然后通过子词单元（BPE算法）将生僻词分解成具有相应特征的子词，再采用神经网络分类器将每个子词标记成“B，M，E，S”标签，解码时采用简单规则恢复出最终的词序列。通过评估从76w个句子中预提取的开发集中的F分数来选择用于提交的候选系统。实验结果表明，该方法可以修正基线系统的分割错误，并取得显著的性能提升。
2017-10-17 cs.CL
Controlling Utterance Length in NMT-based Word Segmentation with Attention
LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LIG（格勒诺布尔信息学实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
计算语言文档（CLD）的基本任务之一是在未分割的音素流中识别单词边界。虽然文献中存在几种无监督单语分词算法，但它们在现实世界的CLD设置中受到少量可用数据的挑战。一种可能的补救办法是利用注释或翻译成资源丰富的外语，这类数据通常都有。在本文中，我们探索和比较的方法，利用神经机器翻译模型进行无监督的边界检测与双语信息，特别是引入了一个新的损失函数联合学习对齐和分割。我们的实验与实际的资源不足的语言，Mboshi，并表明，这些技术可以有效地控制输出分割长度。
2019-10-18 cs.CL
Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling
Multimedia Communications Laboratory, University of Information Technology（信息技术大学多媒体通信实验室）；University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
汉语分词和词性标注是计算语言学和自然语言处理应用中必不可少的任务。许多研究者仍然在争论深度学习时代对中文分词和词性标注的需求。然而，解决歧义和检测未登录词在这一领域具有挑战性的问题。以往的汉语分词和词性标注联合研究主要遵循基于字符的标注模型，侧重于n-gram特征建模。与以往的工作不同，我们提出了一个神经模型命名为SpanSegTag联合中文分词和词性标记的跨度标记，其中每个n-gram的概率是词和词性标记的主要问题。我们使用双仿射操作的左，右边界表示的连续字符模型的n-gram。我们的实验表明，我们的基于BERT的模型SpanSegTag在CTB 5，CTB 6和UD上实现了具有竞争力的性能，或者与使用BERT或ZEN编码器的当前最先进的方法相比，在CTB 7和CTB 9基准数据集上实现了显着的改进。
2021-12-17 cs.CL
Toward Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning
Ant Group（蚂蚁集团）
模糊的标注标准导致不同粒度的中文分词数据集的差异。多准则中文分词的目标是在数据集之间捕获各种标注准则，并利用它们的共同基础知识。在本文中，我们提出了一个域自适应分割器，利用不同的标准，各种数据集。我们的模型是基于双向编码器表示从Transformers（BERT），这是负责引入开放领域的知识。私有和共享投影层分别用于捕获特定领域的知识和公共知识。我们还通过蒸馏、量化和编译器优化来优化计算效率。实验表明，我们的分割器在10个CWS数据集上的性能优于以前的最先进的（SOTA）模型，具有优越的效率。
2020-10-09 cs.CL
Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation
Xinjiang Technical Institute of Physics & Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经机器翻译在机器翻译任务中取得了令人瞩目的成绩。然而，考虑到效率，仅包含前N个最高频率词的有限大小的词汇表用于模型训练，这导致许多稀有和未知词。对于那些词法复杂、词汇量大、资源贫乏、词法丰富的黏着语，翻译起来相当困难。在本文中，我们提出了一个形态分词方法的源端NMT，结合形态学知识，以保持在词结构的语言和语义信息，同时减少在训练时的词汇量。它可以作为一个预处理工具，在其他自然语言处理（NLP）任务的粘合语言的词分割。实验结果表明，本文提出的基于形态动机的分词方法更适用于NMT模型，在降低数据稀疏性和语言复杂度的同时，显著改善了土英和维汉机器翻译任务。
2020-01-02 cs.CL
Unified Multi-Criteria Chinese Word Segmentation with BERT
Fudan University（复旦大学）；Xiaomi Inc（小米公司）
多准则汉语分词是指在多个分词准则存在的情况下，从连续字符组成的汉语句子中找到词的边界。该统一框架已在MCCWS中得到广泛应用，并显示了其有效性。此外，预训练的BERT语言模型也被引入到MCCWS任务中的多任务学习框架。本文结合统一框架和预训练语言模型的优势，提出了一种基于BERT的统一MCCWS模型。此外，我们增加了统一的BERT为基础的MCCWS模型的二元特征和辅助标准分类任务。在8个具有不同标准的数据集上的实验表明，我们的方法可以为MCCWS实现新的最先进的结果。
2020-04-13 cs.CL
Binary Tree based Chinese Word Segmentation
Tsinghua University（清华大学）
汉语分词是汉语语言处理的一项基本任务。粒度不匹配问题是造成错误的主要原因。本文证明了二叉树表示可以存储不同粒度的输出。为了克服粒度不匹配的问题，本文还设计了一个基于二叉树的框架。该框架分为两个步骤，即树的建立和树的修剪。树修剪步骤是专门设计的，专注于粒度问题。该框架可以很容易地应用于汉语分词的工作，如序列标注。该框架还可以提供定量的误差分析方法。实验表明，在使用一个更复杂的树修剪功能的国家的最先进的条件随机场为基础的基线，错误减少可以高达20%。
2013-05-17 cs.CL
A Gap-Based Framework for Chinese Word Segmentation via Very Deep Convolutional Networks
Peking University（北京大学）
现有的中文分词方法大致可以分为基于字的方法和基于词的方法。前者将此任务视为一个序列标记问题，而后者则直接将字符序列分割成单词。然而，如果我们考虑分割一个给定的句子，最直观的想法是预测是否为两个连续字符之间的每个间隙进行分割，相比之下，这使得以前的方法显得过于复杂。因此，在本文中，我们提出了一个基于间隙的框架来实现这一直观的想法。此外，在我们的实验中利用了非常深的卷积神经网络，即ResNets和DenseNets。结果表明，我们的方法优于最好的基于字符和基于词的方法在5个基准测试，没有任何进一步的后处理模块（如条件随机场），也没有束搜索。
2017-12-27 cs.CL
Convolutional Neural Network with Word Embeddings for Chinese Word Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列标注的汉语分词框架是一种灵活、高效的分词框架。近年来，许多基于特征的神经网络模型已被应用于CWS。虽然他们取得了很好的成绩，但他们有两个明显的弱点。首先，它们严重依赖于手动设计的bigram特征，即它们不善于自动捕获n-gram特征。第二，他们没有使用完整的单词信息。对于第一个弱点，我们提出了一个卷积神经模型，它能够在没有任何特征工程的情况下捕获丰富的n-gram特征。对于第二个，我们提出了一个有效的方法来整合所提出的模型与词嵌入。我们在两个基准数据集上评估了模型：PKU和MSR。在没有任何特征工程的情况下，该模型获得了有竞争力的性能-在PKU上为95.7%，在MSR上为97.3%。借助词嵌入，该模型在两个数据集上都实现了最先进的性能-在PKU上为96.5%，在MSR上为98.0%，而不使用任何外部标记资源。
2017-11-13 cs.CL
Mining Word Boundaries in Speech as Naturally Annotated Word Segmentation Data
Institute of Artificial Intelligence, School of Computer Science and Technology（人工智能研究所，计算机科学与技术学院）；Soochow University（苏州大学）；Huawei Cloud（华为云）
本文首次提出从平行语音/文本数据中利用停顿时长挖掘词边界作为自然标注，并设计“先补全后训练”策略，显著提升中文分词在跨领域和低资源场景下的性能。
2023-10-30 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh（爱丁堡大学）
中文分词已经进入了深度学习时代，大大减少了特征工程的麻烦。近年来，一些研究者尝试将其作为字符级翻译，进一步简化了模型的设计，但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作，我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术，包括正则化，数据增强，客观加权，迁移学习和集成。与以前的作品相比，我们的低资源的基于简化的方法保持了轻松的模型设计，但在不使用额外的数据的情况下，在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
How to Split: the Effect of Word Segmentation on Gender Bias in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
在认识到性别偏见是影响当前翻译技术的一个主要问题后，研究人员主要试图通过在数据方面开展工作来减轻性别偏见。然而，算法方面是否会加剧不必要的输出仍然是迄今为止调查不足。在这项工作中，我们把自动翻译中的性别偏见的分析，到一个看似中立，但关键的组成部分：分词。分割方法会影响翻译性别的能力吗？某些分割方法是否会惩罚女性语言标记的表现？我们解决这些问题，通过比较现有的5个分割策略的目标端的语音翻译系统。我们对两种语言对（英语-意大利语/法语）的研究结果表明，最先进的子词分割（BPE）是以更高的性别偏见为代价的。鉴于这一发现，我们提出了一种组合方法，该方法保留了BPE的整体翻译质量，同时利用基于字符的分割的更高能力来正确翻译性别。
2021-05-28 cs.CL
Mining Word Boundaries from Speech-Text Parallel Data for Cross-domain Chinese Word Segmentation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
本研究首次提出从语音-文本平行数据中挖掘词边界用于跨域中文分词，通过MFA工具对齐得到候选边界，结合概率过滤策略和CTT训练策略，在ZX、AISHELL2两个域的实验验证了方法有效性。
2024-12-12 cs.CL
Chinese Word Segmentation: Another Decade Review (2007-2017)
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）
本文回顾了中文分词（CWS）在2007-2017年的发展。特别关注已经渗透到自然语言处理（NLP）大部分领域的深度学习技术。我们得出的基本观点是，与传统的监督学习方法相比，基于神经网络的方法没有表现出任何优越的性能。最关键的挑战仍然在于平衡词汇表内（IV）和词汇表外（OOV）单词的识别。然而，由于神经模型有潜力捕捉自然语言的基本语言结构，我们对不久的将来可能取得的重大进展持乐观态度。
2019-01-18 cs.CL
Vietnamese Word Segmentation with SVM: Ambiguity Reduction and Suffix Capture
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
在本文中，我们将越南语分词作为一个二元分类，使用支持向量机分类器。我们继承了以前的作品，如音节的n-gram，音节类型的n-gram，并检查字典中相邻音节的连接。我们提出了两种新的特征提取方法，一种是减少重叠歧义，另一种是增加对含有后缀的未登录词的预测能力。与UETsegmenter和RDRsegmenter这两种最先进的越南语分词方法不同，我们不使用最长匹配算法作为初始处理步骤或任何后处理技术。根据越南基准数据集上的实验结果，我们提出的方法比现有的最先进的方法UETsegmenter和RDRsegmenter获得了更好的F1分数。
2020-06-14 cs.CL
Attention Is All You Need for Chinese Word Segmentation
Shanghai Jiao Tong University（上海交通大学）
本文在继承贪心解码算法的基础上，进一步加强了汉语分词模型本身的功能，从而得到了一个更快、更准确的汉语分词模型。我们的模型包括一个注意力只堆叠编码器和一个足够轻的解码器的贪婪分割加上两个高速公路连接更平滑的训练，其中编码器是由一个新提出的Transformer变体，高斯掩码定向（GD）Transformer，和biaffine注意力评分。通过有效的编码器设计，我们的模型只需要采取unigram特征进行评分。我们的模型在SIGHAN Bakeoff基准数据集上进行了评估。实验结果表明，在严格的封闭测试设置方面，该模型在最高的分割速度下，在强基线下实现了新的最先进或相当的性能。
2020-10-06 cs.CL
More than Just Statistical Recurrence: Human and Machine Unsupervised Learning of Māori Word Segmentation across Morphological Processes
University of California Santa Barbara（加州大学圣巴巴拉分校）；University of Canterbury（坎特伯雷大学）
本研究比较非毛利语新西兰人与Morfessor模型在毛利语词语切分上的表现，发现人类能利用模板等超越统计递归的线索切分复杂形态词汇，揭示了人类无监督学习机制超越纯统计递归的敏感性。
2024-03-21 cs.CL
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
University of Edinburgh（爱丁堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在只有未标记语音数据可用的环境中，语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下，需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型，分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中，一个潜在的词段（任意长度）嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现，然后在该空间中构建全词声学模型，同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务，通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率，优于以前的HMM为基础的系统约10%的绝对。此外，与基线相比，我们的模型不需要预先指定的词汇量。
2016-03-09 cs.CL
Comparing Neural- and N-Gram-Based Language Models for Word Segmentation
Universidade de Vigo（维戈大学）；Universidade da Coruña（拉科鲁尼亚大学）
分词是插入或删除词的边界字符，以分离字符序列对应的词在某种语言的任务。在这篇文章中，我们提出了一种方法的基础上的束搜索算法和语言模型工作在字节/字符级，后者的组件实现为一个n-gram模型或递归神经网络。所得到的系统一次一个标记地分析没有单词边界的文本输入，该标记可以是字符或字节，并且使用由语言模型收集的信息来确定是否必须将边界放置在当前位置。我们的目标是使用这个系统在一个预处理步骤的缩微文本规范化系统。这意味着它需要有效地处理这种文本上存在的数据稀疏性。我们还努力超越两个现成的分词系统的性能：微软著名的和可访问的Word Breaker，以及Grant Jenks的Python模块WordSegment。结果表明，我们已经达到了我们的目标，我们希望在未来继续提高我们的系统的精度和效率。
2018-12-03 cs.CL
Automatic Segmentation of Manipuri (Meiteilon) Word into Syllabic Units
Manipur Institute of Technology, Manipur University（曼尼普尔大学曼尼普尔理工学院）；Manipur University（曼尼普尔大学）
本文介绍了将曼尼普尔语（或梅特龙语）的单词自动切分成音节单位的工作。这种语言是一种源于藏缅语的印度语，也是一种粘性很强的语言。这种语言使用两种脚本：孟加拉语脚本和Meitei Mayek（脚本）。目前的工作是基于第二个脚本。设计了一种算法，主要用于识别曼尼普尔语原词的音节。该算法的结果显示召回率为74.77，精确度为91.21，F分数为82.18，这是该语言首次尝试的合理分数。
2012-07-17 cs.CL
Learning to Discover, Ground and Use Words with Segmental Neural Language Models
DeepMind（深度思维）；University of Oxford（牛津大学）
我们提出了一个分段神经语言模型，结合了神经网络的泛化能力与发现未分段字符序列中潜在的单词样单元的能力。与以前将分词视为一项孤立任务的分割模型相比，我们的模型统一了单词发现，学习单词如何组合在一起形成句子，以及通过调节视觉上下文模型，单词的含义如何在非语言模态的表示中扎根。实验表明，无条件模型比字符LSTM模型更好地学习预测分布，与非参数贝叶斯分词模型竞争性地发现单词，并且以视觉上下文为条件的语言建模提高了两者的性能。
2019-06-18 cs.CL
Pre-training with Meta Learning for Chinese Word Segmentation
Xiaomi Inc（小米公司）；Xiaomi AI Lab（小米人工智能实验室）；Fudan University（复旦大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
最近的研究表明，预训练模型（PTM）是有益的中文分词（CWS）。然而，在以往的工作中使用的PTM通常采用语言建模作为预训练任务，缺乏特定于任务的先验分割知识，忽略了预训练任务和下游CWS任务之间的差异。在本文中，我们提出了一个CWS特定的预训练模型METASEG，它采用了一个统一的架构，并将Meta学习算法到一个多标准的预训练任务。实验结果表明，METASEG可以利用来自不同现有标准的共同先验分割知识，并减轻预训练模型和下游CWS任务之间的差异。此外，METASEG可以在12个广泛使用的CWS数据集上实现新的最先进的性能，并在低资源设置下显着提高模型性能。
2021-03-15 cs.CL
Word segmentation granularity in Korean
The University of British Columbia（不列颠哥伦比亚大学）；Kyung Hee University（庆熙大学）
本文分析了韩语处理中多种词分割粒度级别，发现仅分离功能语素并保留派生后缀的粒度在短语结构分析中表现最佳，颠覆了分离所有语素的传统最佳实践。
2023-09-07 cs.CL
Span Labeling Approach for Vietnamese and Chinese Word Segmentation
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
在本文中，我们提出了一个跨度标记的方法来模拟越南语分词，即SPAN SEG的n元语法信息。我们比较了跨度标记的方法与条件随机场使用编码器具有相同的架构。由于越南语和汉语具有相似的语言现象，我们在越南树库基准数据集和五个汉语基准数据集上对所提出的方法进行了评估。通过我们的实验结果，当所提出的方法SpanSeg都应用上下文预训练的语言模型XLM-RoBERTa和预测的词边界信息时，在越南树库基准测试中，SpanSeg比序列标记方法获得了更高的性能，最先进的F分数为98.31%。此外，我们在BERT和ZEN预训练的汉语语言模型上对跨度标记方法进行了微调实验，这些方法具有更少的参数，更快的推理时间，以及比以前最先进的方法具有竞争力或更高的F分数，使用词罩记忆网络的分词，在五个汉语基准上。
2021-10-01 cs.CL
