Enhancing Pre-trained Chinese Character Representation with Word-aligned Attention
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
大多数中文预训练模型以汉字为基本单位，根据汉字的外部语境来学习表示，忽略了汉字中最小的有意义话语--词所表达的语义。因此，我们提出了一种新的词对齐的注意，利用显式的单词信息，这是补充各种基于字符的中文预训练语言模型。具体来说，我们设计了一个池化机制，将字符级的注意力调整到单词级，并提出通过多源信息融合来缓解分割错误传播的潜在问题。结果，单词和字符信息在微调过程中被明确地整合。五个中文NLP基准任务的实验结果表明，我们的模型可以带来另一个显着的增益比几个预先训练的模型。
2020-04-29 cs.CL
Component-Enhanced Chinese Character Embeddings
The Hong Kong Polytechnic University（香港理工大学）；Chinese Academy of Sciences（中国科学院）；Peking University（北京大学）
分布式词表示对于捕获语义信息非常有用，并且已经成功地应用于各种NLP任务，特别是英语。在这项工作中，我们创新性地开发了两个组件增强的汉字嵌入模型和它们的二元组扩展。区别于英语词嵌入，我们的模型探讨的是汉字的组成，这往往是固有的语义指示符。对词相似度和文本分类的评价表明了模型的有效性。
2015-08-26 cs.CL
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF
Uppsala University（乌普萨拉大学）；University of Helsinki（赫尔辛基大学）
本文提出了一种基于字符的汉语联合分词和词性标注模型。通用序列标记的双向RNN-CRF架构适用于捕获丰富上下文信息和低于字符级别特征的中文字符的新型矢量表示。对所提出的模型进行了广泛的评估，并分别在CTB 5、CTB 9和UD中文上与最先进的标记器进行了比较。实验结果表明，我们的模型是准确的和强大的数据集在不同的大小，类型和注释方案。我们在CTB 5上获得了最先进的性能，联合分割和POS标记的F1得分达到94.38。
2017-09-12 cs.CL
Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking
Beijing Institute of Technology（北京理工大学）；Tencent Cloud Xiaowei（腾讯云小微）
中文拼写检查（CSC）旨在检测和纠正用户生成的中文文本中的错误字符。汉语拼写错误主要是语义、语音或图形上相似的字被误用。以前的尝试注意到了这一现象，并试图将相似性用于这项任务。但是，这些方法使用语法分析或手工混淆集来预测正确的字符。在本文中，我们提出了一个中文拼写检查称为ReaLiSe，直接利用多模态信息的汉字。ReaLiSe模型通过（1）捕获输入字符的语义，语音和图形信息，以及（2）选择性地混合这些模态中的信息以预测正确的输出来处理CSC任务。在SIGHAN基准测试上的实验表明，该模型的性能大大优于强基线。
2021-05-26 cs.CL
Learning to Pronounce Chinese Without a Pronunciation Dictionary
DiDi Labs（滴滴实验室）；Admiralty Way（4640 Admiralty Way）；Marina del Rey, CA 90292
我们演示了一个程序，学习发音的中文文本在普通话中，没有发音字典。从非平行的汉字流和汉语音节流出发，建立了一个多对多的字音映射。使用无监督的方法，该程序可以有效地将文字破译为语音。它的标记级字符到音节的准确率为89%，大大超过了先前工作的22%的准确率。
2020-10-09 cs.CL
MFE-NER: Multi-feature Fusion Embedding for Chinese Named Entity Recognition
The University of Melbourne（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出轻量级方法MFE-NER，融合字形与语音特征，解决中文命名实体识别中的字符替换问题，实验显示检测替换效果突出并小幅提升整体性能。
2024-04-17 cs.CL
Enhancing Chinese Intent Classification by Dynamically Integrating Character Features into Word Embeddings with Ensemble Techniques
使用基于神经网络和词嵌入的深度学习方法对英语数据进行了广泛的意图分类研究。中文意图分类的挑战源于这样一个事实，即与大多数单词由26个语音字母组成的英语不同，中文是语标，其中汉字是一个更基本的语义单位，可以提供信息，其含义在上下文中不会变化太多。单独的中文词嵌入可能不足以表示单词，并且预先训练的嵌入可能无法很好地与手头的任务对齐。考虑到不足和利用汉字信息，我们提出了一种低工作量和通用的方法来动态集成字符嵌入的特征映射与基于词嵌入的输入，其产生的单词字符嵌入堆叠上下文信息抽取模块，以进一步结合上下文信息进行预测。在该模型的基础上，我们采用集成方法将单个模型组合起来，得到最终的结果。该方法是数据独立的，不依赖于外部来源，如预先训练的词嵌入。所提出的模型优于基线模型和现有的方法。
2018-05-23 cs.CL
Character-level Chinese-English Translation through ASCII Encoding
Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
神经网络机器翻译（NMT）模型最近在许多语言对上取得了令人印象深刻的结果。它们主要适用于印欧语言对，这些语言共享相同的书写系统。然而，对于汉英翻译来说，两种不同的书写系统之间的差距构成了一个重大挑战，因为单个语言单位之间缺乏系统的对应关系。在本文中，我们使字符级的NMT为中国，打破了中国的字符到语言单位类似的印欧语言。我们使用五笔编码方案，它保留了字符的原始形状和语义信息，同时也是可逆的。我们展示了在字符和子字级别上使用递归和卷积模型训练基于Wubi的模型的有希望的结果。
2018-08-27 cs.CL
Dynamic Multi-View Fusion Mechanism For Chinese Relation Extraction
National University of Defense Technology（国防科技大学）
近年来，许多研究将外部知识引入到基于特征的模型中，以提高中文关系抽取的性能。然而，这些方法往往忽略了汉字的内部信息，不能过滤掉外部知识的噪声信息。为了解决这些问题，我们提出了一个混合视图专家框架（MoVE）动态学习多视图特征的中文关系抽取。该框架结合了汉字的内部和外部知识，能够更好地捕捉汉字的语义信息。为了证明所提出的框架的有效性，我们在不同领域的三个真实世界的数据集上进行了广泛的实验。实验结果表明，我们提出的框架一致和显着的优越性和鲁棒性。我们的代码和数据集将发布在：https://gitee.com/tmg-nudt/multi-view-of-expert-for-chineserelation-extraction
2023-03-09 cs.CL
2kenize: Tying Subword Sequences for Chinese Script Conversion
University of Copenhagen（哥本哈根大学）
简繁转换是中文自然语言处理中常见的预处理步骤。尽管如此，目前的方法具有较差的性能，因为它们没有考虑到简体中文字符可以对应于多个繁体中文字符。在这里，我们提出了一个模型，可以消除映射之间的歧义和两个脚本之间的转换。该模型基于子词切分、两个语言模型以及子词序列之间的映射方法。我们进一步构建了主题分类和脚本转换的基准数据集。我们提出的方法优于以前的汉字转换方法的6点的准确性。这些结果在下游应用程序中得到了进一步证实，其中2kenize用于转换主题分类的预训练数据集。错误分析表明，我们的方法的特殊优势是在处理代码混合和命名实体。
2020-05-07 cs.CL
Geometric Structures and Patterns of Meaning: A PHATE Manifold Analysis of Chinese Character Embeddings
本研究通过PHATE流形分析系统探究汉字嵌入的几何模式，验证了语义内容与几何复杂度的关联，为传统语言学理论提供计算证据并建立语义组织几何分析的新框架。
2025-09-23 cs.CL
Robust Chinese Word Segmentation with Contextualized Word Representations
National Taiwan University（台湾大学）
近年来，基于神经网络的分词方法提出后，中文分词任务的准确率有了很大的提高。然而，在处理词汇表外的单词时，仍然存在很大的出错率。我们使用简单的双向LSTM架构和大规模预训练的语言模型来生成高质量的上下文化字符表示，成功地减少了汉字中广泛出现的每个汉字的歧义的弱点，从而有效地降低了OOV的出错率。在许多数据集上实现了最先进的性能。
2019-01-17 cs.CL
"Is Whole Word Masking Always Better for Chinese BERT?": Probing on Chinese Grammatical Error Correction
Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
全词屏蔽（WWM），它屏蔽所有子词对应的一个词，使一个更好的英语BERT模型。然而，对于中文，没有子字，因为每个记号都是一个原子字符。在汉语中，一个词的含义是不同的，因为一个词是由多个字符组成的组成单位。这种差异促使我们研究WWM是否能提高中文BERT的语境理解能力。为了实现这一点，我们引入了两个与语法错误纠正相关的探测任务，并要求预训练模型以掩码语言建模方式修改或插入标记。我们构建了一个数据集，包括10,448个句子中的19,075个标记的标签。我们训练了三个中文BERT模型，分别使用标准字符级掩码（CLM），WWM，以及CLM和WWM的组合。我们的主要发现如下：首先，当需要插入或替换一个字符时，使用CLM训练的模型表现最好。其次，当需要处理多个字符时，WWM是获得更好性能的关键。最后，当在并行级下游任务上进行微调时，使用不同掩蔽策略训练的模型执行并行。
2022-03-02 cs.CL
Contextual Similarity is More Valuable than Character Similarity: An Empirical Study for Chinese Spell Checking
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；OPPO Research Institute（OPPO研究院）；Peng Cheng Laboratory（鹏城实验室）；Tencent Cloud Xiaowei（腾讯云小微）
中文拼写检查（CSC）任务旨在检测和纠正中文拼写错误。目前，相关研究主要集中在从混淆集中引入字符相似度来增强CSC模型，而忽略了包含更丰富信息的字符上下文。为了更好地利用情境信息，我们提出了一个简单而有效的课程学习（CL）框架的CSC任务。在我们与模型无关的CL框架的帮助下，现有的CSC模型将随着人类学习汉字而从容易到困难进行训练，并实现进一步的性能改进。广泛的实验和广泛使用的SIGHAN数据集的详细分析表明，我们的方法优于以前的国家的最先进的方法。更重要的是，我们的研究经验表明，上下文相似性比字符相似性更有价值的CSC任务。
2023-02-28 cs.CL
The Impact of Visual Information in Chinese Characters: Evaluating Large Models' Ability to Recognize and Utilize Radicals
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本研究构建基准评估大型模型对汉字视觉元素的理解，发现模型视觉知识有限，并通过将偏旁部首纳入提示实验，证明整合次字符信息可提升中文语言处理任务表现。
2025-01-29 cs.CL
CC-Riddle: A Question Answering Dataset of Chinese Character Riddles
Peking University（北京大学）；University of Michigan（密歇根大学）
本文构建了覆盖常用简体字的汉字谜语数据集CC-Riddle，结合爬取、语言模型生成与人工筛选，并测试BERT、ChatGPT和ChatGLM，发现现有模型解答汉字谜语仍面临困难。
2023-09-24 cs.CL
Injecting Word Information with Multi-Level Word Adapter for Chinese Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提高汉语口语语言理解（SLU）的词信息注入。以往的汉语二语习得研究没有考虑词的信息，没有检测出有利于意图检测和槽填充的词边界。针对这一问题，本文提出了一种多级词适配器，用于为中文SLU注入词信息。该适配器由两部分组成：（1）词级词适配器，直接融合词信息和字符信息的句子表示来进行意图检测;（2）字符级词适配器，应用于每个字符，有选择地控制词信息和字符信息的权重。在两个中文SLU数据集上的实验结果表明，该模型能够有效地捕捉到有用的词汇信息，取得了较好的性能。
2022-03-28 cs.CL
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是一种新的机器翻译方法，它在多种语言对上的翻译性能优于传统的统计机器翻译（SMT）。翻译是一个开放词汇的问题，但现有的NMT系统大多使用固定词汇，这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度，如字符，子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一，然而，据我们所知，目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外，我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明，在词汇量不大的情况下，子词模型的翻译效果最好，而词字混合模型的翻译效果最好。不同粒度的实验结果表明，Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
Radical-level Ideograph Encoder for RNN-based Sentiment Analysis of Chinese and Japanese
Keio University（庆应义塾大学）
在非字母语言如汉语和日语中，字符词汇量可能非常大，这使得神经网络模型非常庞大以处理此类语言。我们探索了一种情感分类模型，该模型采用汉字的偏旁部首，即汉语的汉字和日语的汉字的嵌入。我们的模型由一个CNN词特征编码器和一个双向RNN文档特征编码器组成。所取得的结果与基于字符嵌入的模型相当，并且接近于最先进的基于词嵌入的模型，词汇量比基于字符嵌入的模型和基于词嵌入的模型小90%，并且参数分别比基于字符嵌入的模型和基于词嵌入的模型少至少13%和80%。实验结果表明，基于激进嵌入的方法对于中文和日文的机器学习是具有成本效益的。
2017-08-10 cs.CL
Character-Level Chinese Dependency Parsing via Modeling Latent Intra-Word Structure
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
本文提出通过建模词内隐式结构实现中文字符级依存句法分析，并用受约束的Eisner算法保证字符级树兼容性，在中文树库上优于流水线框架和已有联合模型。
2024-06-06 cs.CL
Sub-Character Tokenization for Chinese Pretrained Language Models
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Maryland, College Park（马里兰大学帕克分校）
标记化是预训练语言模型（PLM）的基础。现有的用于中文PLM的标记化方法通常将每个字符视为不可分割的标记。然而，他们忽略了汉语书写系统的独特之处，即在字符水平之下存在额外的语言信息，即，在子角色层面上。为了利用这些信息，我们提出了子字符（简称SubChar）标记化。具体地说，我们首先将输入的文本编码，将每个汉字转换成一个短序列的基础上，其名称或发音，然后构建词汇的基础上编码的文本与子分词。实验结果表明，SubChar标记器与已有的标记器相比具有两个主要优点：1）可以将输入标记为更短的序列，从而提高了计算效率。2)基于发音的SubChar分词器可以将汉语同音字编码成相同的音译序列，并产生相同的分词输出，因此对同音字拼写错误具有鲁棒性。与此同时，使用SubChar标记器训练的模型在下游任务上表现出竞争力。我们在https://github.com/thunlp/SubCharTokenization上发布了我们的代码和模型，以促进未来的工作。
2023-02-14 cs.CL
Character, Word, or Both? Revisiting the Segmentation Granularity for Chinese Pre-trained Language Models
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）；Lark Platform Engineering-AI（飞书平台工程-人工智能）
预训练的语言模型（PLM）在各种NLP任务中表现出惊人的改进。大多数中文PLM只是将输入文本视为字符序列，而完全忽略了单词信息。虽然整个词掩码可以缓解这一点，但单词中的语义仍然没有得到很好的表示。在本文中，我们重新审视了中文PLM的分割粒度。本文提出了一种同时考虑字和词的混合粒度汉语BERT（MigBERT）。为了实现这一点，我们设计了学习字符和单词级表示的目标函数。我们对各种中文NLP任务进行了广泛的实验，以评估现有的PLM以及建议的MigBERT。实验结果表明，MigBERT在所有这些任务上都实现了新的SOTA性能。进一步的分析表明，词比字的语义更丰富。更有趣的是，我们表明MigBERT也适用于日本人。我们的代码和模型已经在这里发布了~ \footnote{https://github.com/xnliang98/MigBERT}。
2023-03-22 cs.CL
Chinese Word Boundary Recovery through Character Alignment Projection
The University of British Columbia（不列颠哥伦比亚大学）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
提出基于对齐投影的两步方法，从带噪句子中恢复词边界，并构建两个评估基准，实验表明该方法能有效纠正过度切分错误。
2026-05-27 cs.CL
Chinese-Japanese Unsupervised Neural Machine Translation Using Sub-character Level Information
Tokyo Metropolitan University（东京都立大学）
无监督神经机器翻译（UNMT）在训练期间仅需要相似语言对的单语数据，并且可以产生在字母语言上具有相对良好性能的双向翻译模型（Lample等人，2018年）。然而，没有研究已经做了语标语言对。本研究的重点是中日UNMT训练的数据包含子字符（表意或笔画）的水平信息，从字符水平的数据分解。比较了字符和子字符水平系统的BLEU得分，结果表明，尽管UNMT对字符水平数据有效，但子字符水平数据可以进一步提高性能，其中笔画水平系统优于表意水平系统。
2019-03-01 cs.CL
Incorporating Chinese Radicals Into Neural Machine Translation: Deeper Than Character Level
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）；Soochow University（苏州大学）
在神经机器翻译（NMT）中，研究人员面临着不可见（或词汇表外的OOV）单词翻译的挑战。为了解决这个问题，一些研究人员提出将西方语言如英语和德语分成子词或复合词。在本文中，我们试图解决这个OOV问题，并提高NMT充分性与更难的语言中文，其字符是更复杂的组成。我们将汉语偏旁部首与NMT模型结合，通过不同的设置来解决汉英翻译中的未见词问题。另一方面，这也可以被认为是机器翻译系统的语义部分，因为汉语偏旁通常承载着它们所构成的词的本质意义。有意义的偏旁部首和新的汉字可以通过我们的模型被整合到NMT系统中。我们使用基于注意力的NMT系统作为强基线系统。在2006年和2008年NIST标准汉英翻译共享任务数据上的实验表明，我们设计的模型在LEPOR、BEER和BLEU和NIST评分等一系列最新的评价指标上都优于基线模型，尤其是在适当性水平的翻译上。在不同的实验环境下，我们也发现了一些有趣的结果，这些结果与其他语言不同。例如，研究人员最近证明，全字符级NMT在其他一些语言中可能表现良好或处于最先进的状态，然而，在中文NMT模型中，词边界知识对于模型学习很重要。
2019-06-24 cs.CL
Improving Character-level Japanese-Chinese Neural Machine Translation with Radicals as an Additional Input Feature
Gifu University（岐阜大学）
近年来，神经机器翻译（NMT）已经被证明取得了令人印象深刻的结果。虽然输入词的一些附加语言特征改善了词级NMT，但迄今为止还没有使用任何附加字符特征来改善字符级NMT。在本文中，我们表明，汉字（或汉字）的偏旁部首，作为一个字符的特征信息，可以很容易地提供进一步的改进，在字符级的NMT。在WAT 2016日汉科技论文摘录语料库（ASPEC-JP）上的实验表明，该方法从困惑度和BLEU两个方面提高了翻译质量。具有偏旁输入特征模型的字符级NMT在测试集中获得了40.61个BLEU点的最新结果，这比使用ASPEC-JP的WAT 2016日中翻译子任务的最佳系统提高了约8.6个BLEU点。在开发测试集和测试集的语料库中，与没有额外输入特征的字符级NMT相比，改进分别高达约1.5和1.4 BLEU点。
2018-05-08 cs.CL
Multiple Character Embeddings for Chinese Word Segmentation
Shanghai Jiao Tong University（上海交通大学）
中文分词（CWS）通常被认为是一个基于字符的序列标注任务，目前的研究工作在强大的神经网络的帮助下取得了巨大的成功。然而，这些著作忽略了一条重要的线索：汉字兼有语义和语音意义。在本文中，我们介绍了多种字符嵌入，包括拼音罗马化和五笔输入法，这两种方法都是易于访问和有效的描述字符的语义。我们提出了一种新的共享Bi-LSTM-CRF模型，通过在训练过程中共享LSTM网络来有效地融合语言特征。在五个语料库上进行的大量实验表明，额外的嵌入有助于显著提高标注准确率。具体来说，我们实现了最先进的性能在AS和城大语料库的F1得分分别为96.9和97.3，没有利用任何外部词汇资源。
2019-05-30 cs.CL
SubCharacter Chinese-English Neural Machine Translation with Wubi encoding
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（环球语音通信技术有限公司）
神经机器翻译是理解两种语言之间语义规则差异的最佳方法之一。特别是对于印欧语言，子词级模型已经取得了令人印象深刻的结果。然而，当翻译任务涉及到中文时，语义粒度仍然停留在词和字的层次上，因此仍然需要更细粒度的中文翻译模型。本文介绍了一种简单有效的子字级汉语翻译方法。我们的方法使用五笔字型的方法将中文翻译成英文，然后应用字节对编码（BPE）。我们的方法用于汉英翻译，消除了在预处理过程中复杂的分词算法的需要。此外，我们的方法允许基于递归神经网络（RNN）架构的子字符级神经翻译，而无需预处理。实验结果表明，对于汉英翻译任务，我们的子字符级模型具有可比的BLEU得分的子词模型，尽管有一个小得多的词汇。此外，小词汇量对于NMT模型压缩是非常有利的。
2019-11-07 cs.CL
Chinese NER Using Lattice LSTM
Singapore University of Technology and Design（新加坡科技设计大学）
我们研究了一个用于中文NER的格结构LSTM模型，该模型对输入字符序列以及匹配词典的所有潜在单词进行编码。与基于字符的方法相比，我们的模型显式地利用单词和单词序列信息。与基于单词的方法相比，lattice LSTM不会出现分割错误。门控递归细胞允许我们的模型从句子中选择最相关的字符和单词，以获得更好的NER结果。在各种数据集上的实验表明，lattice LSTM的性能优于基于单词和基于字符的LSTM基线，达到了最佳效果。
2018-07-05 cs.CL
Chinese Embedding via Stroke and Glyph Information: A Dual-channel View
University of Science and Technology of China（中国科学技术大学）
近年来的研究表明，形态学有助于丰富词嵌入。本文认为，隐藏在汉字中的形态信息不仅在笔画顺序上得到反映，而且在空间上也反映在汉字字形中，从而丰富了中文词嵌入。在此基础上，提出了一种新的双通道词嵌入（DWE）模型，实现了字符序列信息和空间信息的联合学习。通过对词相似度和词类比任务的评价，表明了该模型在汉语词法建模方面的合理性和优越性。
2019-06-03 cs.CL
Generating Adversarial Examples in Chinese Texts Using Sentence-Pieces
Fudan University（复旦大学）
文本中的对抗攻击大多是基于替换的攻击方法，通过替换原文本中的单词或字符来实现成功攻击。最近的方法使用预先训练的语言模型作为替代生成器。而在中文中，这种方法是不适用的，因为中文中的单词需要首先分割。在本文中，我们提出了一个预训练的语言模型作为替代生成器使用的棋子，以制作对抗性的例子在中国。生成的对抗性例子中的替换不是字符或单词，而是\textit{'pieces'}，这对中国读者来说更自然。实验结果表明，生成的对抗样本可以误导强目标模型，并保持流畅和语义保持。
2020-12-29 cs.CL
Exploiting Word Semantics to Enrich Character Representations of Chinese Pre-trained Models
Peking University（北京大学）
大多数中文预训练模型采用字符作为下游任务的基本单元。然而，这些模型忽略了词所携带的信息，从而导致一些重要语义的丢失。在本文中，我们提出了一种新的方法来利用单词结构，并将词汇语义集成到预训练模型的字符表示中。具体地说，我们根据相似性权重将单词的嵌入映射到其内部字符的嵌入中。为了增强词边界信息，我们混合了词内部字符的表示。之后，我们应用一个字到字对齐注意力机制，通过掩盖不重要的字符来强调重要的字符。此外，为了减少分词引起的错误传播，我们提出了一种集成方法来组合不同标记器给出的分割结果。实验结果表明，在不同的中文NLP任务：情感分类、句对匹配、自然语言推理和机器阅读理解上，我们的方法取得了优于基本预训练模型BERT、BERT-wwm和ERNIE的性能。并进一步分析了模型各组成部分的有效性。
2022-07-13 cs.CL
Nugget Proposal Networks for Chinese Event Detection
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于神经网络的模型通常将事件检测视为逐词分类任务，其遭受词与事件触发器之间的失配问题，特别是在没有自然词分隔符的语言（例如中文）中。在本文中，我们提出了掘金建议网络（NPNs），它可以通过直接提出以每个字符为中心的整个触发掘金来解决单词触发不匹配问题，而不管单词边界如何。具体而言，NPN在字符模式中执行事件检测，其中每个字符的混合表示首先被学习以从字符和单词中捕获结构和语义信息。在此基础上，利用汉语事件触发器的字符组合结构，提出了触发器块并进行了分类。在ACE 2005和TAC KBP 2017数据集上的实验表明，NPN的性能明显优于最先进的方法。
2018-05-01 cs.CL
Chinese Financial Text Emotion Mining: GCGTS -- A Character Relationship-based Approach for Simultaneous Aspect-Opinion Pair Extraction
Jiangxi University of Finance and Economics（江西财经大学）
针对中文金融文本AOPE任务中字符级编码忽略字符逻辑关系的问题，提出GCGTS方法，利用图卷积网络融合句法结构并引入图像卷积捕捉局部关系，显著提升了模型性能并减少了对预训练模型的依赖。
2023-08-04 cs.CL
Evaluating Transformer Models and Human Behaviors on Chinese Character Naming
The Graduate Center, CUNY（纽约市立大学研究生中心）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本研究通过对比Transformer模型与人类在未知汉字命名任务上的表现，发现两者行为高度相似，表明模型能有效捕捉人类的汉字命名行为。
2023-05-13 cs.CL
Network of two-Chinese-character compound words in Japanese language
Waseda University（早稻田大学）
本文报道了日语双汉字复合词网络的一些统计性质。在这个网络中，一个节点代表一个汉字，一条边代表一个两个汉字的复合词。研究发现，该网络具有“小世界”和“无标度”性质。“仅由常用汉字（日语中的{ \it joyo-kanji}）形成的网络被认为是原始网络的子类，也具有小世界属性。然而，网络的度分布没有表现出明确的幂律。为了再现幂律性质的消失，提出了一个常用汉字选择过程的模型。
2009-02-24 cs.CL physics.soc-ph
MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
Jiangnan University（江南大学）；University of Surrey（萨里大学）
近年来，中文命名实体识别（NER）中的词语增强技术已成为一个热门的研究方向，它可以减少分词错误，增加中文词语的语义和边界信息。然而，这些方法往往忽略了汉字的结构信息整合后的词汇信息。汉字自古以来就是由象形文字演变而来的，其结构往往反映了更多的文字信息。本文提出了一种新的基于多元数据嵌入的交叉转换器（MECT），通过融合汉字的结构信息来提高中文NER的性能。具体地说，我们使用多元数据嵌入在一个两个流的Transformer集成汉字特征与部首级嵌入。MECT结合了汉字的结构特点，能更好地捕捉汉字的语义信息，用于NER。在几个著名的基准测试数据集上的实验结果证明了该方法的优点和优越性。\footnote {所提出的方法的源代码可在https://github.com/CoderMusou/MECT4CNER公开获得。
2021-07-12 cs.AI cs.CL
A Training-free LLM-based Approach to General Chinese Character Error Correction
Soochow University（苏州大学）；Alibaba Group（阿里巴巴集团）
针对传统中文拼写纠错仅关注替换错误、忽略缺字多字错误的问题，提出覆盖三类错误的通用汉字纠错任务，构建高质量基准，结合Levenshtein距离与提示式LLM的无训练方法，让14B模型性能比肩50倍规模的模型。
2025-06-16 cs.CL
Native Chinese Reader: A Dataset Towards Native-Level Chinese Machine Reading Comprehension
IIIS, Tsinghua University（清华大学交叉信息研究院）；New York University（纽约大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Shenzhen University（深圳大学）；Peking University（北京大学）；Shanghai Qi Zhi Institute（上海期智研究院）
我们提出了Native Chinese Reader（NCR），一个新的机器阅读理解（MRC）数据集，特别是现代和古典汉语的长文章。NCR是从中国高中语文课程的考试试题中收集的，旨在评估中国本土青年的语言能力。现有的中文MRC数据集要么是特定领域的，要么只关注现代汉语中几百个字符的短上下文。相比之下，NCR包含8390个文档，平均长度为1024个字符，涵盖了广泛的中文写作风格，包括现代文章，古典文学和古典诗歌。这些文件上总共有20477道题，也需要很强的推理能力和常识才能算出正确答案。我们使用流行的中国预训练模型实现了多个基线模型，并使用我们的数据集发起了一场在线竞赛，以检查当前方法的局限性。最好的模型达到了59%的测试准确率，而人工评估的平均准确率为79%，这表明当前MRC模型与母语为汉语的人之间存在显着的性能差距。我们在https://sites.google.com/view/native-chinese-reader/上发布数据集。
2021-12-14 cs.CL
Tracing a Loose Wordhood for Chinese Input Method Engine
Shanghai Jiao Tong University（上海交通大学）
中文输入法是将汉字序列或其他拉丁编码系统转换成中文句子的方法。为了更有效地进行拼音到字符的转换，典型的输入法引擎（IME）依赖于预定义的词汇表，需要按计划手动维护。本文充分考虑到中文输入是一个自由的人机交互过程，针对汉字输入过程中词汇设置不方便的问题，研究了汉字词的自动获取。代替严格定义单词，引入了一个松散的单词可能性来测量字符序列在使用IME时成为用户识别单词的可能性。在此基础上，提出了一种在线算法，通过比较用户的真实输入选择和算法预测，调整词的似然度或生成新词。实验结果表明，该方案可以灵活地适应不同的打字和性能接近高度优化的输入法与固定的词汇。
2017-12-12 cs.CL
Glyph-aware Embedding of Chinese Characters
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
鉴于英语字符级和子词单元模型在几个NLP任务中的优势和最近的成功，我们考虑了中文的等效建模问题。汉字是语标文字，许多汉字语标由共同的子结构组成，这些子结构提供语义、语音和句法暗示。在这项工作中，我们建议明确地将字符的字形在其表示的视觉外观，从而在一个新的字形感知嵌入的汉字。受卷积神经网络在计算机视觉中的成功启发，我们使用它们来整合原始像素中呈现的汉字的空间结构模式。在语言建模和分词这两个基本的中文NLP任务的背景下，该模型学习在字符级嵌入中表示每个字符的任务相关的语义和句法信息。
2017-08-31 cs.CL cs.LG
Lexicon-constrained Copying Network for Chinese Abstractive Summarization
College of Computer Science and Electronic Engineering, Hunan University（湖南大学信息科学与工程学院）；National Supercomputing Center in Changsha（国家超级计算长沙中心）；Department of Industrial Engineering, International Ataturk Alatoo University（国际阿塔图尔克-阿拉图大学工业工程系）
复制机制允许序列到序列模型从输入中选择单词并将它们直接放入输出中，这在抽象摘要中得到越来越多的使用。然而，由于中文句子中没有显式的重复，现有的中文摘要生成模型大多只能进行字符复制，效率低下。为了解决这个问题，我们提出了一个字典约束的复制网络模型的多粒度的编码器和解码器。在源端，使用基于Transformerbased的编码器将单词和字符聚合到同一输入内存中。在目标端，解码器可以在每个时间步复制一个字符或多字符单词，并且解码过程由单词增强搜索算法指导，该算法有利于并行计算并鼓励模型复制更多单词。此外，我们采用词选择器来整合关键字信息。在中文社交媒体数据集上的实验结果表明，我们的模型可以独立工作，也可以与单词选择器一起工作。这两种形式都可以优于以前的基于字符的模型，并实现有竞争力的性能。
2021-12-21 cs.CL
C-LLM: Learn to Check Chinese Spelling Errors Character by Character
Tsinghua University（清华大学）；WeChat AI, Tencent Inc（腾讯微信人工智能实验室）；Xinjiang University（新疆大学）
针对 LLM 在中文拼写检查中难以满足等长与音近约束的问题，本文提出字符级分词的 C-LLM，将任务设计为复制为主、替换为辅，在两个基准上平均提升 10%。
2024-10-26 cs.CL
Improving Chinese Spelling Check by Character Pronunciation Prediction: The Effects of Adaptivity and Granularity
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；People’s Daily Online Co.（人民网股份有限公司）；People’s Public Security University of China（中国人民公安大学）
汉语拼写检查（CSC）是一项基本的自然语言处理任务，用于检测和纠正汉语文本中的拼写错误。由于这些拼写错误大多数是由语音相似性引起的，因此有效地建模汉字的发音是CSC的关键因素。本文考虑引入汉语发音预测（CPP）辅助任务来改进CSC，并首次系统地讨论了该辅助任务的自适应性和粒度。我们提出的范围，建立在共享的编码器上的两个并行解码器，一个用于主要的CSC任务和其他细粒度的辅助CPP任务，与一种新的自适应加权方案来平衡这两个任务。此外，我们设计了一个微妙的迭代校正策略，在推理过程中进一步改善。实证评估表明，SCOPE在三个CSC基准上达到了新的最先进水平，证明了辅助CPP任务的有效性和优越性。全面的消融研究进一步验证了适应性和任务粒度的积极影响。本文中使用的代码和数据可在https://github.com/jiahaozhenbang/SCOPE上公开获取。
2022-10-20 cs.CL
Rank-frequency relation for Chinese characters
Laboratoire de Physique Statistique et Systèmes Complexes, ISMANS（ISMANS统计物理与复杂系统实验室）；Hua-Zhong Normal University（华中师范大学）；Université du Maine（曼恩大学）；Yerevan Physics Institute（埃里温物理研究所）；University of Heilongjiang（黑龙江大学）
我们表明，Zipf定律的汉字完全成立足够短的文本（几千个不同的字符）。其有效性的情况类似于齐普夫定律的短英语文本中的单词。对于长中文文本（或短中文文本的混合物），汉字的等级频率关系显示两层，层次结构，结合了Zipfian幂律制度的频繁字符（第一层）与指数状制度的不太频繁的字符（第二层）。对于这两层，我们提供了不同的（虽然相关）理论描述，包括低频字符的范围（hapax legomena）。通过对汉字和英语词的词频关系的对比分析，可以看出汉字在汉语写作中所起的作用与字母系统中的词所起的作用是一样的。
2014-01-26 cs.CL physics.data-an
Exploring the Usage of Chinese Pinyin in Pretraining
Huawei（华为）
本研究针对中文NLP任务中拼音利用不足的问题，提出并行使用汉字与拼音的预训练方法PmBERT，通过融合二者表征增强SSP错误容错能力，实验证明其鲁棒性优于SOTA模型。
2023-10-08 cs.CL
An Empirical Study on Chinese Character Decomposition in Multiword Expression-Aware Neural Machine Translation
Leiden University Medical Center（莱顿大学医学中心）；Leiden University（莱顿大学）；ADAPT Research Centre（ADAPT研究中心）；Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（洞察数据分析中心）
本研究探讨了中文字符分解技术在多词表达意识神经机器翻译中的应用，旨在提升中文词汇意义的表示和多词表达翻译的准确性。
2025-12-17 cs.CL
ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations
The Hong Kong University of Science and Technology（香港科技大学）；Sinovation Ventures（创新工场）
文本编码器的预训练通常将文本处理为对应于小文本单元的令牌序列，例如英语中的单词片段和中文中的字符。它忽略了较大文本粒度所携带的信息，因此编码器无法轻松适应某些字符组合。这导致重要语义信息的丢失，这对于中文来说尤其成问题，因为该语言没有明确的词边界。在本文中，我们提出了ZEN，一个基于BERT的中文（Z）文本编码器增强的N-gram表示，在训练过程中考虑不同的字符组合。因此，潜在的字或相位边界被明确地预先训练并使用字符编码器（BERT）进行微调。因此，ZEN包含了字符序列和它所包含的单词或短语的综合信息。实验结果表明ZEN在一系列中文NLP任务上的有效性。我们表明，ZEN使用比其他已发布的编码器更少的资源，可以在大多数任务上实现最先进的性能。此外，它表明，合理的性能时，ZEN是在一个小的语料库，这是很重要的应用预训练技术的情况下，有限的数据进行训练，可以获得。ZEN的代码和预训练模型可以在https://github.com/sinovation/zen上找到。
2019-11-02 cs.CL
Breaking the Representation Bottleneck of Chinese Characters: Neural Machine Translation with Stroke Sequence Modeling
Harbin Institute of Technology（哈尔滨工业大学）
现有的研究一般将汉字作为最小的表征单位。然而，这样的汉字表示将遭受两个瓶颈：1）学习瓶颈，学习不能受益于其丰富的内部特征（例如，偏旁部首和笔画）;以及2）参数瓶颈，每个单独的字符必须由唯一的向量表示。本文介绍了一种新的汉字表示方法，即StrokeNet，它通过拉丁化的笔画序列（例如，“ao 1（凹）”到“ajaie”和“tu 1（凸）”到“aeaqe”）。具体来说，StrokeNet将每个笔画映射到特定的拉丁字符，从而允许类似的中文字符具有类似的拉丁表示。随着StrokeNet引入神经机器翻译（NMT），许多强大但不适用于非拉丁语言的技术（例如，共享子字词汇学习和基于密文的数据增强）现在可以被完美地实现。在广泛使用的NIST中文-英语、WMT 17中文-英语和IWSLT 17日文-英语NMT任务上的实验表明，StrokeNet可以在更少的模型参数下提供比强基线更显著的性能提升，在WMT 17中文-英语任务上实现26.5 BLEU，这比任何先前报道的结果都要好，而不使用单语数据。代码和脚本可以在https://github.com/zjwang21/StrokeNet上免费获得。
2022-11-23 cs.AI cs.CL
Exploiting Effective Representations for Chinese Sentiment Analysis Using a Multi-Channel Convolutional Neural Network
Wisers Information Limited（慧科信息有限公司）
文本的有效表示是各种自然语言处理任务的关键。对于汉语情感分析这一特殊任务来说，理解和选择一种有效的文本表示方法是非常重要的。本文提出了一个系统的研究，这些表示为中文情感分析的效果，提出了一个多通道的卷积神经网络（MCCNN），其中每个通道对应于一个表示。实验结果表明：（1）词在低OOV率的数据集上获胜，而字符在其他情况下获胜;（2）组合使用这些表示通常会提高性能;（3）基于MCCNN的表示优于使用SVM的传统ngram特征;（4）所提出的MCCNN模型实现了与最先进的中文情感分析模型fastText的竞争性能。
2018-08-08 cs.CL
SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check
Ant Financial Services Group（蚂蚁金融服务集团）
汉语拼写检查是对汉语自然语言中的拼写错误进行检测和纠正的任务。现有的方法已经尝试将汉字之间的相似性知识。然而，他们采取的相似性知识作为外部输入资源或只是启发式规则。本文提出了通过一个专门的图卷积网络（SpellGCN），将语音和视觉相似性知识到语言模型CSC。该模型在字符上构建一个图，并且SpellGCN被学习以将该图映射到一组相互依赖的字符分类器中。这些分类器被应用于由另一个网络（例如BERT）提取的表示，使整个网络能够端到端训练。实验（本文的数据集和所有代码可在https：//github.com/ACL2020SpellGCN/SpellGCN上获得）在三个人类注释的数据集上进行。我们的方法实现了优越的性能对以前的模型由一个大的利润。
2020-05-13 cs.CL
A Aelf-supervised Tibetan-chinese Vocabulary Alignment Method Based On Adversarial Learning
Tibet University（西藏大学）
藏语是一种低资源语言。为了缓解藏汉平行语料库的不足，本文利用两个单语语料库和少量的种子词典，通过计算词簇在不同嵌入空间的相似度，对种子词典半监督学习方法和自监督对抗训练方法进行学习，提出了一种改进的自监督对抗训练方法，一种仅用于藏汉单语数据对齐的有监督对抗学习方法。实验结果如下。第一，藏文音节汉字的实验结果不佳，这反映出藏文音节与汉字之间的语义相关性较弱;第二，种子词典的半监督方法取得了前10个词的预测准确率为66.5（藏-汉）和74.8（汉-藏）的结果，改进后的自我监督方法在两个语言方向上的准确率都达到了53.5。
2021-10-04 cs.CL
An In-depth Study on Internal Structure of Chinese Words
Soochow University（苏州大学）；Huawei Cloud（华为云）
与英文字母不同，汉字有着丰富而具体的含义。通常，一个词的意义可以通过某种方式从它的组成字符中推导出来。以前的几个关于句法分析的工作建议注释浅层词内部结构，以更好地利用字符级信息。本文提出将汉语词汇的深层内部结构建模为具有11个标签的依存树，用于区分句法关系。首先，基于新编写的注释指南，我们手工标注了一个词内部结构树库（WIST），由超过30K的多字符词从中国宾州树库。为了保证质量，每个单词都由两名注释员独立注释，不一致的地方由第三名高级注释员处理。其次，我们对WIST进行了详细而有趣的分析，以揭示对汉语构词法的见解。第三，我们提出了词内部结构分析作为一个新的任务，并进行基准实验，使用竞争依赖分析器。最后，我们提出了两种简单的方法来编码词内部结构，从而有希望的收益在句子级句法分析任务。
2021-06-01 cs.CL
Shuo Wen Jie Zi: Rethinking Dictionaries and Glyphs for Chinese Language Pre-training
Peking University（北京大学）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）
本文提出CDBERT，通过“说文”利用词典释义和“解字”增强字形结构理解，并设计三个预训练任务，在CLUE、CCLUE及新提出的PolyMRC任务上一致提升中文预训练模型的语义理解能力，尤其在古汉语少样本场景下效果显著。
2023-05-30 cs.CL
