Post-Processing of Word Representations via Variance Normalization and Dynamic Embedding
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
虽然嵌入式向量表示的单词提供了令人印象深刻的性能在许多自然语言处理(NLP)的应用,有序的输入序列的信息在一定程度上丢失,如果只有基于上下文的样本在训练中使用。为了进一步提高性能,两个新的后处理技术,称为后处理通过方差归一化(PVN)和后处理通过动态嵌入(PDE),提出了这项工作。PVN方法将词向量的主成分方差归一化,而PDE方法从有序输入序列中学习正交潜变量。PVN和PDE方法可以集成以实现更好的性能。我们将这些后处理技术应用于两种流行的词嵌入方法(即,word2vec和GloVe)以产生它们的后处理表示。进行了大量的实验,以证明所提出的后处理技术的有效性。
2019-02-04 cs.CL
THA: Weighted Finite-State Text Normalization and Inverse Text Normalization for Khmer
Digital Government Committee(数字政府委员会)
针对高棉语缺乏开源文本规范化工具的问题,提出基于加权有限状态转换器的Tha工具包,实现整行分词分类与音节边界约束,在谷歌测试集上取得高准确率并开源。
2026-09-28 cs.CL
Normalization of Transliterated Words in Code-Mixed Data Using Seq2Seq Model & Levenshtein Distance
SRM Institute of Science & Technology(SRM科技学院)
为代码混合数据构建工具在NLP研究社区中迅速流行,因为此类数据在社交媒体上呈指数级增长。处理代码混合数据包含几个挑战,特别是由于语法不一致和拼写变化,以及社交媒体场景中所有先前已知的挑战。在这篇文章中,我们提出了一种新的架构,专注于规范化语音类型的变化,这是常见的代码混合数据。我们的架构的主要特点之一是,除了规范化,它也可以用于回音译和单词识别在某些情况下。我们的模型在测试数据上达到了90.27%的准确率。
2018-05-22 cs.CL
Neural text normalization leveraging similarities of strings and sounds
Tokyo Institute of Technology(东京工业大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究所)
我们提出了神经模型,可以通过考虑单词串和声音的相似性来规范化文本。我们通过实验比较了一个模型,认为单词串和声音的相似性,一个模型,只考虑单词串或声音的相似性,和一个模型没有相似性作为基线。结果表明,利用词串相似度可以成功地处理拼写错误和缩略语,而考虑语音相似度可以成功地处理语音替换和强调字符。因此,所提出的模型实现了比基线更高的F $_1$评分。
2020-11-04 cs.CL
Automatic Normalization of Word Variations in Code-Mixed Social Media Text
Language Technologies Research Centre (LTRC)(语言技术研究中心);Kohli Center on Intelligent Systems (KCIS)(科利智能系统中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
针对语码混合社交媒体文本的拼写变体问题,提出利用词分布式表示无监督捕捉同上下文词汇变体的归一化方法,可提升词性标注与情感分析任务性能。
2018-04-03 cs.CL
MANorm: A Normalization Dictionary for Moroccan Arabic Dialect Written in Latin Script
社交媒体用户生成的文本实际上是许多NLP任务的主要资源。然而,这段文字并没有遵循写作的标准规则。此外,在书面交流中使用摩洛哥阿拉伯语等方言进一步增加了NLP任务的复杂性。方言是一种没有标准拼写的口头语言,这导致用户在写作时即兴拼写。因此,对于同一个词,我们可以找到多种形式的音译。随后,必须将这些不同的音译规范化为一个规范的词形。为了实现这一目标,我们利用了由YouTube评论语料库生成的词嵌入模型的强大功能。此外,使用提供规范形式的摩洛哥阿拉伯语方言字典,我们已经建立了一个规范化字典,我们称之为MANGORY。我们已经进行了几个实验,以证明效率的MANSTRUCTURE,这表明它的实用性方言规范化。
2022-06-18 cs.CL
Unsupervised Language agnostic WER Standardization
Microsoft(微软)
词出错率(WER)是用于评估自动语音识别(ASR)系统的标准度量。然而,WER未能提供一个公平的评价人类感知质量的拼写变化,缩写,或复合词所产生的凝集。基于区域/地理、替代缩写、借用词以及从外语到目标语言脚本的代码混合词的音译,多种拼写变体可能是可接受的。类似地,在凝集的情况下,通常凝集的以及分裂的形式是可接受的。以前的工作通过使用手动识别的归一化对来处理这个问题,并在计算WER之前将它们应用于转录和假设。在本文中,我们提出了一个自动WER规范化系统,包括两个模块:拼写规范化和分割规范化。所提出的系统是无监督和语言不可知的,因此可扩展。ASR在四种语言的35 K话语上的实验产生了13.28%的平均WER减少。这些自动识别的标准化对的人的判断表明,我们的WER标准化的评价是高度一致的ASR输出的感知质量。
2023-03-09 cs.CL
Non-Standard Vietnamese Word Detection and Normalization for Text-to-Speech
FPT Technology Research Institute, FPT University(FPT大学FPT技术研究院);VNU University of Engineering and Technology(越南国立大学工程技术大学)
将书面文本转换为口语形式是任何文本到语音(TTS)系统中的一个基本问题。然而,为现实世界的TTS系统构建有效的文本规范化解决方案面临两个主要挑战:(1)非标准词(NSW)的语义歧义,例如,数字、日期、范围、分数、缩写,以及(2)将NSW转换成可发音的音节,诸如URL、电子邮件地址、主题标签和联系人姓名。在本文中,我们提出了一种新的两阶段归一化方法来应对这些挑战。首先,设计了一个基于模型的标签器来检测NSW。然后,根据NSW类型,基于规则的规范器将这些NSW扩展为最终的口头形式。我们使用条件随机场(CRF),BiLSTM-CNN-CRF和BERT-BiGRU-CRF模型在手动注释的数据集上进行了三个NSW检测的实证实验,该数据集包括从越南新闻文章中提取的5819个句子。在第二阶段,我们提出了一个基于前向词典的最大匹配算法来拆分标签,电子邮件,URL和联系人姓名。标记阶段的实验结果表明,BiLSTM-CNN-CRF和CRF模型的平均F1分数均在90.00%以上,BERT-BiGRU-CRF模型的F1分数最高,达到95.00%。总的来说,我们的方法具有较低的句子出错率,CRF为8.15%,BiLSTM-CNN-CRF标签为7.11%,BERT-BiGRU-CRF标签仅为6.67%。
2022-09-07 cs.CL
Normalization of Different Swedish Dialects Spoken in Finland
University of Helsinki(赫尔辛基大学);Rootroo
我们的研究提出了一个方言规范化方法,不同的芬兰瑞典语方言覆盖六个地区。我们测试了5种不同的模型,最好的模型将单词错误率出错率从76.45提高到28.58。与早期关于芬兰方言的研究结果相反,我们发现一次用一个单词训练模型的效果最好。我们认为这是由于模型可用的训练数据的大小。我们的模型可以作为Python包访问。这项研究提供了关于这些方法在不同情况下的适应性的重要信息,并为进一步研究提供了重要的基线。
2020-12-09 cs.CL
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
ICMC-USP(圣保罗大学数学与计算机科学研究所)
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展,也不可互换,这使得它们不适合规范化用户生成内容(UGC)。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中,我们提出了一种技术的基础上分布式表示的话(或词嵌入)。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式,以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点,我们提出了一个完全无监督的,可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论,优于目前可用的工具,巴西葡萄牙语。
2017-04-10 cs.AI cs.CL
Neural Text Normalization for Luxembourgish using Real-Life Variation Data
University of Luxembourg(卢森堡大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对卢森堡语正字法变体多、NLP工具开发缺数据的问题,提出首个用真实词级变体数据训练的ByT5、mT5序列到序列归一化模型,经细粒度语言学评估验证其为卢森堡语定制化归一化的有效方法。
2024-12-13 cs.CL
Normalization of Lithuanian Text Using Regular Expressions
Institute of Informatics, Faculty of Mathematics and Informatics(信息学研究所,数学与信息学学院);Vilnius University(维尔纽斯大学)
本文针对立陶宛语文本到语音合成中的文本规范化问题,提出基于正则表达式的非标准词检测与扩展规则,并在三个数据集上验证了准确性,给出了错误分析与改进建议。
2024-01-01 cs.CL
Semantic Word Clouds with Background Corpus Normalization and t-distributed Stochastic Neighbor Embedding
Heidelberg University(海德堡大学);LMU Munich(慕尼黑大学)
许多单词云不提供单词放置的语义,而是使用仅出于美学目的而优化的随机布局。我们提出了一种新的方法来模型的词的重要性和词的亲和力在一个文件中,并在一个大型的背景语料库相比。我们证明了它的有用性,生成更有意义的词云作为一个给定的文档的视觉摘要。然后,我们根据关键词的重要性选择关键词,并根据派生的亲和力构建词云。基于修改的t分布随机邻居嵌入(t-SNE),我们生成语义词放置。对于共现显着的话,我们包括边缘,并根据它们的共现聚类的话。为此,我们设计了一个可扩展的和内存高效的基于草图的方法,可用于商品硬件聚合所需的语料库统计数据进行规范化,并确定关键字以及显着的cooccupancy。我们经验验证我们的方法使用大型维基百科语料库。
2017-08-11 cs.CL cs.IR
Translating a Math Word Problem to an Expression Tree
UESTC(电子科技大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
序列到序列(SEQ2SEQ)模型已成功地应用于自动数学应用题解决。尽管它很简单,但仍然存在一个缺点:一个数学应用题可以通过多个方程正确解决。这种非确定性的转换损害了最大似然估计的性能。本文考虑到表达式树的唯一性,提出了一种公式规范化方法,对重复公式进行规范化处理。此外,我们分析了三个流行的SEQ2SEQ模型的数学应用题解决的性能。我们发现每种模型在解决问题时都有其独特之处,因此提出了一种集成模型来结合它们的优点。在Math23K数据集上的实验表明,基于方程归一化的集成模型的性能明显优于现有的方法。
2018-11-15 cs.CL
PhonSenticNet: A Cognitive Approach to Microtext Normalization for Concept-Level Sentiment Analysis
Nanyang Technological University(南洋理工大学);Vellore Institute of Technology(韦洛尔理工学院)
随着当前社交媒体平台使用的激增,使用短文本(微文本)代替标准单词的趋势显著上升。微文本的使用在概念级情感分析中提出了相当大的性能问题,因为模型是在标准单词上训练的。本文讨论了将子符号(语音学)与符号(机器学习)人工智能耦合以将词汇外概念转换为标准词汇表形式的影响。使用Sorensen相似性算法计算语音距离。这样获得的语音上相似的调用概念然后被用来计算正确的极性值,这是以前被错误计算,因为存在的缩微文本。与早期模型相比,我们提出的框架将极性检测的准确性提高了6%。这也验证了微文本规范化是情感分析任务的必要先决条件的事实。
2019-04-24 cs.CL
Multilevel Text Normalization with Sequence-to-Sequence Networks and Multisource Learning
University of Zurich(苏黎世大学)
我们将多级文本规范化定义为序列到序列处理,该处理将自然噪声文本转换为规范化的意义单位(词素)序列,分为三个步骤:1)书写规范化,2)词形化,3)规范分割。这些步骤传统上被认为是独立的NLP任务,具有不同的解决方案,评估方案和数据源。我们利用所有这些任务都涉及子字序列到序列转换的事实,使用神经编码器-解码器技术为所有这些任务提出一个系统的解决方案。本文所要解决的具体挑战是将传统的独立任务的知识整合到神经序列到序列框架中,以改进现有技术。我们通过使用允许处理多层次文本组织信息的机制来丰富一般框架来解决这一挑战(字符、词素、单词、句子)与结构信息(多级语言模型、词性)和异构源(文本、词典)相结合。我们表明,我们的解决方案在所有三个步骤中始终改进了当前的方法。此外,我们分析了我们的系统的性能,以显示集成组件的整体改进的具体贡献。
2019-03-29 cs.CL
Validation and Normalization of DCS corpus using Sanskrit Heritage tools to build a tagged Gold Corpus
University of Hyderabad(海得拉巴大学);Inria Paris Center(法国国家信息与自动化研究所巴黎中心)
梵文数字语料库记录了大约65万个句子及其形态和词汇标记。但是,在形态分析和提供关键信息,如分割的词,不一致的,迫切需要标准化和验证这个语料库。验证过程的自动化需要高效的分析器,这些分析器还可以提供缺失的信息。梵语遗产引擎的读者产生所有可能的分割形态和词汇分析。对齐这些系统将有助于我们记录语言差异,这些差异可用于更新这些系统以产生标准化结果,并且还将提供标记有完整形态和词汇信息以及分割单词的Gold语料库。Krishna et al.(2017)考虑到一些语言差异,对齐了115,000个句子。由于这两个系统都发生了显著的变化,考虑到这些系统之间所有剩余的语言差异,再次进行对齐。本文详细描述了修改后的对齐过程,并记录了观察到的其他语言差异。参考文献:Amrith Krishna,Pavankumar Satuluri和Pawan Goyal。2017.用于梵文分词的数据集。SIGHUM文化遗产、社会科学、人文科学和文学计算语言学联合研讨会论文集,第105-114页。计算语言学协会,八月。
2020-05-13 cs.CL
Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化,这是将非标准文本(通常来自社交媒体)转换为更标准化形式的过程。在这项工作中,我们提出了一个基于mBART,框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题,不仅仅是英语,我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平,我们认为,这种方法是直接从技术的角度来看,并建立在现有的预先训练的Transformer网络。我们的研究结果表明,虽然单词级别的,内在的,性能评估是落后于其他方法,我们的模型提高了外在的,下游任务的性能,通过规范化相比,模型操作的原始,未处理的,社交媒体文本。
2021-10-12 cs.CL
User-Generated Text Corpus for Evaluating Japanese Morphological Analysis and Lexical Normalization
National Institute of Information and Communications Technology(国立信息通信技术研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
词法分析和词汇规范化是日语用户生成文本的两个重要任务。为了评估和比较不同的MA/LN系统,我们构建了一个公开的日本UGT语料库。我们的语料库包括929个句子注释的形态和规范化信息,以及类别信息,我们经常UGT特定的现象进行分类。在该语料库上的实验表明,现有的MA/LN方法对非通用词和非标准形式的识别性能较低,这表明该语料库将是进一步研究UGT的一个具有挑战性的基准。
2021-04-08 cs.CL
hinglishNorm -- A Corpus of Hindi-English Code Mixed Sentences for Text Normalization
Vahan Inc(Vahan公司)
我们提出hinglishNorm -一个人类注释语料库的印地语-英语代码混合句子的文本规范化任务。语料库中的每个句子都与其对应的人类注释规范化形式对齐。据我们所知,没有公开的用于文本规范化任务的印地语-英语代码混合句子语料库。我们的工作是朝着这个方向的第一次尝试。语料库包含13494个平行片段。此外,我们在这个语料库上呈现基线归一化结果。我们获得的单词出错率(WER)为15.55,双语评估替补(BLEU)得分为71.2,以及显式排序翻译评估指标(METEOR)得分为0.50。
2020-10-18 cs.CL
Utilizing Character and Word Embeddings for Text Normalization with Sequence-to-Sequence Models
New York University Abu Dhabi(纽约大学阿布扎比分校)
文本规范化是许多NLP任务的重要支持技术。最近,基于神经网络的方法在这项任务中的表现优于成熟的模型。然而,在英语以外的语言中,在这方面的探索很少。注释数据的稀缺性和语言的复杂性都增加了问题的难度。为了解决这些挑战,我们使用了一个基于字符的注意力的序列到序列模型,除了它的自学字符嵌入,还使用了预先训练的词嵌入,这种方法还对子词信息进行了建模。这为神经模型提供了更多的语言信息,特别适合文本规范化,而无需大型并行语料库。我们表明,提供具有单词级特征的模型弥合了神经网络方法在标准阿拉伯语纠正共享任务数据集上实现最先进的F1分数的差距。
2018-09-05 cs.CL cs.LG stat.ML
Unicode Normalization and Grapheme Parsing of Indic Languages
Apsis Solutions Limited(Apsis解决方案有限公司);Brac University(布拉克大学);Vanderbilt University(范德堡大学);Rice University(莱斯大学);Jahangirnagar University(贾汉吉尔纳加尔大学)
针对印度语言Unicode编码导致的字素歧义问题,提出规范化器和字素解析器两个库,能高效解析Abugida文本,优于IndicNLP规范化器,并支持多语言扩展。
2024-05-27 cs.CL
On the performance of phonetic algorithms in microtext normalization
Universidade de Vigo(维戈大学);Universidade da Coruña(拉科鲁尼亚大学)
本研究通过实验比较多种英语语音算法,旨在为微文本规范化中的候选生成找到最优算法,以平衡候选集大小与覆盖率,提升规范化系统整体性能。
2024-02-04 cs.CL
Improving Text Normalization by Optimizing Nearest Neighbor Matching
文本规范化是以非正式写作为主的社交媒体处理和分析中的一项重要任务。它旨在将非正式词汇映射到其预期的标准形式。以前提出的文本规范化方法通常需要手动选择参数以提高性能。本文提出了一种基于自动优化的最近邻匹配文本规范化方法。这种方法的动机是观察,文本规范化本质上是一个匹配问题和最近邻匹配的自适应相似性函数是最直接的procedure.We相似性函数结合了上下文,字符串和语音相似性的加权贡献,和最近邻匹配涉及最小的相似性阈值。这四个参数使用网格搜索进行有效调整。我们在两个基准数据集上评估了我们的方法的性能。结果表明,在小尺寸标记数据集上的参数调整产生了最先进的文本规范化性能。因此,这种方法允许实际上容易地构建不断发展的领域特定的规范化词典
2017-12-27 cs.CL
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park(马里兰大学帕克分校);Massachusetts Institute of Technology(麻省理工学院)
跨语言词嵌入(CLWE)是许多多语言自然语言处理系统的基础,通常通过预训练的单语言嵌入的正交变换。然而,正交映射只适用于嵌入自然同构的语言对。对于非同构对,我们的方法(迭代归一化)通过同时强制(1)单个单词向量为单位长度,以及(2)每种语言的平均向量为零,来转换单语嵌入,以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度,其中在英语-日语上观察到的改进最大(从2%到44%的测试准确度)。
2019-11-11 cs.AI cs.CL cs.LG
Evaluating historical text normalization systems: How well do they generalize?
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
我们强调了历史文本规范化系统评估中的几个问题,这些问题使得很难判断这些系统在实践中的实际工作情况-即,用于新的数据集或语言;与更简单的系统相比;或者作为下游NLP工具的预处理步骤。我们说明了这些问题,并通过比较两个神经模型与一个幼稚的基线系统来验证我们提出的评估实践。我们发现,神经模型在五种语言的测试中很好地推广到了看不见的单词;然而,它们对英语历史集合的下游POS标记的幼稚基线没有明显的好处。我们的结论是,未来的工作应该包括更严格的评估,包括内在和外在的措施,在可能的情况下。
2018-04-13 cs.CL
Text normalization using memory augmented neural networks
VIT University(韦洛尔理工学院)
我们使用记忆增强的神经网络进行文本规范化,即将单词从书面形式转换为口语形式。随着动态内存访问和存储机制的增加,我们提出了一个神经架构,将作为一个语言无关的文本规范化系统,同时避免了基于LSTM的递归神经网络所造成的不可接受的错误。通过成功地减少这种错误的频率,我们表明,这种新颖的架构确实是一个更好的选择。我们提出的系统需要的数据量、训练时间和计算资源都要少得多。此外,我们进行数据上采样,绕过一些符号类中的数据稀疏问题,以表明在任何特定类中有足够的例子可以提高我们的文本规范化系统的性能。虽然在某些符号类中仍然存在一些这些错误,但我们证明了具有元学习能力的记忆增强网络可以为高级文本规范化系统打开许多大门。
2019-04-03 cs.CL
Historical German Text Normalization Using Type- and Token-Based Language Modeling
Julius-Maximilians-Universität Würzburg(维尔茨堡大学)
针对历史德语拼写变体问题,提出结合编码器-解码器与因果语言模型的Transformer规范化系统,在1700-1900年文学文本上达到最先进准确性,但泛化与数据仍具挑战。
2025-02-25 cs.CL
Effect of Post-processing on Contextualized Word Representations
Dalhousie University(达尔豪斯大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
静态嵌入的后处理已被证明可以提高词汇和序列级别任务的性能。然而,后处理上下文嵌入是一个研究不足的问题。在这项工作中,我们质疑后处理从不同层的预训练语言模型获得的上下文嵌入的有用性。更具体地说,我们使用z分数,最小-最大归一化,并通过使用除顶部之外的所有方法去除顶部主成分来标准化单个神经元激活。此外,我们将单位长度归一化应用于单词表示。在一组不同的预训练模型上,我们证明了后处理可以解开词汇任务(如单词相似性和类比)和序列分类任务的表征中存在的重要信息。我们的研究结果提出了有趣的观点,与使用情境化表征的研究有关,并建议在应用程序中使用它们时,将z分数标准化作为一个重要步骤。
2022-09-15 cs.AI cs.CL
ViLexNorm: A Lexical Normalization Corpus for Vietnamese Social Media Text
Faculty of Information Science and Engineering(信息科学与工程学院);University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本研究构建了首个越南语社交媒体词汇规范化语料库ViLexNorm,含超10000对人工标注句,经评估最优系统ERR达57.74%,验证了该任务对下游NLP任务的增益,语料库供研究公开使用。
2024-01-31 cs.CL
An improved Bayesian TRIE based model for SMS text normalization
IIT Delhi(印度理工学院德里分校)
短信文本(俗称短信语言)的规范化已经进行了十多年。在文献中提出了一种基于Trie数据结构的概率方法,该方法被发现在预测词典外单词的正确替代方面比先前提出的基于HMM的方法性能更好。然而,基于Trie的方法的成功在很大程度上取决于如何正确地估计单词出现的潜在概率。在这项工作中,我们提出了一个结构修改现有的Trie为基础的模型,以及一个新的训练算法和概率生成方案。我们证明了两个定理的统计性质的建议Trie,并使用它们来声称是一个无偏的和一致的估计的出现概率的话。我们进一步融合我们的模型到基于噪声信道的纠错的范例,并提供了一个启发式的Damerau Levenshtein距离超过1。我们还进行了模拟,以支持我们的索赔,并显示优越性的建议计划比以前的作品。
2020-11-18 cs.CL cs.DS
Normalizing Text using Language Modelling based on Phonetics and String Similarity
Dwarkadas J. Sanghvi College of Engineering(德瓦卡达斯·J·桑格维工程学院)
社交媒体网络和聊天平台通常使用自然文本的非正式版本。对抗性拼写攻击也倾向于通过修改文本中的字符来改变输入文本。对这些文本进行规范化是语言翻译和文本到语音合成等各种应用程序的重要步骤,其中模型在干净的常规英语语言上进行训练。我们提出了一个新的鲁棒模型来执行文本规范化。我们的系统使用BERT语言模型来预测与未规范化的单词相对应的掩码单词。我们提出了两种独特的掩蔽策略,试图用基于语音和字符串相似性度量的独特得分来替换文本中的非规范化单词。我们使用以人为中心的评估,要求志愿者对规范化文本进行排名。我们的策略产生的准确率为86.7%和83.2%,这表明我们的系统在处理文本规范化的有效性。
2020-06-25 cs.CL
Joint Diacritization, Lemmatization, Normalization, and Fine-Grained Morphological Tagging
New York University Abu Dhabi(纽约大学阿布扎比分校)
闪族语言可以是高度模糊的,有几个相同的表面形式的解释,和形态丰富,有许多语素实现几个形态特征。对于方言内容来说,这一问题更加严重,因为方言内容更容易受到干扰,而且缺乏标准的正字法。形态特征可以是词汇化的,如词元和变音形式,或者是非词汇化的,如性别、数字和词性标签等。词汇化和非词汇化特征的联合建模可以识别更复杂的形态模式,这提供了更好的上下文建模,并进一步消除歧义的词汇选择。然而,不同的建模粒度会使关节建模更加困难。我们的方法联合建模不同的功能,无论是词汇化(在字符级别上),我们也模型表面形式规范化,或非词汇化(在单词级别上)。我们使用阿拉伯语作为测试用例,并实现了现代标准阿拉伯语的最新结果,相对误差减少了20%,埃及阿拉伯语(阿拉伯语的方言变体)减少了11%。
2019-10-05 cs.CL
Voice Under Revision: Large Language Models and the Normalization of Personal Narrative
Social Sciences D-Lab, University of California, Berkeley(社会科学D实验室,加州大学伯克利分校)
研究探讨大型语言模型如何通过改写影响个人叙述的风格和叙述质感,发现改写导致风格规范化,包括功能词、缩略语和第一人称代词减少,而词汇多样性、词长和标点使用增加,影响叙述方式和因果推理。
2026-04-24 cs.CL cs.CY
Capitalization Normalization for Language Modeling with an Accurate and Efficient Hierarchical RNN Model
Google Research(谷歌研究院)
大写规范化(truecasing)是恢复嘈杂文本的正确大小写(大写或小写)的任务。提出了一种快速、准确、紧凑的基于单词和字符的两级递阶递归神经网络模型。我们使用truecaser规范化用户生成的文本在一个联邦学习框架的语言建模。在这个规范化的文本上训练的一个区分大小写的语言模型与在具有黄金大写的文本上训练的模型实现了相同的困惑。在一个真实的用户A/B实验中,我们证明,改进转化为减少预测出错率在虚拟键盘应用程序。类似地,在ASR语言模型融合实验中,我们示出了字符出错率和单词出错率的降低。
2022-02-16 cs.CL cs.LG
BERT-based Ranking for Biomedical Entity Normalization
School of Biomedical Informatics, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心生物医学信息学院)
开发高性能的实体规范化算法,可以减轻长期变化的问题是生物医学界的极大兴趣。尽管基于深度学习的方法已成功应用于生物医学实体规范化,但它们通常依赖于传统的上下文无关的词嵌入。最近引入了来自Transformers的双向编码器表示(BERT)、用于生物医学文本挖掘的BERT(BioBERT)和用于临床文本挖掘的BERT(ClinicalBERT),以使用双向Transformers来预训练上下文化的单词表示模型,从而推进了许多自然语言处理任务的最新技术水平。在这项研究中,我们提出了一个实体规范化架构,通过微调预训练的BERT / BioBERT / ClinicalBERT模型,并进行了广泛的实验,以评估使用三种不同类型的数据集的生物医学实体规范化的预训练模型的有效性。我们的实验结果表明,最好的微调模型始终优于以前的方法,并推进了生物医学实体标准化的最新技术,准确性提高了1.17%。
2019-08-09 cs.CL cs.IR cs.LG
Comparing Neural- and N-Gram-Based Language Models for Word Segmentation
Universidade de Vigo(维戈大学);Universidade da Coruña(拉科鲁尼亚大学)
分词是插入或删除词的边界字符,以分离字符序列对应的词在某种语言的任务。在这篇文章中,我们提出了一种方法的基础上的束搜索算法和语言模型工作在字节/字符级,后者的组件实现为一个n-gram模型或递归神经网络。所得到的系统一次一个标记地分析没有单词边界的文本输入,该标记可以是字符或字节,并且使用由语言模型收集的信息来确定是否必须将边界放置在当前位置。我们的目标是使用这个系统在一个预处理步骤的缩微文本规范化系统。这意味着它需要有效地处理这种文本上存在的数据稀疏性。我们还努力超越两个现成的分词系统的性能:微软著名的和可访问的Word Breaker,以及Grant Jenks的Python模块WordSegment。结果表明,我们已经达到了我们的目标,我们希望在未来继续提高我们的系统的精度和效率。
2018-12-03 cs.CL
VietNormalizer: An Open-Source, Dependency-Free Python Library for Vietnamese Text Normalization in TTS and NLP Applications
Australian Catholic University(澳大利亚天主教大学);FPT University(FPT大学);ICMS;RMIT University(拉筹伯大学);NGHI Studio(NGHI工作室);Phuong Hai JSC(Phuong Hai公司)
VietNormalizer是一个开源Python库,提供无依赖的越南文文本规范化功能,支持TTS和NLP应用,通过统一的规则流程处理多种非标准词汇转换。
2026-03-04 cs.CL cs.NE
Generalizable and Scalable Multistage Biomedical Concept Normalization Leveraging Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
本研究利用大语言模型结合规则系统,通过生成替代措辞和修剪候选概念的两步方法,显著提升生物医学概念归一化性能,无需微调。
2024-05-24 cs.CL
An End-to-end Chinese Text Normalization Model based on Rule-guided Flat-Lattice Transformer
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-中大媒体科学技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学);Databaker (Beijing) Technology Co., Ltd(标贝(北京)科技有限公司)
在文语转换系统中,文本规范化是将非标准词转换为口语词的过程,它对合成语音的可懂度起着至关重要的作用。基于规则的方法不考虑上下文不能消除歧义,而基于序列到序列神经网络的方法遭受意外和不可解释的错误问题。目前提出的混合系统将基于规则的模型和神经网络模型作为两个级联的子模块,其中有限的交互能力使得神经网络模型不能充分利用规则中包含的专家知识。受Flat-LAttice Transformer(FLAT)的启发,本文提出了一种端到端的中文文本规范化模型,该模型以汉字作为直接输入,并将规则中包含的专家知识集成到神经网络中,这两点都有助于该模型在文本规范化任务中的优越性能。我们还发布了第一个公开访问的大规模数据集,用于中文文本规范化。我们提出的模型在这个数据集上取得了很好的效果。
2022-03-31 cs.CL cs.SD eess.AS
Beyond Stemming and Lemmatization: Ultra-stemming to Improve Automatic Text Summarization
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);École Polytechnique de Montréal(蒙特利尔综合理工学院)
在文本自动文摘中,预处理是压缩文本表示空间的重要环节。传统上,词干提取和词形还原被广泛用于规范化单词。然而,即使在大型文本上使用规范化,维度灾难也会干扰摘要器的性能。本文描述了一种新的方法规范化的话,以进一步减少空间的表示。我们建议将每个单词减少到其首字母,作为一种Ultra-stemming的形式。结果表明,超词干不仅保留了由这种表示产生的摘要的内容,而且通常可以显着提高系统的性能。使用Fresa自动评价三语语料库的摘要。结果证实,无论使用的汇总系统的性能增加。
2012-09-14 cs.CL cs.IR
The Hidden Cost of Digits: Number Normalization and WER in ASR Systems
AGH University of Krakow(克拉科夫AGH大学)
本研究以波兰语为例,分析数字归一化缺失对ASR系统词错误率评估的影响,发现其可造成超过2个百分点的显著差异,甚至超过多语言基准中系统间的差距。
2026-09-21 cs.CL eess.AS
ViSoLex: An Open-Source Repository for Vietnamese Social Media Lexical Normalization
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
该研究提出开源系统ViSoLex,融合预训练语言模型与弱监督学习技术,提供越南语社交媒体非标准词查询与词汇规范化服务,可适配多场景,助力越南语NLP工具开发与相关研究。
2025-01-13 cs.AI cs.CL
PolyNorm: Few-Shot LLM-Based Text Normalization for Text-to-Speech
Apple(苹果公司)
PolyNorm利用少样本大语言模型和语言无关的自动数据构建评估流程,在八种语言上降低文本规范化词错误率,并发布多语言基准数据集PolyNorm-Benchmark。
2025-11-05 cs.CL cs.LG
Sequence Learning with RNNs for Medical Concept Normalization in User-Generated Texts
Kazan Federal University(喀山联邦大学);Neuromation OU;St. Petersburg Department of the Steklov Mathematical Institute(斯捷克洛夫数学研究所圣彼得堡分所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在这项工作中,我们考虑了医学概念规范化问题,即,将自由格式文本中提到的疾病映射到受控词汇表中的概念的问题,通常映射到统一医学语言系统(UMLS)中的标准词库。这项任务是具有挑战性的,因为医疗术语是非常不同的,当来自医疗保健专业人员或来自社会媒体文本形式的一般公众。我们将其视为一个序列学习问题,训练递归神经网络以获得单词和多词表达式的语义表示。我们开发了专门针对医学概念规范化的端到端神经架构,包括双向LSTM和GRU,以及基于UMLS的注意力机制和其他语义相似性特征。我们对标准基准的评估表明,我们的模型比基于CNN的分类的最新基线有所改进。
2018-11-29 cs.CL cs.IR
Scalable Approach for Normalizing E-commerce Text Attributes (SANTA)
Amazon(亚马逊)
在本文中,我们提出了SANTA,一个可扩展的框架,自动规范化电子商业属性值(例如“Win 10 Pro”)的一组固定的预定义的规范值(例如“Windows 10”)。属性规范化的早期工作集中在模糊字符串匹配(本文中也称为语法匹配)。在这项工作中,我们首先进行了广泛的研究,九个句法匹配算法,并建立“余弦”相似性导致最佳的结果,显示2.7%的改善,常用的Jaccard指数。接下来,我们认为,字符串相似性本身是不够的属性规范化,因为许多表面形式需要超越语法匹配(例如,“720 p”和“HD”是同义词)。虽然语义技术,如无监督嵌入(例如word 2 vec/fastText)在单词相似性任务中表现出良好的效果,但我们观察到它们在区分接近的规范形式方面表现不佳,因为这些接近的形式经常出现在类似的上下文中。我们建议使用具有三重损失的孪生网络来学习令牌嵌入。我们提出了一个嵌入式学习任务,利用原始属性值和产品名称以自我监督的方式学习这些嵌入。我们表明,使用我们提出的任务提供监督改进了基于语法和无监督嵌入的属性规范化技术。在一个包含50个属性的真实属性归一化数据集上的实验表明,使用我们提出的方法训练的嵌入比最佳字符串匹配提高了2.3%,比最佳无监督嵌入提高了19.3%。
2021-06-12 cs.CL cs.LG
A Character-Level Approach to the Text Normalization Problem Based on a New Causal Encoder
University of Murcia(穆尔西亚大学)
文本规范化是一个普遍存在的过程,它是许多自然语言处理问题的第一步。然而,以前的深度学习方法遭受了所谓的愚蠢错误,这些错误在无监督框架中无法检测到,使得这些模型不适合部署。在这项工作中,我们利用一个基于注意力的编码器-解码器架构,克服了这些不可检测的错误,通过使用细粒度的字符级的方法,而不是一个字级的。此外,我们的新的通用编码器的基础上的因果卷积,称为因果特征提取器(CFE),并与其他常见的编码器进行了比较。实验结果表明,该编码器的可行性,它充分利用了注意力机制,并获得了更好的精度,参数的数量和收敛时间。虽然我们的方法导致初始准确度略差(92.74%),但可以自动检测错误,因此更容易解决,从而获得更强大的部署模型。此外,未来仍有很大的改进空间,这将进一步推动这些优势。
2019-03-06 cs.CL cs.LG
Thutmose Tagger: Single-pass neural model for Inverse Text Normalization
NVIDIA(英伟达)
反向文本规范化(ITN)是自动语音识别(ASR)中必不可少的后处理步骤。它将数字、日期、缩写和其他符号类从ASR生成的口语形式转换为它们的书面形式。人们可以将ITN视为一个机器翻译任务,并使用神经序列到序列模型来解决它。不幸的是,这种神经模型容易产生幻觉,可能导致不可接受的错误。为了缓解这个问题,我们提出了一个单通道令牌分类器模型,将ITN作为一个标记任务。该模型为每个输入标记分配一个替换片段,或者将其标记为删除或复制而不进行更改。我们提出了一种基于ITN实例粒度对齐的数据集准备方法。所提出的模型是不太容易产生幻觉的错误。该模型在Google Text Normalization数据集上进行训练,并在英语和俄语测试集上达到最先进的句子准确度。标签和输入单词之间的一一对应提高了模型预测的可解释性,简化了调试,并允许后处理校正。该模型比序列到序列模型更简单,更容易在生产环境中优化。模型和准备数据集的代码作为NeMo项目的一部分发布。
2022-07-29 cs.AI cs.CL
Adapting Sequence to Sequence models for Text Normalization in Social Media
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
社交媒体提供了丰富的有价值的原始数据来源,但非正式的写作可能很快成为许多自然语言处理(NLP)任务的瓶颈。现成的工具通常是在正式文本上训练的,不能显式地处理简短的在线帖子中发现的噪音。此外,频繁出现的语言变体的多样性带来了一些挑战,即使对于可能无法理解这些帖子的含义的人来说,特别是当它们包含俚语和缩写时。文本规范化旨在将在线用户生成的文本转换为规范形式。目前的文本规范化系统依赖于字符串或语音相似性和分类模型,这些模型以本地方式工作。我们认为,处理上下文信息是至关重要的这项任务,并介绍了一个社交媒体文本规范化混合字字符注意力为基础的编码器-解码器模型,可以作为NLP应用程序的预处理步骤,以适应社会媒体中的嘈杂文本。我们基于字符的组件是在合成对抗性示例上训练的,这些示例旨在捕获在线用户生成文本中常见的错误。实验表明,我们的模型超越了为文本规范化设计的神经架构,并实现了与最先进的相关工作相当的性能。
2019-04-12 cs.AI cs.CL cs.LG
A Corpus-Aligned Uthmani-to-Standard Quranic Word Mapping and a Deterministic Recitation Validator
Independent Researcher, Egypt(独立研究者,埃及)
针对《古兰经》两种正字法差异及诵经校验问题,提出语料对齐词映射与七步规范化流水线,并构建确定性、无LLM的四层匹配诵经校验器,在测试套件上达98.4%准确率。
2026-09-15 cs.CL
Deep Neural Models for Medical Concept Normalization in User-Generated Texts
Kazan Federal University(喀山联邦大学);Samsung-PDMI Joint AI Center(三星-PDMI联合人工智能中心);PDMI RAS(俄罗斯科学院PDMI研究所)
本研究针对用户生成文本中医学概念规范化问题,提出利用循环神经网络和上下文词表示模型进行序列学习,在三个基准上显著优于现有最先进模型。
2019-07-18 cs.CL cs.IR cs.LG
ks-lit-3m: A 3.1 million word kashmiri text dataset for large language model pretraining
Independent Researcher(独立研究者)
本文提出KS-LIT-3M数据集,通过开发InPage到Unicode转换器和严格预处理,解决克什米尔语预训练数据稀缺问题,为自然语言处理研究提供高质量资源。
2026-01-03 cs.AI cs.CL
The Curse of Multilinguality in Lexical Normalization
本文研究词汇规范化中多语言模型的最优训练语言数量,发现仅用1-4种语言联合训练的字符级模型准确率最高,多语言竞争导致准确率下降,紧凑模型需少语言训练。
2026-09-02 cs.AI cs.CL cs.LG
synthocr-gen: A synthetic ocr dataset generator for low-resource languages- breaking the data barrier
SynthOCR-Gen通过生成低资源语言OCR数据集,解决OCR开发中的数据瓶颈问题,为视觉-语言AI模型的普及提供实用路径。
2026-01-22 cs.CL cs.CV