Scaling Rich Style-Prompted Text-to-Speech Datasets
Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系);Department of Computer Science and Data Science, New York University(纽约大学计算机科学与数据科学系)
本文提出大规模风格提示TTS数据集ParaSpeechCaps,自动扩展丰富风格标签,微调Parler-TTS提升风格一致性和语音质量,并发布资源。
2025-09-24 cs.AI cs.CL cs.LG
Sequential Editing for Lifelong Training of Speech Recognition Models
AWS AI Labs(AWS人工智能实验室)
提出顺序模型编辑方法用于ASR系统的终身训练,无需访问先前数据或额外参数,在CommonVoice多口音数据集上相较微调基线实现高达15%的WERR,且优于其他LLL技术。
2024-09-18 cs.CL cs.SD eess.AS
Feasibility of Post-Editing Speech Transcriptions with a Mismatched Crowd
Tata Research Development and Design Center, TCS-Innovation Labs(塔塔研发设计中心,塔塔咨询服务创新实验室)
语音转录的手动校正可以涉及从合理的转录中进行选择。最近的工作表明,采用不匹配的人群进行语音转录的可行性。然而,它还有待建立是否一个不匹配的工人有足够的细粒度的语音感知,以选择语音接近的选项,很可能是从一个ASRU的格子生成。因此,我们考虑五种语言,阿拉伯语,德语,印地语,俄语和西班牙语。对于每一个,我们生成合成的,语音接近,选项,模拟不同难度的编辑后的场景。我们始终观察到非平凡的人群在细粒度选项中进行选择的能力。
2016-09-07 cs.AI cs.CL
BBPOS: BERT-based Part-of-Speech Tagging for Uzbek
RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道理工大学);Saarland University(萨尔大学)
针对低资源乌兹别克语的NLP研究,本文推出首个公开的乌兹别克语UPOS标注基准数据集,评估两个未测试的单语BERT模型的词性标注效果,微调后模型达91%平均准确率,优于多语言BERT和规则标注器,还能捕捉词性变化且具上下文敏感性。
2025-01-17 cs.AI cs.CL
Extending Word-Level Quality Estimation for Post-Editing Assistance
University of Tsukuba(筑波大学);NTT Communication Science Laboratories, NTT Corporation(日本电报电话公司NTT通信科学实验室)
我们定义了一个新的概念,称为扩展词对齐,以提高后期编辑辅助效率。基于扩展的词对齐,我们进一步提出了一个新的任务称为细化词级QE输出细化标签和词级对应。与原词级QE相比,新任务能够直接指出编辑操作,从而提高了效率。为了提取扩展词对齐,我们采用了基于mBERT的监督方法。为了解决精确的词级QE,我们首先通过训练基于mBERT和XLM-R的序列标记回归模型来预测原始QE标记。然后,我们用扩展词对齐来改进原始词标签。此外,我们还提取了源-空位对应关系,同时获得了空位标签。在两个语言对上的实验表明了该方法的可行性,并为进一步改进提供了启示。
2022-09-23 cs.CL
Encode, Tag, Realize: High-Precision Text Editing
Google Research(谷歌研究院)
我们提出LaserTagger -一个序列标记的方法,铸造文本生成作为一个文本编辑任务。使用三个主要的编辑操作从输入重构目标文本:保留标记、删除标记以及在标记之前添加短语。为了预测编辑操作,我们提出了一种新的模型,它结合了一个BERT编码器与自回归Transformer解码器。这种方法是评估英语文本的四个任务:句子融合,句子分裂,摘要总结,语法纠正。LaserTagger在其中三项任务上取得了最新的成果,使用大量训练样本对一组强seq 2seq基线进行了测试,并在样本数量有限时表现出色。此外,我们表明,在推理时间标记可以比可比的seq 2seq模型快两个数量级以上,使其更有吸引力,在现场环境中运行。
2019-09-03 cs.CL
uSee: Unified Speech Enhancement and Editing with Conditional Diffusion Models
Tencent AI Lab(腾讯人工智能实验室)
该研究提出基于条件扩散模型的统一语音增强与编辑模型uSee,通过自监督学习嵌入、文本提示等多条件实现可控生成,在去噪、去混响任务上性能优于同类模型,还支持按指定条件完成语音编辑。
2023-10-02 cs.AI cs.CL cs.SD
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
China Mobile Science and Technology(中国移动科学技术);Beijing Institute of Technology(北京理工大学)
提出UniSAE统一框架,通过离散音素后验图(DPPG)表示语音内容,支持从子音素到词级的说话人、情感和内容编辑,并采用扩散解码器生成语音。
2026-07-01 cs.AI cs.CL cs.SD
Part-of-Speech Tagging with Neural Networks
标注了词性信息的文本语料库在语言学研究的许多领域都是有用的。本文提出了一种新的基于神经网络的词性标注方法(Net-Tagger),并将其性能与HMM标注器和基于三元语法的标注器进行了比较。结果表明,网络标记器的性能以及基于三角形的标记器,并优于HMM标记器。
1994-10-24 cmp-lg cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University(巴纳斯塔利大学)
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言,词性标注是一个突出的工具。它是许多NLP应用程序中最简单,最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段,如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中,我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中,我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram,Bigram,Trigram和HMM方法的统计方法。给出了一个清晰的思路,并给出了相应的例子.它还介绍了一个标记集的马拉地语,可用于标记马拉地语文本。在本文中,我们已经显示了标记器的发展,以及比较,以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
Rule based Part of speech Tagger for Homoeopathy Clinical realm
Babasaheb Bhimrao Ambedkar University(巴巴萨赫布·比姆拉奥·安贝德卡尔大学)
tagger是大多数文本审查系统的强制部分,因为它委托一个语法类(例如,(一)“凡”字,“凡”字,“凡”字。在本文中,我们提出了一个简单的顺势疗法临床语言的词性标注。本文报告了顺势疗法临床语言的预期词性标注。它采用标准模式来评价句子,使用了20085个词的未标记的临床语料库,我们从其中选择了125个句子(2322个标记)。自然语言处理中的标注问题是要找到一种方法,将文本中的每个单词都标注为细致的词性。其基本思想是对临床句子和每个单词应用一组规则,准确性是评估任何POS标注器的主要因素,因此建议的标注器的准确性也被转换。
2011-11-13 cs.CL
TnT - A Statistical Part-of-Speech Tagger
Trigrams 'n'Tags(TnT)是一种高效的统计词性标注器。与文献中其他地方的说法相反,我们认为基于马尔可夫模型的标记器至少与其他当前方法(包括最大熵框架)一样好。最近的一项比较甚至表明,TnT的性能显着更好的测试语料库。我们描述了TnT的基本模型,用于平滑和处理未知词的技术。此外,我们提出了两个语料库的评价。
2000-03-13 cs.CL
Tagarela - A Portuguese speech dataset from podcasts
Federal University of Mato Grosso(马拉尼昂州联邦大学);Federal University of Goias(戈亚斯联邦大学);Paulista State University(保罗州立大学);NVIDIA(NVIDIA公司);Elsa Speak
为解决葡萄牙语资源匮乏问题,本文提出Tagarela数据集,包含8972小时播客音频,用于训练语音识别和文本到语音模型,展示其在推动葡萄牙语音技术发展中的潜力。
2026-03-16 cs.AI cs.CL
Speech Editing -- a Summary
本文综述了基于文本的语音编辑方法,探讨通过修改mel-spectrogram和引入上下文感知韵律校正等技术提升编辑质量,回顾现有方法、指标与数据集,旨在指出问题并推动该领域研究创新。
2024-07-24 cs.CL cs.SD eess.AS
Online Updating of Word Representations for Part-of-Speech Tagging
LMU Munich(慕尼黑大学);Cornell University(康奈尔大学)
我们提出了在线无监督领域自适应(DA),这是增量数据时,适用于批量DA是不可能的。在一个部分的语音(POS)标记评估,我们发现,在线无监督DA执行以及批量DA。
2016-04-02 cs.CL
Part of Speech Tagging of Marathi Text Using Trigram Method
Banasthali University(班纳斯塔利大学)
在本文中,我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。它是由马哈拉施特拉邦的土著人说的。用于开发标记器的一般方法是使用三元组方法进行统计。trigram的主要概念是基于前两个标签的给定信息,通过计算概率来确定哪个是标签的最佳序列,来探索令牌的最可能的POS。在本文中,我们展示了tagger的发展。此外,我们还进行了评估。
2013-07-15 cs.CL
A Light Sliding-Window Part-of-Speech Tagger for the Apertium Free/Open-Source Machine Translation Platform
Peking University(北京大学);Universitat d'Alacant(阿利坎特大学)
本文描述了一个自由/开源的实现轻滑动窗口(LSW)的词性标注器的免费/开源的开源平台的Xiaotium的机器翻译。首先,回顾了标记器的工作机制和训练过程,提出了一种新的语言规则的融合方法。其次,通过实验比较了该标记器在不同的窗口设置、有无隐马尔可夫链风格的“禁止”规则、有无约束语法以及与传统隐马尔可夫链标记器的性能。
2015-09-18 cs.CL
Distant Supervision from Disparate Sources for Low-Resource Part-of-Speech Tagging
IT University of Copenhagen(哥本哈根信息技术大学)
我们介绍DsD:一个跨语言的神经词性标记器,从不同的远程监督来源学习,并实际扩展到数百种低资源语言。该模型利用注释投影,实例选择,标记字典,形态词典,和分布式表示,所有在一个统一的框架。这种方法很简单,但令人惊讶的有效,导致了一个新的最先进的状态,而无需访问任何黄金注释的数据。
2018-08-29 cs.CL
Distributional Part-of-Speech Tagging
本文提出了一种词性未知词的自动标注算法。与以前的工作不同,该算法在上下文中而不是在单词类型中对单词标记进行分类。该算法的评估布朗语料库。
1995-03-08 cmp-lg cs.CL
When silver glitters more than gold: Bootstrapping an Italian part-of-speech tagger for Twitter
University of Groningen(格罗宁根大学)
在Evalita 2016 PoSTWITA共享任务的背景下,我们引导一个最先进的词性标记器来标记意大利语Twitter数据。我们发现,在本地Twitter数据上训练标记器,这些数据中包含少量专门选择的黄金数据和从Facebook上抓取的额外的银标记数据,比使用大量来自混合类型的手动注释数据产生更好的结果。
2016-11-09 cs.CL
ACO-tagger: A Novel Method for Part-of-Speech Tagging using Ant Colony Optimization
Allameh Tabataba’i University(阿拉梅·塔巴塔巴伊大学)
近年来,群体智能算法作为解决复杂和不确定性问题的一种手段得到了极大的关注。这些算法受到自然生物集体行为的启发,它们模拟这种行为来开发智能代理以执行计算任务。蚁群优化算法(ACO)就是其中之一,它的灵感来自于蚂蚁的觅食行为和它们的信息素铺设机制。蚁群算法用于解决离散和组合性质的困难问题。词性标注是自然语言处理中的一项基本任务,其目的是为句子中的每个词分配词性角色。本文提出了一种基于蚁群算法的高性能POS标注方法ACO-tagger。该方法实现了96.867%的高准确率,优于几种最先进的方法。所提出的方法是快速和有效的,使其成为实际应用的可行选择。
2023-03-27 cs.AI cs.CL cs.LG
AsPOS: Assamese Part of Speech Tagger using Deep Learning Approach
词性标注是自然语言处理的重要内容。这是一个在几种资源丰富的语言中得到充分研究的主题。然而,尽管存在许多历史和文学丰富的语言,但计算语言资源的发展仍处于起步阶段。阿萨姆语是印度的一种法定语言,有超过2500万人使用,属于这一类。在本文中,我们提出了一个基于深度学习(DL)的阿萨姆语词性标注器。开发过程分为两个阶段。在第一阶段,使用预先训练好的词嵌入来训练多个标注模型。这使我们能够评估词嵌入在词性标注任务中的性能。第一阶段中表现最好的模型被用来注释另一组新句子。在第二阶段,使用新的数据集进一步训练模型。最后,我们达到了86.52%的标记准确率在F1评分。该模型可作为进一步研究基于DL的阿萨姆语词性标注的基础。
2022-12-14 cs.AI cs.CL cs.LG
Emotion Selectable End-to-End Text-based Speech Editing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
基于文本的语音编辑允许用户通过直观地剪切、复制和粘贴文本来编辑语音,以加快编辑语音的过程。在前期工作中,提出了CampNet(context-aware mask prediction network)实现基于文本的语音编辑,显著提高了编辑后的语音质量。本文针对基于文本的语音编辑提出了一个新的课题:在编辑语音中加入情感效果,使生成的语音更具有表现力。为了实现这一任务,我们提出了一种基于文本的语音编辑方法--情感CampNet,它可以为生成的语音提供情感属性的选择,并且具有一次性编辑未见过的说话人的语音的能力。首先,我们提出了一个端到端的情感可选的基于文本的语音编辑模型。该模型的核心思想是在上下文感知的掩码预测网络的基础上,通过引入附加的情感属性来控制生成语音的情感。其次,为了防止生成语音中的情感成分受到原始语音中情感成分的干扰,提出了一种中性的内容生成器来去除原始语音中的情感成分,并通过生成式对抗框架进行了优化。第三,提出了两种数据增强方法来丰富训练集中的情感和发音信息,使模型能够编辑未见过的说话人的语音。实验结果表明:1)在基于文本的语音编辑过程中,X-CampNet能够有效地控制生成语音的情感;并且能够编辑未见过的说话人的语音。2)详细的消融实验进一步证明了情感选择性和数据增强方法的有效性。演示页面位于https://hairuo55.github.io/Emo-CampNet…
2022-12-20 cs.CL cs.LG cs.SD
CampNet: Context-Aware Mask Prediction for End-to-End Text-Based Speech Editing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于文本的语音编辑器允许通过直观的剪切、复制和粘贴操作来编辑语音,以加快编辑语音的过程。然而,当前系统的主要缺点是,由于剪切-复制-粘贴操作,编辑后的语音通常听起来不自然。此外,如何根据一个没有出现在成绩单中的新词来合成记录也不明显。本文提出了一种新的端到端的基于文本的语音编辑方法,称为上下文感知掩码预测网络(CampNet)。该模型通过随机掩蔽部分语音,然后通过感知语音上下文来预测掩蔽区域,从而模拟基于文本的语音编辑过程。它可以解决编辑区域中的不自然韵律,并合成与转录本中未见过的单词相对应的语音。其次,针对基于文本的语音编辑的可能操作,设计了基于CampNet的三种基于文本的操作:删除、插入和替换。这些操作可以涵盖语音编辑的各种情况。第三,针对长文本插入和替换时的语音合成问题,提出了一种词级自回归生成方法。第四,提出了一种基于CampNet的单句说话人自适应方法,并探索了基于CampNet的少样本学习能力,为语音伪造任务提供了新的思路。在VCTK和LibriTTS数据集上进行的主观和客观实验表明,基于CampNet的语音编辑效果优于TTS技术、人工编辑和VoCo方法。我们还进行了详细的烧蚀实验,以探讨其性能的CampNet结构的影响。实验结果表明,单句话的说话人自适应可以进一步提高语音的自然度。生成的语音的示例可以在https://hairuo55.github.io/CampN…
2022-03-22 cs.CL cs.SD eess.AS
Part of Speech Tagging (POST) of a Low-resource Language using another Language (Developing a POS-Tagged Lexicon for Kurdish (Sorani) using a Tagged Persian (Farsi) Corpus)
标注语料库在广泛的自然语言处理中起着至关重要的作用。词性标注是标注语料库建设的关键。它既费时又费力,而且成本高昂,因此,如果实现自动化,它可能更便宜。库尔德语目前缺乏公开可用的适当大小的标记语料库。标记公开可用的库尔德语语料库可以将这些资源的能力提高到比原始或分割语料库所能提供的更高的水平。开发POS标记的词典可以帮助完成上述任务。我们使用标记语料库(Bijankhan语料库)在波斯语(波斯语)作为一个接近库尔德语开发一个POS标记的词汇。本文提出了利用与库尔德语关系密切的语言资源丰富库尔德语资源的方法。结果的部分数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/公开用于非商业用途。我们计划在对结果进行进一步调查后,提供整个标记语料库。该数据集可以帮助开发其他库尔德方言的POS标记词汇和自动库尔德语料库标记。
2022-01-30 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asian(微软亚洲研究院);Educational Testing Service Research(美国教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的标记序列数据,例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段,已经得到了广泛的应用。在这项研究中,我们提出了使用BLSTM-RNN与词嵌入的词性(POS)标注任务。在Penn Treebank WSJ测试集上进行测试时,达到了97.40的标记准确率。在不使用形态特征的情况下,该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Unsupervised Part-of-Speech Induction
University of Pittsburgh(匹兹堡大学)
词性标注是自然语言处理中一项古老而基础的工作。虽然监督POS标记器已经显示出有希望的准确性,但由于缺乏标记数据,使用监督方法并不总是可行的。在这个项目中,我们试图通过一个层次凝聚聚类过程迭代地寻找一个重复出现的单词模式,从而毫不奇怪地诱导POS标签。我们的方法显示出有前途的结果相比,国家的最先进的无监督POS标签的标记结果。
2018-01-10 cs.CL
AURA: Uncertainty-Routed Activation Editing for Acoustic Grounding in Speech Foundation Models
University of California Los Angeles(加州大学洛杉矶分校)
AURA通过基于交叉注意力不确定性路由的稀疏激活编辑,冻结模型参数,在非语音音频上将幻觉率从89.18%降至1.94%,并以约500倍更少的可训练参数接近LoRA的词错误率,实现AED语音模型的声学接地。
2026-09-22 cs.CL eess.AS
Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling
Multimedia Communications Laboratory, University of Information Technology(信息技术大学多媒体通信实验室);University of Information Technology(信息技术大学);Vietnam National University(越南国立大学)
汉语分词和词性标注是计算语言学和自然语言处理应用中必不可少的任务。许多研究者仍然在争论深度学习时代对中文分词和词性标注的需求。然而,解决歧义和检测未登录词在这一领域具有挑战性的问题。以往的汉语分词和词性标注联合研究主要遵循基于字符的标注模型,侧重于n-gram特征建模。与以往的工作不同,我们提出了一个神经模型命名为SpanSegTag联合中文分词和词性标记的跨度标记,其中每个n-gram的概率是词和词性标记的主要问题。我们使用双仿射操作的左,右边界表示的连续字符模型的n-gram。我们的实验表明,我们的基于BERT的模型SpanSegTag在CTB 5,CTB 6和UD上实现了具有竞争力的性能,或者与使用BERT或ZEN编码器的当前最先进的方法相比,在CTB 7和CTB 9基准数据集上实现了显着的改进。
2021-12-17 cs.CL
Ming-UniAudio: Speech LLM for Joint Understanding, Generation and Editing with Unified Representation
Inclusion AI Ant Group(Inclusion AI Ant集团)
本文提出统一连续语音令牌化器 MingTok-Audio 及语音大语言模型 Ming-UniAudio,首次实现语音理解、生成与自由形式指令编辑的一体化,并构建首个自由形式语音编辑基准。
2025-10-26 cs.AI cs.CL cs.SD
Some Advances in Transformation-Based Part of Speech Tagging
最近的研究在可训练的词性标注器探索了随机标注。虽然这些标签获得高准确性,语言信息是间接捕获的,通常在成千上万的词汇和上下文概率。在[Brill 92]中,描述了一种可训练的基于规则的标记器,其获得了与随机标记器相当的性能,但在少量简单的非随机规则中捕获了相关的语言信息。在本文中,我们描述了一些扩展到这个基于规则的标签。首先,我们描述了一种方法,用于表示词汇关系的标记,不被随机标记。接下来,我们展示了一种基于规则的方法来标记未知词。最后,我们展示了如何标签可以扩展到一个k-最好的标签,多个标签可以分配给单词在某些情况下的不确定性。
1994-06-02 cmp-lg cs.CL
Part of Speech Tagging in Thai Language Using Support Vector Machine
弹性输入神经标记器和混合标记器,结合神经网络和Brill的错误驱动学习,已经被提出用于使用尽可能少的训练数据来构造实用的标记器。当一个小的泰国语料库用于训练,这些标记器的标记准确率分别为94.4%和95.5%(仅占歧义词的词性)。在这项研究中,为了构建更准确的标签,我们开发了新的标记方法,使用三种机器学习方法:决策表,最大熵,和支持向量机方法。然后,我们使用这些方法进行标记实验。我们的结果表明,支持向量机的方法具有最好的精度(96.1%),它是能够提高在泰语标注的准确性。最后,我们从理论上对这些方法进行了检验,并讨论了如何实现这些改进。
2001-12-05 cs.CL
Pronunciation Editing for Finnish Speech using Phonetic Posteriorgrams
Aalto University(阿尔托大学)
本文提出PPG2Speech模型,通过音素后验图编辑生成接近二语语音,适用于资源有限语言如芬兰语的语音合成与编辑。
2026-10-07 cs.CL eess.AS
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中,分词和词性标注是下游任务的两个关键的前期工作。实际上,人们在进行分词和词性标注时往往也会考虑短语边界,而不是仅仅从左到右逐词处理。在本文中,我们实现了这一想法,以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性,我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象,我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明,该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
Automatic Error Detection in Part of Speech Tagging
描述了一种用于检测由隐马尔可夫模型标记器所产生的错误的技术,该技术基于将标记过程的可观察值与阈值进行比较。由此产生的方法允许的准确性的标签,以提高接受较低的效率,定义为被标记的单词的比例。实证观察表明该技术的有效性,并建议如何选择一个适当的阈值。
1994-10-21 cmp-lg cs.CL
VoiceCraft: Zero-Shot Speech Editing and Text-to-Speech in the Wild
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR)
VoiceCraft是一种令牌填充神经编解码语言模型,通过Transformer解码器和令牌重排程序,在有声书、视频和播客等真实场景中同时实现了领先的语音编辑和零样本TTS性能,并发布了高难度数据集RealEdit。
2024-06-14 cs.AI cs.CL cs.LG
An Experimental Investigation of Part-Of-Speech Taggers for Vietnamese
University of Engineering and Technology, VNU Hanoi(河内国立大学工程技术大学);Ton Duc Thang University(孙德胜大学)
词性标注在自然语言处理中起着重要的作用。它可以应用于许多自然语言处理任务,如命名实体识别、句法分析、依存句法分析和文本组块。在本文中进行的调查,我们利用两个广泛使用的工具包,ClearNLP和斯坦福POS标签的技术,以及开发两个新的POS标记越南语,然后将它们与三个著名的越南语标签,即JVnTagger,vnTagger和RDRPOSTagger。我们做了一个系统的比较,以找出具有最佳性能的标记器。我们还设计了一个新的功能集来衡量统计标记器的性能。我们从Stanford Tagger和ClearNLP构建的新标记器具有新的功能集,可以在标记准确性方面胜过所有其他越南标记器。此外,我们还分析了一些特征对统计标记器性能的影响。最后,实验结果还表明,基于转换的标签,RDRPOSTagger,可以运行速度显着快于任何其他统计标签。
2022-06-14 cs.CL
Primitive Part-of-Speech Tagging using Word Length and Sentential Structure
有人认为,当婴儿学习第一语言时,他们会使用一系列小线索来帮助识别和理解,其中一个线索就是单词长度。在本文中,我们提出了一个统计部分的语音标签,它只训练自己在一个句子中的每个单词的字母数。
1998-08-23 cmp-lg cs.CL
A Grounded Unsupervised Universal Part-of-Speech Tagger for Low-Resource Languages
Charles University in Prague(布拉格查理大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Southern California(南加州大学)
无监督词性标注通常被视为一个聚类问题,但实际的标注者也需要对它们的聚类进行\textit{ground}。基础通常需要引用标记的数据,这是低资源语言可能没有的奢侈。在这项工作中,我们描述了一种低资源的无监督POS标记,产生完全接地输出,不需要标记的训练数据的方法。我们发现Brown等人(1992)的经典方法在我们的用例中很好地聚类,并采用基于解密的方法来接地。这种方法假定一个簇ID序列是一个“密文”,并寻求一个POS标签到簇ID的映射,这将揭示POS序列。我们从本质上表明,尽管任务的难度,我们在各种语言中获得合理的性能。我们还表明,将我们的POS标签到一个名称标签导致国家的最先进的标记性能在僧伽罗语和基尼亚卢旺达语,两种语言几乎没有标记的POS数据。我们通过将其并入Malopa的真正“零资源”变体(Ammar等人,2016)依赖解析器模型,消除了当前对多语言资源和新语言的黄金POS标签的依赖。实验表明,包括我们的标签弥补了大部分的准确性损失时,黄金POS标签不可用。
2019-04-10 cs.AI cs.CL cs.LG
Task-specific Word-Clustering for Part-of-Speech Tagging
Google, Inc.(谷歌公司)
虽然聚类特征的使用在核心NLP任务中变得无处不在,但NLP中的大多数聚类特征都基于分布相似性。我们提出了一种新类型的聚类标准,具体到词性标注的任务。而不是分布相似性,这些集群是基于一个基线标记时,适用于一个大型语料库的行为。这些集群功能提供了类似的收益,在准确性所取得的分布相似性派生的集群。同时使用这两种类型的聚类特征进一步提高了标记准确性。我们表明,该方法是有效的域和域外的情况下,英语,法语,德语和意大利语。域外文本的影响更大。
2012-05-19 cs.CL
A Morphology-System and Part-of-Speech Tagger for German
本文提出了一个集成的德语词法和统计词性标注工具,其目的是使一些行之有效的方法广泛使用。该软件是非常用户友好的,运行在任何PC上,可以作为一个完整的包(包括词典和文档)从万维网下载。与其他标注系统的性能相比,标注器产生类似的结果。
1996-10-30 cmp-lg cs.CL
The Grammar of Sense: Is word-sense tagging much more than part-of-speech tagging?
这篇文章声称,大规模文本自动意义标记(LAST)可以在高精度水平上完成,其复杂性和计算工作量远远低于迄今为止所认为的。此外,它可以对所有开放类词进行,而不仅仅是像最近的一些工作中那样仔细选择对立对。我们描述了两个实验:一是探讨《朗文当代英语词典》词条词性字段中所包含的与词义消歧相关的信息量。另一个,更实际的,实验试图意义消歧的所有开放类词在文本分配LDOCE同形词作为意义标签,只使用部分的语音信息。我们报告说,92%的公开课单词可以成功地标记以这种方式。我们计划扩展这项工作,并实现一个改进的大规模标记器,其中的描述包括在这里。
1996-07-26 cmp-lg cs.CL
An Ensemble Approach for Annotating Source Code Identifiers with Part-of-speech Tags
Bowling Green State University(鲍林格林州立大学);Prince Sultan University(苏丹亲王大学);BNY Mellon(纽约梅隆银行);Drew University(德鲁大学)
本文提出了一种集成的源代码标识符词性标注方法。包围标注是一种使用机器学习和来自多个词性标注器的输出来以比词性标注器能够独立获得的更高的质量注释自然语言文本的技术。我们的合奏使用三个国家的最先进的词性标记:SWUM,POSSE和斯坦福大学。我们研究了五种不同类型的标识符名称的合奏的注释的质量:功能,类,属性,参数和声明声明语句在两个单独的单词和完整的标识符名称的水平。同时,我们也研究和讨论了我们的标注器的不足之处,希望通过进一步的研究来促进这些问题的改进。实验结果表明,该集成方法在识别符级的识别率达到75%,在词级的识别率达到84- 86%.这是在标识符级别上从最接近的独立词性标注器增加了+17\%点。
2021-09-01 cs.CL cs.SE
Hidden Markov Model Based Part of Speech Tagger for Sinhala Language
Virtusa (Pvt.) Ltd(Virtusa(私人)有限公司)
在本文中,我们提出了一个基本的词汇语义的僧伽罗语和隐马尔可夫模型(HMM)为僧伽罗语的词性标注。在任何自然语言处理任务中,词性分析都是一个非常重要的课题,它涉及到对语言的结构、行为和动态的分析,这些知识可以用于计算语言学分析和自动化应用。虽然僧伽罗语是一种形态丰富和黏着的语言,其中单词具有各种语法特征,但标记对于进一步分析语言非常重要。我们的研究是基于统计的方法,其中的标记过程是通过计算的标签序列概率和词的可能性概率从给定的语料库,其中的语言知识是自动提取的注释语料库。目前的标记器可以达到90%以上的准确率为已知的话。
2014-07-10 cs.CL
Ending-based Strategies for Part-of-speech Tagging
University of Saskatchewan(萨斯喀彻温大学)
词性标注的概率方法主要依赖于关于词/标签组合的全词统计以及上下文信息。但经验表明,即使训练集高达100万个单词,测试集中也有大约4%的标记是未知的。看不见的单词使用二级策略标记,这些策略利用单词的特征,如结尾,大写和标点符号。在这项工作中,词尾统计是主要的,全词统计是次要的。首先,一个标记者只接受了单词结尾的训练和测试。随后的实验为训练集中出现频率最高的单词添加了全词统计数据。随着规模的扩大,性能有望提高,在极限情况下,性能与基于单词的标记器相同。令人惊讶的是,基于结尾的标记器最初的表现几乎和基于单词的标记器一样好;在最好的情况下,它的性能显着超过了基于单词的标记器。最后,出乎意料的是,出现了负回报的影响-随着规模的扩大,业绩普遍改善,然后又下降。通过改变结尾长度和标签列表策略等因素,我们实现了97.5%的成功率。
2013-02-27 cs.CL
Improving Code-Switching and Named Entity Recognition in ASR with Speech Editing based Data Augmentation
Shanghai Jiao Tong University(上海交通大学)
针对端到端ASR在语码转换、命名实体识别场景的不足,以及传统数据增强生成语音质量差的问题,提出基于文本语音编辑的增强方法,效果优于现有方案。
2023-06-14 cs.CL cs.SD eess.AS
Part-of-Speech Tagger for Bodo Language using Deep Learning approach
IIT Guwahati(印度理工学院古瓦哈蒂分校)
本文提出BodoBERT语言模型及基于深度学习的波多语词性标注模型,实现了0.8041的F1分数,并比较了阿萨姆语词性标注器。
2024-01-06 cs.AI cs.CL cs.LG
Text Editing as Imitation Game
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学);Autodesk Research(欧特克研究院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
文本编辑,如语法错误纠正,自然产生于不完美的文本数据。最近的工作框架文本编辑作为一个多轮序列标记任务,其中的操作-如插入和替换-表示为一个序列的标签。虽然取得了良好的效果,但这种编码在灵活性方面受到限制,因为所有操作都绑定到令牌级标签。在这项工作中,我们重新制定文本编辑作为模仿游戏使用行为克隆。具体来说,我们将传统的序列到序列数据转换为状态到动作的演示,其中动作空间可以根据需要灵活。我们引入了双解码器结构来并行解码,而不是一次生成一个动作,同时保留动作令牌之间的依赖关系,再加上轨迹增强,以减轻模仿学习经常遭受的分布偏移。在一套算术方程基准测试的实验中,我们的模型在性能、效率和鲁棒性方面始终优于自回归基线。我们希望我们的研究结果将有助于未来的强化学习研究,将序列级动作生成应用于自然语言处理。
2022-10-21 cs.CL
Part of speech tagging for code switched data
The George Washington University(乔治华盛顿大学);University of Houston(休斯顿大学);Columbia University(哥伦比亚大学)
我们解决的问题的词性标注(POS)的语言代码转换(CS)的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象,分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术,处理CS数据在内部数据中尤其具有挑战性,因为这种技术适合于一次处理一种语言。在本文中,我们探讨了多种策略,应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对,西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明,应用机器学习框架,使用两个国家的最先进的POS标签实现了更好的性能相比,我们调查的所有其他方法。
2019-11-03 cs.CL
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
本文提出自回归神经编解码语言模型VoiceCraft-X,基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务,在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
A Modular Part-of-Speech Tagger for Scottish Gaelic using spaCy
School of Computing, Engineering, & the Built Environment, Edinburgh Napier University(爱丁堡龙比亚大学计算、工程与建成环境学院)
本文基于spaCy框架,用苏格兰盖尔语标注参考语料库训练出两个形态标注模型,在低资源形态复杂的盖尔语上取得与现有模型相当的准确率,证明现成NLP流水线可用于该类语言处理。
2026-08-06 cs.CL
A Feature-Enriched Neural Model for Joint Chinese Word Segmentation and Part-of-Speech Tagging
Fudan University(复旦大学)
近年来,用于自然语言处理任务的神经网络模型因其能够减轻人工特征工程的负担而受到越来越多的关注。然而,以往的神经网络模型不能像传统的离散特征提取方法那样提取复杂的特征成分。在这项工作中,我们提出了一个特征丰富的神经网络模型的联合中文分词和词性标注任务。具体来说,为了模拟传统的离散特征模型的特征模板,我们使用不同的过滤器来模拟复杂的组合特征与卷积和池化层,然后利用长距离依赖信息与递归层。在五个不同数据集上的实验结果表明了该模型的有效性。
2017-07-02 cs.CL
Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning
Techo Startup Center (TSC)(Techo创业中心);Royal University of Phnom Penh (RUPP)(金边皇家大学)
高棉语文本从左到右书写,可选空格。空格不是用作单词边界,而是用于可读性或其他功能目的。分词是诸如词性(POS)标注之类的下游任务的优先步骤,因此,POS标注的鲁棒性高度依赖于分词。传统的高棉语词性标注是一个两阶段的过程,首先是分词,然后是对每个词的实际标注。在这项工作中,提出了一种使用单个深度学习模型的联合分词和POS标记方法,以便可以自发地执行分词和POS标记。该模型使用公开的高棉POS数据集进行了训练和测试。实验结果表明,联合模型的性能与传统的两阶段词性标注方法相当。
2021-03-31 cs.CL cs.LG
Ancient Chinese Word Segmentation and Part-of-Speech Tagging Using Distant Supervision
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
古汉语分词和词性标注是古汉语研究的重要内容,但古汉语分词和词性标注的数据量还很少。本文提出了一种基于远程监督的平行语料库古汉语WSG和词性标注数据扩充方法。然而,在远程监督中,仍不可避免地存在着误标和未标的古汉语词语。针对这一问题,利用深度神经网络的记忆效应和少量标注数据,得到知识量大、噪声小的模型,并利用该模型对平行语料库中的古汉语句子进行重新标注。实验表明,在重新标记的数据上训练的模型优于在远程监督生成的数据和注释数据上训练的模型。我们的代码可在https://github.com/farlit/ACDS上获得。
2023-03-06 cs.CL