Syllable-level lyrics generation from melody exploiting character-level language model
National Institute of Informatics（国立情报学研究所）；SOKENDAI（综合研究大学院大学）；Aalto University（阿尔托大学）
针对无公开音节级预训练语言模型的问题，提出将微调字符级语言模型的语言学知识融入音节级Transformer生成网络的束搜索过程，实现从符号旋律生成歌词，经ChatGPT与人工评估验证提升了歌词的连贯性与准确性，无需训练高成本新模型。
2024-01-30 cs.AI cs.CL
Syllable Analysis to Build a Dictation System in Telugu language
G.N.I.T.S
近几十年来，语音交互系统越来越受到人们的重视。为了开发像Dragon这样的印度语言听写系统，最重要的是使系统适应最少训练的说话者。在本文中，我们专注于创建语音数据库的重要性，在音节单位，并确定最小的文本要考虑，而训练任何语音识别系统。已经开发了用于英语和少数几种印度语言（如印地语和泰米尔语）的连续语音识别的系统。本文给出了泰卢固语音节的统计细节及其在语音识别过程中最小化搜索空间的应用。识别覆盖最大音节的最小单词。该词表可用于准备小文本，该小文本可用于在训练听写系统时收集语音样本。这些结果被绘制成音节频率和每个单词中的音节数。该方法应用于CIIL Mysore文本语料库，该语料库为300万字。
2010-01-13 cs.CL cs.HC
Syllable-level Neural Language Model for Agglutinative Language
Samsung Electronics Co. Ltd.（三星电子株式会社）
过去，由于任何给定的词都可能通过各种词缀产生无数的粘着，因此粘着语言的语言模型一直受到阻碍。我们提出了一种方法，以减少的词汇外的问题，通过引入一个嵌入来自音节和词素，利用凝集属性。我们的模型在复杂度方面优于字符级嵌入16.87，参数为9.50 M。所提出的方法在键击节省方面实现了现有输入预测方法的最新性能，并且已经商业化。
2017-08-18 cs.CL
Design and Implementation of a Tool for Extracting Uzbek Syllables
Urgench State University（乌尔根奇州立大学）
本文提出结合规则与机器学习的方法实现乌兹别克语音节划分，构建含映射与计数的数据集，两种方法准确率均超99%，为低资源突厥语提供参考。
2023-12-25 cs.CL
A Preliminary Analysis of Automatic Word and Syllable Prominence Detection in Non-Native Speech With Text-to-Speech Prosody Embeddings
Language Technologies Research Center, IIIT Hyderabad（语言技术研究中心，印度海得拉巴国际信息技术学院）
本研究探索TTS韵律嵌入在非母语语音重音检测中的效用，基于FastSpeech2提取时长、能量、音高嵌入，在两个语料库上实验验证其准确率显著优于启发式特征和Wav2Vec-2.0表示。
2024-12-11 cs.CL eess.AS
findsylls: A Language-Agnostic Toolkit for Syllable-Level Speech Tokenization and Embedding
Department of Linguistics, University of Pennsylvania, USA（宾夕法尼亚大学语言学系）
提出语言无关的模块化工具包findsylls，统一经典音节检测器和端到端音节切分器，支持音节分割、嵌入提取和多粒度评估，在英语、西班牙语及低资源语言Kono上验证了跨语言可重复实验能力。
2026-06-17 cs.AI cs.CL
Orthographic Syllable as basic unit for SMT between Related Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们探讨使用的正字法音节，可变长度的辅音元音序列，作为一个基本单位之间的翻译相关的语言，使用abugida或字母脚本。我们表明，正字法音节水平的翻译显着优于其他基本单位（词，词素和字符）训练时，在小型平行语料库的模型。
2016-10-03 cs.CL
Revisiting Neural Language Modelling with Syllables
University of Edinburgh（爱丁堡大学）；Pontificia Universidad Católica del Perú（秘鲁天主教大学）
语言建模通常以词、子词或字符为单位进行分析，但很少使用音节。音节提供比字符更短的序列，它们可以用规则提取，并且它们的分割通常比识别语素需要更少的专门工作。我们重新考虑了20种语言的开放式词汇生成任务的音节。我们使用基于规则的音节化方法为五种语言，并解决其余的断字工具，作为音节代理的行为是有效的。与一个可比的困惑，我们表明，音节优于字符，注释语素和无监督的子词。最后，我们还研究了其他子词片段的音节重叠，并讨论了一些限制和机会。
2020-10-24 cs.CL
A preliminary study of Croatian Language Syllable Networks
University of Rijeka（里耶卡大学）
本文介绍了克罗地亚语音节网络分析的初步结果。音节网络是一种以音节为节点，根据音节在词中的连接关系建立节点之间的连接的网络。在本文中，我们分析网络的音节从克罗地亚的维基百科和博客收集的文本生成。作为一个主要的工具，我们使用复杂网络分析方法，提供了机制，可以揭示新的模式，在一个语言结构。我们的目标是表明音节网络具有更高的聚类系数相比，Erdös-Renyi随机网络。结果表明，克罗地亚语音节网络具有小世界网络的某些性质。此外，我们还将克罗地亚语音节网络与葡萄牙语和汉语音节网络进行了比较，发现它们具有相似的性质。
2014-07-17 cs.CL
Weird AI Yankovic: Generating Parody Lyrics
School of Interactive Computing（交互式计算学院）；Georgia Institute of Technology（佐治亚理工学院）
歌词仿拟用一组新的词替换一段旋律的一组词，保留每行的音节数和押韵方案。歌词仿拟生成是对可控文本生成的一个挑战。我们展示了一个专门的采样过程，结合XLNet的向后文本生成，可以产生可靠地满足音节和押韵方案约束的模仿歌词。我们介绍了Weird AI Yankovic系统，并提供了一个案例研究评估。我们的结论与神经抒情仿拟产生的社会影响。
2020-09-25 cs.AI cs.CL
Vietnamese Word Segmentation with SVM: Ambiguity Reduction and Suffix Capture
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
在本文中，我们将越南语分词作为一个二元分类，使用支持向量机分类器。我们继承了以前的作品，如音节的n-gram，音节类型的n-gram，并检查字典中相邻音节的连接。我们提出了两种新的特征提取方法，一种是减少重叠歧义，另一种是增加对含有后缀的未登录词的预测能力。与UETsegmenter和RDRsegmenter这两种最先进的越南语分词方法不同，我们不使用最长匹配算法作为初始处理步骤或任何后处理技术。根据越南基准数据集上的实验结果，我们提出的方法比现有的最先进的方法UETsegmenter和RDRsegmenter获得了更好的F1分数。
2020-06-14 cs.CL
Syllable-aware Neural Language Models: A Failure to Beat Character-aware Ones
Nazarbayev University（纳扎尔巴耶夫大学）；National Laboratory Astana（阿斯塔纳国家实验室）；Swarthmore College（斯沃斯莫尔学院）
与基于字符的分割相比，音节化似乎并不能提高单词级RNN语言建模的质量。然而，我们最好的音节感知语言模型，实现了与竞争对手的字符感知模型相当的性能，参数少了18%-33%，训练速度快了1.2-2.2倍。
2017-07-20 cs.CL cs.NE stat.ML
Optimal alphabet for single text compression
Alikhanyan National Laboratory (Yerevan Physics Institute)（阿里哈尼扬国家实验室（埃里温物理研究所））；Envoy Media Group（Envoy传媒集团）
使用来自给定字母表的符号书写的文本可以使用霍夫曼代码压缩，这最小化了编码文本的长度。然而，有必要采用文本特定的码本，即符号-码字字典来解码原始文本。因此，压缩性能应该通过完整的码长来评估，即编码文本的长度加上码本的长度。我们研究了几种用于压缩文本的字母表--字母、字母的n-gram、音节、单词和短语。如果只保留足够短的文本，则字母表或两克字母是最佳的。对于大多数古腾堡计划文本，最佳字母表（最小化完整代码长度的字母表）由音节或单词给出，这取决于码本的表示。字母3和4-gram的平均长度与音节/单词相当，表现明显不如音节或单词。单词2-grams也从来都不是最好的字母表，因为它有一个非常大的密码本。我们还表明，码本表示是重要的-从一个天真的表示切换到一个紧凑的显着改善了大量的符号，最显着的话，字母表的事项。因此，语言中表达意义的元素（音节或单词）提供了最好的压缩字母表。
2022-07-31 cs.CL cs.IT math.IT
Syllabification by Phone Categorization
Gonzaga University（贡萨加大学）；Washington State University（华盛顿州立大学）
音节在语音合成、语音识别和口语文档检索中起着重要的作用。提出了一种新颖的、低成本的、与语言无关的将词划分为相应音节的方法。一个混合遗传算法构造一个音节优化的音素分类。这种分类是用在隐马尔可夫模型序列分类器的顶部，以找到音节边界。该技术在对英语单词进行训练和测试时显示出有希望的初步结果。
2018-07-15 cs.CL
AttaCut: A Fast and Accurate Neural Thai Word Segmenter
Max Planck School of Cognition（马克斯·普朗克认知学院）；Chulalongkorn University（朱拉隆功大学）
分词是泰语自然语言处理的基本预处理步骤。目前的现成解决方案没有一致的基准，因此很难比较它们的权衡。我们对三个不同领域的流行系统进行了速度和准确性比较，发现最先进的深度学习系统速度很慢，而且没有使用子词结构来指导模型。在这里，我们提出了一个快速，准确的神经泰语分词器，使用扩张的CNN过滤器来捕获每个字符的环境，并使用音节嵌入作为特征。我们的系统运行速度至少快5.6倍，在某些领域优于以前最先进的系统。此外，我们开发了第一个基于ML的泰语正字法音节分割器，它产生的音节嵌入被用作字分割器的功能。
2019-11-16 cs.CL cs.LG
Word Length Frequency and Distribution in English: Observations, Theory, and Implications for the Construction of Verse Lines
最近在诗歌理论和经验度量方面的观察表明，构建一个诗歌行涉及到对源文本的模式匹配搜索，并且找到的元素（完整单词总计指定数量的音节）的数量通过将单词总数除以源文本中每个单词的平均音节数来给出。本文使后一点明确的数学，并在这个演示过程中显示，在英语输出的单词长度频率总数是几何分布（以前的研究人员报告了调整泊松分布），顺序分布是随机的，在全球范围内，与显着的非随机性的精细结构。数据来自一个不到200万个单词的语料库，以及一个71,000个单词形式的音节计数词典。模式匹配理论被证明是内部连贯的，它是观察到，这里描述的一些分析技术形成一个令人满意的测试规则（等距）划线的文本。
1998-08-13 cmp-lg cs.CL
Detecting Syllable-Level Pronunciation Stress with A Self-Attention Model
School of Environment and Society, Tokyo Institute of Technology（东京工业大学环境与社会学院）；VoicePing Inc.（VoicePing公司）
本文提出一种基于自注意力模型的音节级英语重音检测方法，融合音高、强度、时长及音节类型等特征，在多个数据集上取得超过88%的准确率，验证了其在口语交流与英语学习等场景中的应用潜力。
2023-11-01 cs.CL cs.SD eess.AS
Multi-Syllable Phonotactic Modelling
本文介绍了一种新的方法来构建声趋模型。音位学描述的基本理论方法是多音节方法，其中多个音节类别被定义为反映音位学上独特的音节子类别。一个新的有限状态的形式主义，OFS建模，被用来作为一种工具，编码，自动构建和概括的音位结构的描述。独立于语音的原型模型的构建是实例化的基础上的语音字符串的数据集，并概括与聚类算法。由此产生的方法，使自动构建的音位模型，编码任意接近近似的语言的一套证明音韵形式。该方法被应用到构建多音节词级的音系模型，德语，英语和荷兰语。
2001-02-22 cs.CL
Two-parameter Model of Word Length "Language - Genre"
提出了一个由音节数衡量的字长双参数模型。第一个参数依赖于语言类型，第二个参数依赖于文本体裁，反映了语言优化协同过程的完成程度。
2001-03-08 cs.CL
Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
本研究提出潜在语言假说，通过视听跨情境学习的神经网络模拟，探究音位、音节和单词等语言单位能否作为跨模态语音理解的潜在表征自发涌现。
2024-03-06 cs.AI cs.CL cs.CV
Evolution of the Modern Phase of Written Bangla: A Statistical Study
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
活跃的语言，如孟加拉语（或孟加拉语），由于各种社会，文化，经济和政治问题而随着时间的推移而演变。本文从文字层面、音节层面、语素层面和词汇层面对孟加拉语现代阶段书面形式的变化进行了定量分析。我们收集了三种不同类型的语料库-古典，报纸和博客-并测试其特征的差异是否具有统计学意义。结果表明，在汉字方面，一个词的长度有显著的变化，但在一个词中不同的字、音节和语素的用法以及在一个句子中不同的词的用法上没有太大的差异。据我们所知，这是第一部关于孟加拉语的此类作品。
2013-10-06 cs.CL
Syllable Discovery and Cross-Lingual Generalization in a Visually Grounded, Self-Supervised Speech Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI；Tampere University（坦佩雷大学）；Rembrand（Rembrand公司）
本研究发现视觉接地自监督语音模型可涌现音节表征，提出结合最小割算法与两阶段聚类的音节发现方法，在英语音节分割上达SOTA，且能零样本泛化至多语言的音节及词语分割任务。
2023-07-23 cs.AI cs.CL cs.SD
Compressing Word Embeddings via Deep Compositional Code Learning
The University of Tokyo（东京大学）
自然语言处理（NLP）模型通常需要大量参数用于词嵌入，从而导致大量存储或内存占用。将神经NLP模型部署到移动设备需要压缩词嵌入，而不会在性能上有任何重大牺牲。为此，我们建议用很少的基向量来构造嵌入。对于每个单词，基向量的组成由散列码确定。为了最大限度地提高压缩率，我们采用了多码书量化的方法，而不是二进制编码方案。每个代码由多个离散数字组成，例如（3，2，1，8），其中每个分量的值被限制在固定范围内。我们建议通过应用Gumbel-softmax技巧直接学习端到端神经网络中的离散代码。实验结果表明，该算法在情感分析和机器翻译任务中的压缩率分别达到了98%和94% ~ 99%，且没有性能损失。在这两个任务中，所提出的方法可以通过略微降低压缩率来提高模型性能。与字符级分割等其他方法相比，该方法与语言无关，不需要修改网络结构。
2017-11-17 cs.CL
Detect Language of Transliterated Texts
Duke University（杜克大学）
从其他语言到英语的非正式音译在社交媒体线程、即时消息和论坛中很普遍。如果不识别这种音译文本的语言，不讲该语言的用户就无法使用翻译工具理解其内容。我们提出了一个语言识别（LID）系统，与特征提取的方法，它可以检测到的音译文本的语言相当不错，即使有限的训练数据和计算资源。我们将单词标记为语音音节，并使用简单的长短期记忆（LSTM）网络架构来检测音译文本的语言。通过大量的实验，我们证明了音译词作为语音音节的标记化有效地代表了它们的因果语音模式。因此，语音音节标记化使得更简单的模型架构更容易学习识别任何语言的特征模式。
2020-04-26 cs.CL cs.LG cs.SD
Compressing Neural Language Models by Sparse Word Representations
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
神经网络是用于语言建模的最先进的技术之一。现有的神经语言模型通常将离散单词映射到分布式的密集向量表示。在通过隐藏层对前面的上下文单词进行信息处理之后，输出层估计下一个单词的概率。由于用于词嵌入和输出层的大量参数，这种方法是时间和内存密集型的。在本文中，我们提出了压缩神经语言模型的稀疏词表示。在实验中，我们的模型中的参数的数量增加非常缓慢的词汇量的增长，这是几乎察觉不到的。此外，我们的方法不仅减少了参数空间在很大程度上，但也提高了性能方面的困惑措施。
2016-10-13 cs.CL cs.LG
Representation Learning for Discovering Phonemic Tone Contours
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；St Michael’s Hospital（圣迈克尔医院）
声调是许多语言中用来区分单词的一种韵律特征，其中一些语言已经濒临灭绝，几乎没有文献记载。在这项工作中，我们使用无监督的表示学习，以确定可能集群的音节，共享相同的音素音调。我们的方法提取每个音节的音高，然后训练卷积自动编码器来学习每个轮廓的低维表示。然后，我们应用均值漂移算法聚类色调的高密度区域的潜在空间。此外，通过将每个聚类的中心馈送到解码器中，我们产生代表每个聚类的原型轮廓。我们将这种方法应用于普通话和粤语中的口语多音节词，并评估我们的聚类与地面真实音调类别的匹配程度。最后，我们讨论了一些困难，我们的方法，包括上下文的声调变化和allophony效果。
2020-05-14 cs.CL cs.SD eess.AS
Word stress in self-supervised speech models: A cross-linguistic comparison
Centre for Language Studies（语言研究所在）；Department of Communication and Cognition（沟通与认知系）
本文以Wav2vec 2.0为例研究自监督语音模型（S3M）的单词重音表示，通过在五种语言上训练诊断分类器发现其能高精度区分重读音节，且重音表示具有语言特异性，可变与固定重音语言组差异更大。
2025-07-07 cs.AI cs.CL
Compressing Word Embeddings
Red Cat Labs（红猫实验室）
最近的方法学习向量空间表示的单词已经成功地捕捉细粒度的语义和语法的语义和语法使用向量算术。然而，这些向量空间表示（通过大规模文本分析创建）通常是逐字存储的，因为它们的内部结构是不透明的。使用词类比测试来监测存储在相同向量空间的压缩重表示中的细节水平，研究了减少内存使用和表现力之间的权衡。一个简单的计划，可以减少一个国家的最先进的嵌入的10倍的内存占用，只有最小的性能影响。然后，使用相同的“位分解”，一个二进制（近似）因式分解相同的空间也进行了探索，目的是创建一个等效的表示更好的解释性。
2016-05-16 cs.CL cs.LG
Phonology-Augmented Statistical Framework for Machine Transliteration using Limited Linguistic Resources
Cornell University（康奈尔大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
音译转换源语言中的单词（例如，英语）转换成目标语言的单词（例如，越南语）。这种转换考虑了目标语言的语音结构，因为音译输出需要在目标语言中可发音。例如，越南语中以辅音群开头的单词在语音上是无效的，因此将是音译系统的错误输出。大多数统计音译方法，虽然被广泛采用，没有明确的模型目标语言的语音，这往往会导致无效的输出。在将外来词转换为目标语言的音译词时，可用的语言资源有限，这使得问题更加复杂。在这项工作中，我们提出了一个语音增强的统计框架，适用于音译，特别是当只有有限的语言资源。我们提出了伪音节的概念，作为一种结构，代表了如何根据目标语言的音系学音节的外国词的片段组织。我们对越南语和粤语进行了音译实验。我们表明，所提出的框架优于统计基线高达44.68%相对，当有有限的训练样本（587个条目）。
2018-10-07 cs.CL
K-Wav2vec 2.0: Automatic Speech Recognition based on Joint Decoding of Graphemes and Syllables
Korea University（高丽大学）；College of Engineering（工学院）
Wav 2 vec 2.0是一个用于语音表示的自监督学习的端到端框架，它在自动语音识别（ASR）中取得了成功，但该主题的大部分工作都是用单一语言开发的：英语。因此，尚不清楚自监督框架是否有效地识别具有不同书写系统的其他语言，例如使用具有独特书写系统的Hangul的韩语。在本文中，我们提出了K-Wav 2 Vec 2.0，这是一个修改版本的Wav 2 Vec 2.0设计的韩语自动语音识别通过探索和优化的各种因素，原来的Wav 2 Vec 2.0。在微调，我们提出了一个多任务的层次结构，以反映韩国的写作结构。此外，一个联合解码器，以减轻存在的词汇表之外的词的问题。在预训练中，考虑到资源有限，我们通过在韩语数据集上进一步预训练英语Wav 2 vec 2.0来尝试预训练模型的跨语言迁移。我们的实验结果表明，所提出的方法在两个韩国ASR数据集：Ksponspeech（一个大规模的韩国语音语料库）和Clovacall（一个基于呼叫的对话语料库）产生最好的性能。进一步的预训练在语言适应方面也是有效的，在没有额外数据的情况下也能带来很大的改善。
2021-10-11 cs.CL
Deep learning and sub-word-unit approach in written art generation
Polish-Japanese Academy of Information Technology（波日信息技术学院）；Jatar（Jatar公司）
诗歌自动生成是自然语言处理研究中一个新颖而有趣的应用。在过去的几年里，由于技术和神经计算能力的快速发展，它变得更加流行。这条研究路线可以应用于语言学和文学的研究，用于社会科学实验，或者只是为了娱乐。已知最有效的人工诗歌生成方法是使用递归神经网络（RNN）。我们还使用RNN生成Adam Mickiewicz风格的诗歌。我们的网络是根据撒迪厄斯爵士的诗训练的。对于数据预处理，我们使用了一个专门的词干工具，这是这项工作的主要创新和贡献之一。我们的实验是在源文本上进行的，分为子词单位（接近音节的分辨率）。这种方法是新颖的，在已发表的文献中不常采用。子词单元似乎是分析波兰语的自然选择，因为波兰语由于格、性别形式和大量词汇而在形态上丰富。此外，《撒迪厄斯爵士》包含押韵，因此音节分析可能很有意义。我们使用不同的温度参数设置验证了我们的模型，该参数控制生成文本的随机性。我们还将我们的结果与在相同文本上训练但分为字符的类似模型进行了比较（这是使用完整单词单元的最常见方法）。差异是巨大的。我们的解决方案生成了更好的诗歌，能够遵循源数据文本的韵律和词汇。
2019-01-22 cs.CL
Cross-Lingual Multi-Granularity Framework for Interpretable Parkinson's Disease Diagnosis from Speech
本研究针对现有语音PD检测忽略细粒度语音元素的问题，提出跨语言多粒度框架，通过提取音素、音节、单词特征结合双向LSTM多头注意力，在多语言数据集上实现更优诊断性能，且特征与临床协议一致。
2025-10-04 cs.CL cs.SD eess.AS
Automatic Segmentation of Manipuri (Meiteilon) Word into Syllabic Units
Manipur Institute of Technology, Manipur University（曼尼普尔大学曼尼普尔理工学院）；Manipur University（曼尼普尔大学）
本文介绍了将曼尼普尔语（或梅特龙语）的单词自动切分成音节单位的工作。这种语言是一种源于藏缅语的印度语，也是一种粘性很强的语言。这种语言使用两种脚本：孟加拉语脚本和Meitei Mayek（脚本）。目前的工作是基于第二个脚本。设计了一种算法，主要用于识别曼尼普尔语原词的音节。该算法的结果显示召回率为74.77，精确度为91.21，F分数为82.18，这是该语言首次尝试的合理分数。
2012-07-17 cs.CL
Speech Corpus of Ainu Folklore and End-to-end Speech Recognition for Ainu Language
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
阿伊努语是日本的一个民族阿伊努人说的一种不成文的语言。它被联合国教科文组织认定为极度濒危，其语言遗产的存档和文献至关重要。虽然为了拯救阿伊努人的文化，人们制作和积累了大量的阿伊努人民间传说录音，但迄今为止，只有相当有限的一部分被转录。因此，我们开始了一个项目的自动语音识别（ASR）的阿伊努语，以促进注释语言档案的发展。在本文中，我们报告的语音语料库的发展和结构和性能的端到端ASR阿伊努人。我们研究了四个建模单元（音素，音节，词片，和词），发现基于音节的模型表现最好的词和音素识别准确率，这是约60%和85%以上，分别在扬声器开放条件。此外，在扬声器关闭的设置中，单词和电话的准确率达到了80%和90%。我们还发现，多语言ASR训练与英语和日语的额外语音语料库进一步提高了说话人开放测试的准确性。
2020-05-16 cs.CL cs.SD eess.AS
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究所）
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列（Seq 2Seq）的模型中，解码器单向决定保留或删除单词。因此，它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此，为了避免产生不合语法的句子，解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题，我们提出了一种新的Seq 2Seq模型，语法前瞻注意力网络（SLAHAN），它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示，SLAHAN实现了最好的基于保留标记的F1，ROUGE-1，ROUGE-2和ROUGE-L得分，分别为85.5，79.3，71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外，在人工评估中，SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Unicode Normalization and Grapheme Parsing of Indic Languages
Apsis Solutions Limited（Apsis解决方案有限公司）；Brac University（布拉克大学）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）
针对印度语言Unicode编码导致的字素歧义问题，提出规范化器和字素解析器两个库，能高效解析Abugida文本，优于IndicNLP规范化器，并支持多语言扩展。
2024-05-27 cs.CL
A segmental framework for fully-unsupervised large-vocabulary speech recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Google, Inc.（谷歌公司）
零资源语音技术是一个不断发展的研究领域，其目的是在没有transmittance，词典或语言模型文本的情况下开发语音处理方法。早期的术语发现系统专注于识别语料库中孤立的重复模式，而最近的全覆盖系统试图将音频完全分割和聚类成类似单词的单元--有效地执行无监督的语音识别。本文介绍了第一次尝试，我们知道这样一个系统应用于大词汇量的多说话人数据。我们的系统使用贝叶斯建模框架与分段词表示：每个词段表示为一个固定的维度的声学嵌入，通过映射的特征帧序列到一个单一的嵌入向量。我们将我们的系统在英语和Xitsonga数据集上与最先进的基线进行比较，使用各种测量方法，包括单词出错率（通过将无监督输出映射到地面真实transmittance获得）。非常高的字出错率的报告--在70- 80%的顺序为发言者依赖和80- 95%的发言者无关的系统--突出了这项任务的难度。然而，在集群质量和分词指标方面，我们表明，通过实施一致的自上而下的分割，同时也使用自下而上的知识，从检测到的音节边界，单扬声器和多扬声器版本的系统优于一个纯粹的自下而上的单扬声器音节为基础的方法。我们还表明，所发现的集群可以通过使用无监督的自动编码器样的特征提取器来学习更好的帧级特征（在嵌入之前），从而减少说话者和性别的特定性。我们的系统发现的集群仍然不如那些无监督的长期发现系统纯，但提供更大的覆盖面。
2017-09-16 cs.CL cs.LG
Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics
George Washington University（乔治华盛顿大学）
研究探讨了词义重叠是否由词汇混淆导致，发现词汇相同但意义不同的情况在模型中表现更显著，影响下游任务性能。
2026-04-01 cs.AI cs.CL
Implementation of an Automatic Syllabic Division Algorithm from Speech Files in Portuguese Language
Federal University of Pernambuco（伯南布哥联邦大学）
提出了一种基于输入音频文件的语音信号包络的葡萄牙语语音自动切分算法。在MatlabTM中的计算实现被呈现并且在URL http://www2.ee.ufpe.br/codec/divisao_silabica.html上可用。由于其直接性，所提出的方法是非常有吸引力的嵌入式系统（如i-phones）。它也可以用作屏幕，以帮助更复杂的方法。包含一个以上音节并由同一个包络标识的语音摘录被命名为超音节，随后将它们分离。结果指示哪些样本对应于每个检测到的音节的开始和结束。对50个单词进行了初步测试，识别率约为70%（可以进一步改进以处理特定音素）。该算法在语音命令系统中也是有用的，作为葡萄牙语教学中的工具，甚至用于语音病理学患者。
2015-01-29 cs.CL cs.DS cs.SD
Rule Based Transliteration Scheme for English to Punjabi
Banasthali University（班纳斯塔利大学）
机器音译是机器翻译领域中一个新兴的研究方向。音译的基本目的是保留单词的语音结构。名称实体的正确音译对提高机器翻译的质量起着非常重要的作用。在本文中，我们正在做机器音译的英语旁遮普语对使用基于规则的方法。我们已经建立了一些音节化的规则。音节化是从单词中提取或分离音节的过程。在这里，我们正在计算名称实体（专有名称和位置）的概率。对于那些不属于名称实体类别的单词，正在通过称为MOSES的统计机器翻译工具包使用相对频率来计算单独的概率。使用这些概率，我们将输入文本从英语音译为旁遮普语。
2013-07-15 cs.CL
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中，分词和词性标注是下游任务的两个关键的前期工作。实际上，人们在进行分词和词性标注时往往也会考虑短语边界，而不是仅仅从左到右逐词处理。在本文中，我们实现了这一想法，以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性，我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象，我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明，该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
Dzongkha Next Word Prediction System
College of Science and Technology, Royal University of Bhutan（不丹皇家大学科学技术学院）
针对宗卡语记录难、打字不便的问题，通过减少击键次数让其打字更便捷。利用DCDD数据集经预处理后，用LSTM、Bi-LSTM和GRU三种模型训练，GRU表现最佳，准确率74.03%且解决过拟合问题。
2026-07-14 cs.CL
Improving Rare Words Recognition through Homophone Extension and Unified Writing for Low-resource Cantonese Speech Recognition
CPII
同音字在以声调音节为基础的语言中很常见，如普通话和粤语。数据密集型的端到端自动语音识别（ASR）系统在低资源环境下更容易误识别同音字和生僻字。针对低资源粤语语音识别的问题，提出了一种新的同音词扩展方法，将人类对同音词词典的知识融入到束搜索解码过程中，并对语言模型进行重新评分。此外，我们提出了一种自动统一的书写方法来合并粤语字符的变体和标准化的语音注释准则，这使得更有效地利用标记的话语，通过提供更多的样本合并的字符。我们的经验表明，同音字扩展和统一的写作提高识别性能显着域内和域外的测试集，与绝对字符出错率（CER）下降约5%和18%。
2023-02-02 cs.CL cs.SD eess.AS
Word-wise intonation model for cross-language TTS systems
STC, Ltd（STC有限公司）；ITMO University（ITMO大学）
本文提出一种可跨语言推广的逐词语调模型，通过音高简化与动态时间规整聚类消除重音位置变异性，可用于 TTS 韵律建模与语调研究。
2024-09-30 cs.CL cs.SD eess.AS
Assessing Dutch Syllabification Algorithms and Improving Accuracy by Combining Phonetic and Orthographic Information through Deep Learning
Radboud University（拉博德大学）
本研究评估了四种荷兰语音节划分算法的性能，并提出一种结合语音和正字法信息的深度学习模型，实现了99.65%的词准确率，较文献最佳提升0.14%。
2026-04-10 cs.AI cs.CL
Isometric Lineation in English Texts: An Empirical and Mathematical Examination of its Character and Consequences
在本文中，我们建立在早期的观察和理论，关于单词的长度频率和顺序分布，开发一个数学表征的一些语言功能区分等距线文本从unlineated文本，换句话说，功能区分等距诗从散文。结果表明，音节的频率，使完整的话产生一个平坦的分布散文，而诗句表现出的行长度的位置和随后的倍数的位置的峰值。数据从几个诗句作者，包括一个详细的数学分析的动力学基础高峰创建，并提供评论的过程中，作者构建线。我们注意到，散文的词长序列是随机的，而划线则需要非随机的词长序列，这可能会给原本高度有序的语法序列带来一定程度的随机性。此外，我们观察到，这种效果可以改善减少平均文字长度的文本（确认早期的观察，诗句往往使用较短的话）和使用不同的线从核心等距集。变异行的频率与多音节词的频率一致，这表明变异行的使用是由多音节词的位置。探讨了不同诗行长度的制约作用、格律制约与诗歌效果的关系以及格律的共性。
1998-08-14 cmp-lg cs.CL
Specializing Word Embeddings (for Parsing) by Information Bottleneck
Johns Hopkins University（约翰斯·霍普金斯大学）；Department of Computer Science（计算机科学系）
像ELMo和BERT这样的预训练词嵌入包含丰富的语法和语义信息，从而在各种任务上实现最先进的性能。我们提出了一个非常快速的变分信息瓶颈（VIB）方法来非线性压缩这些嵌入，只保留有助于判别式解析器的信息。我们将每个词嵌入压缩为离散标签或连续向量。在离散的版本中，我们的自动压缩标签形成一个替代的标签集：我们的实验表明，我们的标签捕获传统的POS标签注释中的大部分信息，但我们的标签序列可以更准确地解析在同一级别的标签粒度。在连续的版本中，我们的实验表明，适度压缩的词嵌入，我们的方法产生一个更准确的分析器在8 9种语言，不像简单的降维。
2019-10-01 cs.CL cs.LG
Reusing Weights in Subword-aware Neural Language Models
Nazarbayev University（纳扎尔巴耶夫大学）
我们提出了几种在子词感知神经语言模型中重用子词嵌入和其他权重的方法。所提出的技术并不有利于一个有竞争力的字符感知模型，但其中一些提高了音节和语素感知模型的性能，同时显示出显着减少模型的大小。我们发现了一个简单的实践原则：在多层输入嵌入模型中，如果在输出中重用，则层应该连续自底向上绑定。我们最好的词素感知模型具有正确重用的权重，在多种语言中大幅击败了竞争对手的单词级模型，并且参数减少了20%-87%。
2018-04-25 cs.CL cs.NE stat.ML
Tenyidie Syllabification corpus creation and deep learning applications
Department of Information Technology, Nagaland University（纳加兰大学信息技术系）
本研究针对低资源语言Tenyidie构建了含10120个单词的音节划分语料库，测试多种深度学习模型，其中BLSTM模型取得99.21%的最高准确率，为该语言后续NLP研究提供基础。
2025-10-02 cs.AI cs.CL
In-Context Former: Lightning-fast Compressing Context for Large Language Model
University of Science and Technology of China（中国科学技术大学）
针对LLM上下文压缩二次复杂度问题，提出不依赖目标模型的IC-Former，利用交叉注意力和摘要令牌实现线性时间压缩，速度提升68-112倍，性能达基线90%以上。
2024-11-05 cs.CL
edATLAS: An Efficient Disambiguation Algorithm for Texting in Languages with Abugida Scripts
Samsung R&D Institute Bangalore（三星班加罗尔研发院）
Abugida指的是一种表音文字书写系统，其中每个音节都使用单个辅音或排印连字表示，以及默认元音或可选的变音符号来表示其他元音。然而，尽管出现了支持自定义按键布局的软键盘设备，但用这些语言发短信仍存在一些独特的挑战。这些语言中的字符数量足够大，需要将字符分布在布局中的多个视图上。为了输入一个单词而不得不多次在视图之间切换，这阻碍了自然的思维过程。这会阻止本机键盘布局的流行使用。另一方面，用基于语言模型的建议来支持罗马化脚本（使用拉丁字符转录的本地单词）也由于缺乏统一的罗马化规则而受到阻碍。为此，我们提出了一个消歧算法，并展示了它的有用性，在两个新的相互不排斥的输入方法的语言原生使用的abugida书写系统：（a）消歧的模糊输入abugida脚本，和（b）消歧的罗马化脚本中的单词变体。我们使用公共数据集对这些方法进行了基准测试，并显示出在印地语，孟加拉语和泰语中分别提高了19.49%，25.13%和14.89%的打字速度，使用AmbiancyInput，由于人类容易定位键，结合我们的推理方法的效率。我们的词变体消歧（WDA）映射的罗马化的单词，以前被视为外的词汇，以高准确性的词汇10万字的有效变体，导致错误校正F1分数增加10.03%和下一个词预测（NWP）平均62.50%。
2021-03-29 cs.CL
Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units
Carnegie Mellon University（卡内基梅隆大学）
文本数据的语言模型（LM）由于其在语言生成和其他下游任务中的有用性而被广泛研究。然而，纯粹在语音领域的语言建模仍然是一个相对未开发的主题，传统的语音LM通常依赖于辅助文本LM来学习语言的分布方面。对于英语语言，这些LM将单词视为原子单位，这对语音领域的语言建模提出了固有的挑战。在本文中，我们提出了一种新的LSTM为基础的生成语音LM的灵感来自CBOW模型，并建立在语言单位，包括音节和音素。这在数据集中的话语之间提供了更好的声学一致性，而不是单个melspectrogram帧或整个单词。由于数据集有限，数量级小于当代生成模型所需的数量级，我们的模型非常接近于咿呀学语。我们展示了辅助文本LM，多任务学习目标和辅助发音功能的训练效果。通过我们的实验，我们还强调了一些众所周知的，但在训练生成语音LM方面缺乏记录的挑战，包括训练这些模型的监督学习目标（如均方误差（MSE））与真实目标（即语音质量）之间的不匹配。我们的实验提供了一个早期的迹象，虽然验证损失和梅尔倒谱系数失真（MCD）与生成的语音质量没有很强的相关性，但传统的文本语言建模指标，如困惑和下一个令牌预测准确性可能是。
2021-10-31 cs.CL cs.LG cs.SD
Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
De La Salle University（德拉萨大学）；National University（国立大学）
正确识别儿童阅读材料的年级是有效学习的重要一步。最近的英语领域可读性评估研究应用了自然语言处理（NLP）中的现代方法，如机器学习（ML）技术来自动化该过程。在对可读性公式建模时，还需要提取正确的语言特征。在菲律宾语的背景下，有限的工作已经完成[1，2]，特别是在考虑语言的词汇复杂性作为主要特征。在本文中，我们探讨使用词汇的特点，对提高儿童的可读性识别的发展写在菲律宾语的书籍。结果表明，结合词汇特征（LEX），包括类型标记比，词汇密度，词汇变化，外国单词计数与传统的功能（TRAD），如句子长度，平均音节长度，多音节词，单词，句子和短语计数增加了近5%的利润率（从42%到47.2%）的可读性模型的性能。进一步的分析和排名的最重要的功能，以确定哪些功能贡献最大的阅读复杂性。
2021-01-22 cs.CL cs.LG
ADE: Adaptive Dictionary Embeddings -- Scaling Multi-Anchor Representations to Large Language Models
Department of Computer Engineering（计算机工程系）；Hacettepe University（哈切塔佩大学）
ADE通过引入词汇投影、分组位置编码和上下文感知锚重加权，有效扩展多锚表示到大语言模型，减少参数并提升性能。
2026-04-29 cs.AI cs.CL
