Idea density for predicting Alzheimer's disease from transcribed speech
University of Tartu（塔尔图大学）；The University of Sydney（悉尼大学）；Neuroscience Research Australia（澳大利亚神经科学研究所）；The University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）
思想密度（ID）测量思想或基本谓词在话语或文本中表达的速率。发现较低的ID与发展阿尔茨海默病（AD）的风险增加有关（Snowdon等人，1996; Engelman等人，2010年）。ID有两个不同的版本：命题思想密度（PID）计算表达的思想，可以应用于任何文本，而语义思想密度（SID）计算预定义的信息内容单元，自然更适用于规范领域，如图片描述任务。在本文中，我们开发了DEPID，一种新的依赖性为基础的方法来计算PID，其版本DEPID-R，能够排除重复的想法-AD语音的特征特性。我们进行了第一次比较自动提取的PID和SID在诊断分类任务的两个不同的AD数据集，涵盖封闭主题和自由回忆域。虽然SID在标准数据集上表现更好，但添加PID会导致小但显着的改善（+1.7 F分数）。在自由主题数据集上，PID的表现优于SID（F分数为77.6 vs 72.3），但添加从自动SID底层的词嵌入聚类中获得的特征大大增加了结果，导致F分数为84.8。
2017-06-14 cs.CL
SPGISpeech: 5,000 hours of transcribed financial audio for fully formatted end-to-end speech recognition
Kensho Technologies；NVIDIA Technologies（英伟达科技公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
在英语语音到文本（STT）机器学习任务中，声学模型通常在无大小写的拉丁字符上训练，并且任何必要的拼写（例如大写、标点和非标准单词的非规范化）由单独的后处理模型估算。这增加了复杂性并限制了性能，因为许多格式化任务受益于声学信号中存在但转录中不存在的语义信息。在这里，我们提出了一个新的STT任务：端到端的神经转录与目标标签的完全格式化的文本。我们提出了基于基线Conformer的模型，该模型在5,000小时专业转录的盈利电话语料库上进行了训练，达到了1.7的CER。作为对STT研究社区的贡献，我们在https://datasets.kensho.com/datasets/scribe上免费发布语料库供非商业使用。
2021-04-06 cs.CL eess.AS
MSR-86K: An Evolving, Multilingual Corpus with 86,300 Hours of Transcribed Audio for Speech Recognition Research
Meituan（美团）
本文提出MSR-86K，一个基于YouTube公开视频构建的15种语言、86,300小时转录音频的多语言语料库，并展示了利用其训练出与Whisper竞争的多语言ASR模型的方法。
2024-06-26 cs.CL cs.SD eess.AS
Optimized Tokenization for Transcribed Error Correction
OriginAI
本文提出优化分词策略，利用基于转录错误分布的合成数据训练纠正模型，并调整BPE词汇表以平衡适应性与知识保留，显著提升多语言语音识别错误纠正性能。
2023-10-16 cs.CL cs.SD eess.AS
Loquacious Set: 25,000 Hours of Transcribed and Diverse English Speech Recognition Data for Research and Commercial Use
AI Center Cambridge（剑桥人工智能中心）；Samsung（三星）
针对现有ASR数据集在许可限制、数据质量或规模上的不足，本研究提出包含25,000小时可商用英语语音的Loquacious Set，涵盖多样口音与语音类型，供学术界与工业界在真实场景中构建ASR系统。
2025-05-27 cs.CL cs.SD eess.AS
Leveraging supplementary text data to kick-start automatic speech recognition system development with limited transcriptions
Stanford University（斯坦福大学）；University of Groningen（格罗宁根大学）；University of Hawai’i at Mānoa（夏威夷大学马诺阿分校）；University of Washington（华盛顿大学）；University of Queensland（昆士兰大学）
最近使用预训练的Transformer模型的研究表明，只需10分钟的转录语音就足以微调自动语音识别（ASR）的模型-至少如果我们还可以利用大量的文本数据（8.03亿个令牌）。但是，这么多的文本数据是必要的吗？我们研究了不同数量的文本数据的使用，既用于创建将ASR解码限制为可能的单词的词典（例如，*dogz与dogs），也用于训练使系统偏向可能的单词序列的较大语言模型（例如，too dogs与two dogs）。我们使用10分钟的英语转录语音（用于复制先前的工作）和另外两对在补充文本数据的可用性方面不同的语言进行实验：Gronings和Frisian（约7.5M令牌语料库可用），以及Besemah和Nasal（只有小词典可用）。对于所有的语言，我们发现，只使用一个词汇并没有明显提高ASR的性能。对于格罗宁斯语和弗里斯兰语，我们发现，从“小说长度”80 k标记子语料库中导出的词汇和语言模型将单词出错率（WER）平均降低到39%。我们的研究结果表明，在一个文本语料库中的上数万个或更多的令牌是可用的，微调Transformer模型，只有几十分钟的转录语音持有一些承诺，以获得人类可纠正的转录接近30%的WER经验法则。
2023-02-09 cs.CL
Investigating large language models for their competence in extracting grammatically sound sentences from transcribed noisy utterances
Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
本研究通过波兰语场景下的两项实验，探究大语言模型从带噪声对话转录中提取语法规范话语的能力，发现其相关能力仍较表层，未完全掌握或无法有效应用句法-语义规则。
2024-10-07 cs.CL
On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明，即使没有任何文本监督，与图像配对的语音也可以用于学习语义上有意义的语音表示。然而，在现实世界的低资源环境中，我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的，在存在不同数量的文本监督。特别是，我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务，其中模型在带有语音字幕的图像上进行训练，并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法，以利用视觉和文本形式，与视觉监督的关键字概率从外部标记的形式。我们发现，视觉接地是有帮助的，即使在存在的文字监督，我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音，当还使用视觉监督时，我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS
Injecting Text in Self-Supervised Speech Pretraining
Google, Inc.（谷歌公司）
自动语音识别（ASR）的自我监督预训练已经显示出不同程度的成功。在本文中，我们建议在预训练期间从两种不同的形式（语音和文本）联合学习表示。所提出的方法，tts 4pretrain补充了对比学习的力量，在自我监督与语言/词汇表示来自合成语音，有效地学习从未转录的语音和未说出的文本。语音编码器中的词汇学习是通过一个附加的序列损失项来实现的，该序列损失项与预训练期间的对比损失相结合。我们证明，这种新的预训练方法产生的字出错率（WER）减少10%相对于良好的基准，Librispeech任务在一个国家的最先进的基线预训练wav2vec2.0。所提出的方法也可以作为一种有效的策略，以弥补缺乏转录的语音，有效地匹配性能的5000小时的转录语音只有100小时的转录语音的AMI会议转录任务。最后，我们展示了WER减少高达15%的内部语音搜索任务比传统的预训练。将文本转换为编码器预训练是对使用更大或域内语言模型重新评分的补充，从而使WER相对减少6%。
2021-08-27 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.（谷歌公司）
训练最先进的自动语音识别（ASR）模型通常需要大量的转录语音。在这项工作中，我们证明了一个模态匹配的联合语音和文本模型，可以利用训练一个大规模的多语言ASR模型，没有任何监督（手动转录）的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言，零监督语音，现实世界的设置，以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集，我们定义了覆盖$102$语言的任务，其中转录的语音在这些语言的$52$中可用，并且可以用于提高其余$50$上的端到端ASR质量。首先，我们表明，通过将语音表示与字节级文本表示相结合，并使用语言嵌入，我们可以显着降低字符出错率（CER）的语言没有监督语音从64.8%到30.8%，相对减少53%。其次，使用南亚语言的一个子集，我们表明，Maestro-U可以促进知识转移的语言与监督语音，即使有限制，没有字形重叠。总体而言，Maestro-U相对于Oracle的性能差距缩小了68.5%，并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition
LS2N - Nantes University (France)（南特大学LS2N研究所（法国））；LIA - Avignon University (France)（阿维尼昂大学LIA研究所（法国））；LIUM - Le Mans University (France)（勒曼大学LIUM研究所（法国））
本文提出通过引入POSER和EmbER等指标，评估语言模型对自动语音识别转录错误的语义和句法影响，弥补WER的不足。
2026-04-30 cs.CL
Pretraining by Backtranslation for End-to-end ASR in Low-Resource Settings
The Johns Hopkins University（约翰斯·霍普金斯大学）
我们探索在低资源环境中训练基于注意力的编码器-解码器ASR。这些模型在训练少量转录语音时表现不佳，部分原因是它们依赖于有足够的目标端文本来训练注意力和解码器网络。在本文中，我们通过仅使用基于文本的数据和其他语言的转录语音来预训练我们的网络参数来解决这个缺点。我们分析了这两种数据来源的相对贡献。在3种测试语言中，我们基于文本的方法比没有预训练的基于文本的增强技术平均相对提高了20%。使用附近语言的转录语音可以进一步降低20-30%的字符错误率。
2019-08-02 cs.CL cs.SD eess.AS
SPGISpeech 2.0: Transcribed multi-speaker financial audio for speaker-tagged transcription
Kensho TechnologiesUSA（Kensho Technologies USA）；NVIDIA CorporationUSA（NVIDIA Corporation USA）
本文介绍SPGISpeech 2.0，一个含3,780小时专业转录财报电话会议音频的金融领域说话人标记转录数据集，通过微调提升流行语音识别模型的说话人标记ASR性能，并免费供非商业使用。
2025-08-07 cs.CL cs.SD eess.AS
Making More of Little Data: Improving Low-Resource Automatic Speech Recognition Using Data Augmentation
University of Groningen（格罗宁根大学）；Stanford University（斯坦福大学）；University of Hawai’i at Mānoa（夏威夷大学马诺阿分校）
本研究探讨了数据增强技术对低资源语言ASR性能的提升，通过自训练和TTS生成数据，在四种少数民族语言上实现最高25.5%的相对词错率降低，有效缓解了数据稀缺问题。
2023-05-19 cs.CL eess.AS
Can Authorship Attribution Models Distinguish Speakers in Speech Transcripts?
Johns Hopkins University（约翰霍普金斯大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
针对语音转录文本说话人归属缺乏基准、现有书面文本模型受话题干扰大的问题，本文构建了控制话题关联的对话语音说话人归属新基准，对比多类基线模型确立SOTA，并分析了转录风格和微调的影响。
2025-05-16 cs.CL cs.LG
DiDOTS: Knowledge Distillation from Large-Language-Models for Dementia Obfuscation in Transcribed Speech
Imperial College London（帝国理工学院）
针对语音转录文本中痴呆症隐私泄露风险及现有混淆方法的缺陷，研究提出DiDOTS方法，通过师生范式和参数高效微调从LLM蒸馏知识，在参数量大幅减少的同时实现更优的隐私保护与文本效用保留效果。
2024-10-05 cs.CL cs.CR
Speech2Vec: A Sequence-to-Sequence Framework for Learning Word Embeddings from Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种新的深度神经网络架构，Speech 2 Vec，用于学习从语音语料库中删除的音频片段的固定长度向量表示，其中向量包含与底层口语单词有关的语义信息，并且如果其对应的底层口语单词在语义上相似，则接近嵌入空间中的其他向量。该模型可以看作是Word 2 Vec的语音版本。它的设计基于RNN编码器-解码器框架，并借用了跳跃图或连续词袋的方法进行训练。直接从语音中学习词嵌入使Speech 2 Vec能够利用纯文本中不存在的语音所携带的语义信息。在13个广泛使用的词相似度基准上对学习到的词嵌入进行了评估和分析，并优于Word 2 Vec从transmittance中学习到的词嵌入。
2018-06-09 cs.CL
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种用于语音识别评估的常用字错误率（WER）指标的变体，该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后，相邻错误的跨度被转换成具有单词和音节边界的音素，并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词，这些单词调整每个错误区域中的单词对齐标签。我们证明，我们的语音导向的单词错误率（POWER）产生类似的分数WER与更好的单词对齐的附加优势，并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Improving End-to-end Speech Recognition with Pronunciation-assisted Sub-word Modeling
Johns Hopkins University（约翰斯·霍普金斯大学）
大多数端到端语音识别系统直接将文本建模为字符或子词的序列。当前的子词提取方法仅考虑字符序列频率，这有时会产生可能导致错误的语音识别输出的较差的子分词。我们提出了发音辅助子词建模（PASM），一个子词提取方法，利用一个词的发音信息。实验结果表明，该方法可以大大提高基于字符的基线，也优于常用的字节对编码方法。
2019-02-21 cs.CL
Learning to Recognise Words using Visually Grounded Speech
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
我们研究了视觉接地语音模型中的单词识别。该模型已经在成对的图像和语音字幕上进行了训练，以创建可用于语音到图像检索的视觉基础嵌入，反之亦然。我们调查这样的模型是否可以用来识别单词嵌入孤立的单词，并使用它们来检索图像的视觉参考。我们调查的时间过程中的单词识别使用门控范式，并进行统计分析，看看是否众所周知的字竞争效应在人类语音处理影响单词识别。我们的实验表明，该模型能够识别单词，门控范式表明，单词可以识别部分输入以及识别是负面影响字竞争的字初始队列。
2020-05-31 cs.CL
How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs
该研究对比了基于Whisper的上下文偏置方法与语音LLMs在识别ASR中生词的性能，发现前者可大幅降低偏置词错误率，后者在朗读语音上表现好但泛化性差，最终为方法选择提供了权衡依据。
2026-08-07 cs.CL
Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；University of Tabuk（塔布克大学）
网络和社交媒体上产生的大量数据增加了对检测在线仇恨言论的需求。检测仇恨言论将减少其对他人的负面影响和影响。自然语言处理（NLP）领域的大量努力旨在检测一般的仇恨言论或检测特定的仇恨言论，如宗教，种族，性别或性取向。仇恨社区倾向于在他们的通信中使用缩写，故意拼写错误和编码词来逃避检测，这给仇恨言论检测任务增加了更多的挑战。因此，词语表征将在检测仇恨言论方面发挥越来越重要的作用。本文研究了在基于双向LSTM的深度模型中利用特定于领域的词嵌入来自动检测/分类仇恨言论的可行性。此外，我们研究了使用迁移学习语言模型（BERT）仇恨言论问题作为一个二元分类任务。实验表明，基于双向LSTM的深度模型的特定领域词嵌入在来自可用仇恨语音数据集的组合平衡数据集上实现了93%的f1分数，而BERT实现了高达96%的f1分数。
2021-11-02 cs.CL
A small Griko-Italian speech translation corpus
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室）；Univ. of Notre Dame（圣母大学）；Univ. of Ioannina（约阿尼纳大学）；UFRGS（南里奥格兰德联邦大学）；University of Essex（埃塞克斯大学）
本文提出了一种扩展的资源非常低的并行语料库收集的濒危语言，Griko，使其有用的计算研究。该语料库由330话语（约20分钟的讲话），已被转录和翻译成意大利语，与注释字级语音转录和语音翻译对齐。语料库还包括形态句法标签和词级注释。应用自动单元发现方法，还生成了伪音素。我们详细介绍了语料库是如何收集，清理和处理的，我们说明了它在零资源任务的使用，提出了一些基线结果的语音翻译对齐和无监督单词发现的任务。该数据集可在线获得，旨在鼓励计算语言文档实验的可复制性和多样性。
2018-07-27 cs.CL
Modelling word learning and recognition using visually grounded speech
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）
背景：语音识别的计算模型通常假设目标词的集合已经给定。这意味着这些模型在没有先验知识和明确监督的情况下无法从头开始学习识别语音。基于视觉的语音模型通过利用语音和视觉输入之间的统计依赖关系，在没有先验知识的情况下学习识别语音。虽然以前已经表明，视觉接地语音模型学习识别输入中的单词的存在，我们明确调查这样的模型作为人类语音识别的模型。研究方法：我们调查的时间过程中的单词识别模拟的模型，使用门控范式，以测试其识别是否受到众所周知的词竞争效应在人类语音处理。我们进一步调查是否矢量量化，离散表示学习的技术，艾滋病的发现和识别的话的模型。结果/结论：我们的实验表明，该模型能够孤立地识别名词，甚至能够正确区分复数名词和单数名词。我们还发现，识别的影响字竞争的字初始队列和邻居密度，反映了字竞争效应在人类的语音理解。最后，我们没有发现任何证据表明矢量量化有助于发现和识别单词。我们的门控实验甚至表明，矢量量化模型需要更多的输入序列的正确识别。
2022-03-14 cs.CL
Learning Acoustic Word Embeddings with Temporal Context for Query-by-Example Speech Search
Northwestern Polytechnical University（西北工业大学）；Alibaba Inc.（阿里巴巴公司）；National University of Singapore（新加坡国立大学）
我们建议学习声学词嵌入的时间上下文查询的例子（QBE）语音搜索。时间上下文包括单词的前导和尾随单词序列。我们假设训练数据库中存在口语单词对。我们用它们的原始时间上下文填充单词对，以形成固定长度的语音片段对。我们通过深度卷积神经网络（CNN）获得声学词嵌入，该网络在具有三重损失的语音片段对上训练。在搜索内容中移动一个固定长度的分析窗口，我们得到一个嵌入的运行序列。以这种方式，搜索口头查询等同于声学词嵌入的匹配。实验表明，我们提出的声学词嵌入学习时间上下文是有效的QBE语音搜索。它们优于最先进的帧级特征表示，并减少运行时计算，因为在QbE语音搜索中不需要动态时间规整。我们还发现，重要的是要有足够的语音段对训练深CNN有效的声学词嵌入。
2018-06-17 cs.CL
Bypass Temporal Classification: Weakly Supervised Automatic Speech Recognition with Imperfect Transcripts
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达）；Xiaomi Corp.（小米公司）
针对人工标注语音语料中转写错误损害 ASR 性能的问题，本文提出扩展 CTC 的 BTC 准则，通过 WFST 组合增强训练图以显式建模转写不确定性，从而提升弱监督 ASR 的鲁棒性与准确率。
2023-06-01 cs.CL cs.LG cs.SD
VoiceMoji: A Novel On-Device Pipeline for Seamless Emoji Insertion in Dictation
Samsung R&D Institute Bangalore（三星研发研究院班加罗尔分院）
大多数语音识别系统只恢复语音中的单词，而无法捕捉情感。用户必须在文本中手动添加表情符号，以增加语气并使沟通变得有趣。虽然有很多的工作做了标点符号添加到转录的讲话，情感添加的领域是未触及的。在本文中，我们提出了一种新的设备上的管道，以丰富语音输入体验。它涉及到，给定一个转录文本的blob，智能地处理和识别emoji插入有意义的结构。此外，它还包括语义文本分析，以预测每个子部分的表情符号，为此，我们提出了一种新的基于注意力的Char Aware（ACA）LSTM架构，它也可以处理词汇表外（OOV）单词。所有这些任务都完全在设备上执行，因此可以帮助设备上的听写系统。据我们所知，这是第一个展示如何在转录文本中添加表情符号的工作。我们证明，我们的组件实现了与以前的神经方法相当的结果，用于标点符号添加和表情符号预测，参数减少了80%。总的来说，我们提出的模型具有非常小的内存占用，仅为4MB，以适应设备上的部署。
2021-12-22 cs.AI cs.CL
Who Needs Words? Lexicon-Free Speech Recognition
Facebook AI Research（Facebook人工智能研究院）；New York, USA（纽约（此处按要求不提取城市信息，但根据原文结构，该条可能仅为地址补充，主要机构为Facebook AI Research））；Menlo Park, USA（门洛帕克（此处按要求不提取城市信息，但根据原文结构，该条可能仅为地址补充，主要机构为Facebook AI Research））
无词汇语音识别自然地处理词汇表外（OOV）单词的问题。在本文中，我们表明，基于字符的语言模型（LM）可以执行，以及基于单词的LM的语音识别，在字出错率（WER），即使没有限制的解码的词典。我们研究了基于字符的LM，并表明卷积LM可以有效地利用大（字符）上下文，这是下游良好语音识别性能的关键。我们特别表明，词汇的无解码性能（WER）的话语与OOV字使用基于字符的LM是优于基于词汇的解码，无论是与字符或字为基础的LM。
2019-09-13 cs.CL
Surfacing contextual hate speech words within social media
National Tsinghua University（清华大学）
社交媒体平台最近出现了仇恨言论话语的增加，这导致了对改进检测方法的呼吁。其中大多数依赖于注释数据、关键字和分类技术。虽然这种方法提供了很好的覆盖面，但在处理网上极端主义社区产生的新术语时，这种方法可能不够，因为这些新术语是具有其他仇恨言论含义的单词的原始来源。这些暗语（既可以是创造的，也可以是被采用的）被设计成逃避自动检测，并且在常规话语中通常具有善意的含义。例如，“skypes”、“googles”和“yahoos”都是具有可用于仇恨言论的替代含义的单词的实例。这种重叠在依赖于收集仇恨言论特定数据和下游分类的关键词时带来了额外的挑战。在这项工作中，我们开发了一种社区发现方法，用于发现极端主义仇恨言论社区并从其成员那里收集数据。我们还开发了一个词嵌入模型，该模型学习单词的替代仇恨言论含义，并通过几个注释实验证明了我们的代码词的候选资格，旨在确定是否有可能在不知道其替代含义的情况下识别一个词用于仇恨言论。我们报告的注释者间的协议率K=0.871，K=0.676分别从我们的极端主义社区和关键字的方法，支持我们的说法，仇恨言论检测是一个上下文的任务，并不依赖于一个固定的关键字列表。我们的目标是通过提供高质量的仇恨言论数据集以及可以输入现有分类方法的学习代码来推进该领域，从而提高自动检测的准确性。
2017-11-28 cs.CL
Symbolic inductive bias for visually grounded learning of spoken language
Tilburg University（蒂尔堡大学）
本文提出在端到端口语视觉学习中引入多任务学习，通过三任务架构联合匹配语音、文本与图像，利用转写语音提供强归纳偏置，显著提升图像检索性能。
2019-06-05 cs.CL cs.LG cs.SD
Reduce Meaningless Words for Joint Chinese Word Segmentation and Part-of-speech Tagging
Xiamen University（厦门大学）；Tsinghua University（清华大学）
传统的汉语分词和词性标注（S&T）联合方法具有泛化能力，不能识别出在训练数据中没有出现的新词。一个不受欢迎的副作用是，许多无意义的单词将被错误地创建。我们提出了一个有效的和高效的框架S&T，引入功能，以显着减少无意义的单词生成。一个通用的词典，维基百科和一个大规模的原始语料库的2000亿个字符被用来生成基于词的特征的词。基于词格的框架包括一个基于字符的模型和一个基于词的模型，以利用我们的基于词的功能。在Penn中文树库5上的实验表明，与基线相比，该方法的无意义词生成减少了62.9%。因此，用于分割的F1度量增加到0.984。
2013-05-25 cs.CL
GigaSpeech: An Evolving, Multi-domain ASR Corpus with 10,000 Hours of Transcribed Audio
1 SpeechColab 2 Seasalt AI Inc 3 Dept EE, Tsinghua University 4 Tencent AI Lab 5 Xiaomi Corporation 6 CLSP \& HLTCOE, The Johns Hopkins University 7 Carnegie Mellon University 8 KE Holdings Inc
本文提出GigaSpeech语料库，包含10,000小时高质量标注音频和40,000小时总音频，通过新的强制对齐与分段流程构建多领域英语ASR训练数据，并提供多规模子集及多个工具包的基线系统。
2021-06-13 cs.CL cs.SD eess.AS
DP-Parse: Finding Word Boundaries from Raw Speech with an Instance Lexicon
Meta AI Research（Meta人工智能研究院）；ENS/PSL Paris（巴黎高等师范学院/巴黎文理研究大学）；EHESS Paris（巴黎高等社会科学研究院）；Inria Paris（巴黎法国国家信息与自动化研究所）
在连续语音中寻找单词边界是具有挑战性的，因为单词之间几乎没有或根本没有相当于“空间”的边界。流行的贝叶斯非参数文本分割模型使用Dirichlet过程来联合分割句子并构建词类型词典。我们介绍DP-Parse，它使用类似的原则，但只依赖于一个实例词汇的单词标记，避免了聚类错误，出现与词汇的单词类型。在2017年零资源语音基准测试中，我们的模型在5种语言中设置了新的语音分割技术。该算法随着更好的输入表示而单调改进，在输入弱监督输入时获得更高的分数。尽管缺乏类型词典，DP-Parse可以流水线到语言模型，并学习由新的口语词嵌入基准评估的语义和句法表示。
2022-06-22 cs.CL
Mining Word Boundaries in Speech as Naturally Annotated Word Segmentation Data
Institute of Artificial Intelligence, School of Computer Science and Technology（人工智能研究所，计算机科学与技术学院）；Soochow University（苏州大学）；Huawei Cloud（华为云）
本文首次提出从平行语音/文本数据中利用停顿时长挖掘词边界作为自然标注，并设计“先补全后训练”策略，显著提升中文分词在跨领域和低资源场景下的性能。
2023-10-30 cs.CL
Mining Word Boundaries from Speech-Text Parallel Data for Cross-domain Chinese Word Segmentation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
本研究首次提出从语音-文本平行数据中挖掘词边界用于跨域中文分词，通过MFA工具对齐得到候选边界，结合概率过滤策略和CTT训练策略，在ZX、AISHELL2两个域的实验验证了方法有效性。
2024-12-12 cs.CL
Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of California, Irvine（加州大学欧文分校）
本文提出检索与演示方法，通过改造直接语音翻译模型并结合跨模态检索器获取相似示例，显著提升罕见词翻译准确率。
2024-10-01 cs.CL
Part-of-Speech Relevance Weights for Learning Word Embeddings
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；iFLYTEK Research（科大讯飞研究院）
本文提出了一种基于词性相关度加权上下文的词嵌入学习模型。词性是自然语言的基本要素。然而，现有的词嵌入模型没有考虑到这一点，本文提出了一种基于位置相关的词性相关加权矩阵来描述上下文窗口中词之间的内在句法关系。在词嵌入训练过程中，我们利用词性相关性权重来对每个词上下文对进行建模。本文提出的模型对词向量和词性相关矩阵进行联合优化.在流行词类比和词相似度任务上的实验都证明了该方法的有效性。
2016-03-24 cs.CL
Online Updating of Word Representations for Part-of-Speech Tagging
LMU Munich（慕尼黑大学）；Cornell University（康奈尔大学）
我们提出了在线无监督领域自适应（DA），这是增量数据时，适用于批量DA是不可能的。在一个部分的语音（POS）标记评估，我们发现，在线无监督DA执行以及批量DA。
2016-04-02 cs.CL
Interactive decoding of words from visual speech recognition models
DeepMind（深度思维）
这项工作描述了一种交互式解码方法，以提高视觉语音识别系统的性能，使用用户输入，以补偿固有的模糊性的任务。与大多数音素到单词的解码管道不同，它产生音素并通过有限状态转换器馈送这些音素，我们的方法以锁步方式扩展单词，便于在每个单词位置插入交互点。交互点使我们能够在解码过程中征求输入，允许用户交互式地指导解码过程。我们模拟的用户输入的行为，使用一个甲骨文给出一个自动化的评价，并显示使用这种方法的文本输入的承诺。
2021-07-01 cs.CL
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling
Multimedia Communications Laboratory, University of Information Technology（信息技术大学多媒体通信实验室）；University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
汉语分词和词性标注是计算语言学和自然语言处理应用中必不可少的任务。许多研究者仍然在争论深度学习时代对中文分词和词性标注的需求。然而，解决歧义和检测未登录词在这一领域具有挑战性的问题。以往的汉语分词和词性标注联合研究主要遵循基于字符的标注模型，侧重于n-gram特征建模。与以往的工作不同，我们提出了一个神经模型命名为SpanSegTag联合中文分词和词性标记的跨度标记，其中每个n-gram的概率是词和词性标记的主要问题。我们使用双仿射操作的左，右边界表示的连续字符模型的n-gram。我们的实验表明，我们的基于BERT的模型SpanSegTag在CTB 5，CTB 6和UD上实现了具有竞争力的性能，或者与使用BERT或ZEN编码器的当前最先进的方法相比，在CTB 7和CTB 9基准数据集上实现了显着的改进。
2021-12-17 cs.CL
STEPs-RL: Speech-Text Entanglement for Phonetically Sound Representation Learning
在本文中，我们提出了一种新的多模态深度神经网络架构，该架构使用语音和文本纠缠来学习语音声音口语表示。STEPs-RL以监督的方式进行训练，以使用其上下文口语单词的语音和文本来预测目标口语单词的语音序列，使得模型对其有意义的潜在表示进行编码。与现有的工作不同，我们已经使用文本和语音进行听觉表示学习，以捕获语义和句法信息以及声学和时间信息。我们的模型产生的潜在表示不仅能够以89.47%的准确率预测目标语音序列，而且在四个广泛使用的单词相似性基准数据集上进行评估时，还能够实现与文本单词表示模型Word 2 Vec和FastText（在文本转录上训练）竞争的结果。此外，生成的向量空间的调查也证明了该模型捕捉语音结构的口语单词的能力。据我们所知，现有的作品都没有使用语音和文本纠缠来学习口语词表示，这使得这项工作成为同类作品中的第一项。
2020-11-23 cs.CL
Prosodic Features from Large Corpora of Child-Directed Speech as Predictors of the Age of Acquisition of Words
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
儿童习得语言的能力是一个被广泛研究的现象，影响词汇学习速度和模式的因素仍然是一个活跃的研究课题。虽然已经提出了许多模型来预测词汇习得的年龄，但很少强调儿童获得的原始输入。在这项工作中，我们提出了一个比较大规模的多模态语料库的韵律文本对齐的儿童导向语音。我们的语料库包含自动提取的词级韵律特征，我们调查这些信息作为预测年龄的收购的效用。我们表明，韵律功能提高预测能力的正则化回归，并证明他们的效用的背景下，多模态分解语言模型训练和测试儿童导向的语音。
2017-09-27 cs.CL
A procedure for unsupervised lexicon learning
我们描述了一个增量无监督的过程来学习单词从转录的连续语音。该算法是基于一个保守的和传统的统计模型，和实证测试的结果表明，它是有竞争力的其他算法，最近已经提出了这项任务。
2001-11-30 cs.CL
A statistical model for word discovery in child directed speech
提出了一种用于儿童引导语音中的分词和词发现的统计模型。一个增量的无监督学习算法来推断词边界的基础上，这个模型和实证测试的结果表明，该算法是有竞争力的其他模型已被用于类似的任务也被提出。
1999-10-13 cs.CL cs.LG
Primitive Part-of-Speech Tagging using Word Length and Sentential Structure
有人认为，当婴儿学习第一语言时，他们会使用一系列小线索来帮助识别和理解，其中一个线索就是单词长度。在本文中，我们提出了一个统计部分的语音标签，它只训练自己在一个句子中的每个单词的字母数。
1998-08-23 cmp-lg cs.CL
Incorporating End-to-End Speech Recognition Models for Sentiment Analysis
University of Hamburg（汉堡大学）；Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术）
先前的工作表明，情感识别的协同效应相结合的几种方式，如听觉，视觉和转录的文本来估计说话人的情感状态。其中，语言情态对情感表达的评价起着至关重要的作用。然而，人工转录的口语文本实际上不能作为系统的输入。我们认为，在训练和评估阶段使用地面实况transmittance导致性能与现实世界的条件相比，显着的差异，因为口语文本必须在飞行中识别，并可能包含语音识别错误。在本文中，我们提出了一种方法集成的自动语音识别（ASR）输出与字符级递归神经网络的情感识别。此外，我们进行了几个实验，调查情感识别的人与机器人的互动，在一个噪声逼真的情况下，这是具有挑战性的ASR系统。我们量化的改进相比，只使用声学模态的情感识别。我们证明了这种方法在多模态情感强度语料库（MOSI）上的有效性，在二进制情感分类任务中实现了73，6%的准确率，超过了以前报道的仅使用声学输入的结果。此外，我们在MOSI数据集上设置了新的最先进性能（80.4%的准确率，2%的绝对改进）。
2019-02-28 cs.CL cs.LG cs.SD
Do speech foundation models really learn words?
University of Toronto（多伦多大学）
本文通过残差化方法剔除音素信息，证明HuBERT和wav2vec 2.0在深层确实学习到独立于词形的词汇表示，并能增强词汇发现任务中的高阶语言信息。
2026-09-10 cs.CL cs.SD
Scaling laws in human speech, decreasing emergence of new words and a generalized model
Nanjing University（南京大学）；Boston University（波士顿大学）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Harvard Medical School（哈佛医学院）；Nanjing University of Posts and Telecommunications（南京邮电大学）
人类语言作为一个典型的复杂系统，它的组织和演化是物理学和文化学研究的一个热点。在本文中，我们提出了第一次详尽的分析人类语音的文本组织。两个重要的结果是：（1）口语的结构和组织可以被描述为Zipf定律和Heaps定律，在书面语篇中观察到;（2）词频与等级分布和不同词的增长随着文本长度的增加显示出显着差异的书籍和演讲。在语音中，词频分布更多地集中在高频词上，并且随着内容长度的增长，新词的出现速度也会迅速下降。基于这些观察，一个新的广义模型，提出了解释这些复杂的动力学行为和语音和书籍之间的差异。
2015-01-07 cs.CL physics.data-an
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.（谷歌公司）
我们目前的结果表明，它是有可能建立一个有竞争力的，大大简化，大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125，000小时的半监督声学训练数据上训练的，这使我们能够减轻单词模型的数据稀疏问题。我们表明，CTC字模型工作得很好，作为一个端到端的全神经语音识别模型，而不使用传统的上下文相关的子字音素单位，需要一个发音词典，没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的，更复杂的，最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Distributional Part-of-Speech Tagging
本文提出了一种词性未知词的自动标注算法。与以前的工作不同，该算法在上下文中而不是在单词类型中对单词标记进行分类。该算法的评估布朗语料库。
1995-03-08 cmp-lg cs.CL
MAP Lexicon is useful for segmentation and word discovery in child-directed speech
由于论文中提出的基本模型发生了相当根本的变化，它已从档案中撤回。
1999-10-14 cs.CL cs.LG
Recognition of Isolated Words using Zernike and MFCC features for Audio Visual Speech Recognition
Dr. Babasaheb Ambedkar Marathwada University（巴巴萨海布·安贝德卡尔马拉特瓦达大学）
机器自动语音识别（ASR）是信号处理领域的一个热门研究课题，吸引了众多学者的研究。近年来，在自动语音阅读系统中已经有了许多进展，包括音频和视觉语音特征，以在噪声条件下识别单词。视听语音识别系统的目标是提高识别率。在本文中，我们计算视觉特征使用Zernike矩和音频特征使用梅尔频率倒谱系数（MFCC）的vVISWa（独立标准词汇的视觉词汇）数据集，其中包含10个扬声器的城市名称的孤立集合。在主成分分析（PCA）空间上对视觉特征进行归一化和降维，对孤立词语音进行识别，基于视觉和听觉特征的孤立词识别率分别为63.88和100。
2014-07-04 cs.CL cs.CV
Generative Annotation for ASR Named Entity Correction
Huawei Translation Service Center, Beijing, China（华为翻译服务中心，北京，中国）
针对ASR对特定领域命名实体识别失败的问题，提出利用语音特征检索候选实体并采用生成式方法标注和纠正转录文本中的实体错误，显著提升实体准确性。
2025-10-24 cs.AI cs.CL
