Discriminative Self-training for Punctuation Prediction
Speech Lab, Alibaba Group（阿里巴巴集团语音实验室）
自动语音识别（ASR）输出文本的标点预测对于提高ASR文本的可读性和提高下游自然语言处理应用的性能起着至关重要的作用。然而，实现良好的标点符号预测性能往往需要大量的标记语音转录，这是昂贵和费力的。在本文中，我们提出了一个判别式自训练方法加权损失和判别标签平滑利用未标记的语音成绩单。在英语IWSLT2011基准测试集和内部汉语口语数据集上的实验结果表明，该方法在强基线（包括BERT、RoBERTa和ELECTRA模型）上取得了显著的标点符号预测精度提高。所提出的判别式自训练方法优于香草自训练方法。我们建立了一个新的国家的最先进的（SOTA）在IWSLT2011测试集，优于目前的SOTA模型的F $_1$的1.3%的绝对增益。
2021-06-18 cs.CL
Streaming Punctuation for Long-form Dictation with Transformers
Microsoft Corporation（微软公司）
虽然语音识别单词出错率（WER）已经达到了英语的人类平等，但长形式听写场景仍然遭受由不规则暂停模式或缓慢说话者引起的分段和标点问题。Transformer序列标记模型在捕获长双向上下文方面是有效的，这对于自动标点至关重要。然而，自动语音识别（ASR）生成系统受到实时要求的限制，使得在做出标点决定时难以结合正确的上下文。在本文中，我们提出了一个流的方法，使用动态解码窗口的ASR输出的标点符号或重新标点符号，并衡量其对标点符号和分割精度的影响跨场景。新系统解决了过度分割问题，将分割F0.5分数提高了13.9%。流标点符号实现了机器翻译（MT）下游任务的平均BLEU分数提高0.66。
2022-12-06 cs.CL
Multimodal Semi-supervised Learning Framework for Punctuation Prediction in Conversational Speech
Amazon AWS AI（亚马逊AWS人工智能）
在这项工作中，我们探索了一种多模态半监督学习方法，通过学习大量未标记的音频和文本数据的表示来进行标点符号预测。语音处理中的常规方法通常使用强制对齐来将每帧声学特征编码为词级特征，并执行所得到的声学和词汇表示的多模态融合。作为一种替代方案，我们探索基于注意力的多模态融合，并将其性能与基于强制对齐的融合进行比较。在Fisher语料库上进行的实验表明，与基线BLSTM模型相比，我们提出的方法在参考成绩单和ASR输出上分别实现了~6-9%和~3-4%的绝对改善（F1得分）。我们通过使用N-best列表进行数据增强，进一步提高了模型对ASR错误的鲁棒性，从而使ASR输出提高了约2-6%。我们还证明了半监督学习方法的有效性，通过对各种规模的语料库进行消融研究。当对1小时的语音和文本数据进行训练时，所提出的模型比基线模型实现了约9-18%的绝对改进。
2020-08-03 cs.CL eess.AS
Improved Training for End-to-End Streaming Automatic Speech Recognition Model with Punctuation
NAVER Cloud（NAVER云）
本文提出一种基于分块Transformer编码器和CTC损失的流式语音识别标点预测方法，通过拼接长序列训练并结合分块与整句CTC损失，同时提升了标点预测F1分数和词错误率。
2023-06-02 cs.CL eess.AS
Punctuation Prediction for Polish Texts using Transformers
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
针对语音识别输出文本缺标点的问题，本文提出基于HerBERT模型微调的波兰语标点预测方案，在Poleval 2022任务1中取得71.44的加权F1值。
2024-10-06 cs.CL
TRScore: A Novel GPT-based Readability Scorer for ASR Segmentation and Punctuation model evaluation and selection
Microsoft Corporation（微软公司）
标点和分段是自动语音识别（ASR）中可读性的关键，通常使用F1分数进行评估，该分数需要高质量的人类转录，并且不能很好地反映可读性。人类评估是昂贵的，耗时的，并遭受大的观察者之间的变化，特别是在会话语音缺乏严格的语法结构。大型预训练模型捕捉语法结构的概念。我们提出TRScore，一种新的可读性测量使用GPT模型来评估不同的分割和标点系统。我们与人类专家一起验证我们的方法。此外，我们的方法可以定量评估文本后处理技术，如大写，逆文本规范化（ITN），和整体可读性的不流利，传统的字出错率（WER）和插槽出错率（SER）的指标无法捕捉。TRScore与传统的F1和人类可读性评分密切相关，Pearson相关系数分别为0.67和0.98。它还消除了对模型选择的人工翻译的需要。
2022-10-27 cs.CL
Capitalization and Punctuation Restoration: a Survey
Research Institute for Artificial Intelligence “Mihai Drăgănescu”, Romanian Academy（罗马尼亚科学院“米哈伊·德勒格内斯库”人工智能研究所）
确保正确的标点符号和字母大小写是应用复杂自然语言处理算法的关键预处理步骤。这对于缺少标点符号和大小写的文本源尤其重要，例如自动语音识别系统的原始输出。此外，短信和微博平台提供的标点符号和大小写不可靠，而且往往错误。这项调查提供了一个概述的历史和国家的最先进的技术，恢复标点符号和纠正字的大小写。此外，当前的挑战和研究方向突出。
2021-11-21 cs.CL
indic-punct: An automatic punctuation restoration and inverse text normalization framework for Indic languages
Thoughtworks（思特沃克）；Ekstep Foundation（Ekstep基金会）
自动语音识别（ASR）生成的文本大多数时候没有任何标点符号。缺少标点符号会影响文本的可读性。此外，诸如情感分析、机器翻译之类的下游NLP任务通过具有标点符号和句子边界信息而大大受益。我们提出了一种使用预训练IndicBERT模型的文本自动标点方法。逆文本规范化是通过手写加权有限状态转换器（WFST）语法来完成的。我们已经为11种印度语言开发了这个工具，即印地语，泰米尔语，泰卢固语，卡纳达语，古吉拉特语，马拉地语，奥迪亚语，孟加拉语，阿萨姆语，马拉雅拉姆语和旁遮普语。所有代码和数据都是公开的。可用
2022-03-31 cs.CL
End-to-end Speech-to-Punctuated-Text Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；RevComm, Inc.（RevComm公司）
传统的自动语音识别系统不产生对语音识别结果的可读性很重要的标点符号。它们也需要用于后续的自然语言处理任务，如机器翻译。在标点符号预测模型方面已经有很多工作，这些模型将标点符号插入到语音识别结果中作为后处理。然而，这些研究并没有利用声学信息的标点符号的预测，并直接受到语音识别错误。在这项研究中，我们提出了一个端到端的模型，以语音作为输入和输出标点文本。该模型有望在使用声学信息的同时对语音识别错误鲁棒地预测标点符号。我们还建议将一个辅助损失训练模型使用的输出的中间层和不加标点的文本。通过实验，我们比较了所提出的模型的级联系统的性能。该模型在不牺牲语音识别错误率的前提下，实现了比级联系统更高的标点预测精度。实验还表明，使用中间输出对不加标点的文本进行多任务学习是有效的。此外，所提出的模型只有约1/7的参数相比，级联系统。
2022-07-07 cs.CL cs.SD eess.AS
LibriSpeech-PC: Benchmark for Evaluation of Punctuation and Capitalization Capabilities of end-to-end ASR Models
NVIDIA（英伟达）
本文提出 LibriSpeech-PC 基准，通过恢复标点与大小写的数据集、PER 指标和基线模型，系统评估端到端 ASR 的标点及大小写预测能力。
2023-10-04 cs.CL
Vietnamese Capitalization and Punctuation Recovery Models
Posts and Telecommunications Institute of Technology（邮电技术学院）
尽管最近在自动语音识别（ASR）中出现了性能良好的方法，但这些方法不能确保其输出的正确大小写和标点符号。这个问题对理解自然语言处理（NLP）算法和人类处理都有重大影响。在原始文本输入的预处理管道中，大写和标点符号恢复是必不可少的。对于像越南语这样的低资源语言，用于此任务的公共数据集很少。在本文中，我们贡献了一个公共数据集的大写和标点符号恢复越南语，并提出了一个联合模型，这两个任务命名为JointCapPunc。在越南语数据集上的实验结果表明，我们的联合模型的有效性相比，单一的模型和以前的联合学习模型。我们在https://github.com/anhtunguyen98/JointCapPunc公开发布我们的数据集和模型的实现
2022-07-04 cs.CL
A Small and Fast BERT for Chinese Medical Punctuation Restoration
Guangdong University of Technology（广东工业大学）；PKU-HKUST Shenzhen Hong Kong Institute（北大港深创新及科技园（北京大学香港科技大学深圳研究院））；Shenzhen Raisound Technologies, Co., Ltd（深圳瑞声科技股份有限公司）
本文提出一种基于预训练与微调的中文医学标点恢复轻量模型，通过监督对比学习和标点符号预测辅助任务蒸馏预训练模型，在仅10%模型规模下达到中文RoBERTa约95%的性能。
2024-06-28 cs.CL
End to End ASR System with Automatic Punctuation Insertion
最近的自动语音识别系统已经朝着可以一起训练的端到端系统发展。最近提出的许多技术实现了这一趋势，包括使用CNN的特征提取，使用RNN的上下文捕获和声学特征建模，使用连接主义时间分类的输入和输出序列的自动对齐，以及用RNN语言模型取代传统的n-gram语言模型。从历史上看，人们对文本或语音到文本上下文的自动标点有很大的兴趣。然而，似乎很少有人有兴趣将自动标点符号纳入新兴的基于神经网络的端到端语音识别系统，部分原因是缺乏英语语音语料库与标点成绩单。在这项研究中，我们提出了一种方法来生成标点成绩单的TEDLIUM数据集使用转录ted.com。我们还提出了一个端到端的ASR系统，输出单词和标点符号同时从语音信号。将Damerau Levenshtein距离和槽出错率结合到DLev-SER中，当假设文本与参考文献不完全对齐时，我们能够测量标点符号出错率。与以前的方法相比，我们的模型将时隙出错率从0.497降低到0.341。
2020-12-03 cs.CL cs.LG cs.SD
Boosting Punctuation Restoration with Data Generation and Reinforcement Learning
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）；University of Southern California（南加利福尼亚大学）
针对书面带标点文本与ASR文本存在差异、难以用于训练ASR标点恢复系统的问题，提出结合同主题书面文本与大型预训练生成语言模型的强化学习方法，在两个基准数据集的ASR测试集上达到SOTA性能。
2023-07-24 cs.CL
Evaluation of Automated Speech Recognition Systems for Conversational Speech: A Linguistic Perspective
自动语音识别（ASR）作为语音用户界面和对话代理（例如Alexa、Google Home等语音助理）满足更多非正式和自由形式的输入数据，获得知名度。会话语音是语音识别中最困难的和与环境相关的一类数据。本文从语言学的角度，以法语为例，对法语同音异义词的消歧进行了研究。我们的贡献旨在提供更多的洞察人类语音转录准确性的条件下，重现那些国家的最先进的ASR系统，虽然在一个非常集中的情况。我们调查了一个案例研究，涉及最常见的错误，在法语的自动转录。
2022-12-05 cs.CL
Replacing Human Audio with Synthetic Audio for On-device Unspoken Punctuation Prediction
Google（谷歌）
我们提出了一个新的多模态的未说出的标点符号预测系统的英语语言，结合声学和文本特征。我们第一次证明，通过完全依赖于使用韵律感知文本到语音系统生成的合成数据，我们可以在未说出的标点符号预测问题上胜过使用昂贵的人类音频记录训练的模型。我们的模型架构非常适合设备上使用。这是通过利用自动语音识别文本输出的基于散列的嵌入结合声学特征作为准递归神经网络的输入来实现的，从而保持模型大小小且延迟低。
2021-02-10 cs.CL cs.LG cs.SD
Semi-Supervised Model Training for Unbounded Conversational Speech Recognition
Marchex Inc.（Marchex公司）
对于会话式大词汇量连续语音识别（LVCSR）任务，通常使用多达约两千小时的音频来训练现有技术的模型。然而，标记的会话音频的收集是极其昂贵、费力且容易出错的。此外，像Fisher English（2004）或Switchboard（1992）这样的学术语料库不足以在会话语音的无界空间中以足够的精度训练模型。这些语料库也是陈旧的，由于过时的声学电话功能和快速发展的口语词汇和成语在过去的几十年。利用我们的未标记的电话数据集的巨大规模，我们提出了一种技术来构建一个现代的，高质量的会话语音训练语料库的顺序上的数以亿计的话语（或数万小时）的声学和语言模型训练。我们描述的数据汇集，选择和训练，评估我们更新的语音识别系统的测试语料库的7 K手动转录的话语的结果。我们显示相对字出错率（WER）减少{35%，19%}的{代理，呼叫者}话语在我们的种子模型和5%的绝对WER改善IBM沃森STT在这个会话语音任务。
2017-05-26 cs.CL
Efficient Punctuation Restoration via Weighted Lookahead Scoring Method for Streaming ASR Systems
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出一种非自回归的加权前瞻评分方法，通过比较标点插入假设与无插入基线，在有限未来上下文中实现流式ASR的高效标点恢复，无需微调即可达到高F1分数。
2026-04-18 cs.CL
ViraPart: A Text Refinement Framework for Automatic Speech Recognition and Natural Language Processing Tasks in Persian
Part AI Research Center（Part AI研究中心）
波斯语是一种曲折的主宾动词语言。这一事实使波斯语成为一种更不确定的语言。然而，使用零宽度非连接器（ZWNJ）识别，标点符号恢复和波斯语Ezafe构造等技术将使我们更容易理解和精确的语言。在波斯语的大部分作品中，这些技术都是单独解决的。尽管如此，我们认为，为了完善波斯语文本，所有这些任务都是必要的。在这项工作中，我们提出了一个ViraPart框架，在其核心中使用嵌入式ParsBERT进行文本澄清。首先，对波斯语使用BERT变体，然后使用分类器层进行分类过程。接下来，我们将模型输出组合为输出明文。最后，ZWNJ识别、标点符号恢复和波斯文Ezafe构建的模型的平均F1宏分数分别为96.90%、92.13%和98.50%。实验结果表明，我们提出的方法是非常有效的文本细化的波斯语。
2021-11-21 cs.CL
Robust Prediction of Punctuation and Truecasing for Medical ASR
Amazon AWS AI（亚马逊AWS AI）
医学领域中的自动语音识别（ASR）系统专注于转录临床口述和医生-患者对话，由于该领域的复杂性，该系统经常带来许多挑战。ASR输出通常经过自动标点，使用户能够自然地说话，而不必说出笨拙和明确的标点命令，如“句号”，“添加逗号”或“感叹号”，而Truecasing增强了用户的可读性并提高了下游NLP任务的性能。本文提出了一个条件联合建模框架，使用预训练的掩蔽语言模型，如BERT，BioBERT和RoBERTa的标点符号和真值预测。我们还提出了技术领域和任务的具体适应微调掩蔽语言模型与医疗领域的数据。最后，我们通过执行数据增强来提高模型对ASR中常见错误的鲁棒性。在听写和会话风格语料库上进行的实验表明，在F1度量下，我们提出的模型在地面真实文本上实现了~5%的绝对改进，在ASR输出上实现了~10%的改进。
2020-07-11 cs.CL cs.SD eess.AS
The IBM 2016 English Conversational Telephone Speech Recognition System
IBM（国际商业机器公司）
我们描述了一个集合的声学和语言建模技术，降低了字的出错率，我们的英语会话电话LVCSR系统的集线器5 2000年的评估测试集的交换机子集上的记录6.6%。在声学方面，我们使用了三种强大模型的分数融合：具有maxout激活的递归网络，具有3x3内核的非常深的卷积网络，以及基于FMLLR和i向量特征的双向长短期记忆网络。在语言建模方面，我们使用更新的模型“M”和分层神经网络LM。
2016-06-22 cs.CL
Alzheimer Disease Classification through ASR-based Transcriptions: Exploring the Impact of Punctuation and Pauses
Radboud University（拉德堡德大学）
本研究使用Whisper ASR模型获取转录文本，结合FastText词嵌入和循环神经网络进行阿尔茨海默病分类，发现停顿编码能持续提升分类性能，而标点符号仅带来微小改善。
2023-06-06 cs.CL cs.SD eess.AS
The IBM 2015 English Conversational Telephone Speech Recognition System
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们描述了IBM英语会话电话语音识别系统的最新改进。一些被发现有益的技术是：退火辍学率的maxout网络;在2000小时的数据上训练了大量输出的网络;通过结合瓶颈层和输出层并重新训练所得模型，对部分展开的递归神经网络和卷积网络进行联合建模;最后，使用指数和神经网络LM进行复杂的语言模型重新评分。这些技术导致Hub 5 -2000评估测试集的总机部分的单词出错率为8.0%，比我们之前发布的最佳结果相对好23%。
2015-05-21 cs.CL
Longer is (Not Necessarily) Stronger: Punctuated Long-Sequence Training for Enhanced Speech Recognition and Translation
NVIDIA（英伟达）；Suno Inc（Suno公司）
本文提出基于 FastConformer 的长序列PnC训练方法，用含完整标点大小写的长话语改进语音识别与翻译，并揭示超过40秒后的性能平台期。
2024-09-09 cs.CL eess.AS
The Microsoft 2017 Conversational Speech Recognition System
Microsoft（微软）
我们描述了2017年版本的微软会话语音识别系统，其中我们更新了2016年系统，其中包括基于神经网络的声学和语言建模的最新发展，以进一步推进Switchboard语音识别任务的最新技术水平。该系统将CNN-BLSTM声学模型添加到我们之前组合的模型架构集合中，并在重新评分中包括基于字符和对话会话感知的LSTM语言模型。对于系统组合，我们采用了两个阶段的方法，其中声学模型的子集首先在句音/帧级别组合，然后通过混淆网络进行单词级别的投票。在系统合并后，我们还增加了一个混淆网络重评分步骤。结果系统在2000 Switchboard评估集上产生5.1\%的字出错率。
2017-08-24 cs.CL
The Marchex 2018 English Conversational Telephone Speech Recognition System
Marchex Inc.（Marchex公司）
在本文中，我们描述了最近的性能改进的生产Marchex语音识别系统，我们的自发客户对企业的电话交谈。在我们之前的工作中，我们专注于域内语言和声学模型训练。在这项工作中，我们采用了最先进的半监督无格最大互信息（LF-MMI）训练过程，可以监督来自未标记音频的完整格。在Marchex English（ME）（北美英语会话的现代评估集）上，我们观察到绝对单词出错率（WER）降低了3.3%（座席3.2%，呼叫者3.6%），解码速度比2017年生产系统的性能快3倍。我们希望这一改进能够提高Marchex Call Analytics系统的性能，特别是在自然语言处理管道方面。
2019-05-01 cs.CL
Punctuation Prediction in Spontaneous Conversations: Can We Mitigate ASR Errors with Retrofitted Word Embeddings?
Avaya（亚美亚公司）；Wrocław University of Technology（弗罗茨瓦夫理工大学）；Poznan University of Technology（波兹南理工大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
自动语音识别（ASR）系统会引入单词错误，这通常会混淆标点预测模型，从而使标点恢复成为一项具有挑战性的任务。这些错误通常以同音异义词的形式出现。我们展示了如何改造的特定领域的数据上的词嵌入可以减轻ASR错误。我们的主要贡献是更好地对齐同音嵌入的方法和验证所提出的方法上的标点符号预测任务。与最先进的模型相比，我们记录了标点符号预测准确率的绝对提高，从6.2%（问号）到9%（句号）。
2020-04-13 cs.CL cs.LG cs.SD
ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition
Hugging Face（拥抱脸公司）
语音识别应用程序涵盖一系列不同的音频和文本分布，具有不同的说话风格、背景噪声、转录标点和字符大小写。然而，许多语音识别系统需要特定于语音集的调谐（音频滤波、标点符号去除和大小写的归一化），因此假设音频和文本分布两者的先验知识。这种调优要求可能导致系统无法推广到其他数据集和域。为了促进多域语音系统的发展，本文引入了端到端语音基准测试（ESB），用于评估单个自动语音识别（ASR）系统在大量语音数据集上的性能。基准测试系统必须跨数据集使用相同的数据预处理和后处理算法-假设音频和文本数据分布是先验未知的。我们在此基准测试中比较了一系列最先进的（SoTA）端到端（E2 E）系统，展示了如何在广泛的数据分布上应用和评估单个语音系统。我们发现E2 E系统在数据集上是有效的：在一个公平的比较中，E2 E系统在2.6%的SoTA系统中实现了对特定数据集的调整。我们的分析表明，转录文物，如标点符号和套管，造成的ASR系统的困难，应包括在评估。我们相信，在一系列数据集上的E2 E基准测试促进了多领域语音识别系统的研究。ESB可以从https://huggingface.co/esb获得。
2022-10-24 cs.CL cs.SD eess.AS
Multimodal Punctuation Prediction with Contextual Dropout
Apple（苹果公司）
自动语音识别（ASR）广泛应用于消费电子产品中。ASR极大地提高了技术的实用性和可访问性，但通常输出的只是没有标点符号的单词序列。这可能导致在推断用户意图时的模糊性。我们首先提出了一种基于transformer的标点符号预测方法，该方法在2012年的IWC TED任务中实现了8%的改进，击败了以前的最新技术[1]。接下来，我们描述了我们的多模态模型，它从文本和音频中学习，在我们拥有音频和transmittance的内部数据集上，它比纯文本算法提高了8%。最后，我们提出了一种方法来学习一个模型，使用上下文dropout，使我们能够在测试时处理变量的未来上下文。
2021-02-12 cs.AI cs.CL cs.LG
Joint Learning of Correlated Sequence Labelling Tasks Using Bidirectional Recurrent Neural Networks
IBM Research - Bangalore（IBM研究院-班加罗尔）；IBM Research - Haifa（IBM研究院-海法）
由自动语音识别（ASR）系统产生的单词流通常没有标点和格式化。大多数自然语言处理应用程序都希望输入经过分割且格式良好的文本，这在ASR输出中是不可用的。本文提出了一种新的技术，使用双向循环神经网络联合建模多个相关的任务，如标点符号和大写，从而提高这些任务的性能。该方法可以扩展到任何其他相关序列标记任务的联合建模。
2017-07-18 cs.CL
Mitigating Structural Noise in Low-Resource S2TT: An Optimized Cascaded Nepali-English Pipeline with Punctuation Restoration
Department of Electronics and Computer Engineering, Institute of Engineering, Pulchowk Campus（电子与计算机工程系，工程学院，普尔楚克校区）
本文提出优化的尼泊尔-英语S2TT流水线，通过标点恢复模块显著提升翻译质量，实现BLEU分数提升4.90点。
2026-03-02 cs.AI cs.CL cs.LG
The CAPIO 2017 Conversational Speech Recognition System
Capio Inc.（卡皮奥公司）
在本文中，我们将展示我们如何在符合行业标准的NIST 2000 Hub 5英语评估集上实现最先进的性能。我们探索密集连接的LSTM，灵感来自最近为图像分类任务引入的密集连接的卷积网络。我们还提出了一个声学模型适应方案，简单地平均种子神经网络声学模型及其适应版本的参数。该方法与CallHome训练语料库一起应用，并且相对于评估集的CallHome部分平均提高了6.1%（相对）的单个系统性能，而在交换机部分上没有性能损失。通过在三个不同电话集上训练的5个系统上进行RNN-LM重新评分和网格组合，我们的2017年语音识别系统在Switchboard和CallHome上分别获得了5.0%和9.1%的错误率，这两个都是迄今为止报道的最佳单词出错率。根据IBM在其最新的工作，以比较人类和机器的转录，我们报告的开关板字出错率可以被认为是超过人类的平等（5.1%）转录会话电话语音。
2018-04-10 cs.CL
SpokesBiz -- an Open Corpus of Conversational Polish
University of Łódź（罗兹大学）；Polish-Japanese Academy of Information Technology（波日信息技术学院）
研究发布了CLARIN-BIZ项目下开发的免费波兰语会话语料库SpokesBiz，含超650小时经转写、说话人分离及人工标注的录音，可用于语言学研究与ASR系统的评估改进。
2023-12-19 cs.CL cs.SD eess.AS
Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech
我们描述了一种用于对会话语音中的对话行为进行建模的统计方法，即，类似言语行为的单元，如陈述、问题、反向通道、同意、不同意和道歉。我们的模型检测和预测的基础上的词汇，搭配，韵律线索，以及对话行为序列的话语连贯性的对话行为。对话模型是基于治疗会话的话语结构作为一个隐藏的马尔可夫模型和个人的对话行为的观察，从模型的状态。通过对话行为n-gram对可能的对话行为序列进行约束建模，将统计对话语法与单词n-gram、决策树和神经网络相结合，对每个对话行为的特殊词汇和韵律表现进行建模。我们开发了一个概率集成的语音识别与对话建模，以提高语音识别和对话行为分类的准确性。使用来自自发的人对人电话语音的Switchboard语料库的1，155个会话的大型手动标记数据库来训练和评估模型。我们实现了良好的对话行为标记准确率（65%基于错误，自动识别的单词和韵律，71%基于单词成绩单，相比之下，机会基线准确率为35%，人类准确率为84%）和单词识别错误的小幅减少。
2000-10-26 cs.CL
LSTM-LM with Long-Term History for First-Pass Decoding in Conversational Speech Recognition
Microsoft（微软）
LSTM语言模型（LSTM-LM）已被证明是强大的，并且在现代语音识别系统中比基于计数的n-gram LM产生了显着的性能改进。由于其无限的历史状态和计算量，大多数以前的研究集中在应用LSTM-LM在第二次通过重新评分的目的。最近的工作表明，它是可行的和计算负担得起的，采用LSTM-LM在第一轮解码的动态（或基于树）的解码器框架内。在这项工作中，LSTM-LM是由一个WFST解码器上的飞行的第一轮解码。此外，受LSTM-LM的长期历史性质的激励，在会话语音识别的第一遍解码中探索了当前话语之外的上下文的使用。LSTM-LM的隐藏状态在整个话语中捕获上下文信息，并且可以用于有效地引导第一遍搜索。在我们的内部会议转录系统的实验结果表明，显着的性能改善，可以通过将上下文信息与LSTM-LM在第一遍解码，相比，在第二遍重新评分应用上下文信息。
2020-10-21 cs.CL
Efficient Ensemble for Multimodal Punctuation Restoration using Time-Delay Neural Network
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
本文提出EfficientPunct，一种基于多模态时延神经网络的集成方法，用于高效标点恢复，以更少参数超越现有最佳模型1.0 F1点，并创下新的最先进水平。
2024-02-24 cs.CL cs.HC cs.LG
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络，结合会话上下文/词/语音嵌入。与传统的语音识别模型不同，我们的模型学习跨越句子的较长对话上下文信息，因此更好地识别长对话。具体地，我们提出使用基于文本的外部词和/或句子嵌入（即，fastText，BERT），从而显著改善了单词出错率，并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型，并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Controllable Time-Delay Transformer for Real-Time Punctuation Prediction and Disfluency Detection
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
近年来，随着自动语音识别（ASR）应用的日益广泛，自动插入标点符号和消除不流利的语音，对于提高文本的可读性以及后续应用（如机器翻译、对话系统等）的性能至关重要。在本文中，我们提出了一个可控的时间延迟Transformer（CT-Transformer）模型，共同完成标点预测和不流利检测任务在实时的。CT-Transformer模型有助于以可控的时间延迟冻结部分输出，以满足后续应用所需的部分解码中的实时的约束。我们进一步提出了一种快速解码策略，以最大限度地减少延迟，同时保持竞争力的性能。在IWSLT 2011基准数据集和内部中文标注数据集上的实验结果表明，该方法在F值上优于现有的模型，并实现了具有竞争力的推理速度。
2020-03-03 cs.CL cs.SD eess.AS
Automatic Speech Recognition with Very Large Conversational Finnish and Estonian Vocabularies
Aalto University（阿尔托大学）
如今，大词汇量语音识别中的语言模型的词汇量通常是几十万个单词。虽然这在某些应用程序中已经足够了，但词汇表外的单词仍然限制了其他应用程序的可用性。在黏着语中，除了复合词和词形变化之外，用于会话的词汇应该包括数百万个单词形式，以覆盖由于口语发音而引起的拼写变化。例如，当识别罕见的专有名称很重要时，也需要非常大的词汇表。
2017-09-29 cs.CL cs.SD
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory（信号处理与语音通信实验室）；Speech Communication Laboratory（语音通信实验室）
本文提出一种结合突显检测的突显感知自动语音识别方法，通过微调wav2vec2模型标注语料并训练新型ASR系统，在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
SemEval 2022 Task 12: Symlink- Linking Mathematical Symbols to their Descriptions
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）
鉴于直播视频的数量越来越多，直播视频文本的自动语音识别和后处理对于高效的数据管理和知识挖掘至关重要。这个过程中的一个关键步骤是标点符号恢复，从视频转录中恢复基本的文本结构，如短语和句子边界。这项工作提出了一个新的人类注释语料库，称为BehancePR，用于在直播视频转录中进行标点符号恢复。我们在BehancePR上的实验证明了这一领域标点符号恢复的挑战。此外，我们发现，流行的自然语言处理工具包无法检测句子边界的非标点文字直播视频，需要更多的研究工作，以开发强大的模型，这一领域。
2022-04-25 cs.CL cs.CV
Conversational Speech Recognition By Learning Conversation-level Characteristics
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
会话自动语音识别（ASR）是识别包括多个说话者的会话语音的任务。与会话层面的自动会话识别不同，会话自动会话识别可以自然地利用会话的特定特征，例如角色偏好和主题连贯性。本文提出了一种会话ASR模型，该模型在流行的端到端神经框架下显式学习会话级特征。拟议模式的亮点有两个。首先，一个潜在的变分模块（LVM）附加到一个符合者为基础的编码器-解码器ASR骨干学习角色偏好和主题一致性。第二，专门采用主题模型，使解码器的输出偏向于预测主题中的单词。在两个普通话会话ASR任务上的实验表明，该模型实现了最大12%的相对字符出错率（CER）减少。
2022-02-17 cs.CL cs.SD eess.AS
Acoustic-to-Word Models with Conversational Context Information
Carnegie Mellon University（卡内基梅隆大学）
会话上下文信息，跨越句子的更高层次的知识，可以帮助识别长对话。然而，现有的语音识别模型通常是在句子级别构建的，因此它可能无法捕获重要的会话上下文信息。端到端语音识别的最新进展使得能够将上下文与其他可用信息（例如，声学、语言资源）和直接从语音识别单词。在这项工作中，我们提出了一个直接的声学到词，端到端的语音识别模型，能够利用会话上下文，以更好地处理长对话。我们评估我们提出的方法上的交换机会话语音语料库，并表明我们的系统优于一个标准的端到端的语音识别系统。
2019-05-21 cs.CL cs.LG eess.AS
Balalaika: Data-Centric, Prosody-Aware Annotation Pipeline for Russian Speech
lab260, Moscow Technical University of Communications and Informatics（莫斯科通信与信息学技术大学）
本文提出Balalaika流水线，结合语义VAD分割、多ASR集成与ROVER共识解码，生成包含重音、标点和IPA音素的俄语音频标注，构建了5100小时多源俄语语料库，验证了在语音去噪和TTS任务中一致的性能提升。
2026-06-24 cs.CL cs.SD eess.AS
A light-weight and efficient punctuation and word casing prediction model for on-device streaming ASR
Cisco Systems（思科系统）
针对设备端流式ASR中Transformer模型过大的问题，提出基于CNN和BiLSTM的轻量模型，联合预测标点和大小写，性能与Transformer相当，体积仅为其1/40，速度快2.5倍。
2024-07-18 cs.CL cs.LG cs.SD
DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech
KAIST（韩国科学技术院）
当前的大多数文本转语音（TTS）数据集是个体话语的集合，包含很少的会话方面。在本文中，我们介绍了DailyTalk，一个高质量的会话语音数据集设计的会话TTS。我们从开放域对话数据集DailyDialog中采样、修改并记录了2,541个对话，这些对话继承了其注释属性。在我们的数据集之上，我们扩展了以前的工作作为我们的基线，其中非自回归TTS以对话中的历史信息为条件。从基线实验与一般和我们的新指标，我们表明，DailyTalk可以作为一个通用的TTS数据集，更重要的是，我们的基线可以代表上下文信息从DailyTalk。DailyTalk数据集和基线代码可免费供CC-BY-SA 4.0许可证的学术使用。
2023-03-13 cs.AI cs.CL eess.AS
Finetuning End-to-End Models for Estonian Conversational Spoken Language Translation
Tallinn University of Technology（塔林理工大学）
本文针对爱沙尼亚语会话语音翻译数据稀缺问题，通过合成数据微调 Whisper、OWSM 3.1 和 SeamlessM4T 三种端到端模型，其中 SeamlessM4T 性能达到或超过级联系统。
2024-07-04 cs.CL eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出一种基于跨模态对话表示的对话ASR系统，通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性，在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
The Microsoft 2016 Conversational Speech Recognition System
Microsoft（微软）
我们描述了微软的会话语音识别系统，在该系统中，我们结合了最近的发展，基于神经网络的声学和语言建模，以推进最先进的开关识别任务。受机器学习集成技术的启发，该系统使用了一系列卷积和递归神经网络。I矢量建模和无网格MMI训练为所有声学模型架构提供了显著的增益。语言模型重新评分与多个向前和向后运行的RNNLM，和基于词后验的系统组合提供了20%的提升。最好的单个系统使用带有RNNLM重新评分的ResNet架构声学模型，并在NIST 2000 Switchboard任务中实现了6.9%的字出错率。该组合系统的出错率为6.2%，比以前报告的基准任务的结果有所改善。
2017-01-25 cs.CL eess.AS
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出端到端多任务的说话人轮次感知对话语音翻译模型，融合 ASR、ST 与轮次检测，并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology（格拉茨工业大学）
随着对话系统的交互性和社会化程度的提高，对对话语音进行准确的自动语音识别（ASR）也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而，这种对话的收集和注释是一个耗时的过程，并且对于这种特定的说话风格来说，数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话，并在同一时间，与扬声器之间的发音特征有很大的变化，我们改进了基于Kaldi的ASR系统，通过将（大）基于知识的发音词典，同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%，奥地利德语阅读语音和最好的平均WER的48.5%，会话语音。我们发现，通过使用我们最好的发音词典，可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明，对于低资源的情况下，尽管语音技术的一般趋势是只使用基于数据的方法，基于知识的方法是一个成功的，有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
Mark My Words: A Robust Multilingual Model for Punctuation in Text and Speech Transcripts
Nilekani Centre at AI4Bharat（AI4Bharat的Nilekani中心）；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Mahindra University, Hyderabad（马恒达大学海得拉巴）
本文提出基于预训练大语言模型的多语言标点恢复模型Cadence，将支持范围扩展到全部22种印度语言及英语，性能超越此前最优模型，并分析了领域偏移和罕见标点等挑战。
2025-06-04 cs.CL
Turn-Taking Prediction for Natural Conversational Speech
Google Inc.（谷歌公司）
虽然流式语音助理系统已被用于许多应用中，但该系统通常专注于不自然的一次性交互，假设来自单个语音查询的输入没有犹豫或不流利。然而，一个共同的会话话语往往涉及多个问题与话轮转换，除了不流利。这些不流利包括停下来思考，犹豫，单词拉长，充满停顿和重复的短语。这使得对会话语音（包括具有多个查询的会话语音）进行语音识别成为一项具有挑战性的任务。为了更好地对会话交互进行建模，区分不流利和查询结束是至关重要的，以便允许用户保持不流利的发言权，同时在用户完成发言时使系统尽可能快地响应。在本文中，我们提出了一个建立在端到端（E2E）语音识别器之上的话轮转换预测器。我们最好的系统是通过联合优化ASR任务和检测用户何时暂停思考或完成说话来获得的。该方法在测试集上测试了4种插入会话中的不流利语，在100 ms的潜伏期内预测真实话轮转换的召回率和准确率分别超过97%和85%。
2022-08-29 cs.CL cs.SD eess.AS
