Punctuation Restoration for Singaporean Spoken Languages: English, Malay, and Mandarin
BITS Pilani, Hyderabad Campus（BITS Pilani海得拉巴校区）；Nanyang Technological University（南洋理工大学）
针对新加坡三种主要口语（英语、马来语、普通话）的ASR转录文本，首次提出可同时处理三者的标点恢复系统，采用槽填充方法（类似BERT掩码语言模型但预测掩码标点），结合Jieba提升普通话性能，实验取得当前最优结果且代码开源。
2024-12-02 cs.CL
Punctuation Prediction Model for Conversational Speech
Intelligent Wire（智能有线公司）；AGH University of Science and Technology（AGH科技大学）；Wrocław University of Technology（弗罗茨瓦夫理工大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
ASR系统通常不预测任何标点符号或大写字母。缺少标点符号会导致结果呈现出现问题，并使人类读者和现成的自然语言处理算法感到困惑。为了克服这些限制，我们训练了深度神经网络（DNN）序列标记模型的两个变体-双向长短期记忆（BLSTM）和卷积神经网络（CNN），以预测标点符号。模型在Fisher语料库上训练，其中包括标点符号注释。在我们的实验中，我们结合使用序列比对算法的时间对齐和标点Fisher语料库成绩单。神经网络在与会话侧指示符和单词时间信息对齐的Fisher转录中的单词的通用网络爬行GloVe嵌入上进行训练。CNN产生更好的精度，BLSTM往往具有更好的召回率。虽然BLSTM总体上犯的错误更少，但CNN预测的标点符号更准确--尤其是在问号的情况下。我们的研究结果构成了重要的证据，表明单词在时间上的分布以及预先训练的嵌入在标点符号预测任务中是有用的。
2018-07-02 cs.CL
Alzheimer Disease Classification through ASR-based Transcriptions: Exploring the Impact of Punctuation and Pauses
Radboud University（拉德堡德大学）
本研究使用Whisper ASR模型获取转录文本，结合FastText词嵌入和循环神经网络进行阿尔茨海默病分类，发现停顿编码能持续提升分类性能，而标点符号仅带来微小改善。
2023-06-06 cs.CL cs.SD eess.AS
TRScore: A Novel GPT-based Readability Scorer for ASR Segmentation and Punctuation model evaluation and selection
Microsoft Corporation（微软公司）
标点和分段是自动语音识别（ASR）中可读性的关键，通常使用F1分数进行评估，该分数需要高质量的人类转录，并且不能很好地反映可读性。人类评估是昂贵的，耗时的，并遭受大的观察者之间的变化，特别是在会话语音缺乏严格的语法结构。大型预训练模型捕捉语法结构的概念。我们提出TRScore，一种新的可读性测量使用GPT模型来评估不同的分割和标点系统。我们与人类专家一起验证我们的方法。此外，我们的方法可以定量评估文本后处理技术，如大写，逆文本规范化（ITN），和整体可读性的不流利，传统的字出错率（WER）和插槽出错率（SER）的指标无法捕捉。TRScore与传统的F1和人类可读性评分密切相关，Pearson相关系数分别为0.67和0.98。它还消除了对模型选择的人工翻译的需要。
2022-10-27 cs.CL
Fast and Accurate Capitalization and Punctuation for Automatic Speech Recognition Using Transformer and Chunk Merging
Vietnam Artificial Intelligence System（越南人工智能系统研究院）；University of Science and Technology of Hanoi（河内科技大学）；Thai Nguyen University（太原大学）；Hanoi University of Mining and Geology（河内矿业与地质大学）；Hanoi University of Science and Technology（河内理工大学）
近年来，关于自动语音识别（ASR）的研究已经显示出在短语音段上达到人类同等水平的出色结果。然而，在标准化ASR的输出，如大写和标点符号恢复长语音转录仍然存在困难。这些问题阻碍了读者对ASR输出的语义理解，也给自然语言处理模型（如NER、POS和语义解析）带来了困难。在本文中，我们提出了一种方法来恢复标点符号和大写长语音ASR转录。该方法基于Transformer模型和组块合并，允许我们（1）构建一个一次性执行标点符号和大写的单个模型，以及（2）并行执行解码，同时提高预测精度。在英国国家语料库上的实验表明，该方法在准确率和解码速度上均优于现有方法。
2019-08-07 cs.CL
Streaming Punctuation: A Novel Punctuation Technique Leveraging Bidirectional Context for Continuous Speech Recognition
Microsoft Corporation（微软公司）
虽然语音识别单词出错率（WER）已经达到了与英语相当的水平，但是连续语音识别场景（例如语音打字和会议速记）仍然遭受由不规则暂停模式或缓慢说话者引起的分段和标点问题。Transformer序列标记模型在捕获长双向上下文方面是有效的，这对于自动标点至关重要。然而，自动语音识别（ASR）生成系统受到实时要求的限制，使得在做出标点决定时难以结合正确的上下文。由ASR解码器产生的片段内的上下文可以是有帮助的，但是限制了连续语音会话的整体标点性能。在本文中，我们提出了一个流的方法，使用动态解码窗口的ASR输出的标点符号或重新标点符号，并衡量其对标点符号和分割精度的影响跨场景。新系统解决了过度分割问题，将分割F0.5分数提高了13.9%。流式标点符号实现了机器翻译（MT）下游任务的平均BLEUscore提高0.66。
2023-01-10 cs.CL
Joint prediction of truecasing and punctuation for conversational speech in low-resource scenarios
Johns Hopkins University（约翰斯·霍普金斯大学）；VoiceLab（VoiceLab（波兰语音实验室））
大写和标点符号是理解书面文本和会话记录的重要线索。然而，许多ASR系统不产生标点和大小写格式的语音转录。我们建议使用一个多任务系统，可以利用套管和标点符号之间的关系，以提高其预测性能。而文本数据预测标点符号和truecasing似乎是丰富的，我们认为，书面文本资源是不够的会话模型的训练数据。我们通过比较标点符号和词的情况下的联合分布，并通过测试我们的模型跨域量化书面和会话文本域之间的不匹配。此外，我们表明，通过在书面文本域中训练模型，然后将迁移学习转移到对话中，我们可以用更少的数据实现合理的性能。
2021-09-13 cs.CL cs.LG
Vietnamese Capitalization and Punctuation Recovery Models
Posts and Telecommunications Institute of Technology（邮电技术学院）
尽管最近在自动语音识别（ASR）中出现了性能良好的方法，但这些方法不能确保其输出的正确大小写和标点符号。这个问题对理解自然语言处理（NLP）算法和人类处理都有重大影响。在原始文本输入的预处理管道中，大写和标点符号恢复是必不可少的。对于像越南语这样的低资源语言，用于此任务的公共数据集很少。在本文中，我们贡献了一个公共数据集的大写和标点符号恢复越南语，并提出了一个联合模型，这两个任务命名为JointCapPunc。在越南语数据集上的实验结果表明，我们的联合模型的有效性相比，单一的模型和以前的联合学习模型。我们在https://github.com/anhtunguyen98/JointCapPunc公开发布我们的数据集和模型的实现
2022-07-04 cs.CL
LibriSpeech-PC: Benchmark for Evaluation of Punctuation and Capitalization Capabilities of end-to-end ASR Models
NVIDIA（英伟达）
本文提出 LibriSpeech-PC 基准，通过恢复标点与大小写的数据集、PER 指标和基线模型，系统评估端到端 ASR 的标点及大小写预测能力。
2023-10-04 cs.CL
Efficient Ensemble for Multimodal Punctuation Restoration using Time-Delay Neural Network
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
本文提出EfficientPunct，一种基于多模态时延神经网络的集成方法，用于高效标点恢复，以更少参数超越现有最佳模型1.0 F1点，并创下新的最先进水平。
2024-02-24 cs.CL cs.HC cs.LG
SemEval 2022 Task 12: Symlink- Linking Mathematical Symbols to their Descriptions
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）
鉴于直播视频的数量越来越多，直播视频文本的自动语音识别和后处理对于高效的数据管理和知识挖掘至关重要。这个过程中的一个关键步骤是标点符号恢复，从视频转录中恢复基本的文本结构，如短语和句子边界。这项工作提出了一个新的人类注释语料库，称为BehancePR，用于在直播视频转录中进行标点符号恢复。我们在BehancePR上的实验证明了这一领域标点符号恢复的挑战。此外，我们发现，流行的自然语言处理工具包无法检测句子边界的非标点文字直播视频，需要更多的研究工作，以开发强大的模型，这一领域。
2022-04-25 cs.CL cs.CV
End to End ASR System with Automatic Punctuation Insertion
最近的自动语音识别系统已经朝着可以一起训练的端到端系统发展。最近提出的许多技术实现了这一趋势，包括使用CNN的特征提取，使用RNN的上下文捕获和声学特征建模，使用连接主义时间分类的输入和输出序列的自动对齐，以及用RNN语言模型取代传统的n-gram语言模型。从历史上看，人们对文本或语音到文本上下文的自动标点有很大的兴趣。然而，似乎很少有人有兴趣将自动标点符号纳入新兴的基于神经网络的端到端语音识别系统，部分原因是缺乏英语语音语料库与标点成绩单。在这项研究中，我们提出了一种方法来生成标点成绩单的TEDLIUM数据集使用转录ted.com。我们还提出了一个端到端的ASR系统，输出单词和标点符号同时从语音信号。将Damerau Levenshtein距离和槽出错率结合到DLev-SER中，当假设文本与参考文献不完全对齐时，我们能够测量标点符号出错率。与以前的方法相比，我们的模型将时隙出错率从0.497降低到0.341。
2020-12-03 cs.CL cs.LG cs.SD
What Helps Transformers Recognize Conversational Structure? Importance of Context, Punctuation, and Labels in Dialog Act Recognition
Center of Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence, Johns Hopkins University（约翰斯·霍普金斯大学人类语言技术卓越中心）
对话行为可以被解释为会话的原子单位，比话语更细粒度，具有特定的交际功能。将会话记录结构化为对话行为序列的能力--对话行为识别，包括分段--对于理解对话至关重要。我们将两个预训练的Transformer模型XLNet和Longformer应用于英语中的这项任务，并在Switchboard Dialog Act和Meeting Recorder Dialog Act语料库上取得了很好的结果，对话行为分割出错率（DSER）为8.4%和14.2%。为了了解影响对话行为识别的关键因素，我们对不同条件下训练的模型进行了比较分析。我们发现，包括一个更广泛的会话上下文有助于消除歧义许多对话行为类，特别是那些不常见的训练数据。转录本中标点符号的存在对模型的性能有很大的影响，详细的分析揭示了在没有标点符号的情况下观察到的特定分割模式。最后，我们发现标签集特异性不影响对话行为分割性能。这些发现对口语语言理解应用程序具有重要的实际意义，这些应用程序在很大程度上依赖于高质量的分割。
2021-07-05 cs.CL
Mitigating Structural Noise in Low-Resource S2TT: An Optimized Cascaded Nepali-English Pipeline with Punctuation Restoration
Department of Electronics and Computer Engineering, Institute of Engineering, Pulchowk Campus（电子与计算机工程系，工程学院，普尔楚克校区）
本文提出优化的尼泊尔-英语S2TT流水线，通过标点恢复模块显著提升翻译质量，实现BLEU分数提升4.90点。
2026-03-02 cs.AI cs.CL cs.LG
Controllable Time-Delay Transformer for Real-Time Punctuation Prediction and Disfluency Detection
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
近年来，随着自动语音识别（ASR）应用的日益广泛，自动插入标点符号和消除不流利的语音，对于提高文本的可读性以及后续应用（如机器翻译、对话系统等）的性能至关重要。在本文中，我们提出了一个可控的时间延迟Transformer（CT-Transformer）模型，共同完成标点预测和不流利检测任务在实时的。CT-Transformer模型有助于以可控的时间延迟冻结部分输出，以满足后续应用所需的部分解码中的实时的约束。我们进一步提出了一种快速解码策略，以最大限度地减少延迟，同时保持竞争力的性能。在IWSLT 2011基准数据集和内部中文标注数据集上的实验结果表明，该方法在F值上优于现有的模型，并实现了具有竞争力的推理速度。
2020-03-03 cs.CL cs.SD eess.AS
Zero-Shot Joint Modeling of Multiple Spoken-Text-Style Conversion Tasks using Switching Tokens
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
在本文中，我们提出了一种新的口语文本风格转换方法，可以同时执行多个风格转换模块，如标点符号恢复和不流利删除，而无需准备匹配的数据集。在实践中，由自动语音识别系统生成的译文不是高度可读的，因为它们经常包括许多不流利的部分并且不包括标点符号。为了提高其可读性，单独建模单个转换任务的多个口语文本样式转换模块被级联，因为同时处理多个转换任务的匹配数据集通常不可用。但是，由于转换错误链的存在，级联对于任务的顺序是不稳定的。此外，级联的计算成本必须高于单个转换。为了在不准备匹配数据集的情况下同时执行多个转换任务，我们的关键思想是使用开关区分各个转换任务。在我们提出的zero-shot联合建模中，我们使用多个切换令牌切换各个任务，使我们能够利用零样本学习方法来执行同时转换。通过对不流利音删除和标点符号恢复的联合建模实验，验证了该方法的有效性。
2021-06-23 cs.CL
Punctuation Prediction in Spontaneous Conversations: Can We Mitigate ASR Errors with Retrofitted Word Embeddings?
Avaya（亚美亚公司）；Wrocław University of Technology（弗罗茨瓦夫理工大学）；Poznan University of Technology（波兹南理工大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
自动语音识别（ASR）系统会引入单词错误，这通常会混淆标点预测模型，从而使标点恢复成为一项具有挑战性的任务。这些错误通常以同音异义词的形式出现。我们展示了如何改造的特定领域的数据上的词嵌入可以减轻ASR错误。我们的主要贡献是更好地对齐同音嵌入的方法和验证所提出的方法上的标点符号预测任务。与最先进的模型相比，我们记录了标点符号预测准确率的绝对提高，从6.2%（问号）到9%（句号）。
2020-04-13 cs.CL cs.LG cs.SD
Multimodal Punctuation Prediction with Contextual Dropout
Apple（苹果公司）
自动语音识别（ASR）广泛应用于消费电子产品中。ASR极大地提高了技术的实用性和可访问性，但通常输出的只是没有标点符号的单词序列。这可能导致在推断用户意图时的模糊性。我们首先提出了一种基于transformer的标点符号预测方法，该方法在2012年的IWC TED任务中实现了8%的改进，击败了以前的最新技术[1]。接下来，我们描述了我们的多模态模型，它从文本和音频中学习，在我们拥有音频和transmittance的内部数据集上，它比纯文本算法提高了8%。最后，我们提出了一种方法来学习一个模型，使用上下文dropout，使我们能够在测试时处理变量的未来上下文。
2021-02-12 cs.AI cs.CL cs.LG
Punctuation Restoration in Spanish Customer Support Transcripts using Transfer Learning
Dialpad Canada Inc.（Dialpad加拿大公司）
自动语音识别（ASR）系统通常产生可读性差的不加标点的转录本。此外，构建标点符号恢复系统对于低资源语言来说是一个挑战，特别是对于特定领域的应用程序。在本文中，我们提出了一个西班牙语标点符号恢复系统设计的实时客户支持转录服务。为了解决客户支持领域中西班牙语成绩单的数据稀疏性，我们引入了两种基于迁移学习的策略：1）使用域外西班牙语文本数据的领域自适应; 2）利用域内英语成绩单数据的跨语言迁移学习。实验结果表明，这些策略提高了西班牙语标点符号恢复系统的准确率。
2022-05-27 cs.CL
Automatic punctuation restoration with BERT models
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
我们提出了一种自动标点符号恢复的方法与BERT模型的英语和匈牙利语。对于英语，我们在Ted Talks上进行实验，这是一种常用的标点符号恢复基准，而对于匈牙利语，我们在Szeged Treebank数据集上评估我们的模型。我们最好的模型实现了宏观平均$F_1$ -得分79.8在英语和82.2在匈牙利语。我们的代码是公开的。
2021-01-18 cs.CL
ViraPart: A Text Refinement Framework for Automatic Speech Recognition and Natural Language Processing Tasks in Persian
Part AI Research Center（Part AI研究中心）
波斯语是一种曲折的主宾动词语言。这一事实使波斯语成为一种更不确定的语言。然而，使用零宽度非连接器（ZWNJ）识别，标点符号恢复和波斯语Ezafe构造等技术将使我们更容易理解和精确的语言。在波斯语的大部分作品中，这些技术都是单独解决的。尽管如此，我们认为，为了完善波斯语文本，所有这些任务都是必要的。在这项工作中，我们提出了一个ViraPart框架，在其核心中使用嵌入式ParsBERT进行文本澄清。首先，对波斯语使用BERT变体，然后使用分类器层进行分类过程。接下来，我们将模型输出组合为输出明文。最后，ZWNJ识别、标点符号恢复和波斯文Ezafe构建的模型的平均F1宏分数分别为96.90%、92.13%和98.50%。实验结果表明，我们提出的方法是非常有效的文本细化的波斯语。
2021-11-21 cs.CL
LLaMA based Punctuation Restoration With Forward Pass Only Decoding
Meta
本文提出将LLaMA用于标点恢复任务，并针对其推理速度慢和幻觉问题，提出新型解码方法FPOD，使推理速度提升19.8倍，有效解决了大规模数据标注的瓶颈。
2024-08-09 cs.CL
Incorporating External POS Tagger for Punctuation Restoration
Alibaba Group（阿里巴巴集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）
标点恢复是自动语音识别中的一个重要后处理步骤。在其他类型的外部信息中，词性（POS）标记器提供信息性标记，表明每个输入标记的句法角色，这已被证明是有益的标点符号恢复任务。在这项工作中，我们将一个外部的POS标签和融合到现有的语言模型的预测标签，以提供句法信息。此外，我们提出了序列边界采样（SBS）学习标点符号的位置更有效地作为一个序列标记任务。实验结果表明，我们的方法可以始终如一地获得性能增益，并实现了一个新的国家的最先进的共同的IWITOS基准。进一步的消融研究表明，大型预训练的语言模型和外部POS标注器都是提高模型性能的关键部分。
2021-06-12 cs.CL
Multimodal Semi-supervised Learning Framework for Punctuation Prediction in Conversational Speech
Amazon AWS AI（亚马逊AWS人工智能）
在这项工作中，我们探索了一种多模态半监督学习方法，通过学习大量未标记的音频和文本数据的表示来进行标点符号预测。语音处理中的常规方法通常使用强制对齐来将每帧声学特征编码为词级特征，并执行所得到的声学和词汇表示的多模态融合。作为一种替代方案，我们探索基于注意力的多模态融合，并将其性能与基于强制对齐的融合进行比较。在Fisher语料库上进行的实验表明，与基线BLSTM模型相比，我们提出的方法在参考成绩单和ASR输出上分别实现了~6-9%和~3-4%的绝对改善（F1得分）。我们通过使用N-best列表进行数据增强，进一步提高了模型对ASR错误的鲁棒性，从而使ASR输出提高了约2-6%。我们还证明了半监督学习方法的有效性，通过对各种规模的语料库进行消融研究。当对1小时的语音和文本数据进行训练时，所提出的模型比基线模型实现了约9-18%的绝对改进。
2020-08-03 cs.CL eess.AS
Mark My Words: A Robust Multilingual Model for Punctuation in Text and Speech Transcripts
Nilekani Centre at AI4Bharat（AI4Bharat的Nilekani中心）；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Mahindra University, Hyderabad（马恒达大学海得拉巴）
本文提出基于预训练大语言模型的多语言标点恢复模型Cadence，将支持范围扩展到全部22种印度语言及英语，性能超越此前最优模型，并分析了领域偏移和罕见标点等挑战。
2025-06-04 cs.CL
Punctuation Restoration Improves Structure Understanding Without Supervision
Georgetown University（乔治城大学）；KT Gen AI Lab（KT Gen AI实验室）；NC AI
本文提出将标点恢复作为无监督学习目标，验证了其能有效提升基础规模模型在命名实体识别等结构相关任务上的性能，从而生成更鲁棒的结构感知表示。
2025-03-30 cs.CL
Fotheidil: an Automatic Transcription System for the Irish Language
Trinity College Dublin（都柏林圣三一学院）；HiTZ Basque Center for Language Technology（HiTZ巴斯克语言技术中心）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）；University of Cambridge（剑桥大学）
本文提出首个基于网络的爱尔兰语转写系统Fotheidil，结合预训练语音检测、说话人分离及专用ASR模型，并通过半监督学习和序列到序列方法显著提升转写性能，同时以社区驱动方式持续优化模型。
2024-12-31 cs.CL cs.SD eess.AS
Token-Level Supervised Contrastive Learning for Punctuation Restoration
Southern University of Science and Technology（南方科技大学）；University of Surrey（萨里大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
标点符号对于理解自然语言文本至关重要。当前，大多数自动语音识别（ASR）系统不生成标点，这影响了下游任务（诸如意图检测和槽填充）的性能。这就需要恢复标点符号。最近的标点符号恢复工作大量利用预训练的语言模型，而不考虑预测标点符号类时的数据不平衡。在这项工作中，我们解决这个问题，提出了一个令牌级监督对比学习方法，旨在最大限度地提高不同的标点符号在嵌入空间中的表示的距离。结果表明，使用标记级监督对比学习的训练在测试集上获得了高达3.2%的绝对F1改进。
2023-03-03 cs.CL cs.LG
SCRIBE: Diagnostic Evaluation and Rich Transcription Models for Indic ASR
Adalat AI, India（印度Adalat人工智能公司）
SCRIBE通过沙地容忍对齐和领域词汇注入，提供词错误率的分类分解，解决了传统词错误率在处理聚合语言时的不足，同时释放了用于印地语、马拉雅尔语和卡纳达语的丰富转录模型。
2026-06-29 cs.AI cs.CL
PersianPunc: A Large-Scale Dataset and BERT-Based Approach for Persian Punctuation Restoration
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））
PersianPunc提出了一种基于BERT的轻量级方法，用于波斯语标点恢复，实现了91.33%的宏平均F1得分，同时保持了实时应用的效率。
2026-03-05 cs.AI cs.CL
FF2: A Feature Fusion Two-Stream Framework for Punctuation Restoration
Institute of Computing Innovation, Zhejiang University（浙江大学计算创新研究院）
为了完成标点符号恢复，大多数现有方法集中于引入额外信息（例如，（二）解决阶级不平衡问题。近年来，基于transformer的大规模预训练语言模型（PLMS）得到了广泛的应用并取得了显著的成功。然而，PLMS是在有标记的大数据集上训练的，这可能与没有标记的小数据集不太吻合，导致收敛不理想。在这项研究中，我们提出了一个特征融合双流框架（FF2）来弥合差距。具体而言，一个流利用预先训练的语言模型来捕获语义特征，而另一个辅助模块捕获手头的特征。我们还修改了多头注意力的计算，以鼓励头之间的沟通。然后，两个具有不同视角的特征被聚合以融合信息并增强上下文感知。在没有额外数据的情况下，在流行的基准测试IWITOS上的实验结果表明，FF2实现了新的SOTA性能，这验证了我们的方法是有效的。
2022-11-09 cs.CL
Beyond Levenshtein: Leveraging Multiple Algorithms for Robust Word Error Rate Computations And Granular Error Classifications
Stuttgart Media University（斯图加特媒体大学）；University of Tübingen（蒂宾根大学）
针对ASR中WER计算因预处理丢失标点等信息的问题，提出基于扩展Levenshtein距离的非破坏性词元方法，结合多种算法实现稳健WER与细粒度错误分类，经多数据集验证等效，并提供标点错误率分析及开源Web工具。
2024-08-28 cs.CL cs.SD eess.AS
Automatic Restoration of Diacritics for Speech Data Sets
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Princess Nourah Bint Abdulrahman University（努拉·本特·阿卜杜勒拉赫曼公主大学）
针对文本变音符号恢复模型在语音转录上因领域与风格差异而错误率较高的问题，本文利用并行口语语句，通过微调 Whisper ASR 生成粗略带符转录作为辅助输入，构建并验证了新的语音变音符号恢复基线。
2024-04-07 cs.CL cs.SD
Resolving Transcription Ambiguity in Spanish: A Hybrid Acoustic-Lexical System for Punctuation Restoration
Dialpad Canada Inc.（加拿大Dialpad公司）
针对西班牙语无标点陈述与疑问句的歧义，提出混合声学-词汇标点恢复系统，整合声学与词汇信号，提升问号F1及整体标点恢复，优于LLM并降低ASR词错误率。
2024-02-05 cs.AI cs.CL
Punctuation restoration Model and Spacing Model for Korean Ancient Document
Nara Information（奈良信息）
针对韩文古籍无空格标点且以汉字书写的问题，我们开发了首个韩文历史文本标点恢复与间距预测模型，F1分数分别为0.84和0.96，并支持低显存GPU高效推理。
2023-12-19 cs.AI cs.CL
ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition
Hugging Face（拥抱脸公司）
语音识别应用程序涵盖一系列不同的音频和文本分布，具有不同的说话风格、背景噪声、转录标点和字符大小写。然而，许多语音识别系统需要特定于语音集的调谐（音频滤波、标点符号去除和大小写的归一化），因此假设音频和文本分布两者的先验知识。这种调优要求可能导致系统无法推广到其他数据集和域。为了促进多域语音系统的发展，本文引入了端到端语音基准测试（ESB），用于评估单个自动语音识别（ASR）系统在大量语音数据集上的性能。基准测试系统必须跨数据集使用相同的数据预处理和后处理算法-假设音频和文本数据分布是先验未知的。我们在此基准测试中比较了一系列最先进的（SoTA）端到端（E2 E）系统，展示了如何在广泛的数据分布上应用和评估单个语音系统。我们发现E2 E系统在数据集上是有效的：在一个公平的比较中，E2 E系统在2.6%的SoTA系统中实现了对特定数据集的调整。我们的分析表明，转录文物，如标点符号和套管，造成的ASR系统的困难，应包括在评估。我们相信，在一系列数据集上的E2 E基准测试促进了多领域语音识别系统的研究。ESB可以从https://huggingface.co/esb获得。
2022-10-24 cs.CL cs.SD eess.AS
End-to-end Joint Punctuated and Normalized ASR with a Limited Amount of Punctuated Training Data
iFLYTEK Co., Ltd.（iFLYTEK有限公司）
本文提出两种利用有限带标点数据训练端到端联合标点与规范化ASR的方法，分别通过语言模型转换转录文本和条件单一解码器，显著降低PC-WER并验证了仅用5%带标点数据的可行性。
2025-07-21 cs.CL cs.SD eess.AS
Unified Multimodal Punctuation Restoration Framework for Mixed-Modality Corpus
ByteDance AI Lab（字节跳动人工智能实验室）
标点符号恢复任务的目的是正确地标点自动语音识别系统的输出译文。以前的标点模型，无论是只使用文本还是需要相应的音频，往往受到真实场景的约束，其中不加标点的句子是有音频和没有音频的句子的混合。本文提出了一个统一的多模态标点符号恢复框架UniPunc，用一个单一的模型对混合句进行标点识别。UniPunc在共享的潜在空间中联合表示音频和非音频样本，基于此模型学习混合表示并对两种样本进行标点。我们验证了UniPunc在真实世界数据集上的有效性，它比各种强基线（例如BERT，MuSe）至少有0.8的整体F1分数，使一个新的国家的最先进的。广泛的实验表明，UniPunc的设计是一个普遍的解决方案：通过嫁接到以前的模型，UniPunc使他们能够在混合语料库上标点。我们的代码可在github.com/Yaoming95/UniPunc上获得
2022-01-24 cs.AI cs.CL
A Proactive EMR Assistant for Doctor-Patient Dialogue: Streaming ASR, Belief Stabilization, and Preliminary Controlled Evaluation
The Hong Kong Polytechnic University（香港理工大学）
本文提出一种主动电子病历助手，通过流式语音识别、标点恢复、状态提取、信念稳定化、对象化检索、行动规划和可回放报告生成，提升医生-患者对话中的病历记录效率与前瞻性支持。
2026-03-18 cs.AI cs.CL
Topic Matching in the Wild: Benchmark and Lessons from Real-World ASR Transcripts
Dialpad Inc.（戴尔德公司）
该研究针对联络中心ASR转录的主题匹配任务，构建了人工标注数据集，对比了三类匹配器及两种主题表示，发现轻量级Gemini LLM匹配器搭配自然语言描述时性能最优。
2026-09-02 cs.AI cs.CL cs.LG
Adversarial Transfer Learning for Punctuation Restoration
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
以往的研究表明，词嵌入和词性（POS）标记是有助于标点符号的恢复任务。然而，仍然存在两个缺点。一个是词嵌入是由单向语言建模目标预先训练的。因此，词嵌入仅包含从左到右的上下文信息。另一种是POS标签由外部POS标签器提供。这样会增加计算成本，并且错误的预测标签可能会影响解码过程中恢复标点符号的性能。本文提出对抗性迁移学习来解决这些问题。一个预训练的双向编码器表示从Transformers（BERT）模型被用来初始化标点符号模型。因此，传递的模型参数携带从左到右和从右到左的表示。此外，引入对抗性多任务学习来学习用于标点预测的任务不变知识。我们使用一个额外的词性标注任务来帮助标点预测任务的训练。对抗训练用于防止共享参数包含任务特定信息。在解码阶段，我们只使用标点符号预测任务来恢复标记。因此，它不需要额外的计算，也不会从POS标签器引入不正确的标签。在IWSLT2011数据集上进行了实验。实验结果表明，标点符号预测模型在词性标注任务中引入任务不变知识后，其性能得到了进一步的提高。我们最好的模型优于以前的国家的最先进的模型训练，只有词汇特征高达9.2%的绝对整体F_1测试集上的分数。
2020-04-01 cs.CL cs.LG
Spontaneous Informal Speech Dataset for Punctuation Restoration
University of Waterloo（滑铁卢大学）；Recognition Technologies, Inc.（识别技术公司）；Columbia University（哥伦比亚大学）
针对现有标点恢复模型仅在规范语料评估、与现实自发语音场景不匹配的问题，本研究构建了包含标点和大小写信息的非正式自发语音数据集SponSpeech，提出兼顾音文质量的过滤流水线，并搭建挑战性测试集，相关资源全部开源。
2024-09-17 cs.CL cs.HC cs.LG
Restoring Rhythm: Punctuation Restoration Using Transformer Models for Bangla, A Low-Resource Language
Bangladesh Army International University of Science and Technology (BAIUST)（巴尔克理工大学）；BRAC University（BRAC大学）；North East University Bangladesh (NEUB)（北东大学）
本研究利用XLM-RoBERTa-large模型，通过数据增强技术实现了孟加拉语标点恢复，取得97.1%的准确率，为低资源语言NLP提供了新的基准和公开资源。
2026-01-11 cs.AI cs.CL cs.LG
A Context-Aware Feature Fusion Framework for Punctuation Restoration
Institute of Computing Innovation, Zhejiang University（浙江大学计算创新研究院）
为了完成标点恢复任务，大多数现有方法集中于利用额外信息（例如，词性标签）或解决类别不平衡问题。最近的工作已经广泛地应用了基于transformer的语言模型，并显着提高了它们的有效性。据我们所知，一个固有的问题仍然被忽视：在Transformer中，每个人的注意力在输入长的非标点语句时会被稀释或无能为力。由于那些先前的上下文，而不是下面的上下文，对当前的位置相对更有价值，因此很难通过独立的注意力来实现良好的平衡。在本文中，我们提出了一种新的特征融合框架的基础上两种类型的注意力（FFA），以缓解不足。它引入了双流体系结构。一个模块涉及注意头之间的相互作用，以鼓励通信，和另一个掩蔽注意模块捕获的依赖特征表示。然后，它聚合两个特征嵌入融合信息，增强上下文感知。在流行的基准数据集IWALK上的实验表明，该方法是有效的。在没有额外数据的情况下，它获得了与当前最先进型号相当的性能。
2022-03-23 cs.CL cs.SD eess.AS
Balalaika: Data-Centric, Prosody-Aware Annotation Pipeline for Russian Speech
lab260, Moscow Technical University of Communications and Informatics（莫斯科通信与信息学技术大学）
本文提出Balalaika流水线，结合语义VAD分割、多ASR集成与ROVER共识解码，生成包含重音、标点和IPA音素的俄语音频标注，构建了5100小时多源俄语语料库，验证了在语音去噪和TTS任务中一致的性能提升。
2026-06-24 cs.CL cs.SD eess.AS
The Hidden Cost of Digits: Number Normalization and WER in ASR Systems
AGH University of Krakow（克拉科夫AGH大学）
本研究以波兰语为例，分析数字归一化缺失对ASR系统词错误率评估的影响，发现其可造成超过2个百分点的显著差异，甚至超过多语言基准中系统间的差距。
2026-09-21 cs.CL eess.AS
SPGISpeech: 5,000 hours of transcribed financial audio for fully formatted end-to-end speech recognition
Kensho Technologies；NVIDIA Technologies（英伟达科技公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
在英语语音到文本（STT）机器学习任务中，声学模型通常在无大小写的拉丁字符上训练，并且任何必要的拼写（例如大写、标点和非标准单词的非规范化）由单独的后处理模型估算。这增加了复杂性并限制了性能，因为许多格式化任务受益于声学信号中存在但转录中不存在的语义信息。在这里，我们提出了一个新的STT任务：端到端的神经转录与目标标签的完全格式化的文本。我们提出了基于基线Conformer的模型，该模型在5,000小时专业转录的盈利电话语料库上进行了训练，达到了1.7的CER。作为对STT研究社区的贡献，我们在https://datasets.kensho.com/datasets/scribe上免费发布语料库供非商业使用。
2021-04-06 cs.CL eess.AS
BanglaKontho: Closing the Long-Form Gap in Bangla Text-to-Speech
Vivasoft Limited（Vivasoft有限公司）
针对孟加拉语长格式TTS资源不足，提出20小时单说话人语料库BanglaKontho及文本规范化器，基线MB-iSTFT-VITS显著优于IndicTTS-Bn，并公开数据。
2026-09-25 cs.CL
Universal-2-TF: Robust All-Neural Text Formatting for ASR
AssemblyAI Inc.（AssemblyAI公司）
提出用于商用 ASR 的全神经文本格式化模型 Universal-2-TF，以多目标 token 分类器加 seq2seq 的两阶段架构统一完成标点、真大小写和 ITN，并验证其准确、高效且感知质量更优。
2025-01-10 cs.CL
Evaluating OpenAI's Whisper ASR for Punctuation Prediction and Topic Modeling of life histories of the Museum of the Person
Federal University of Goiás（戈亚斯联邦大学）；São Paulo State University（圣保罗州立大学）；University of São Paulo（圣保罗大学）
本文首次评估OpenAI的Whisper ASR在葡萄牙语标点预测中的表现，结合理论停顿分析和基于个人博物馆生活史转录的主题建模应用，证明其达到最先进水平，但感叹号、分号和冒号仍需改进。
2023-05-26 cs.AI cs.CL
Extractive Summarization of Call Transcripts
Verizon Communications（威瑞森通信公司）
文本摘要是从文本中提取最重要的信息，并以较少的句子简洁地呈现的过程。通话记录是涉及客户（呼叫者）和代理（客户代表）之间电话对话的文本描述的文本。本文提出了一种本土开发的方法，结合主题建模和句子选择与标点符号恢复在浓缩不佳标点或unpunctuated通话记录，以产生更可读的摘要。广泛的测试，评估和比较已经证明了这个汇总器的呼叫成绩单摘要的有效性。
2021-04-15 cs.CL
Punctuation restoration in Swedish through fine-tuned KB-BERT
EECS（欧洲经济与计算机科学学院）；National Library of Sweden（瑞典国家图书馆）
本文提出了一种利用BERT模型自动恢复瑞典语标点符号的方法。该方法是基于KB-BERT，一个公开的，神经网络语言模型预先训练的瑞典国家图书馆的瑞典语语料库。然后，利用政府文本语料库，对这一模式进行了微调，以适应这一具体任务。如果输入的是小写和不加标点的瑞典语文本，模型应该返回语法正确的标点文本副本作为输出。这个问题的成功解决方案为一系列NLP领域带来了好处，例如语音到文本和自动文本。该项目只考虑了标点符号句号，逗号和问号，因为缺乏更罕见的标记数据，如标点符号。此外，有些标记在某种程度上可以与更常见的标记互换，例如感叹号和句号。因此，数据集的所有感叹号都被句号取代。经过微调的瑞典BERT模型，被称为presto BERT，取得了78.9的F1总成绩。该模型的得分与国际同行相似，匈牙利和中国模型的F1得分分别为82.2和75.6。作为进一步的比较，进行了人类评估案例研究。人类测试组的总体F1得分为81.7，但在句号和逗号上的得分都比prestoBERT差得多。检查模型和人类的输出句子显示出令人满意的结果，尽管F1分数存在差异。这种脱节似乎源于不必要地专注于复制测试集中使用的完全相同的标点符号，而不是提供任何数量的正确解释。如果可以重写损失函数，以奖励所有语法正确的输出，而不是仅仅奖励一个原始示例，那么prestoBERT和人类组的性能都可以显著提高。
2022-02-14 cs.AI cs.CL cs.LG
Vakyansh: ASR Toolkit for Low Resource Indic languages
Thoughtworks（Thoughtworks（思特沃克））；Ekstep Foundation（Ekstep基金会）
我们提出Vakyansh，一个端到端的工具包，语音识别在印度语言。印度是近121种语言和大约125亿人的家园。然而，大多数语言在数据和预训练模型方面都是低资源的。通过Vakyansh，我们引入了用于数据创建、模型训练、模型评估和部署的自动数据管道。我们用23种印度语言创建了14，000小时的语音数据，并训练了基于wav2vec 2.0的预训练模型。然后对这些预训练的模型进行微调，以创建18种印度语的最先进的语音识别模型，然后是语言模型和标点符号恢复模型。我们开源了所有这些资源，我们的使命是激励语音社区使用我们的印度语ASR模型开发语音优先应用程序。
2022-06-15 cs.CL eess.AS
Granary: Speech Recognition and Translation Dataset in 25 European Languages
NVIDIAUSA（NVIDIA美国分公司）；NVIDIAArmenia（NVIDIA亚美尼亚分公司）；NVIDIAGermany（NVIDIA德国分公司）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国分校）；Fondazione Bruno Kessler (FBK)Italy（布鲁诺·凯斯勒基金会（FBK）意大利）
针对低资源语言语音处理数据稀缺问题，研究推出覆盖25种欧洲语言的开源语音识别翻译数据集Granary，通过伪标注等流水线提升数据质量，实验显示用其训练的模型以少约50%的数据达到相近性能。
2025-05-21 cs.CL eess.AS
