SPGISpeech 2.0: Transcribed multi-speaker financial audio for speaker-tagged transcription
Kensho TechnologiesUSA（Kensho Technologies USA）；NVIDIA CorporationUSA（NVIDIA Corporation USA）
本文介绍SPGISpeech 2.0，一个含3,780小时专业转录财报电话会议音频的金融领域说话人标记转录数据集，通过微调提升流行语音识别模型的说话人标记ASR性能，并免费供非商业使用。
2025-08-07 cs.CL cs.SD eess.AS
Contextual Biasing to Improve Domain-specific Custom Vocabulary Audio Transcription without Explicit Fine-Tuning of Whisper Model
Centre of Excellence in Maritime Safety（海上安全卓越中心）；Singapore Polytechnic（新加坡理工学院）
本研究提出一种利用上下文偏置和神经符号前缀树结构的方法，无需微调Whisper模型即可提升特定领域自定义词汇的音频转录准确率，实验证明其能显著降低词错误率并提升下游应用性能。
2024-10-24 cs.AI cs.SD eess.AS
Deepfake audio as a data augmentation technique for training automatic speech to text transcription models
Systems and Computing Department（系统与计算部门）；Federal University of Campina Grande (UFCG)（坎皮纳格雷联邦大学）；Campina Grande, Brazil（巴西坎皮纳格雷）
本文提出利用深度伪造音频进行数据增强，以解决训练稳健语音转文本模型所需大规模多样化的标注数据获取难题，尤其针对非英语语言。
2023-09-22 cs.LG cs.SD eess.AS
Detecting Audio Adversarial Examples with Logit Noising
POSTECH（浦项工科大学）
自动语音识别（ASR）系统容易受到音频对抗性示例的攻击，这些音频对抗性示例试图通过向良性语音信号添加扰动来欺骗ASR系统。虽然一个敌对的例子和原始的良性波是无法区分的人类，前者被转录为一个恶意的目标句子的ASR系统。已经提出了几种方法来生成音频对抗性示例并将其直接馈送到ASR系统（在线）。此外，许多研究人员已经证明了强大的物理音频对抗示例（空中）的可行性。为了抵御这些攻击，已经提出了几项研究。然而，在现实世界中部署它们是困难的，因为精度下降或时间开销。在本文中，我们提出了一种新的方法来检测音频对抗性的例子，在将它们馈送到ASR的解码器之前，向logits添加噪声。我们表明，精心选择的噪声可以显着影响音频对抗性示例的转录结果，而它对良性音频波的转录结果的影响最小。基于这一特点，我们检测音频对抗的例子，通过比较的转录改变的logit噪声与其原始的转录。所提出的方法可以很容易地应用到ASR系统，无需任何结构变化或额外的培训。实验结果表明，与现有的检测方法相比，该方法对离线音频对抗和空中音频对抗具有较好的鲁棒性。
2021-12-13 cs.CR cs.SD eess.AS
Tackling the Cocktail Fork Problem for Separation and Transcription of Real-World Soundtracks
Indiana University（印第安纳大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Microsoft Corporation（微软公司）；Carnegie Mellon University（卡内基梅隆大学）
模仿人类解决鸡尾酒会问题的能力，即，在复杂的声学场景中聚焦感兴趣的声源，是声源分离研究的长期目标。这项研究的大部分是研究如何将语音与噪音、语音与语音、乐器与乐器、声音事件与声音事件分离。在本文中，我们专注于鸡尾酒叉问题，它采取了三管齐下的方法来分离音频混合，如电影配乐或播客到语音，音乐和音效（SFX -理解为包括环境噪声和自然声音事件）的三大类。我们对几种基于深度学习的源分离模型在此任务上的性能进行了基准测试，并根据简单的客观指标（如信号失真比（SDR））以及与人类感知更相关的客观指标对其进行了评估。此外，我们彻底评估源分离如何影响下游转录任务。首先，我们研究了三个源的活动检测任务，作为进一步改进源分离和执行转录的一种方式。我们将转录任务制定为针对语音的语音识别和针对音乐和SFX的音频标记。我们观察到，虽然使用的源分离估计提高转录性能相比，原声带，性能仍然是次优的，由于分离过程中引入的文物。因此，我们深入研究如何混音的三个分离的源干在各种相对水平可以减少文物，从而提高转录性能。我们发现，在17.5 dB的目标SNR的混音音乐和SFX干扰降低了语音识别字错误率，并观察到类似的影响，从混音标记音乐和SFX内容。
2022-12-14 cs.SD eess.AS
mmWave-Whisper: Phone Call Eavesdropping and Transcription Using Millimeter-Wave Radar
Pennsylvania State University（宾夕法尼亚州立大学）
本文提出 mmWave-Whisper 系统，首次利用 77-81 GHz 商用毫米波雷达窃听手机耳机振动，结合合成数据、领域自适应与 Whisper 模型实现大词汇量完整句子的自动语音识别，在 25-125 厘米范围内单词准确率达 44.74%。
2024-10-22 cs.SD eess.AS
MM-ALT: A Multimodal Automatic Lyric Transcription System
National University of Singapore（新加坡国立大学）
自动歌词转录（ALT）是一个新兴的研究领域，吸引了越来越多的兴趣，从语音和音乐信息检索社区，鉴于其显着的应用潜力。然而，ALT与音频数据单独是一个众所周知的困难的任务，由于乐器伴奏和音乐的限制，导致退化的语音提示和演唱的歌词的可理解性。为了应对这一挑战，我们提出了多模式自动歌词转录系统（MM-ALT），以及一个新的数据集N20 EM，该数据集由音频记录，嘴唇运动视频和表演歌手佩戴的耳塞的惯性测量单元（IMU）数据组成。我们首先将wav 2 vec 2.0框架从自动语音识别（ASR）调整到ALT任务。然后，我们提出了基于视频的ALT方法和基于IMU的语音活动检测（VAD）方法。此外，我们提出了剩余交叉注意（RCA）机制来融合来自三种模态的数据（即，音频、视频和IMU）。实验表明，我们提出的MM-ALT系统的有效性，特别是在噪声鲁棒性方面。项目页面位于https://n20em.github.io。
2023-02-17 cs.SD eess.AS eess.SP
Enabling automatic transcription of child-centered audio recordings from real-world environments
Tampere University（坦佩雷大学）
提出自动检测长时儿童音频中可可靠转录话语的方法，在四个英语语料库上以30%语音转录实现中位WER 0%，显著优于全量转录，并验证了词频与人工标注高度相关。
2026-09-18 cs.LG cs.SD
Prompting Whisper for Joint Speech Transcription and Diarization
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文研究如何高效结合Whisper与说话人识别，通过提示和微调提高转录准确性与一致性，解决重叠语音和时间戳问题。
2026-04-24 cs.SD eess.AS
STRUM: A Spectral Transcription and Rhythm Understanding Model for End-to-End Generation of Playable Rhythm-Game Charts
Independent Researcher（独立研究者）
STRUM通过多阶段混合模型将原始录音转换为可演奏的节奏游戏图表，无需任何元数据。模型包含多个组件，如CRNN起始检测器、分类器和ASR，在30首歌曲基准上实现了高精度的节奏识别。
2026-05-12 cs.LG cs.SD eess.AS
Early Attentive Sparsification Accelerates Neural Speech Transcription
本研究利用自注意力可解释性，在Whisper编码器早期阶段对隐藏状态进行40-60%稀疏化，实现英语语音转录高达1.6倍加速，精度损失低于1%。
2025-06-18 cs.CL cs.LG cs.SD
Improving Speech Recognition Accuracy Using Custom Language Models with the Vosk Toolkit
Southern Arkansas University（南阿肯色大学）
本研究利用Vosk工具包和定制语言模型，构建Python转录流水线，支持多种音频格式，降低词错误率，提供经济高效的离线高准确率语音识别方案。
2025-03-26 cs.LG cs.SD eess.AS
Transcription-Free Fine-Tuning of Speech Separation Models for Noisy and Reverberant Multi-Speaker Automatic Speech Recognition
Solventum（索尔文腾公司）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
针对真实重叠语音缺少参考转录的问题，提出仅用音频、以预训练ASR编码器嵌入差异为损失并结合GPIT的无转录联合微调方法，显著降低WER并提升STOI。
2024-06-13 cs.LG cs.SD eess.AS
823-OLT @ BUET DL Sprint 4.0: Context-Aware Windowing for ASR and Fine-Tuned Speaker Diarization in Bengali Long Form Audio
Department of Computer Science and Engineering（计算机科学与工程系）；Chittagong University of Engineering and Technology（查塔格工程与技术大学）
本研究提出基于上下文的窗口化技术，用于改进印地语长音频的自动语音识别与说话人识别，通过结合语音分离和细调模型提升转录效率与说话人识别准确性。
2026-02-24 cs.SD
Pisets: A Robust Speech Recognition System for Lectures and Interviews
Novosibirsk State University（新西伯利亚州立大学）；Siberian Neuronets LLC（西伯利亚神经网络有限公司）
Pisets通过三组件架构和课程学习提升语音识别鲁棒性，适用于讲座和访谈场景。
2026-01-26 cs.CL cs.SD eess.AS
AVATAR submission to the Ego4D AV Transcription Challenge
Google Research（谷歌研究院）
在这份报告中，我们描述了我们提交给Ego 4D视听（AV）语音转录挑战赛2022。我们的流水线基于AVATAR，AVATAR是AV-ASR的最先进的编码器-解码器模型，可执行频谱图和RGB图像的早期融合。我们描述了数据集，实验设置和消融。我们的最终方法在挑战测试集上实现了68.40的WER，超过基线43.7%，并赢得了挑战。
2022-11-18 cs.CV cs.MM cs.SD
Acoustically Precise Hesitation Tagging Is Essential for End-to-End Verbatim Transcription Systems
Speech and Machine Intelligence Lab（语音与机器智能实验室）；Machine Intelligence Lab（机器智能实验室）
本文研究逐字口语转录中的犹豫建模问题，通过 LoRA 微调 Whisper 并比较三种标注方案，证明 Gemini 2.0 Flash 推断的声学精确填充词标注可显著降低 WER。
2025-07-25 cs.CL cs.SD eess.AS
Improving Word Recognition in Speech Transcriptions by Decision-level Fusion of Stemming and Two-way Phoneme Pruning
Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一种无监督的方法来纠正高度不完善的语音transmittance的基础上的决策级融合的词干和双向音素修剪。通过使用Ffmpeg框架提取音频并使用Google API进一步将音频转换为文本转录，从视频中获取转录。在基准LRW数据集中，有500个单词类别，每个类别有50个mp4格式的视频。所有视频都由29帧（每帧1.16秒长）组成，单词出现在视频中间。在我们的方法中，我们试图通过使用词干提取，音素提取，过滤和修剪来提高基线准确率从9.34%。在将词干提取算法应用于文本转录本并评估结果后，我们在单词识别中达到了23.34%的准确率。为了将单词转换为音素，我们使用了卡内基梅隆大学（CMU）的发音词典，该词典提供了英语单词到其发音的语音映射。提出了一种双向音素修剪方法，该方法包括两个非顺序的步骤：1）对含有元音和爆破音的音素进行过滤和修剪; 2）对含有元音和摩擦音的音素进行过滤和修剪。在得到词干提取和双向音素修剪的结果后，我们采用决策级融合，使单词识别率提高到32.96%。
2021-07-26 cs.CL cs.SD eess.AS
Meeting Transcription Using Virtual Microphone Arrays
Microsoft Technical Report MSR-TR-2019-11 Revised July 2019 This report is an expanded version of a conference paper Denmark:interspeech2019 with added results on NIST-RT data.
我们描述了一个系统，通过使用虚拟麦克风阵列，一组空间分布的异步记录设备，如笔记本电脑和手机，生成扬声器注释的会议记录。该系统由连续音频流对齐、盲波束形成、语音识别、利用先验说话人信息的说话人日志化和系统合并组成。当利用七个输入音频流时，我们的系统实现了22.3%的单词错误率（WER），并且在非重叠语音段上接近麦克风WER的3%以内。说话者归因的WER（SAWER）为26.7%。对于三个、五个和七个麦克风，SAWER相对于单设备系统的相对增益分别为14.8%、20.3%和22.4%。当10%的语音持续时间包含多个说话人时，所提出的系统实现了13.6%的日志化错误率。每个组件的整体性能的贡献也进行了研究，我们验证了系统的NIST RT-07会议测试集上的实验。
2019-07-07 cs.CL cs.SD eess.AS
SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays
University of Maryland, College Park（马里兰大学学院公园分校）；Google（谷歌）；Google DeepMind（谷歌DeepMind）
针对大型音频语言模型缺乏空间感知的问题，提出SEA-LM模型，通过FOACODER编码器提取空间音频特征，结合多模态大语言模型与时空加权损失，在声音定位和选择性转录任务上优于基线，并适应多种麦克风阵列配置。
2026-10-08 cs.AI cs.SD
End-to-End Speech Recognition and Disfluency Removal with Acoustic Language Model Pretraining
针对不流畅对话语音转录的两阶段模型占优问题，本文利用大规模音频预训练重新评估了端到端模型，发现基于音频的语言模型在弱自监督预训练下可匹配或超越两阶段模型，且预训练目标显著影响任务适应性。
2023-09-08 cs.LG cs.SD eess.AS
Towards Disentangled Speech Representations
New York University（纽约大学）；Google Inc.（谷歌公司）
音频表示的精心构建已经成为许多语音任务设计方法的主要特征。越来越多地，这样的方法强调“解纠缠”，其中表示仅包含与转录相关的部分语音信号，同时丢弃不相关的信息。在本文中，我们构建了一个表示学习任务的基础上，联合建模的ASR和TTS，并寻求学习的音频表示，解开的那部分语音信号，这是相关的转录从那部分，这不是。我们提出的经验证据表明，成功地找到这样的表示是与训练中固有的随机性。然后，我们观察到，这些理想的，解开的解决方案的优化问题具有独特的统计特性。最后，我们表明，在训练过程中强制执行这些属性可以使我们的联合建模任务的WER平均提高24.5%。这些观察激发了一种新的方法来学习有效的音频表示。
2022-08-28 cs.AI cs.SD eess.AS
ASR Error Detection via Audio-Transcript entailment
Abridge AI Inc.（Abridge人工智能公司）
尽管最新的自动语音识别（ASR）系统的性能有所改进，但转录错误仍然是不可避免的。当用于帮助临床文档时，这些错误可能会对医疗保健等关键领域产生相当大的影响。因此，检测ASR错误是防止错误进一步传播到下游应用程序的关键第一步。为此，我们提出了一种新的端到端的ASR错误检测方法，使用音频转录蕴涵。据我们所知，我们是第一个将这个问题框架为音频片段及其相应的转录片段之间的端到端蕴涵任务的人。我们的直觉是，当没有识别错误时，音频和文字记录之间应该存在双向蕴涵，反之亦然。该模型利用声学编码器和语言编码器分别对语音和成绩单进行建模。两种模态的编码表示被融合以预测蕴涵。由于在我们的实验中使用了医患对话，因此特别强调了医学术语。我们提出的模型实现了26.2%的所有转录错误和23%的医疗错误的分类出错率（CER），分别导致12%和15.4%的强基线改善。
2022-07-22 cs.CL cs.SD eess.AS
Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition
Inner Mongolia University（内蒙古大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出 AVGER，通过多模态同步编码器和跨模态提示让 LLM 再读音视信号并纠正 AVSR 的 N-Best 假设，辅以多层级一致性约束，在 LRS3 上将 WER 较主流系统降低 24%。
2025-01-03 cs.AI cs.MM cs.SD
Attacks as Defenses: Designing Robust Audio CAPTCHAs Using Attacks on Automatic Speech Recognition Systems
University of Florida（佛罗里达大学）
音频CAPTCHA应该为在线资源提供强大的防御;然而，语音到文本机制的进步使这些防御无效。音频CAPTCHA不能简单地被放弃，因为它们被W3C特别命名为可访问性的重要推动者。因此，更健壮的音频CAPTCHA对未来安全和可访问的Web非常重要。我们期待最近的文献对语音到文本系统的攻击的灵感，为建设强大的，原则驱动的音频防御。我们首先比较了20篇最近的攻击论文，对它们进行了分类和测量，以作为新的“对转录具有鲁棒性”但“易于人类理解”的CAPTCHA的基础。在证明这些攻击都不足以解决问题后，我们提出了一种新的机制，它既相对容易理解（通过用户研究进行评估），又难以自动转录（即，$P({\rm transcription}) = 4 \times 10^{-5}$）。最后，我们证明了我们的音频样本有很高的概率被检测为验证码时，语音到文本系统（$P({\rm evasion}) = 1.77 \times 10^{-4}$）。通过这样做，我们不仅展示了一个难以破解的CAPTCHA大约四个数量级，而且可以根据从攻击论文中获得的见解来设计这样的系统，使用人类和计算机处理音频的方式之间的差异。
2022-03-10 cs.AI cs.CR cs.SD
Large-Scale Pre-Training of End-to-End Multi-Talker ASR for Meeting Transcription with Single Distant Microphone
Microsoft Corp.（微软公司）
用单个远距离麦克风（SDM）转录包含重叠语音的会议一直是自动语音识别（ASR）最具挑战性的问题之一。虽然已经提出了各种各样的方法，所有以前的单声道重叠语音识别问题的研究是基于模拟数据或小规模的实际数据。在本文中，我们广泛研究了一种两步方法，首先使用大规模模拟数据预训练基于序列化输出训练（SOT）的多说话者ASR，然后使用少量真实会议数据微调模型。实验是通过利用我们内部的7.5万（K）小时的单说话者录音来模拟总共90万小时的多说话者音频片段进行监督预训练。通过对AMI-SDM 70小时的训练数据进行微调，我们的SOT ASR模型在自动计算每个测试段中的扬声器的同时，对AMI-SDM评估集实现了21.2%的单词错误率（WER）。该结果不仅显著优于先前的具有oracle话语边界信息的36.4%的最新WER，而且优于通过应用于波束成形音频的类似微调的单说话者ASR模型的结果。
2021-04-12 cs.CL cs.SD eess.AS
VoiceSHIELD-Small: Real-Time Malicious Speech Detection and Transcription
Emvo
VoiceSHIELD-Small通过实时转录和检测恶意语音，提供轻量级的安全解决方案，实现99.16%的准确率和0.9865的F1分数。
2026-03-08 cs.AI cs.SD
Neural Predictor for Black-Box Adversarial Attacks on Speech Recognition
Sony（索尼）
最近的工作已经揭示了自动语音识别（ASR）模型对对抗性示例（AE）的脆弱性，即，在音频信号的转录中引起错误的小扰动。因此，研究音频对抗攻击是迈向强大ASR的第一步。尽管在攻击音频示例方面取得了重大进展，但黑盒攻击仍然具有挑战性，因为只提供了传输的硬标签信息。由于这种有限的信息，现有的黑盒方法通常需要过多的查询来攻击单个音频示例。在本文中，我们介绍了NP-攻击，神经预测为基础的方法，逐步演变的搜索对一个小的对抗扰动。给定扰动方向，我们的神经预测器直接估计导致错误转录的最小扰动。特别是，它使NP攻击能够通过基于梯度的优化准确地学习有希望的扰动方向。实验结果表明，NP攻击实现了竞争力的结果与其他国家的最先进的黑盒对抗攻击，而需要显着较少的查询数量。NP-Attack的代码可以在网上找到。
2022-03-18 cs.AI cs.LG cs.SD
Human Transcription Quality Improvement
Amazon（亚马逊）
针对众包语音转录质量低的问题，提出置信度再处理与自动纠错两阶段方法，构建并发布 LibriCrowd，显著降低转录及 ASR 词错误率。
2023-09-24 cs.AI cs.CL cs.LG
Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels
Meta
本文提出Auto-AVSR，利用预训练ASR模型自动转录未标注数据集扩充训练集，在LRS2和LRS3上取得AV-ASR新SOTA，WER达0.9%。
2023-06-28 cs.CV cs.SD eess.AS
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA（LINAGORA公司）
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题，提出了包含多源文本与真实语码转换音频的LinTO数据集，为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
Adversarial Attacks Against Automatic Speech Recognition Systems via Psychoacoustic Hiding
Horst Görtz Institute for IT Security（霍斯特·格茨信息技术安全研究所）；Ruhr-Universität Bochum（波鸿鲁尔大学）
语音接口正被广泛接受为用于各种设备集的输入方法。这一发展是由自动语音识别（ASR）的快速改进推动的，ASR现在在许多任务中的表现与人类听力相当。这些改进基于DNN作为ASR计算核心的持续发展。然而，最近的研究结果表明，DNN容易受到对抗性扰动的影响，这使得攻击者能够将转录强制转换为恶意输出。在本文中，我们介绍了一种新型的对抗性的例子的基础上心理声学隐藏。我们的攻击利用了基于DNN的ASR系统的特性，在该系统中，我们通过额外的反向传播步骤扩展了原始分析过程。我们使用这种反向传播来学习输入信号的对抗性扰动的自由度，即，我们应用心理声学模型并在低于人类感知阈值的情况下操纵声学信号。为了进一步最小化扰动的可感知性，我们使用强制对齐来找到原始音频样本和恶意目标转录之间的最佳拟合时间对齐。这些扩展允许我们将恶意语音命令嵌入任意音频输入，然后由ASR系统转录，音频信号与原始信号几乎没有区别。在实验评估中，我们攻击了最先进的语音识别系统Kaldi，并确定了不同类型输入的最佳性能参数和分析设置。我们的结果表明，我们在高达98%的情况下是成功的，对于一个10秒的音频文件，计算工作量不到两分钟。基于用户研究，我们发现，我们的目标transanc是听不到的人类听众，谁仍然理解原始语音内容与不变的准确性。
2018-10-30 cs.CR cs.SD eess.AS
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań（亚当·密茨凯维奇大学）；Samsung Research Poland（三星电子波兰研究院）
本文提出一种结合反向转录与细粒度错误分类的方法，利用合成语音评估语音识别错误对自然语言理解模型性能的影响，并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
Catch Me If You Can: Blackbox Adversarial Attacks on Automatic Speech Recognition using Frequency Masking
University of Edinburgh（爱丁堡大学）
自动语音识别（ASR）模型是普遍的，特别是在用于家用电器的语音导航和话音控制的应用中。ASR的计算核心是深度神经网络（DNN），已被证明易受对抗性扰动的影响;很容易被攻击者滥用以生成恶意输出。为了帮助测试ASRS的安全性和鲁棒性，我们提出了生成黑盒（与DNN无关）的技术，这些技术可以跨ASR进行无针对性的对抗攻击。这与专注于白盒目标攻击的现有工作形成对比，这些攻击耗时且缺乏可移植性。我们的技术生成对抗攻击，通过使用心理声学模型操纵音频信号，保持音频扰动低于人类感知的阈值，没有人类可听的差异。我们使用三种流行的ASR和两个输入音频数据集，使用的指标-字出错率（WER）的输出转录，原始音频的相似性，攻击成功率不同的ASR和检测分数的防御系统，我们的技术评估的可移植性和有效性。我们发现我们的对抗攻击可以跨ASR进行移植，不容易被最先进的防御系统检测到，并且在输出传输上有显著差异，同时听起来与原始音频相似。
2022-04-12 cs.CL cs.SD cs.SE
Explanations for Automatic Speech Recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对基于神经网络的自动语音识别，提出通过解释来提升系统理解和信任，采用统计故障定位和因果方法生成最小且充分的音频帧子集作为转录解释。
2026-06-23 cs.AI cs.CL cs.LG
What the Waveform Knows: Transparent-first Speech and Audio Intelligence with Caption Studio
Faculty of Science, Agriculture, and Engineering, Newcastle University Singapore（新加坡纽卡斯尔大学科学、农业与工程学院）；School of Information and Control Engineering, Qingdao University of Technology（青岛理工大学信息与控制工程学院）；Department of EEE, Amrita School of Engineering, Amrita Vishwa Vidyapeetham（阿姆瑞塔工程学院电气与电子工程系，阿姆瑞塔大学）
研究借助字幕工作室平台实现透明优先的语音和音频智能。核心方法是构建基于FastAPI的三层架构系统。主要贡献为提出透明优先框架，明确指标性质，提升语音分析的可追溯性、可解释性与可靠性，还介绍了相关系统架构等内容。
2026-07-22 cs.AI cs.SD
Enhancing Automatic Speech Recognition Through Integrated Noise Detection Architecture
Independent Researcher（独立研究者）
通过集成噪声检测架构提升语音识别的准确性和噪声辨别能力
2025-12-02 cs.AI cs.LG cs.SD
Targeted Adversarial Examples for Black Box Audio Systems
UC Berkeley（加州大学伯克利分校）
深度递归网络在音频转录中的应用已经在自动语音识别（ASR）系统中取得了令人印象深刻的进展。许多人已经证明，小的对抗性扰动可以欺骗深度神经网络，使其以高置信度错误地预测特定目标。目前关于愚弄ASR系统的工作主要集中在白盒攻击上，其中模型架构和参数是已知的。在本文中，我们采用了一个黑箱的方法来对抗生成，结合遗传算法和梯度估计的方法来解决这个问题。我们在3000代后实现了89.25%的目标攻击相似性，同时保持了94.6%的音频文件相似性。
2019-08-20 cs.CR cs.LG cs.SD
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin（都柏林大学学院）
自动语音识别（ASR）系统在转录来自未知域的音频时，转录质量显著降低。我们提出了一种无监督的错误校正方法，用于无监督的ASR域自适应，旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同，我们的方法只需要目标域的未标记数据，其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合，我们还提出了一个编码器-解码器校正模型，该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明，我们的方法获得了显着的字出错率（WER）降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上，相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
Introducing Semantics into Speech Encoders
University of California, Los Angeles（加州大学洛杉矶分校）；Meta AI；National Taiwan University（国立台湾大学）
最近的研究发现，现有的自监督语音编码器主要包含声学信息，而不是语义信息。因此，流水线监督自动语音识别（ASR）到大语言模型（LLM）系统通过利用来自LLM的丰富语义表示来实现语义口语任务的最新结果。这些系统的代价是标记的音频传输，这是昂贵和耗时的获得。我们提出了一个任务不可知的无监督的方式，将语义信息从LLM到自监督语音编码器没有标记的音频transmitting。通过引入语义，我们将现有的语音编码器口语语言理解性能在意图分类上提高了10%以上，在命名实体分辨率和槽填充方面有适度的增益，口语问答FF1得分提高了2%以上。我们的无监督方法实现了与在超过100小时的标记音频转录上训练的监督方法相似的性能，证明了现有语音编码器的无监督语义增强的可行性。
2022-11-15 cs.CL cs.LG cs.SD
When Audio Separation Hurts Zero-Shot ASR: Evaluating SAM-Audio with Whisper on Bengali and English Speech
Department of Computer Science and Engineering, University of Rajshahi（计算机科学与工程系，拉贾沙希大学）；Anan National College of Technology（安安国立技术学院）
研究发现，SAM-Audio预处理虽提升信号质量，但导致零样本ASR识别性能下降，揭示了机器识别与人类感知的不匹配问题。
2026-07-16 cs.AI cs.LG cs.SD
A study of audio mixing methods for piano transcription in violin-piano ensembles
KAIST（韩国科学技术院）；Electronics and Telecommunications Research Institute（电子与电信研究院）；Sogang University（西江大学）
本研究分析了不同音频混合数据增强方法对小提琴-钢琴合奏中钢琴转录性能的影响，通过构建PFVN-synth数据集并结合MAESTRO数据集，验证了考虑谐波与时间特征的混合方法的有效性。
2023-05-23 cs.SD eess.AS
Deep Audio-Visual Singing Voice Transcription based on Self-Supervised Learning Models
National University of Singapore（新加坡国立大学）
本文提出基于自监督学习的纯音频、纯视频及音视频融合歌声转写系统，并构建 N20EMv2 数据集，利用唇部视频与预训练表征提升标注效率、域外泛化和噪声鲁棒性。
2023-04-24 cs.SD eess.AS
Reconstructing the Charlie Parker Omnibook using an audio-to-score automatic transcription pipeline
Centre for Digital Music（数字音乐中心）
本研究提出一种模块化音频到乐谱转录流水线，结合源分离、MIDI转录及MIDI到乐谱方法，并构建带对齐标注的查理·帕克数据集作为新基准，旨在实现无需人工干预的复杂爵士乐谱自动重建。
2024-05-26 cs.SD eess.AS
audio2chart: End to End Audio Transcription into playable Guitar Hero charts
Riccardo Tripodi（独立研究者）
本文提出 audio2chart 框架，将《吉他英雄》谱面自动生成建模为序列预测任务，并证明加入音频条件能一致提升音符预测准确率。
2025-11-05 cs.SD eess.AS
A Transcription Prompt-based Efficient Audio Large Language Model for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Tencent YouTu Lab（腾讯优图实验室）
针对噪声环境下音频大语言模型语音识别存在幻觉、重复导致错误的问题，提出基于转录提示、引入ASR专家作为转录分词器及混合AR-NAR解码的Audio-LLM，在WenetSpeech语料上显著降低CER且彻底解决解码重复问题。
2024-08-18 cs.SD eess.AS
The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design（新加坡科技设计大学）
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换（CQT）的影响。我们的研究结果表明，在不改变神经网络设计（单层全连接）的情况下，通过选择适当的输入表示（具有STFT窗口长度为4，096和2，048频率箱的对数频谱图），可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明，梅尔声谱图是一个紧凑的表示，我们可以减少频率箱的数量只有512，同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription
Kyoto University（京都大学）
我们提出了一个自动钢琴转录系统，可以将复调录音转换为乐谱。这一直是音乐信息处理中的一个老大难问题，近年来的研究在多音高检测和节奏量化这两个主要组成技术上取得了显著的进展。鉴于这种情况，我们研究了一种集成基于深度神经网络的多音高检测和基于概率模型的节奏量化的方法。在第一部分中，我们进行了系统的评估，发现虽然本方法在音符水平上实现了高的转录准确度，但音乐的一些全局特征，如速度标度，节拍（时间标记）和小节线位置，经常被错误地估计。在第二部分中，我们制定了非本地统计的音高和节奏的内容，来自音乐知识，并研究他们的影响，推断这些全球性的特点。我们发现，这些统计数据是显着有效的提高转录结果，其最佳组合包括从分离的手部分获得的统计数据。在流行钢琴音乐的数据集上，该集成方法的总体转录出错率为7.1%，强拍F-测量为85.6%，并且所生成的转录可以部分地用于音乐表演和辅助人类转录者，从而展示了实际应用的潜力。
2021-04-03 cs.SD eess.AS
Towards Generalizability to Tone and Content Variations in the Transcription of Amplifier Rendered Electric Guitar Audio
National Taiwan University（台湾大学）；Positive Grid（Positive Grid公司）
本文针对电吉他转录中数据集稀缺和音色变化问题，提出多样化数据集EGDB-PG和带音色嵌入的TIT模型，实验证明其在不同放大器上优于现有基线，显著提升转录准确性。
2025-04-10 cs.SD eess.AS
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
我们提出了一个框架，采用自动音乐转录（AMT）使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差，音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此，我们采用了两个经常性的神经网络，作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在，另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性，我们应用动态时间规整作为对齐算法，而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集，并将其与以前的工作进行比较。结果表明，与学习功能的对齐框架显着提高了准确性，实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
GAPS: A Large and Diverse Classical Guitar Dataset and Benchmark Transcription Model
Queen Mary University of London（伦敦玛丽女王大学）
本文提出最大的古典吉他音频-乐谱对齐数据集 GAPS，并基于其训练出在 GuitarSet 上有监督和零样本设置下均达最先进水平的吉他自动转录模型。
2024-08-30 cs.SD eess.AS
Audio-to-Score Alignment Using Deep Automatic Music Transcription
University of Milan（米兰大学）
音频到乐谱对齐（A2SA）是一项多模态任务，包括将音频信号与乐谱对齐。最近的文献证实了自动音乐转录（AMT）在帧级A2SA的好处。在这项工作中，我们的目标是详细说明AMT深度学习（DL）模型的利用，以实现在音符级别的对齐。我们提出了一种方法，它受益于基于HMM的分数到分数对齐和AMT，表现出显着的进步超出了国家的最先进的。我们设计了一个系统的程序，以利用大型数据集，不提供对齐的分数。最后，我们对多个数据集进行了全面的比较和广泛的测试。
2021-12-30 cs.MM cs.SD eess.AS
Pairing Real-Time Piano Transcription with Symbol-level Tracking for Precise and Robust Score Following
Institute of Computational Perception, Johannes Kepler University（计算感知研究所，约翰尼斯·凯普尔大学）；LIT AI Lab, Linz Institute of Technology（林茨人工智能实验室，林茨技术研究所）
本文提出一种混合音频-符号的实时乐谱跟随方法，通过结合钢琴音频转录与新型符号级跟踪器，在跟踪精度和稳健性上均优于传统纯音频在线时间规整方法。
2025-05-08 cs.SD eess.AS
TART: A Comprehensive Tool for Technique-Aware Audio-to-Tab Guitar Transcription
针对现有吉他自动转录存在的演奏技巧无法标注、弦品映射错误、泛化性差等问题，提出四阶段端到端流水线TART，可从音频生成带准确指法和技巧标签的详细吉他六线谱。
2025-10-02 cs.SD
