Alignment-Free Training for Transducer-based Multi-Talker ASR
NTT Corporation（NTT公司）
本文提出MT-RNNT-AFT无对齐训练方案，通过在转录开头附加说话人提示标记，使标准RNNT架构无需精确时间戳即可实现多说话人ASR，性能与最先进方法相当且训练过程大幅简化。
2024-09-30 cs.CL cs.SD eess.AS
Empowering Whisper as a Joint Multi-Talker and Target-Talker Speech Recognition System
The Chinese University of Hong Kong（香港中文大学）
本文提出一种开创性方法，通过冻结 Whisper 并插入 Sidecar 分离器、引入 Target Talker Identifier 及软提示微调，使其能同时处理多说话人与目标说话人语音识别任务，在多个数据集上超越以往方法并具备零样本能力。
2024-08-24 cs.CL cs.SD eess.AS
The Multilingual TEDx Corpus for Speech Recognition and Translation
Johns Hopkins University（约翰霍普金斯大学）；University of Maryland（马里兰大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了多语言TEDx语料库，建立支持跨许多非英语源语言的语音识别（ASR）和语音翻译（ST）研究。该语料库收集了8种源语言的TEDx演讲录音。我们将文字稿分割成句子，并将它们与源语言音频和目标语言翻译对齐。该语料库与开源代码一起发布，以便在新的谈话和语言可用时进行扩展。我们的语料库创建方法可以应用到更多的语言比以前的工作，并创建多路并行评估集。我们提供多种ASR和ST设置的基线，包括多语言模型，以提高低资源语言对的翻译性能。
2021-06-15 cs.CL
Streaming end-to-end multi-talker speech recognition
Microsoft Corp.（微软公司）
端到端多人语音识别是语音领域的一个新兴研究方向，它在会话和会议传输等应用中具有巨大的潜力。据我们所知，所有现有的研究工作都局限于离线场景。在这项工作中，我们提出了流分解和识别传感器（SURT）的端到端的多说话人语音识别。我们的模型采用递归神经网络转换器（RNN-T）作为骨干，可以满足各种延迟约束。我们研究了两种不同的模型架构，分别基于扬声器差分编码器和掩码编码器。为了训练该模型，我们研究了广泛使用的排列不变训练（PIT）方法和启发式错误分配训练（HEAT）方法。基于公开的LibriSpeechMix数据集上的实验，我们表明，与PIT相比，HEAT可以实现更好的准确性，并且具有150毫秒算法延迟约束的SURT模型在准确性方面优于基于离线序列到序列的基线模型。
2021-03-12 cs.CL cs.SD eess.AS
SPGISpeech 2.0: Transcribed multi-speaker financial audio for speaker-tagged transcription
Kensho TechnologiesUSA（Kensho Technologies USA）；NVIDIA CorporationUSA（NVIDIA Corporation USA）
本文介绍SPGISpeech 2.0，一个含3,780小时专业转录财报电话会议音频的金融领域说话人标记转录数据集，通过微调提升流行语音识别模型的说话人标记ASR性能，并免费供非商业使用。
2025-08-07 cs.CL cs.SD eess.AS
Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）；Nagaoka University of Technology（长冈技术科学大学）
提出了一种新的单通道多说话人重叠自动语音识别（ASR）系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练，其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而，传统的建模方法不能显式地考虑个体话语的说话者属性，例如性别和年龄信息。事实上，当每个说话者是同一性别或年龄接近时，性能会恶化。为了解决这个问题，我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中，基于变换的自回归模型不仅递归地生成文本标记，而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
Meeting Transcription Using Virtual Microphone Arrays
Microsoft Technical Report MSR-TR-2019-11 Revised July 2019 This report is an expanded version of a conference paper Denmark:interspeech2019 with added results on NIST-RT data.
我们描述了一个系统，通过使用虚拟麦克风阵列，一组空间分布的异步记录设备，如笔记本电脑和手机，生成扬声器注释的会议记录。该系统由连续音频流对齐、盲波束形成、语音识别、利用先验说话人信息的说话人日志化和系统合并组成。当利用七个输入音频流时，我们的系统实现了22.3%的单词错误率（WER），并且在非重叠语音段上接近麦克风WER的3%以内。说话者归因的WER（SAWER）为26.7%。对于三个、五个和七个麦克风，SAWER相对于单设备系统的相对增益分别为14.8%、20.3%和22.4%。当10%的语音持续时间包含多个说话人时，所提出的系统实现了13.6%的日志化错误率。每个组件的整体性能的贡献也进行了研究，我们验证了系统的NIST RT-07会议测试集上的实验。
2019-07-07 cs.CL cs.SD eess.AS
Improving Practical Aspects of End-to-End Multi-Talker Speech Recognition for Online and Offline Scenarios
本研究扩展序列化输出训练框架，通过结合连续语音分离前端、双模型/双遍架构及分段SOT，平衡多说话人语音识别的延迟与准确率，适配在线与离线场景需求。
2025-06-17 cs.CL cs.SD eess.AS
A Causality-Guided Prediction of the TED Talk Ratings from the Speech-Transcripts using Neural Networks
University of Rochester（罗切斯特大学）
公开演讲表现的自动预测使新的系统能够辅导公开演讲技能。我们使用最大的公开资料库-TED演讲-来预测在线观众提供的评分。该数据集包含超过2200个谈话记录和相关的Meta信息，包括来自网站自发访问者的超过550万个评级。我们仔细地消除了数据集中存在的偏差（例如，演讲者的声誉，通过宣传获得的知名度等）通过使用因果图对数据生成过程进行建模。我们使用基于词序列的递归结构和基于依赖树的递归结构作为预测TED演讲评分的神经网络。我们的神经网络模型可以预测评级，平均F分数为0.77，大大优于竞争基线方法。
2019-05-21 cs.CL cs.LG stat.ML
Speaker-Distinguishable CTC: Learning Speaker Distinction Using CTC for Multi-Talker Speech Recognition
NHK Science and Technology Research Laboratories（日本国立放送理事会科学技术研究所）；Waseda University（早稻田大学）
本文提出 SD-CTC 并将其集成到 SOT 框架中，使多人语音识别无需时间戳等辅助信息即可学习说话人区分性，错误率降低 26%。
2025-06-09 cs.CL cs.SD eess.AS
BA-SOT: Boundary-Aware Serialized Output Training for Multi-Talker ASR
Northwestern Polytechnical University（西北工业大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对多说话人ASR中SOT方法说话人切换预测难的问题，提出BA-SOT方法，通过边界相关任务与损失、两阶段CTC策略优化，结合新指标UD-CER验证，显著降低了字符错误率。
2023-10-05 cs.CL cs.SD eess.AS
Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven（鲁汶大学）
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话，电视字幕是许多类型讲话的丰富的翻译来源。然而，字幕不是语音的逐字（即，精确）翻译，因此它们不能直接用于改进自动语音识别（ASR）模型。我们提出了一个多任务双解码器Transformer模型，共同执行ASR和自动字幕。ASR解码器（可能是预先训练的）预测逐字输出，字幕解码器生成字幕，同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务，并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进，将额外的字幕解码器。该方法不需要预处理（对齐、过滤、伪标记等）。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
本文提出Style-Talker框架，通过微调音频LLM和基于风格的TTS模型，结合用户输入音频的转录与语音风格生成响应，在保持对话自然度和连贯性的同时将速度提升50%以上。
2024-08-13 cs.AI cs.CL eess.AS
Predicting TED Talk Ratings from Language and Prosody
University of Rochester（罗切斯特大学）
我们使用最大的公开演讲资料库--TED演讲--来预测在线观众的收视率。我们的数据集包含超过2200个TED演讲稿（包括超过20万个句子），音频特征和相关的Meta信息，包括来自网站自发访问者的约550万个评级。我们提出了三种神经网络结构，并与统计机器学习进行了比较。我们的实验表明，它是可以预测所有14个不同的评级，平均AUC为0.83，仅使用成绩单和韵律特征。数据集和完整的源代码可供进一步分析。
2019-05-21 cs.CL cs.MM
One model to rule them all ? Towards End-to-End Joint Speaker Diarization and Speech Recognition
Università Politecnica delle Marche（马尔凯理工大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出名为SLIDAR的联合说话人日记化与语音识别框架，采用滑动窗口和端到端日记化增强转录模型，经说话人嵌入聚类得到全局结果，在AMI语料库的近讲和远场场景中均有效。
2023-10-02 cs.CL cs.SD eess.AS
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.（百度公司）
本文介绍了一个大规模的汉英语音翻译数据集BSTC（Baidu Speech Translation Corpus）。该数据集是基于一系列许可的演讲或讲座视频构建的，包括约68小时的普通话数据，其手动转录和翻译成英语，以及通过自动语音识别（ASR）模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务，并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
Extending Whisper with prompt tuning to target-speaker ASR
Shandong University（山东大学）；North Carolina State University（北卡罗来纳州立大学）；Shandong Normal University（山东师范大学）
本文提出利用提示微调将 Whisper 扩展至目标说话人 ASR，仅用约 1% 的任务特定参数即可达到与完全训练相当的性能，并保留时间戳等原有特性。
2024-01-11 cs.CL cs.SD eess.AS
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）
在本文中，我们进行了一个比较研究的说话人属性的自动语音识别（SA-ASR）在多方会议的情况下，会议丰富的转录越来越受到关注的话题。具体而言，在这项研究中，三种方法进行了评估。第一种方法，FD-SOT，包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对，得到说话人属性的transmittance。然而，这种对齐策略可能会遭受错误的时间戳，由于模块的独立性，严重阻碍了模型的性能。因此，我们提出了第二种方法，WD-SOT，通过引入一个字级的日志模型，它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题，我们提出了第三种方法TS-ASR，它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法，在一个真实的会议场景语料库，AliMeeting，实验结果表明，WD-SOT方法实现了10.7%的平均说话人相关字符出错率（SD-CER）的相对减少，相比FD-SOT方法。此外，TS-ASR方法也优于FD-SOT方法，并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number of Speakers using End-to-End Speaker-Attributed ASR
Microsoft（微软）
本文提出了一种新的神经说话人日志化方法，即Transcribe-to-Diarize，它使用端到端（E2 E）说话人属性自动语音识别（SA-ASR）。E2 E SA-ASR是最近提出的用于说话者计数、多说话者语音识别和来自包含重叠语音的单声道音频的说话者识别的联合模型。虽然E2 E SA-ASR模型最初不估计任何与时间相关的信息，但我们表明，通过添加少量可学习的参数，可以从E2 E SA-ASR的内部状态以足够的精度估计每个单词的开始和结束时间。与基于目标说话人语音活动检测（TS-VAD）的日志化方法类似，E2 E SA-ASR模型被应用于估计每个说话人的语音活动，同时它具有以下优点：（i）处理无限数量的说话人，（ii）利用语言信息进行说话人日志化，以及（iii）同时生成说话人属性transmittance。在LibriCSS和AMI语料库上的实验结果表明，当说话人数目未知时，该方法的语音识别错误率明显优于现有的各种说话人语音识别方法;当说话人数目预先给定时，该方法的语音识别性能与TS-VAD相当.所提出的方法同时生成扬声器属性的转录与国家的最先进的准确性。
2022-01-22 cs.CL cs.SD eess.AS
Detecting Autism Spectrum Disorders with Machine Learning Models Using Speech Transcripts
WWP High School North（WWP北高中）；University of Chicago（芝加哥大学）
自闭症谱系障碍（ASD）可以被定义为一种神经发育障碍，影响儿童如何与他人互动，沟通和社交。这种疾病可以发生在广泛的症状，具有不同的影响和严重程度。虽然ASD没有永久性的治愈方法，但早期发现和积极治疗可以大大改善许多儿童的生活。目前准确诊断ASD的方法是侵入性的、耗时的和繁琐的。它们也可以是一些临床医生的主观观点，包括儿科医生，言语病理学家，心理学家和精神病学家。新技术正在迅速涌现，包括使用语音的机器学习模型，来自患者面部，视网膜和大脑MRI图像的计算机视觉，以准确及时地检测这种疾病。我们的研究重点是计算语言学和机器学习，使用来自世界上最大的口语数据库TalkBank的语音数据。我们使用来自TalkBank的ASD和典型发育（TD）儿童数据来开发机器学习模型，以准确预测ASD。我们使用TalkBank中两个数据集的50多个特征，使用五种不同的分类器进行实验。Logistic回归和随机森林模型被认为是这两个主要数据集中最有效的，准确度为0.75。这些实验证实，虽然存在提高准确性的重大机会，但机器学习模型可以可靠地预测儿童的ASD状态，以进行有效的诊断。
2021-10-07 cs.CL cs.LG cs.SD
Minimum Bayes Risk Training for End-to-End Speaker-Attributed ASR
Microsoft Corp.（微软公司）
最近，针对单声道重叠语音，提出了一种端到端的说话人属性自动语音识别（E2 E SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。在以前的研究中，模型参数的训练基于说话人属性最大互信息（SA-MMI）标准，与多说话人转录和说话人识别的联合后验概率最大化的训练数据。尽管SA-MMI训练对于由各种数量的说话者组成的重叠语音显示出有希望的结果，但训练标准并不直接与最终的评估度量相关联，即，说话者归因的单词错误率（SA-WER）。在本文中，我们提出了一种说话人属性最小贝叶斯风险（SA-MBR）训练方法，其中参数被训练为直接最小化训练数据上的预期SA-WER。使用LibriSpeech语料库的实验表明，与SA-MMI训练的模型相比，所提出的SA-MBR训练使SA-WER相对降低了9.0%。
2020-11-03 cs.CL cs.SD eess.AS
Grammar Based Speaker Role Identification for Air Traffic Control Speech Recognition
Idiap Research Institute（Idiap研究所）；Brno University of Technology（布尔诺理工大学）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Zurich（苏黎世大学）；German Aerospace Center (DLR)（德国航空航天中心）
用于空中交通管制的自动语音识别（ASR）通常通过将空中交通管制员（ATCO）和飞行员数据汇集到一个集合中来训练。这是因为飞行员的语音通信比ATCO更稀缺。由于这种数据不平衡和其他原因（例如，在不同的声学条件下），ATCO的语音通常比飞行员的语音识别得更准确。自动识别说话者角色是一项具有挑战性的任务，特别是在使用甚高频（VHF）接收器收集的嘈杂语音记录的情况下，或者由于一键通（PTT）信号的不可用，即，两个音频通道被混合。在这项工作中，我们建议（1）自动分割ATCO和飞行员数据的基础上，利用ASR成绩单的直观方法和（2）随后考虑自动识别ATCO和飞行员的声音作为两个独立的任务。我们的工作是在具有高噪声水平的VHF音频数据上进行的，即，信噪比（SNR）低于15 dB，因为该数据被认为有助于各种基于语音的机器学习任务。具体而言，对于扬声器的角色识别任务，该模块是由一个简单而有效的知识为基础的系统，利用国际民用航空组织（ICAO）定义的语法。系统接受文本作为输入，无论是手动验证的注释还是自动生成的抄本。所开发的方法提供了约83%的说话人角色识别的平均准确率。最后，我们证明了单独训练ASR任务的声学模型（即，ATCO和飞行员的单独模型）或使用多任务方法非常适合噪音数据，并且优于将所有数据汇集在一起的传统ASR系统。
2022-12-14 cs.CL cs.LG eess.AS
Loquacious Set: 25,000 Hours of Transcribed and Diverse English Speech Recognition Data for Research and Commercial Use
AI Center Cambridge（剑桥人工智能中心）；Samsung（三星）
针对现有ASR数据集在许可限制、数据质量或规模上的不足，本研究提出包含25,000小时可商用英语语音的Loquacious Set，涵盖多样口音与语音类型，供学术界与工业界在真实场景中构建ASR系统。
2025-05-27 cs.CL cs.SD eess.AS
Bootstrapping Audiovisual Speech Recognition in Zero-AV-Resource Scenarios
Barcelona Supercomputing Center (BSC), Spain（巴塞罗那超级计算中心（BSC））；Universitat Politècnica de Catalunya (UPC), Spain（巴塞罗那理工大学（UPC））
本文提出了一种在缺乏真实音频视频资源的情况下，通过合成视觉数据提升音频视觉语音识别性能的方法，实现了在资源匮乏语言上的高效识别。
2026-09-30 cs.CL eess.AS eess.IV
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是，获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而，从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中，我们提出了一种新的无监督自适应方法，学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示（例如，扬声器和通道）使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语，我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法，我们专注于一个通道失配设置，其中感兴趣的域是遥远的对话语音，标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集，优于所有基线和弥合之间的差距，不使用任何并行数据超过77%，不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation
Microsoft Research（微软研究院）；Aalborg University（奥尔堡大学）
我们提出了一种新的深度学习模型，它支持排列不变训练（PIT），用于说话人无关的多说话人语音分离，通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割（或聚类）问题的深度聚类技术不同，我们的模型优化了分离回归误差，忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题，该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信，基于PIT的改进最终可以解决鸡尾酒会问题，并使现实世界能够采用，例如，自动会议转录和多方人机交互，其中重叠语音是常见的。
2017-01-03 cs.CL cs.LG cs.SD
Developing Far-Field Speaker System Via Teacher-Student Learning
Microsoft AI & Research（微软人工智能与研究部）
在这项研究中，我们开发的关键字定位（KWS）和声学模型（AM）组件在远场扬声器系统。具体来说，我们使用师生（T/S）学习，以适应近距离交谈训练有素的生产AM远场通过使用并行近距离交谈和模拟远场数据。我们还使用T/S学习将大尺寸的KWS模型压缩成小尺寸的KWS模型，以适应设备的计算成本。在不需要转录的情况下，T/S学习很好地利用了未转录的数据来提高模型在AM自适应和KWS模型压缩中的性能。我们使用序列判别训练和实时数据进一步优化模型，以达到系统的最佳性能。自适应AM从基线分别提高了72.60%和57.16%的相对字出错率减少回放和现场测试数据。最终的KWS模型尺寸从大尺寸KWS模型减小了27倍，而不损失精度。
2018-04-14 cs.CL
Paragraph Segmentation Revisited: Towards a Standard Task for Structuring Speech
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出TEDPara和YTSegPara基准，通过约束解码方法和紧凑模型MiniSeg，实现语音段落分割的标准化与实用化。
2026-04-09 cs.CL
Talk it up or play it down? (Un)expected correlations between (de-)emphasis and recurrence of discussion points in consequential U.S. economic policy meetings
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
在做出重要决定的会议上，哪些项目受到更多关注可能会影响结果。我们研究了不同类型的修辞（去）强调-包括模糊限制语，最高级，对比连词-与什么被重温后，控制项目频率和扬声器。我们的数据包括美联储公开市场委员会（FOMC）的定期会议记录，这些会议决定了美国货币政策的重要方面。令人惊讶的是，我们发现，在对冲背景下出现的词语，通常被认为是表达不确定性的一种方式，更有可能在随后的会议中重复，而最高级所表示的强烈强调对随后会议中的单词重复有轻微的负面影响。我们还观察到有趣的模式，这些影响如何根据社会因素，如地位和性别的扬声器。例如，对冲的积极影响是更明显的女性发言人比男性发言人。
2016-12-19 cs.CL cs.SI physics.soc-ph
A superpersuasive autonomous policy debating system
DeepDebater是一种能够自主参与并赢得完整政策辩论的AI系统，通过多智能体协作生成高质量论证并战胜人类对手。
2025-11-22 cs.AI cs.CL cs.CY
Oído: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
Lokutor (Hashing Works, S.L.L.)（洛库托（哈希工坊有限责任公司））
本研究提出无需神经加速器的Oído推理引擎，在ESP32-S3微控制器上实现开放词汇语音识别，其性能优于厂商自带识别器及Whisper等模型，代码与模型已开源。
2026-11-04 cs.CL cs.SD eess.AS
Long-Form Speech Translation through Segmentation with Finite-State Decoding Constraints on Large Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
针对长篇语音翻译难题，本研究通过有限状态解码约束调整大语言模型分割长ASR转录文本，有效克服幻觉，在9个测试集中将TED演讲翻译平均BLEU提升2.9分。
2023-10-23 cs.AI cs.CL cs.LG
Merkel Podcast Corpus: A Multimodal Dataset Compiled from 16 Years of Angela Merkel's Weekly Video Podcasts
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IIT (BHU) Varanasi（印度理工学院（贝拿勒斯印度教大学）瓦拉纳西分校）；OTH Regensburg（雷根斯堡应用技术大学）
我们介绍了默克尔播客语料库，一个视听文本语料库在德国收集了16年（几乎）每周的互联网播客的前德国总理安格拉·默克尔。据我们所知，这是德语中第一个由大小和时间范围相当的音频，视频和文本模态组成的单扬声器语料库。我们描述了收集和编辑数据所使用的方法，包括下载视频，成绩单和其他元数据，强制对齐，执行主动说话人识别和人脸检测，最终管理由安吉拉·默克尔所说的话语组成的单个说话人数据集。所提出的管道是通用的，并且可以用于管理类似性质的其他数据集，例如脱口秀内容。通过对该数据集的各种统计分析和在说话人脸生成和TTS中的应用，我们展示了该数据集的实用性。我们认为，这是一个有价值的贡献，研究界，特别是由于其现实和具有挑战性的材料之间的边界准备和自发的讲话。
2022-05-24 cs.CL cs.SD eess.AS
DiPCo -- Dinner Party Corpus
Amazon（亚马逊）；Johns Hopkins University（约翰斯·霍普金斯大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
我们提出了一个语音数据语料库，模拟一个“晚宴”的情况下发生在日常的家庭环境。该语料库是通过记录多组由四名亚马逊员工志愿者组成的小组在餐桌上用英语进行自然对话而创建的。参与者通过单通道近距离通话麦克风和位于录音室不同位置的五个远场7麦克风阵列设备进行录音。该数据集包含总共10个会话的音频记录和人类标记的转录，持续时间在15到45分钟之间。该语料库的创建是为了在噪声鲁棒性和远程语音处理领域取得进展，旨在作为公共研究和基准数据集。
2019-09-30 cs.CL cs.SD eess.AS
Modeling Overlapped Speech with Shuffles
Johns Hopkins University（约翰霍普金斯大学）；LISN, CNRS（LISN-CNRS）；Carnegie Mellon University（卡内基梅隆大学）；Brno University of Technology（布拉格技术大学）
本文提出用洗牌操作建模重叠语音，通过洗牌积和偏序有限状态自动机实现对重叠语音的对齐和说话人标注。采用总分值作为损失函数进行训练，并通过偏序FSAs减少图规模。通过直接建模（token, speaker）元组实现说话人标注，Viterbi对齐通过洗牌积FSA实现单次对齐。
2026-03-18 cs.CL cs.LG cs.SD
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA（英伟达）；National Taiwan University（台湾大学）
本文提出将单声道对话转换为伪立体声数据的流程，把训练数据扩展至17,600小时，并比较不同语音基础模型的离散单元，以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
DiariST: Streaming Speech Translation with Speaker Diarization
Microsoft（微软）
本文提出首个集成 token 级序列化输出训练与 t-vector 的流式语音翻译和说话人分角色系统 DiariST，并构建 DiariST-AliMeeting 数据集及新 BLEU 指标。
2024-01-22 cs.CL cs.SD eess.AS
