Boosting Large Language Model for Speech Synthesis: An Empirical Study
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）
本文通过结合LLaMA/OPT和VALL-E，探索了三种将大语言模型与语音合成模型集成的方法，发现以LLM作为文本编码器的耦合方法效果最佳，显著降低了10.9%的词错误率。
2023-12-30 cs.CL cs.SD eess.AS
SememeASR: Boosting Performance of End-to-End Speech Recognition against Domain and Long-Tailed Data Shift with Sememe Semantic Knowledge
Tsinghua University（清华大学）；Peng Cheng Lab（鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）
针对纯数据驱动语音识别在领域不匹配和长尾数据场景下的性能瓶颈，提出融合义原语义知识的SememeASR方法，实验验证其可提升识别效果、长尾数据识别能力及领域泛化性。
2023-10-07 cs.CL cs.SD eess.AS
BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks
Tencent Corp（腾讯公司）；Sina Weibo Corp（新浪微博公司）
作为预先训练的Transformer模型，BERT（来自Transformers的双向编码器表示）在多个NLP任务上取得了突破性的性能。另一方面，Boosting是一种流行的集成学习技术，它结合了许多基本分类器，并已被证明在许多机器学习任务中产生更好的泛化性能。已有研究表明，集成BERT可以进一步提高应用性能。然而，目前的集成方法集中在装袋或堆叠，并没有太多的努力探索提升。在这项工作中，我们提出了一种新的Boosting BERT模型，将多类Boosting集成到BERT中。我们提出的模型使用预训练的Transformer作为基础分类器来选择更难的训练集进行微调，并在NLP任务中获得预训练语言知识和增强集成的好处。我们在GLUE数据集和3个流行的中国NLU基准上评估了所提出的模型。实验结果表明，我们提出的模型显着优于BERT在所有数据集上，并证明了它在许多NLP任务的有效性。Boosting BERT将BERT基础替换为RoBERTa作为基础分类器，在几个NLP任务中实现了新的最先进的结果。我们还使用“教师-学生”框架内的知识蒸馏，以减少BoostingBERT的计算开销和模型存储，同时保持其实际应用的性能。
2020-09-13 cs.AI cs.CL
MAC: A unified framework boosting low resource automatic speech recognition
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个统一的框架，低资源自动语音识别任务命名为Meta音频级联（MAC）。它易于实施，可以在资源极其有限的环境中进行。在数学上，我们给出了一个清晰的描述MAC框架的角度来看，baker-sampling。在这个框架中，我们利用一个新的拼接合成文本到语音系统，以提高低资源ASR任务。通过拼接合成的文语转换系统，可以整合语言发音规则，调整文语转换过程。此外，我们提出了一个广义的Meta音频集的概念，以满足不同的语言和不同的场景使用系统时的建模需求。大量的实验已经证明了MAC在低资源ASR任务上的巨大有效性。对于CTC贪婪搜索、CTC前缀、注意力和注意力重评分解码模式，MAC方法在粤语ASR任务、台语ASR任务和日语ASR任务中均能使CER降低15%以上。此外，在ASR任务中，MAC在粤语的常见语音数据集上击败了wav 2 vec 2（微调），并在台语和日语的常见语音数据集上获得了真正有竞争力的结果。其中，值得一提的是，我们在普通语音粤语ASR任务上实现了\textbf{10.9\%}的字符出错率（CER），带来了\textbf{30\%}相对wav 2 vec 2的改善（微调）。
2023-02-15 cs.CL cs.SD eess.AS
Unveiling Hidden Factors: Explainable AI for Feature Boosting in Speech Emotion Recognition
University of Québec (TÉLUQ)（魁北克大学（TÉLUQ））；Concordia University（康考迪亚大学）；Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程学院）；University of Québec at Montréal（蒙特利尔魁北克大学）；Centre for Research and Intervention on Suicide, Ethical Issues and End-of-Life Practices（自杀、伦理问题与临终实践研究与干预中心）
本文提出一种基于Shapley值的迭代特征增强方法，通过可解释性优化语音情感识别特征集，在多个基准上超越现有方法。
2024-06-05 cs.AI cs.CL cs.LG
SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model
National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
数据驱动的语音处理模型通常在大量的文本监督下表现良好，但收集转录的语音数据是昂贵的。因此，我们提出了SpeechCLIP，一个新的框架，通过图像来增强语音模型，而无需transmittance的语音和文本桥接。我们利用最先进的预训练HuBERT和CLIP，通过配对图像和语音字幕进行对齐，并进行最小的微调。SpeechCLIP在图像语音检索方面优于现有技术，并且在没有transmittance直接监督的情况下执行zero-shot语音文本检索。此外，SpeechCLIP可以直接从语音中检索语义相关的关键字。
2022-10-25 cs.CL cs.SD eess.AS
Boosting Norwegian Automatic Speech Recognition
National Library of Norway（挪威国家图书馆）
本文通过构建多种规模和预训练方式的ASR基线模型，将挪威议会语音语料库的词错误率从17.10%降至7.60%，显著提升了挪威两种官方书面语言的语音识别性能。
2023-07-04 cs.CL
Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion
University of Maryland（马里兰大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；College of Education（教育学院）
本研究提出将发音特征作为辅助任务和伪输入集成到基于Transformer的ASR框架中，通过语音反演和交叉注意力融合，在LibriSpeech上显著提升低资源条件下的识别性能。
2025-10-01 cs.AI cs.CL cs.SD
Boosting Cross-Domain Speech Recognition with Self-Supervision
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STCA（微软（亚洲）互联网工程院）
本文提出一个系统的无监督域适应框架，通过持续预训练缓解域不匹配，并设计双分支伪标签、不确定性感知过滤和两步伪标签方法提升跨域ASR性能。
2023-07-30 cs.CL cs.SD eess.AS
N-gram Boosting: Improving Contextual Biasing with Normalized N-gram Targets
Dialpad Inc.（Dialpad公司）
针对语音转文本中专有名词和技术术语识别困难的问题，提出一种基于归一化 n-gram 的两步关键词增强机制，通过优化权重逻辑避免过度增强，在专有数据集和 LibriSpeech 上分别实现 26% 和 2% 的相对提升。
2023-08-04 cs.AI cs.CL cs.SD
Integrating Pre-Trained Speech and Language Models for End-to-End Speech Recognition
rinna Co., Ltd.（rinna公司）
本文提出将预训练语音表示模型与大语言模型通过桥接网络集成，实现端到端语音识别全流程优化，并支持参数高效领域自适应和推理优化，实验表明其性能可与现代 E2E ASR 模型相媲美。
2024-06-06 cs.AI cs.CL cs.LG
Integrating Knowledge in End-to-End Automatic Speech Recognition for Mandarin-English Code-Switching
Institute for Natural Language Processing (IMS) University of Stuttgart Stuttgart, Germany
语码转换是多语言社区中的一种常见语言现象，指说话时语言之间的转换。本文介绍了我们的研究工作的端到端的语音识别的中英文CS语音。我们分析了不同的CS具体问题，如CS语言对中的语言之间的属性不匹配，切换点的不可预测性，以及数据稀缺问题。我们通过合并非语言符号，通过使用分层softmax集成语言识别，通过对子字单元建模，通过人为降低说话速率，并通过使用速度扰动技术和多个单语数据集来增强数据，以提高系统在CS语音和单语基准上的最终性能，从而使系统更适用在现实生活中。最后，我们探讨了不同的语言模型集成方法对模型性能的影响。我们的实验结果表明，所有提出的技术提高识别性能。最佳组合系统在混合出错率方面相对基线系统提高了35%，并在单语基准测试中提供了可接受的性能。
2021-12-19 cs.CL cs.SD eess.AS
SLIDE: Integrating Speech Language Model with LLM for Spontaneous Spoken Dialogue Generation
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Guangdong Provincial Public Security Department（广东省公安厅）；Shanghai Jiao Tong University（上海交通大学）
本文提出 SLIDE 框架，通过 LLM 生成对话文本、双塔 Transformer 预测音素时长、SLM 发声化，在 Fisher 数据集上实现语义连贯的自然口语对话生成。
2025-01-01 cs.CL cs.SD eess.AS
RE-LLM: Refining Empathetic Speech-LLM Responses by Integrating Emotion Nuance
RE-LLM通过整合情绪细微差别，提升语音-LLM的共情响应生成能力，实验显示在多个数据集上显著提高了情感反应和探索评分。
2026-02-11 cs.CL cs.SD eess.AS
Integrating HMM-Based Speech Recognition With Direct Manipulation In A Multimodal Korean Natural Language Interface
本文提出了一种基于HMM的语音识别引擎，并将其集成到韩语文档编辑器的直接操作界面中。语音识别可以减少标准GUI（图形用户界面）中不可避免的典型繁琐和重复操作。我们的系统包括通用的语音识别引擎ABrain（AuditoryBrain）和语音命令文档编辑器SHE（SimpleHearingEditor）。ABrain是一个基于音素的语音识别引擎，其离散命令识别率高达97%。SHE是一个基于EuroBridge控件的文档编辑器，支持语音命令以及直接操作界面。
1996-11-18 cmp-lg cs.CL
Boosting Accuracy and Interpretability in Multilingual Hate Speech Detection Through Layer Freezing and Explainable AI
Department of Computer Science（计算机科学系）；University of South Carolina（南卡罗来纳大学）；Department of Civil, Environmental, and Ocean Engineering（土木、环境与海洋工程系）；Stevens Institute of Technology（史蒂文斯理工学院）；School of Computing（计算学院）；University of Nebraska–Lincoln（内布拉斯加大学林肯分校）；Bowling Green State University（鲍灵格林州立大学）
本研究通过冻结变压器模型层和整合LIME框架，提升多语言情感分析和仇恨言论检测的准确性和可解释性。
2026-01-06 cs.CL
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University（国立台湾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出PW-HuBERT框架，利用视觉基础语音模型生成伪词级目标，无需语音-文本配对数据，在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Integrating Human Linguistic Insights into AI: Theory-Driven Representation for Multilingual Text-to-Speech
Newcastle University（纽卡斯尔大学）；University of Oxford（牛津大学）；Tencent（腾讯）；Shengrurenxin Ltd.（胜瑞仁信有限公司）
该研究将理论驱动的FUL特征融入改进后的FastSpeech架构，仅需少量训练数据即可实现多语种TTS，支持混码合成，为低资源语言TTS提供了高效可扩展的方案。
2026-08-07 cs.CL cs.SD eess.AS
Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders
Northeastern University（东北大学）；Tencent（腾讯）；The Chinese University of Hong Kong（香港中文大学）；NiuTrans Research（小牛翻译研究院）
鉴于语音到翻译数据稀缺的事实，编码器预训练在端到端语音翻译（ST）中很有前途。但是ST编码器不是自动语音识别（ASR）或机器翻译（MT）编码器的简单实例。例如，我们发现ASR编码器缺乏翻译所必需的全局上下文表示，而MT编码器的设计不是为了处理长但局部注意的声学序列。在这项工作中，我们提出了一个堆叠声学和文本编码（SATE）的语音翻译方法。我们的编码器开始与往常一样处理声学序列，但后来的行为更像是输入序列的全局表示的MT编码器。通过这种方式，可以直接将预训练的模型纳入系统。此外，我们开发了一个适配器模块，以减轻预训练的ASR编码器和MT编码器之间的表示不一致，并开发了一个多教师知识蒸馏方法，以保持预训练知识。LibriSpeech En-Fr和MuST-C En-De ST任务的实验结果表明，我们的方法实现了18.3和25.2的最先进的BLEU分数。据我们所知，我们是第一个开发出端到端ST系统的公司，当大规模ASR和MT数据可用时，该系统可以实现与级联ST系统相当甚至更好的BLEU性能。
2021-06-15 cs.CL cs.SD eess.AS
Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation
OriginAI
自动语音识别（ASR）系统经常使用基于搜索的解码策略，旨在通过考虑多个候选来找到最佳可达到的转录本。一个突出的语音识别解码启发是束搜索，其寻找具有使用预测分布计算的最大似然的转录本。虽然在各种任务中显示出实质性的性能增益，但是当预测的概率是高度可信的时，即，针对单个或非常少的类聚集预测的分布。我们表明，最近提出的基于自监督学习（SSL）的ASR模型往往会产生非常自信的预测，可能会妨碍束搜索真正考虑一组不同的候选人。我们进行了一个层分析，揭示和可视化预测如何演变，并提出了一个解码过程，提高了微调ASR模型的性能。我们提出的方法不需要在原始微调之外进行进一步的训练，也不需要额外的模型参数。事实上，我们发现，我们提出的方法需要显着减少推理计算比目前的方法。我们建议聚合顶部M层，潜在地利用中间层中编码的有用信息，并放松模型置信度。我们通过对不同数量的标记资源和不同模型大小进行实证研究来证明我们方法的有效性，特别是当应用于低资源场景时，表现出一致的改进。
2022-12-27 cs.CL cs.SD eess.AS
Integrating Feedback Loss from Bi-modal Sarcasm Detector for Sarcastic Speech Synthesis
University of Groningen（格罗宁根大学）；Brown University（布朗大学）；Indian Institute of Technology Indore（印度理工学院印度尔）
本文提出整合双模反讽检测器反馈损失的语音合成方法，通过迁移学习提升合成反讽语音的质量和自然度。
2025-08-18 cs.CL
Parsing Speech: A Neural Approach to Integrating Lexical and Acoustic-Prosodic Information
University of Washington（华盛顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
在会话语音中，声学信号提供线索，帮助听众消除歧义困难的分析。为了自动解析口语，我们引入了一个模型，该模型使用卷积神经网络在能量和音高轨迹上集成了转录文本和声学韵律特征，并结合了基于注意力的递归神经网络，该网络接受文本和韵律特征。我们发现，不同类型的声学韵律功能是单独的帮助，并在统计上显着改善解析和不流利检测F1分数在一个强大的纯文本的基线。对于这项研究与已知的句子边界，错误分析表明，声学韵律功能的主要好处是在句子不流利，附件的决定是最改善，和转录错误掩盖收益韵律。
2018-04-15 cs.CL cs.LG cs.SD
Integrating Source-channel and Attention-based Sequence-to-sequence Models for Speech Recognition
Cambridge University（剑桥大学）
本文提出了一种新的自动语音识别（ASR）框架，称为集成源-通道和注意力（ISCA），它结合了基于噪声源-通道模型（SC）的传统系统和使用基于注意力的序列到序列模型的端到端风格系统的优点。传统的SC系统框架包括隐马尔可夫模型和基于连接主义时间分类（CTC）的声学模型，语言模型（LM）和基于词典的解码过程，而端到端风格的基于注意力的系统联合建模的整个过程与一个单一的模型。通过重新评分的传统系统使用端到端的风格系统的基础上扩展的噪声源-信道模型的假设，ISCA允许结构化的知识，可以很容易地通过SC为基础的模型，同时利用基于注意力的模型的互补性。AMI会议语料库上的实验表明，ISCA是能够给一个相对的单词错误率降低高达21%，在一个单独的系统，并通过13%的替代方法，也涉及到CTC和基于注意力的模型相结合。
2019-10-01 cs.CL cs.LG cs.SD
UoB at SemEval-2020 Task 12: Boosting BERT with Corpus Level Information
University of Birmingham（伯明翰大学）
预先训练的语言模型单词表示，如BERT，在几个自然语言处理任务中非常成功，大大提高了最先进的水平。这在很大程度上归功于它们能够更好地捕获句子中包含的语义信息。然而，有几个任务可以从语料库级别的可用信息中受益，例如词频-逆文档频率（TF-IDF）。在这项工作中，我们测试了将这些信息与BERT整合在识别社交媒体上的滥用行为的任务上的有效性，并表明将这些信息与BERT整合确实显着提高了性能。我们参与子任务A（滥用检测），其中我们在表现最好的团队中获得两分以内的分数，并参与子任务B（目标检测），其中我们在44个参与团队中排名第4。
2020-08-19 cs.CL
Towards Selection of Text-to-speech Data to Augment ASR Training
Meta AI；University of Augsburg（奥格斯堡大学）
本文通过可使用交叉熵或 Arcface 损失训练的相似度网络筛选 TTS 合成语音，发现保留与真实语音差异较大的样本可增强 ASR，并将数据需求降至 30% 以下。
2023-05-30 cs.CL cs.SD eess.AS
Integrating Categorical Features in End-to-End ASR
Apple（苹果公司）
全神经、端到端的ASR系统迅速引起了语音识别社区的兴趣。这样的系统使用单个可训练神经网络模型将语音输入转换成文本单元。E2E模型需要大量的成对语音文本数据，这是昂贵的获得。可用的数据量因不同语言和方言而异。利用所有这些数据是至关重要的，这样低资源语言和高资源语言都可以得到改进。当我们想要为新的应用领域部署ASR系统时，特定于领域的训练数据的量非常有限。能够利用现有领域的数据对于新领域中的ASR准确性非常重要。在本文中，我们把所有这些方面作为分类信息的ASR系统，并提出了一个简单而有效的方法来集成到E2E模型的分类特征。我们对各种训练策略进行了详细的分析，发现构建一个包含分类特征的联合模型比多个独立训练的模型更准确。
2021-10-06 cs.CL cs.SD eess.AS
Delayed Fusion: Integrating Large Language Models into First-Pass Decoding in End-to-end Speech Recognition
Apple（苹果公司）；Brno University of Technology（布尔诺理工大学）
针对端到端语音识别集成大语言模型时的高计算成本与词表不匹配问题，本文提出延迟融合方法，通过延迟应用LLM分数减少推理调用与打分假设数，支持重分词，实验证实其在解码速度和准确率上均优于浅融合与N-best重打分。
2025-01-16 cs.CL cs.SD eess.AS
Integrating Knowledge into End-to-End Speech Recognition from External Text-Only Data
University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
基于注意力的编码解码器（AED）模型在语音识别中取得了很好的性能。然而，由于端到端训练，AED模型通常使用语音-文本配对数据进行训练。将外部纯文本数据纳入AED模型具有挑战性。AED模型的另一个问题是，它在预测令牌时没有使用文本令牌的正确上下文。为了缓解上述两个问题，我们提出了一种统一的方法，称为LST（从教师那里学习拼写），将知识从外部纯文本数据集成到AED模型中，并在句子中利用整个上下文。该方法分为两个阶段。首先，在表示阶段，在文本上训练语言模型。这可以看作是文本中的知识被压缩到LM中。然后，在迁移阶段，通过师生学习将知识迁移到AED模型中。为了更好地利用句子的整体语境，我们提出了一个名为因果完形填空（COR）的LM，它可以在给定句子的左右语境的情况下估计一个标记出现的概率。因此，通过LST训练，AED模型可以利用句子中的整体语境。不同于基于融合的方法，在解码过程中使用LM，所提出的方法不会增加任何额外的复杂度在推理阶段。我们在两个规模的公开中文数据集AISHELL-1和AISHELL-2上进行了实验。实验结果表明，与基线混杂系统和基于AED模型的系统相比，利用外部纯文本数据和句子中的整个上下文，我们提出的方法的有效性。
2021-03-16 cs.CL cs.SD eess.AS
Advancing Airport Tower Command Recognition: Integrating Squeeze-and-Excitation and Broadcasted Residual Learning
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）；Wuhan University of Technology（武汉理工大学）；Fortemedia Singapore（Fortemedia新加坡公司）
本文提出BC-SENet模型，通过融合挤压-激励与广播残差学习提升机场塔台指令识别准确率和效率，并在多个模型对比及Google语音指令数据集上验证了其优越性。
2024-06-28 cs.CL cs.SD eess.AS
Integrating Language Models into Direct Speech Translation: An Inference-Time Solution to Control Gender Inflection
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出首个语音翻译中控制性别屈折变化的推理时解决方案，通过部分替换ST解码器内部语言模型为特定性别外部LM，在无需重训练的情况下显著提升了性别准确率。
2023-10-24 cs.AI cs.CL
Integrating Lattice-Free MMI into End-to-End Speech Recognition
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
在自动语音识别（ASR）研究中，判别准则在DNN-HMM系统中取得了优异的性能。鉴于这一成功，采用判别标准有望提高端到端（E2 E）ASR系统的性能。有了这个动机，以前的作品已经引入了最小贝叶斯风险（MBR，判别标准之一）到E2 E ASR系统。然而，基于MBR的方法的有效性和效率受到损害：MBR准则仅用于系统训练，这造成了训练和解码之间的不匹配;基于MBR的方法中的动态解码过程导致需要预先训练的模型和缓慢的训练速度。为此，在这项工作中，提出了新的算法集成到E2 E ASR系统中的另一个广泛使用的判别准则，无格最大互信息（LF-MMI），不仅在训练阶段，而且在解码过程中。所提出的LF-MMI训练和解码方法在两个广泛使用的E2 E框架上显示了其有效性：基于注意力的编码器-解码器（AED）和神经传感器（NT）。与基于MBR的方法相比，所提出的LF-MMI方法：保持了训练和解码之间的一致性;避免了动态解码过程;从随机初始化的模型进行训练，具有优越的训练效率。实验表明，LF-MMI方法的性能优于MBR方法，并且在30小时到14.3k小时的各种框架和数据集上始终导致统计上显着的性能改进。所提出的方法在Aishell-1（CER 4.10%）和Aishell-2（CER 5.02%）数据集上实现了最先进的（SOTA）结果。代码被释放。
2022-08-23 cs.CL cs.SD eess.AS
Hearing to Translate: The Effectiveness of Speech Modality Integration into LLMs
Fondazione Bruno Kessler（布鲁诺·凯瑟尔基金会）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；Soongsil University（顺天大学）；Charles University（查尔斯大学）；KIT（卡尔斯鲁厄理工学院）
本文评估了将语音模态整合到LLMs中的有效性，发现级联系统总体更可靠，但最新SpeechLLMs在某些情况下可匹配或超越级联系统，而SFM表现较差，强调整合LLM的重要性。
2026-04-25 cs.AI cs.CL cs.SD
Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media
University of Waterloo（滑铁卢大学）
本文提出多模态讨论Transformer（mDT），利用图Transformer融合讨论上下文中的文本与图像信息来检测Reddit仇恨言论，并构建新数据集HatefulDiscussions验证其优于仅处理单条评论的基线方法。
2024-02-22 cs.CL cs.LG cs.MM
Integrating Prosodic and Lexical Cues for Automatic Topic Segmentation
我们提出了一个概率模型，同时使用韵律和词汇线索的自动分割语音成主题连贯的单位。我们提出了两种方法结合使用隐马尔可夫模型和决策树的词汇和韵律信息。从语音识别器中获取词汇信息，从语音波形中自动提取韵律特征。我们评估我们的方法上的广播新闻语料库，使用DARPA-TDT评估指标。结果表明，单独的韵律模型是有竞争力的基于词的分割方法。此外，我们实现了一个显着减少错误相结合的韵律和基于单词的知识源。
2001-05-31 cs.CL
HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics
Nantes University（南特大学）；Le Mans University（勒曼大学）；Avignon University（阿维尼昂大学）
本文提出HATS数据集，通过人类评估对比不同ASR系统的转录错误，探讨人类偏好与ASR评估指标的关系。
2026-04-30 cs.CL
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
Praaline: Integrating Tools for Speech Corpus Research
University of Louvain（鲁汶大学）
本文介绍了Praaline，一个开源的软件系统，用于管理，注释，分析和可视化语音语料库。使用语音语料库的研究人员经常面临多种工具和格式，他们需要以协作的方式处理不断增加的数据量。Praaline在一个模块化系统中集成和扩展了现有的经过时间验证的口语语料库分析工具（Praat，Sonic Visualiser和R统计软件包的桥梁），促进了自动化和重用。用户可以使用一个集成的、用户友好的界面来访问多个工具。语料库元数据和注释可以存储在数据库中，本地或远程，用户可以定义元数据和注释结构。用户可以基于插件和脚本运行可定制的级联分析步骤，并使用结果更新数据库。可以查询语料库数据库以产生聚合数据集。Praaline可以使用Python或C++插件进行扩展，而Praat和R脚本可以针对语料库数据执行。提供了一系列可视化、编辑器和插件。Praaline是自由软件，在GPL许可下发布。
2018-02-08 cs.CL cs.DB
Transducer-Llama: Integrating LLMs into Streamable Transducer-based Speech Recognition
Meta AI；University of Cambridge（剑桥大学）
本文提出Transducer-Llama架构，通过将LLM集成到Factorized Transducer模型实现流式ASR，并采用弱到强LM替换与MWER微调策略，在LibriSpeech上较基线最高降低32%词错率。
2024-12-21 cs.CL eess.AS
Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks
Missouri State University（密苏里州立大学）
RoBERTa-OTA通过整合Transformer注意力与图卷积网络，提升多类仇恨言论检测的准确率与效率。
2026-02-03 cs.CL
AI-Driven Modular Services for Accessible Multilingual Education in Immersive Extended Reality Settings: Integrating Speech Processing, Translation, and Sign Language Rendering
Institute of Communications and Computer Systems (ICCS)（通信与计算机系统研究所）；DASKALOS-APPS；National Technical University of Athens（雅典国家技术大学）；University of Exeter（埃克塞特大学）
本文提出一个模块化平台，整合六个AI服务，用于多语言教育中的无障碍访问，通过语音识别、翻译、语音合成和手语渲染等技术提升沉浸式体验。
2026-04-07 cs.AI cs.CE cs.CL
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
本研究提出一种整合面部表情、身体动作、语音和口语的多模态情感识别系统，为心理评估提供客观、数据驱动的工具，降低误诊风险并提升诊断准确性。
2026-10-16 cs.CL cs.CV cs.HC
Integrating Text Inputs For Training and Adapting RNN Transducer ASR Models
IBM Research AI（IBM研究院人工智能部门）
与使用模块化架构的混合自动语音识别（ASR）系统（其中每个组件可以独立地适应于新的领域）相比，最近的端到端（E2 E）ASR系统由于其全神经单片构造而难以定制。在本文中，我们提出了一种新的文本表示和E2 E ASR模型的训练框架。通过这种方法，我们证明了经过训练的RNN转换器（RNN-T）模型的内部LM组件可以有效地适应纯文本数据。使用语音和文本输入训练的RNN-T模型比仅使用语音训练的基线模型有所改进，在NIST Hub 5 2000评估的Switchboard和CallHome测试集上，单词出错率（WER）降低了近13%。通过将这种通用RNN-T模型定制为三个独立的数据集，进一步证明了所提出方法的有用性。我们观察到20-45%的相对字出错率（WER）减少在这些设置与这种新的LM风格的定制技术，只使用不成对的文本数据从新的域。
2022-02-26 cs.CL cs.SD eess.AS
SNDCNN: Self-normalizing deep CNNs with scaled exponential linear units for speech recognition
Apple Inc.（苹果公司）
非常深的CNN在计算机视觉和语音识别方面都取得了最先进的结果，但很难训练。训练非常深的CNN最流行的方法是使用快捷连接（SC）和批量归一化（BN）。受自规范化神经网络的启发，我们提出了基于自规范化深度CNN（SND CNN）的声学模型拓扑，通过移除SC/BN并用ResNet-50中的缩放指数线性单元（SELU）替换典型的CNOU激活。SELU激活使网络自我规范化，并消除了对快捷连接和批量归一化的需要。与ResNet- 50相比，我们可以实现相同或更低（相对高达4.5%）的字出错率（WER），同时将训练和推理速度提高60%-80%。我们还探索了其他模型推理优化方案，以进一步减少生产使用的延迟。
2020-03-23 cs.CL cs.LG cs.SD
CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation
Microsoft（微软公司）
针对流式语音翻译标注数据成本高的问题，提出CTC-GMM方法，利用CTC压缩语音序列匹配文本序列，借助MT文本数据优化模型，在FLEURS、CoVoST2上提升准确率并加快GPU解码速度。
2024-10-07 cs.AI cs.CL eess.AS
Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving
Shenzhen International Graduate School（深圳国际研究生院）
针对语音大语言模型因缺乏标注数据导致泛化差的问题，提出仅依赖配对语音与文本的多任务行为模仿方法MTBI，结合语音-文本交错增强对齐效率，在提示与任务泛化上超越现有最优模型且所需监督数据更少。
2025-05-24 cs.CL cs.SD eess.AS
Position-invariant Fine-tuning of Speech Enhancement Models with Self-supervised Speech Representations
本文提出基于自监督语音表示的语音增强模型位置不变微调方法，通过零填充和速度扰动结合软DTW损失，提升嘈杂环境下的下游任务性能。
2026-01-28 cs.CL cs.SD eess.AS
Memory Augmented Lookup Dictionary based Language Modeling for Automatic Speech Recognition
ByteDance（字节跳动）
最近的研究表明，使用外部语言模型（LM）有利于端到端的自动语音识别（ASR）。然而，预测在训练集中出现频率较低的标记仍然具有相当大的挑战性。长尾预测问题在许多应用中得到了广泛的研究，但只有少数研究涉及ASR和LM。在本文中，我们提出了一个新的内存增强的查找字典为LM的Transformer架构。新引入的查找字典在训练集中包含了丰富的上下文信息，这对于正确预测长尾令牌至关重要。在中文和英文数据集上的实验表明，该方法在字/字符出错率和尾标记出错率上均优于基线Transformer LM。这在不影响解码效率的情况下实现。总的来说，我们证明了我们提出的方法在提高ASR解码性能方面的有效性，特别是对于长尾令牌。
2022-12-30 cs.CL eess.AS
Integrating automatic speech recognition into remote healthcare interpreting: A pilot study of its impact on interpreting quality
University of Surrey（萨里大学）
本文通过一项中英医疗口译试点研究，验证了ASR完整转写及ChatGPT摘要能提升远程医疗口译质量，并探讨了最佳ASR输出呈现方式。
2025-02-05 cs.CL
SparQLe: Speech Queries to Text Translation Through LLMs
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本研究提出 SparQLe 方法，通过模态适配器将自监督语音表征与指令微调的 LLMs 对齐，实现语音到文本翻译，有效保留语义内容，为多模态语音理解应用提供新方案。
2025-05-30 cs.AI cs.CL
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Learn Spelling from Teachers: Transferring Knowledge from Language Models to Sequence-to-Sequence Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
将外部语言模型集成到序列到序列语音识别系统中是不平凡的。以前的作品利用线性插值或融合网络来集成外部语言模型。然而，这些方法引入了外部组件，并增加了解码计算量。在本文中，我们提出了一种基于知识蒸馏的训练方法，将外部语言模型集成到序列到序列模型中。在大规模外部文本上训练的递归神经网络语言模型生成软标签来指导序列到序列模型训练。因此，语言模型扮演着教师的角色。这种方法在测试过程中不会向序列到序列模型添加任何外部组件。该方法可以灵活地与浅层融合技术结合进行解码。实验在中文公共数据集AISHELL-1和CLMAD上进行。我们的方法实现了一个字符的错误率为9.3%，这是相对减少了18.42%相比，香草序列到序列模型。
2019-07-13 cs.CL eess.AS
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
Large Scale Language Modeling in Automatic Speech Recognition
Google, Inc.（谷歌公司）
大语言模型已被证明对Google中的各种自动语音识别任务非常有益。我们总结了语音搜索和一些YouTube语音转录任务的结果，以强调增加训练数据量和根据这些数据估计的语言模型大小所能带来的影响。根据任务、所使用的训练数据的可用性和量、语言模型的大小以及在网格重新评分步骤中将它们集成的工作量和注意力，我们观察到相对于在17%和52%之间的字出错率的宽范围的操作点上的系统，字出错率的降低在6%和10%之间。
2012-10-31 cs.CL
Contextual Adapters for Personalized Speech Recognition in Neural Transducers
Amazon Alexa（亚马逊Alexa）
由于缺乏训练数据，端到端自动语音识别（E2E ASR）模型中的个人稀有词识别是一个挑战。解决这个问题的标准方法是在推理时使用浅层融合方法。然而，由于它们依赖于外部语言模型和确定性的方法来提高权重，它们的性能是有限的。在本文中，我们提出了在基于神经换能器的ASR模型中训练用于个性化的神经上下文适配器。我们的方法不仅可以偏向用户定义的单词，而且可以灵活地使用预训练的ASR模型。使用内部数据集，我们证明了上下文适配器可以应用于任何通用的预训练ASR模型，以提高个性化。我们的方法优于浅层融合，同时通过不改变任何模型权重来保留预训练模型的功能。我们进一步表明，适配器风格的训练优于在具有用户定义内容的数据集上对ASR模型进行全微调。
2022-05-26 cs.CL cs.LG
