OpenEnded: An Open-Response Speech Corpus for Speaking Proficiency Assessment with Human Annotations and ALM Supervision
Columbia University(哥伦比亚大学)
针对自动口语评估数据稀缺问题,构建开放式英语口语语料库OpenEnded,提供语句级多维评分,并验证ALM伪标注及VoxPA基线模型的有效性。
2026-09-15 cs.SD eess.AS
Automatic classification of stop realisation with wav2vec2.0
University of Glasgow(格拉斯哥大学);McGill University(麦吉尔大学);North Carolina State University(北卡罗来纳州立大学);Duke University(杜克大学)
本文证明wav2vec2.0模型能高精度自动分类英语和日语中的塞音爆破存在,且在各类语音库中表现稳健,为扩大语音研究范围提供了有效工具。
2025-05-30 cs.CL cs.SD eess.AS
On the Role of Speech Data in Reducing Toxicity Detection Bias
Meta FAIR;New York University(纽约大学);University College London(伦敦大学学院);McGill University(麦吉尔大学)
该研究针对文本毒性检测的群体提及偏差问题,通过为多语言MuTox数据集制作高质量群体标注,对比语音与文本毒性分类器,发现推理阶段用语音数据可降低偏差,且改进分类器比优化转录流程更有效,同时公开发布标注并给出数据集构建建议。
2025-05-16 cs.AI cs.CL cs.LG
SSDM: Scalable Speech Dysfluency Modeling
UC Berkeley(加州大学伯克利分校);Zhejiang University(浙江大学);UCSF(加州大学旧金山分校)
本文提出SSDM框架,通过发音姿态强制对齐、CSA对齐器、Libri-Dys大规模模拟语料库和LLM端到端系统,解决语音不流利建模的可扩展性、数据和框架三大挑战。
2024-10-03 cs.AI cs.CL cs.SD
AffectSpeech: A Large-Scale Emotional Speech Dataset with Fine-Grained Textual Descriptions for Speech Emotion Captioning and Synthesis
School of Biological Science and Medical Engineering, Southeast University(东南大学生物科学与医学工程学院);Key Laboratory of Child Development and Learning Science (Southeast University), Ministry of Education(教育部儿童发展与学习科学重点实验室(东南大学));Chair of Health Informatics (CHI), Technical University of Munich(慕尼黑工业大学健康信息学教席);Group on Language, Audio, & Music (GLAM), Imperial College London(帝国理工学院语言、音频与音乐组);Shenzhen Loop Area Institute(深圳河套学院);Shenzhen Research Institute of Big Data, School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(深圳市大数据研究院,香港中文大学(深圳)人工智能学院)
本文提出AffectSpeech数据集,通过精细文本描述提升语音情感建模的表达能力,采用人机协作标注方法,实验表明其在情感描述和合成任务中表现优异。
2026-04-05 cs.SD eess.AS eess.SP
LibriTTS-P: A Corpus with Speaking Style and Speaker Identity Prompts for Text-to-Speech and Style Captioning
LY Corp.(LY公司)
本文提出基于 LibriTTS-R 的 LibriTTS-P 语料库,通过人工与合成混合标注提供说话风格和身份提示,并验证其可提升可控 TTS 自然度及风格描述准确性。
2024-06-12 cs.CL cs.LG cs.SD
MSNER: A Multilingual Speech Dataset for Named Entity Recognition
KU Leuven(鲁汶大学)
针对口语 NER 资源稀缺且仅限英语的问题,本文构建多语言命名实体语音数据集 MSNER,配套高效标注工具、银/金标注分析及基线模型。
2024-05-19 cs.CL cs.LG
Learnings from curating a trustworthy, well-annotated, and useful dataset of disordered English speech
Google Research(谷歌研究院);MGH-IHP(麻省总医院-哈佛医学院卫生科学与技术部);Language and Cognition UCL(伦敦大学学院语言与认知学院);CPUnlimited
本文介绍Google的Project Euphonia项目在构建高质量障碍英语语音数据集上的进展,包括扩充说话人多样性、添加人工修正转录与音频标签、收集元数据,并分析了相关方法的效果与局限。
2024-09-13 cs.SD eess.AS
ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era
Carnegie Mellon University(卡内基梅隆大学);Brno University of Technology(布拉格技术大学);Instituto Superior Técnico(技术高等研究院);Hanyang University(翰阳大学);Hitachi Astemo(日立阿美士多);Shanghai Jiao Tong University(上海交通大学)
提出ESPnet3框架,通过模块化系统架构、配置驱动的数据集组合和统一Python工作流,实现大规模语音音频研究的高效训练与扩展,显著降低工程开销。
2026-06-23 cs.SD eess.AS
NVSpeech: An Integrated and Scalable Pipeline for Human-Like Speech Modeling with Paralinguistic Vocalizations
NVSpeech提出集成流水线,通过副语言感知ASR和可控TTS,实现普通话中副语言发声的识别与合成,提供大规模词级标注数据集。
2025-08-06 cs.AI cs.LG cs.SD
Self-supervised Speech Models for Word-Level Stuttered Speech Detection
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有口吃语音检测多为话语级、难以满足临床词级标注需求的问题,本研究构建带词级标注的口吃语音数据集,提出基于自监督语音模型的词级检测方法,性能超越既往方案,并通过消融实验明确模型适配关键要点。
2024-09-16 cs.AI cs.CL cs.SD
WenetSpeech-Chuan: A Large-Scale Sichuanese Corpus with Rich Annotation for Dialectal Speech Processing
Beijing AISHELL Technology Co., Ltd.(北京AISHELL科技有限公司);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究所(TeleAI));School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);WeNet Open Source Community(WeNet开源社区)
本文提出WenetSpeech-Chuan,一个1万小时四川话开源语料库及Chuan-Pipeline处理框架,并发布人工验证的ASR/TTS基准,实验证明其性能达开源最优、可比商业服务,有力推动方言语音研究与AI公平。
2025-09-22 cs.CL cs.SD
DementiaBank-Emotion: A Multi-Rater Emotion Annotation Corpus for Alzheimer's Disease Speech (Version 1.0)
Sue & Bill Gross School of Nursing, University of California, Irvine (UCI)(加州大学厄尔布雷特分校护理学院);Donald Bren School of Information and Computer Sciences, UCI, USA(加州大学厄尔布雷特分校信息与计算机科学学院);Smart Forward, Rancho Palos Verdes, USA(Smart Forward公司);Dept. of Psychiatry and Human Behavior, UCI, USA(加州大学厄尔布雷特分校精神病学与人类行为系);Amore Senior Living, Laguna Niguel, USA(Amore Senior Living公司);School of Medicine, University of California, Irvine(加州大学厄尔布雷特分校医学院);Purdue University, West Lafayette, USA(普渡大学);The George Washington University, Washington, D.C., USA(乔治华盛顿大学)
DementiaBank-Emotion语料库通过多评分标注揭示阿尔茨海默病患者语音中情绪表达特征,发现其非中性情绪比例显著高于健康对照,且在情绪-语调映射方面存在部分保留。
2026-02-04 cs.CL cs.SD
TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild
Massachusetts Institute of Technology, USA(麻省理工学院);National Taiwan University, Taipei, Taiwan(国立台湾大学);National Taiwan University Artificial Intelligence Center of Research Excellence, Taipei, Taiwan(国立台湾大学人工智能研究中心);Academia Sinica, Taiwan(台湾“中央”研究院);National Yang Ming Chiao Tung University, Taiwan(阳明交通大学);Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, USA(信号分析与解释实验室(SAIL),南加州大学)
针对低资源台语,构建包含21位老年人3000条话语的语音意图数据集,并探索关键词匹配与LLM伪标注、音视频框架两种数据挖掘策略,以解决标注数据稀缺问题。
2026-06-23 cs.CL cs.LG eess.AS
PolyHope: Two-Level Hope Speech Detection from Tweets
Instituto Politécnico Nacional (IPN)(国立理工学院);Centro de Investigación en Computación (CIC)(计算机研究中心)
希望的特征是对未来的精神开放,一种愿望,期望和希望某事发生或成为现实,显着影响人类的精神状态,情绪,行为和决定。希望通常与期望的期望和关于未来的可能性/概率的概念有关。尽管它的重要性,希望很少被研究作为一个社会媒体分析任务。本文提出了一个希望语音数据集,它首先将每条推文分为“希望”和“不希望”,然后分为三个细粒度的希望类别:“广义希望”,“现实希望”和“不现实的希望”(以及“不希望”)。收集2022年上半年的英文推文以建立此数据集。此外,我们详细描述了我们的注释过程和指导方针,并讨论了分类希望的挑战和现有的希望语音检测语料库的局限性。此外,我们还报告了几个基于不同学习方法的基线,如传统的机器学习、深度学习和Transformers,以基准测试我们的数据集。我们使用加权平均和宏观平均F1分数评估我们的基线。观察表明,严格的注释者选择过程和详细的注释指南提高了数据集的质量。这种严格的注释过程导致了只有二元语法的简单机器学习分类器的良好性能;然而,二进制和多类希望语音检测结果表明,上下文嵌入模型在该数据集中具有更高的性能。
2022-11-03 cs.AI cs.CL cs.CY
CataractSAM-2: A Domain-Adapted Model for Anterior Segment Surgery Segmentation and Scalable Ground-Truth Annotation
Thomas Jefferson High School for Science and Technology(托马斯·杰弗逊高中科学与技术学校);Mass Eye and Ear, Harvard Medical School(麻省眼耳研究所,哈佛医学院);Harvard Ophthalmology AI Lab, Schepens Eye Research Institute of Mass Eye and Ear, Harvard Medical School(哈佛眼科学人工智能实验室,麻省眼耳研究所的谢普恩斯眼研究学院,哈佛医学院)
本文提出CataractSAM-2,一种针对白内障眼科手术视频的实时语义分割模型,结合稀疏提示与视频掩码传播框架,提升标注效率并推动高质量地面真实标注的可扩展生成。
2026-03-23 cs.AI cs.CV cs.DB
Direct Speech-to-speech Translation without Textual Annotation using Bottleneck Features
ByteDance AI-Lab(字节跳动人工智能实验室)
语音翻译是直接将不同语言之间的语音转换为另一种语音,在同声传译等任务中具有巨大的潜力。最先进的模型通常包含用于音素序列预测的辅助模块,这需要对训练数据集进行文本注释。我们提出了一个直接的语音到语音翻译模型,可以在没有任何文本注释或内容信息的情况下训练。我们建议使用瓶颈特征作为模型的中间训练目标,而不是在模型中引入辅助音素预测任务,以确保系统的翻译性能。对普通话-粤语语音翻译的实验结果表明,该方法是可行的,其性能可以与级联系统的翻译和合成质量相媲美。
2022-12-12 cs.CL cs.SD eess.AS
BLOOM-Net: Blockwise Optimization for Masking Networks Toward Scalable and Efficient Speech Enhancement
Indiana University(印第安纳大学)
在本文中,我们提出了一个基于掩蔽网络(BLOOM-Net)的分块优化方法,用于训练可扩展的语音增强网络。在这里,我们使用残差学习方案设计我们的网络,并按顺序训练内部分离器块,以获得用于语音增强的可扩展的基于掩蔽的深度神经网络。它的可伸缩性允许它根据测试时环境动态调整运行时复杂度。为此,我们模块化我们的模型,因为它们可以灵活地适应不同的需求,增强性能和资源的约束,产生最小的内存或训练开销,由于增加的可扩展性。我们对语音增强的实验表明,所提出的分块优化方法实现了所需的可扩展性,只有轻微的性能下降相比,相应的模型训练端到端。
2022-02-10 cs.LG cs.SD eess.AS
Automatic Prosody Annotation with Pre-Trained Text-Speech Model
Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
韵律边界在文本到语音合成(TTS)的自然度和可读性方面起着重要的作用。然而,韵律边界标签的获取依赖于人工标注,这是昂贵的和耗时的。在本文中,我们提出了自动提取韵律边界标签的文本音频数据通过神经文本语音模型与预先训练的音频编码器。该模型分别在文本和语音数据上进行预训练,并以三元组格式对TTS数据进行联合微调:{语音,文本,韵律}。自动评测和人工评测的实验结果表明:1)本文提出的文本-语音韵律标注框架显著优于纯文本基线; 2)自动韵律边界标注的质量与人工标注相当; 3)使用模型标注边界训练的TTS系统略优于使用人工边界的系统。
2022-06-16 cs.CL cs.SD eess.AS
Audio-conditioned phonemic and prosodic annotation for building text-to-speech models from unlabeled speech data
本文提出音频条件化ASR标注模型,从未标注语音中提取音位与韵律标签,并借助纯文本语料和辅助TTS生成伪配对数据,从而以有限标注训练出接近全标注效果的TTS模型。
2024-06-12 eess.AS
audino: A Modern Annotation Tool for Audio and Speech
Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术研究所);National Institute of Technology, Kurukshetra(库鲁克舍特拉国立理工学院);Second Language Testing Inc.(第二语言测试公司)
在本文中,我们介绍了一个协作和现代化的音频和语音注释工具:audino。该工具允许注释者定义和描述音频中的时间分割。这些片段可以使用动态生成的表单轻松标记和转录。管理员可以通过管理仪表板集中控制用户角色和项目分配。仪表板还支持描述标签及其值。注释可以很容易地以JSON格式导出以供进一步分析。该工具允许上传音频数据及其相应的注释,并通过基于密钥的API分配给用户。注释工具的灵活性使其能够为语音评分、语音活动检测(VAD)、说话人拨号、说话人辨识、语音识别、情感识别任务等进行注释。MIT开源许可证允许它用于学术和商业项目。
2021-11-28 cs.CL cs.SD eess.AS
SpeechLMScore: Evaluating speech generation using speech language model
Carnegie Mellon University(卡内基梅隆大学);The University of Tokyo(东京大学)
虽然人工评估是评估语音生成系统的最可靠指标,但它通常成本高且耗时。以往的语音质量自动评估研究都是通过机器学习模型预测人的语音质量评估分数来解决这个问题。然而,它们依赖于监督学习,因此遭受高注释成本和域转移问题。我们提出了SpeechLMScore,一个无监督的度量来评估生成的语音使用语音语言模型。SpeechLMScore通过将语音信号映射到离散标记来计算语音信号的平均对数概率,并测量生成标记序列的平均概率。因此,它不需要人工注释,是一个高度可扩展的框架。评估结果表明,该指标显示出良好的相关性与人类的评价分数在不同的语音生成任务,包括语音转换,文本到语音,和语音增强。
2022-12-08 cs.LG cs.SD eess.AS
SANTLR: Speech Annotation Toolkit for Low Resource Languages
Carnegie Mellon University(卡内基梅隆大学)
虽然低资源语音识别已经吸引了语音社区的大量关注,但是有一些工具可用于促进低资源语音收集。在这项工作中,我们提出了SANTLR:语音注释工具包低资源语言。它是一个基于网络的工具包,允许研究人员轻松地收集和注释低资源语言的语音语料库。注释者可以将此工具包用于两个目的:转录或记录。在转录中,注释者将转录研究人员提供的音频文件;在记录中,注释者将通过阅读提供的文本来记录他们的声音。我们强调这个工具包的两个属性。首先,SANTLR具有非常用户友好的用户界面(UI)。研究人员和注释者都可以使用这个简单的Web界面进行交互。注释者不需要具备音频或文本处理方面的专业知识。该工具包将处理所有预处理和后处理步骤。其次,我们采用了多步排名机制,促进注释过程。特别地,工具包将给予更高优先级的话语更容易注释并且更有利于实现注释的目标,例如快速训练声学模型。
2019-08-02 cs.CL cs.SD eess.AS
Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models
University of Melbourne(墨尔本大学);Xi'an Jiaotong University(西安交通大学)
本文通过音频-语言模型生成合成标注,提升语音情感识别中模糊情感的真实分布可靠性,实验表明合成标注在低歧义区域效果显著,但高歧义情况需进一步优化。
2026-01-21 cs.AI cs.LG cs.SD
Low-Resource Mongolian Speech Synthesis Based on Automatic Prosody Annotation
VXI
虽然基于深度学习的TTS(文本到语音)模型(如VITS)已经显示出出色的结果,但它们通常需要大量高质量的<text,audio>对来进行训练,这是昂贵的。到目前为止,世界上大多数语言仍然缺乏开发TTS系统所需的训练数据。本文针对低资源蒙古语语音合成面临的两个问题提出了两种改进方法:a)鉴于缺乏高质量的<text,audio>数据对,难以对语言特征到声学特征的映射问题进行建模。使用预训练的VITS模型和迁移学习方法进行改进。b)针对标注信息少的问题,提出采用一种自动韵律标注方法对文本和对应语音的韵律信息进行标注,从而提高低资源蒙古语的自然度和可懂度。通过实证研究,本文提出的方法的N-MOS为4.195,I-MOS为4.228。
2023-01-04 cs.SD eess.AS
Training speech emotion classifier without categorical annotations
Le Mans University(勒芒大学);LIUM(勒芒大学计算机实验室)
情感表征有两种范式:范畴标注和连续空间中的维度描述。因此,情绪识别任务可以被视为分类或回归。本研究的主要目的是调查这两种表示之间的关系,并提出了一个分类管道,只使用尺寸标注。所提出的方法包含一个回归模型,该模型被训练来预测给定语音音频的维度表示中的连续值的向量。该模型的输出可以使用映射算法解释为情感类别。我们研究了三个特征提取器,三个神经网络架构和三个映射算法在两个不同语料库上的组合的性能。我们的研究表明,通过回归方法的分类的优点和局限性。
2022-10-14 cs.CL cs.HC cs.LG
Transcript-Prompted Whisper with Dictionary-Enhanced Decoding for Japanese Speech Annotation
Baidu Inc.(百度公司)
本文面向日语 TTS 数据集构建,提出以真实转写为条件微调 Whisper,并结合词典增强解码同步生成字素与音位、韵律标签,显著提升标注质量且合成语音自然度媲美人工标注。
2025-06-09 cs.CL cs.SD eess.AS
Crowdsourced and Automatic Speech Prominence Estimation
Northwestern University(西北大学)
本文提出众包标注与神经估计器,用于语音显著性估计,并开源LibriTTS子集标注,研究数据量与每句标注数对性能的影响。
2023-12-22 cs.SD eess.AS
StoryTTS: A Highly Expressive Text-to-Speech Dataset with Rich Textual Expressiveness Annotations
Shanghai Jiao Tong University(上海交通大学)
本文提出高表现力文本转语音数据集StoryTTS,包含61小时语音及丰富的文本表现力标注,通过大语言模型批量标注五个维度的文本表现力,实验证明结合该标签能提升TTS模型生成语音的表现力。
2024-04-23 cs.CL cs.SD eess.AS
FBWave: Efficient and Scalable Neural Vocoders for Streaming Text-To-Speech on the Edge
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能实验室);UC Berkeley(加州大学伯克利分校)
目前,越来越多的应用可以受益于基于边缘的文本到语音(TTS)。然而,大多数现有的TTS模型在计算上过于昂贵,并且不够灵活,无法部署在具有同样不同计算能力的各种边缘设备上。为了解决这个问题,我们提出了FBWave,这是一系列高效且可扩展的神经声码器,可以为不同的边缘设备实现最佳的性能效率权衡。FBWave是一种基于流的混合生成模型,结合了自回归和非自回归模型的优点。它可以产生高质量的音频,并在推理过程中支持流式传输,同时保持高度的计算效率。我们的实验表明,FBWave可以实现与WaveRNN相似的音频质量,同时将MAC减少40倍。更高效的FBWave变体可以实现高达109倍的MAC,同时仍然提供可接受的音频质量。音频演示可在https://bichenwu09.github.io/vocoder_demos上获得。
2020-11-25 cs.LG cs.SD eess.AS
Exploring Self-Supervised Multi-view Contrastive Learning for Speech Emotion Recognition with Limited Annotations
Maastricht University(马斯特里赫特大学)
针对语音情感识别中标注数据稀缺的问题,提出可适配多种语音表示的多视图自监督预训练框架,在标注极稀疏场景下将未加权平均召回率最高提升10%。
2024-06-12 cs.AI cs.CL cs.SD
End-To-End Label Uncertainty Modeling for Speech-based Arousal Recognition Using Bayesian Neural Networks
情绪是主观的。最近的端到端语音情感识别系统通常对情感的主观性质是不可知的,尽管它们具有最先进的性能。在这项工作中,我们引入了一个端到端的贝叶斯神经网络架构,以捕捉情感表达的唤醒维度中固有的主观性。据我们所知,这项工作是第一次使用贝叶斯神经网络的语音情感识别。在训练时,网络学习权重的分布,以捕获与主观唤醒注释相关的固有不确定性。为此,我们引入了一个损失项,使模型能够在注释分布上进行显式训练,而不是只在平均值或黄金标准标签上进行训练。我们在AVEC'16数据集上评估了所提出的方法。定性和定量分析的结果表明,该模型可以适当地捕捉主观唤醒注释的分布,与国家的最先进的结果,在平均值和标准差估计的不确定性建模。
2022-06-27 cs.LG cs.SD eess.AS
SECP: A Speech Enhancement-Based Curation Pipeline For Scalable Acquisition Of Clean Speech
Cisco Systems, Inc.(思科系统公司)
本文提出基于语音增强的策展流水线SECP,通过迭代获取和精炼干净语音,实验表明增强输出作为标签不会降低模型性能,且精炼数据在主观听感上优于原始数据。
2024-02-19 cs.IR cs.LG cs.SD
SeniorTalk: A Chinese Conversation Dataset with Rich Annotations for Super-Aged Seniors
College of Computer Science, Nankai University(南开大学计算机学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对现有语音技术因缺乏75岁以上超高龄人群语音数据而性能不足的问题,本文构建多维度标注的中文对话数据集SeniorTalk,支持多语音任务并通过实验为相关技术开发提供关键见解。
2025-11-12 cs.CL cs.SD eess.AS
Adaptive Slimming for Scalable and Efficient Speech Enhancement
University of Illinois at Urbana-Champaign, USA(伊利诺伊大学厄巴纳-香槟分校);Technical University of Denmark, Denmark(丹麦技术大学)
本文提出动态瘦身技术,使DEMUcs架构在不同利用因子下自适应运行,实现高效语音增强,减少计算量并保持语音质量。
2025-07-07 cs.LG cs.SD eess.AS
Foundation Model Assisted Automatic Speech Emotion Recognition: Transcribing, Annotating, and Augmenting
University of Southern California(南加州大学)
本研究探索利用基础模型自动化语音情感识别的转录、标注与增强过程,发现其能提升系统性能并验证了标注无标签语音样本扩充数据集的可行性。
2023-09-15 cs.SD eess.AS
SVTS: Scalable Video-to-Speech Synthesis
Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
视频到语音合成(也称为唇到语音)是指将无声的嘴唇运动翻译成相应的音频。这项任务由于其自我监督的性质(即,可以在没有人工标记的情况下进行培训),并结合不断增加的在线视听数据收集。尽管有这些强烈的动机,当代的视频到语音作品主要集中在中小型语料库与词汇和设置的实质性限制。在这项工作中,我们引入了一个可扩展的视频到语音的框架,由两个组件组成:一个视频到频谱图预测器和一个预先训练的神经声码器,它将梅尔频谱图转换成波形音频。我们实现了国家的最先进的结果网格和大大优于以前的方法LRW。更重要的是,通过使用简单的前馈模型专注于谱图预测,我们可以有效地将我们的方法扩展到非常大且无约束的数据集:据我们所知,我们是第一个在具有挑战性的LRS3数据集上显示出可理解结果的人。
2022-08-15 cs.CV cs.LG cs.SD
Scalable and Efficient Neural Speech Coding: A Hybrid Design
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(电子通信研究院)
我们提出了一个可扩展的和有效的神经波形编码系统的语音压缩。我们将语音编码问题表述为自动编码任务,其中卷积神经网络(CNN)在其前馈例程期间作为神经波形编解码器(NWC)执行编码和解码。建议的NWC还将量化和熵编码定义为可训练模块,因此在优化过程中处理编码伪像和比特率控制。我们通过在NWC中引入紧凑的模型组件来实现效率,例如门控残差网络和深度可分离卷积。此外,所提出的模型具有可扩展的架构,跨模块残差学习(CMRL),以覆盖广泛的比特率。为此,我们采用残差编码的概念来级联多个NWC自动编码模块,其中每个NWC模块执行残差编码以恢复其先前模块已经创建的任何重构损失。CMRL也可以缩小以覆盖较低的比特率,为此它采用线性预测编码(LPC)模块作为其第一个自动编码器。该混合设计通过将LPC的量化过程重新定义为可微分过程,将LPC和NWC相结合,使系统训练成为端到端的方式。所提出的系统的解码器具有在低至中等比特率范围(12至20 kbps)中的一个NWC(0.12百万个参数)或在高比特率(32 kbps)中的两个NWC。虽然解码复杂度还没有像传统语音编解码器那样低,但它比其他神经语音编码器(诸如基于WaveNet的声码器)的解码复杂度显著降低。对于宽带语音编码质量,我们的系统在低和中等比特率的TIMIT测试话语上产生与AMR-WB和Opus相当或更好的性能。所提出的系统可以扩展到更高的比特率,以…
2021-11-28 cs.LG cs.SD eess.AS
EmoSpeech: A Corpus of Emotionally Rich and Contextually Detailed Speech Annotations
针对现有情感语音数据库标注简单、情感深度不足且人工标注成本高的问题,本文提出借助生成式模型提取富情感语音片段并生成详细自然语言标注的建库流程,提升情感粒度并降低成本,为情感可控TTS系统开发提供可扩展的经济方案。
2024-12-12 cs.AI cs.SD eess.AS
Beat Detection and Automatic Annotation of the Music of Bharatanatyam Dance using Speech Recognition Techniques
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
Bharatanatyam是一种印度古典舞蹈形式,代表了印度丰富的文化遗产。分析和认识这些舞蹈形式对于保护文化遗产至关重要。像大多数舞蹈形式一样,Bharatanatyam舞者与结构化的节奏音乐同步表演,称为Sollukattu,其中包括乐器节拍和发声话语(),以创建一个节奏音乐结构。因此,对《婆罗多那提扬》的计算机分析需要对《索卢卡图》进行结构分析。在本文中,我们使用语音处理技术来识别语音。利用Sollukattus的预定义结构和所检测到的结构,我们识别Sollukattu。我们用两种方法估计速度周期。最后,我们生成一个完整的注释的音频信号的节拍标记。为此,我们还使用从Sollukattu信号的起始包络检测到的搏动的信息。为了训练和测试,我们为Sollukattus创建了一个数据集并对它们进行注释。我们实现了85%的准确率在螺栓识别,95%的Sollukattu识别,96%的节奏周期估计,超过90%的节拍标记。这是第一次尝试充分结构分析印度古典舞蹈形式的音乐和使用语音处理技术的节拍标记。
2020-04-17 cs.SD eess.AS
SESQA: semi-supervised learning for speech quality assessment
Dolby Laboratories(杜比实验室)
自动语音质量评估是一个重要的,横向的任务,其进展受到人类注释的缺乏,对看不见的记录条件的概括性差,以及现有方法缺乏灵活性的阻碍。在这项工作中,我们使用半监督学习方法来解决这些问题,将可用的注释与编程生成的数据相结合,并使用3种不同的优化标准以及5个互补的辅助任务。我们的结果表明,这种半监督方法可以将现有方法的错误减少36%以上,同时在可重用特征或辅助输出方面提供额外的好处。改进进一步证实了一个样本外测试显示有前途的泛化能力。
2021-02-08 cs.LG cs.SD eess.AS
Self-Supervised Speech Quality Assessment (S3QA): Leveraging Speech Foundation Models for a Scalable Speech Quality Metric
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
本文提出自监督语音质量评估模型S3QA,利用WavLM嵌入余弦距离作为训练目标,在多种退化条件下预测语音质量,并与MOS和ASR性能对齐,实现可扩展的自动评估。
2025-10-08 cs.SD eess.AS
Balalaika: Data-Centric, Prosody-Aware Annotation Pipeline for Russian Speech
lab260, Moscow Technical University of Communications and Informatics(莫斯科通信与信息学技术大学)
本文提出Balalaika流水线,结合语义VAD分割、多ASR集成与ROVER共识解码,生成包含重音、标点和IPA音素的俄语音频标注,构建了5100小时多源俄语语料库,验证了在语音去噪和TTS任务中一致的性能提升。
2026-06-24 cs.CL cs.SD eess.AS
Grapheme-Coherent Phonemic and Prosodic Annotation of Speech by Implicit and Explicit Grapheme Conditioning
Nara Institute of Science and Technology(奈良科学技术大学);LY Corporation(LY公司)
本文提出通过隐式BERT提示编码和显式推理剪枝两种字素条件化方法,生成字素一致的音素与韵律标注,并验证其在下游口音估计任务中的有效性。
2025-06-05 cs.CL cs.SD eess.AS
Cross-Scale Vector Quantization for Scalable Neural Speech Coding
Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
比特率可伸缩性是实时通信中音频编码的期望特征。现有的神经音频编解码器通常在训练过程中强制执行特定的比特率,因此需要为每个目标比特率训练不同的模型,这增加了发送方和接收方的内存占用,并且通常需要转码来支持多个接收方。在本文中,我们介绍了一种跨尺度可伸缩矢量量化方案(CSVQ),其中多尺度特征编码逐步特征融合和细化。以这种方式,如果仅接收到比特流的一部分,则重建粗级信号,并且随着更多比特可用,逐步提高质量。所提出的CSVQ方案可以灵活地应用于具有镜像自动编码器结构的任何神经音频编码网络,以实现比特率可伸缩性。主观实验结果表明,该方案优于经典的残差矢量量化(RVQ)的可扩展性。此外,所提出的CSVQ在3kbps下优于Opus在9kbps下和Lyra在3kbps下,并且随着比特率的增加,它可以提供优雅的质量提升。
2022-07-07 cs.LG cs.SD eess.AS
A Scalable Pipeline for Enabling Non-Verbal Speech Generation and Understanding
ModelBest
本文提出了一种可扩展的自动标注框架,用于从自然语音中识别和整合非言语发声,创建了包含38,718个样本的NonVerbalSpeech-38K数据集,提升了非言语语音生成与理解的可控性和性能。
2026-01-13 cs.SD eess.AS
Label Uncertainty Modeling and Prediction for Speech Emotion Recognition using t-Distributions
Universität Hamburg(汉堡大学)
由于不同的人对他人情绪表达的感知不同,他们对唤醒和效价的诠释本身就是主观的。为了解决这个问题,这些情绪注释通常由多个注释器收集,并在注释器之间进行平均,以便获得唤醒和效价的标签。然而,除了平均值之外,标签的不确定性也是令人感兴趣的,并且也应该被建模和预测用于自动情感识别。在文献中,为了简单起见,标签不确定性建模通常采用对所收集的注释的高斯假设。然而,由于资源限制,注释器的数量通常相当少,我们认为高斯方法是一个相当粗糙的假设。相比之下,在这项工作中,我们建议使用学生的t-分布,使我们能够考虑到可用的注释数量的标签分布模型。利用该模型,我们推导出相应的基于Kullback-Leibler发散的损失函数,并用它来训练情感标签分布的估计器,从中可以推断出平均值和不确定性。通过定性和定量分析,我们显示了t-分布的好处超过高斯分布。我们验证了我们提出的方法上AVEC '16数据集。结果表明,我们基于t分布的方法优于高斯方法,在基于语音的情感识别中具有最先进的不确定性建模结果,并且具有最佳甚至更快的收敛性。
2022-07-25 cs.LG cs.SD eess.AS
Multilingual Byte2Speech Models for Scalable Low-resource Speech Synthesis
The Hong Kong University of Science and Technology(香港科技大学);Microsoft China(微软中国)
为了将神经语音合成扩展到各种真实世界的语言,我们提出了一个多语言的端到端框架,该框架将字节输入映射到频谱图,从而允许任意输入脚本。除了在40多种语言上的强大结果外,该框架还展示了在极端低资源甚至只有40秒转录记录的Few-Shot场景下适应新语言的能力,而不需要词典,额外语料库,辅助模型或语言专业知识等每种语言资源,从而确保可扩展性。虽然它保留了令人满意的可理解性和自然匹配丰富的资源模型。详尽的比较和消融研究,以揭示低资源语言的框架的潜力。此外,我们提出了一种新的方法来提取特定语言的子网络的多语言模型,以更好地理解其机制。
2021-07-09 cs.CL cs.LG cs.SD
Scalable Speech Enhancement with Dynamic Channel Pruning
GN Audio(GN音频公司);Technical University of Denmark(丹麦技术大学)
首次将动态通道剪枝引入音频领域并应用于自定义卷积架构,通过运行时识别并跳过不必要的卷积通道来节省计算资源,在仅使用25%通道时节省29.6% MACs且PESQ仅下降0.75%,为资源受限设备部署大型语音增强方案提供了可行路径。
2024-12-22 cs.LG cs.SD eess.AS
An Adapter Based Pre-Training for Efficient and Scalable Self-Supervised Speech Representation Learning
Huawei R&D UK(华为英国研发中心)
我们提出了一种将预训练的自监督(SSL)语音表示转换为多种语言的方法。有大量未注释的语音,因此从原始音频创建自监督表示并在小的注释数据集上进行微调是构建语音识别系统的一个有前途的方向。SSL模型通常在预训练阶段对原始音频执行SSL,然后对一小部分注释数据进行微调。这些模型已经产生了ASR的最新结果。然而,这些模型的预训练非常昂贵。我们使用现有的wav2vec 2.0模型,并在利用现有模型知识的同时解决学习新语言表示的问题。至关重要的是,我们这样做不会灾难性地忘记现有的语言表征。我们使用适配器模块来加速预训练新的语言任务。我们的模型在学习新的语言任务时可以将预训练时间减少32%,并且在不忘记以前的语言表示的情况下学习这种新的音频语言表示。我们通过将这些语言表示应用于自动语音识别来进行评估。
2022-02-07 cs.CL cs.LG cs.SD
Natural language guidance of high-fidelity text-to-speech with synthetic annotations
Stability AI;University of Edinburgh(爱丁堡大学)
提出用合成标注可扩展标注说话人身份、风格和录音条件,训练语音语言模型,实现高保真、多样化语音生成,仅凭自然语言控制。
2024-02-02 cs.CL cs.SD eess.AS
fairseq S^2: A Scalable and Integrable Speech Synthesis Toolkit
Facebook AI(Facebook 人工智能研究院)
本文提出了一种用于语音合成的fairseq扩展算法fairseq S^2。我们实现了一些自回归(AR)和非AR文本到语音模型,以及它们的多说话人变体。为了使训练语音合成模型与较少的策划数据,建立了一些预处理工具,并显示其重要性的经验。为了促进开发和分析的更快迭代,包含了一套自动度量。除了专门为此扩展添加的功能外,fairseq S^2还受益于fairseq提供的可扩展性,并且可以轻松地与该框架中提供的其他最先进的系统集成。代码、文档和预训练模型可在https://github.com/pytorch/fairseq/tree/master/examples/speech_synthesis上获得。
2021-09-14 cs.CL cs.SD eess.AS
Analysis of Self-Supervised Learning and Dimensionality Reduction Methods in Clustering-Based Active Learning for Speech Emotion Recognition
Unit of Computing Sciences, Tampere University, Finland(图皮大学计算科学系,芬兰);Helsinki University Hospital, Helsinki, Finland(赫尔辛基大学医院,芬兰)
本文研究了在语音情感识别中,利用自监督学习和降维方法提升基于聚类的主动学习性能,探讨了特征空间局部和全局拓扑结构对主动学习的影响,发现降维不影响性能且二维特征表现良好。
2022-06-21 cs.LG cs.SD eess.AS
Frame-Wise Breath Detection with Self-Training: An Exploration of Enhancing Breath Naturalness in Text-to-Speech
CyberAgent, Inc.(CyberAgent公司);The University of Tokyo(东京大学)
针对 TTS 中呼吸位置人工标注成本高的问题,提出结合规则初标与伪标签自训练的 Conformer 逐帧呼吸检测模型,并在多说话人 TTS 中验证其可提升呼吸合成自然度。
2024-06-14 cs.SD eess.AS