ML-SUPERB: Multilingual Speech Universal PERformance Benchmark
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Meta AI;Rembrand(伦勃朗)
本文提出ML-SUPERB,一个覆盖143种语言的多语言语音基准,评估SSL模型在语音识别和语言识别上的性能,发现SSL特征显著优于FBANK,且多语言模型并非总优于单语言模型。
2025-02-24 cs.CL cs.SD eess.AS
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego(加州大学圣地亚哥分校)
在这项工作中,我们证明了普遍存在的对抗性音频扰动,导致错误的转录音频信号的自动语音识别(ASR)系统。我们提出了一种算法,找到一个单一的准不可感知的扰动,当添加到任何任意的语音信号,将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外,我们还通过对基于WaveNet的ASR系统进行可转移性测试,证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
SpeechNet: A Universal Modularized Model for Speech Processing Tasks
National Taiwan University(台湾大学);NVIDIA(英伟达);NVIDIA AI Technology Center(英伟达人工智能技术中心)
存在范围从从语音信号提取内容信息到生成语音信号的各种语音处理任务。对于不同的任务,模型网络通常是单独设计和调整的。如果一个通用模型可以执行多个语音处理任务,那么一些任务可能会通过从其他任务中学习到的相关能力得到改进。具有通用模型的各种语音处理任务的多任务学习尚未被研究。本文提出了一个通用的模块化模型SpeechNet,它将所有的语音处理任务都处理成语音/文本输入和语音/文本输出格式。我们选择了五个基本的语音处理任务的多任务学习实验与SpeechNet。我们证明了SpeechNet学习了所有上述任务,并进一步分析了哪些任务可以通过其他任务来改进。SpeechNet是模块化的,灵活的,可以在未来加入更多的模块,任务或培训方法。我们发布的代码和实验设置,以促进模块化的通用模型和语音处理任务的多任务学习的研究。
2021-05-31 cs.CL cs.LG cs.SD
Semantic-preserved Communication System for Highly Efficient Speech Transmission
Zhejiang University(浙江大学)
近年来,基于深度学习(DL)的语义通信方法已经被探索用于图像、文本和语音的高效传输。与传统的无线通信侧重于传输抽象符号的方法相比,语义通信方法试图通过仅发送源数据的语义相关信息来实现更好的传输效率。在本文中,我们考虑面向语义的语音传输,它只传输的语义相关的信息在信道上的语音识别任务,和一个紧凑的附加设置的语义无关的信息的语音重建任务。我们提出了一种新的端到端的DL为基础的收发器,提取和编码的语义信息,从输入的语音频谱在发送器和输出相应的transmittance从解码的语义信息在接收器。对于语音到语音的传输,我们还包括一个CTC对齐模块,该模块提取少量的附加语义无关但与语音相关的信息,用于在接收器处更好地重建原始语音信号。仿真结果证实,我们提出的方法优于目前的方法在预测文本的准确性的语音到文本传输和语音到语音传输的恢复语音信号的质量,并显着提高传输效率。更具体地,所提出的方法仅发送现有方法所需的传输符号量的16%,同时实现语音到文本传输的WER的约10%的减少。对于语音到语音的传输,它导致在传输效率方面的甚至更显著的改进,仅具有现有方法所需的传输符号量的0.2%。
2022-05-25 cs.SD eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Le Mans University(勒芒大学)
我们提出了SAMU-XLSR:语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同,它以声学帧(10- 20 ms)的分辨率学习多语言上下文语音嵌入,这项工作专注于学习多模态(语音-文本)多语言语音嵌入,以句子(5- 10 s)的分辨率,使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入(LaBSE)模型,创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据,跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张,我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索,并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
Introducing Semantics into Speech Encoders
University of California, Los Angeles(加州大学洛杉矶分校);Meta AI;National Taiwan University(国立台湾大学)
最近的研究发现,现有的自监督语音编码器主要包含声学信息,而不是语义信息。因此,流水线监督自动语音识别(ASR)到大语言模型(LLM)系统通过利用来自LLM的丰富语义表示来实现语义口语任务的最新结果。这些系统的代价是标记的音频传输,这是昂贵和耗时的获得。我们提出了一个任务不可知的无监督的方式,将语义信息从LLM到自监督语音编码器没有标记的音频transmitting。通过引入语义,我们将现有的语音编码器口语语言理解性能在意图分类上提高了10%以上,在命名实体分辨率和槽填充方面有适度的增益,口语问答FF1得分提高了2%以上。我们的无监督方法实现了与在超过100小时的标记音频转录上训练的监督方法相似的性能,证明了现有语音编码器的无监督语义增强的可行性。
2022-11-15 cs.CL cs.LG cs.SD
Universal adversarial examples in speech command classification
Faculty of Informatics(信息学院);University of the Basque Country(巴斯克大学)
对抗性示例是故意扰动的输入,目的是迫使机器学习模型产生错误的预测,而这些变化不容易被人类检测到。虽然这个主题已经在图像领域得到了深入的研究,但音频领域的分类任务却很少受到关注。在本文中,我们解决语音命令分类的普遍扰动的存在。我们提供的证据表明,通用的攻击可以产生语音命令分类任务,这是能够概括在不同的模型在很大程度上。此外,提出了一种新的分析框架,用于评估不同普遍性水平下的普遍扰动,表明产生有效扰动的可行性随着普遍性水平的增加而降低。最后,我们提出了一个更详细和严格的框架来衡量的扰动引入的失真量,表明传统的方法是不现实的音频为基础的问题。
2021-02-13 cs.LG eess.AS stat.ML
Plugin Speech Enhancement: A Universal Speech Enhancement Framework Inspired by Dynamic Neural Network
China Mobile Research Institute(中国移动研究院)
本文提出插件式语音增强框架Plugin-SE,通过权重预测方法从下游训练信息中学习任务关系,并结合门控模块构建动态神经网络,以解决通用语音增强中下游模块特征感知不足的问题,实验证明其在多种下游任务上优于或媲美现有联合训练方法。
2024-02-20 cs.SD eess.AS
Universal Paralinguistic Speech Representations Using Self-Supervised Conformers
Verily Life Sciences(Verily生命科学公司)
许多语音应用需要理解所讲单词以外的方面,例如识别情感,检测说话者是否戴着面具,或区分真实语音和合成语音。在这项工作中,我们引入了一种新的最先进的语言表示,它来自于600 M+参数Conformer架构的大规模、完全自我监督的训练。我们对一组不同的语音任务进行了基准测试,并证明了在我们的时间平均表示之上训练的简单线性分类器的性能几乎优于所有以前的结果,在某些情况下,性能会大幅提高。我们对上下文窗口大小的分析表明,令人惊讶的是,2秒上下文窗口在9个任务中的7个任务上实现了使用完整长期上下文的Conformer的96%的性能。此外,虽然最佳的每任务表示是在网络内部提取的,但跨多个层的稳定性能允许单个通用表示在所有任务上达到接近最佳的性能。
2022-12-13 cs.LG cs.SD eess.AS
On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models
Verily AI
本研究探索冻结扩散TTS模型潜空间的语义信息,提出有监督和无监督方法寻找语义方向,实现无需额外训练或架构更改的开箱即用音频编辑。
2024-06-04 cs.CL cs.LG cs.SD
Universal Speech Enhancement with Score-based Diffusion
Dolby Laboratories(杜比实验室);Universitat Pompeu Fabra(庞培法布拉大学)
从语音音频中去除背景噪声一直是相当大的努力的主题,特别是近年来由于虚拟通信和业余录音的兴起。然而,背景噪声并不是唯一会妨碍清晰度的令人不快的干扰:混响、削波、编解码器伪影、有问题的均衡、有限的带宽或不一致的响度同样令人不安且无处不在。在这项工作中,我们建议考虑语音增强的任务作为一个整体的努力,并提出了一个通用的语音增强系统,同时处理55个不同的失真。我们的方法包括一个生成模型,采用基于分数的扩散,以及一个多分辨率条件网络,执行增强与混合密度网络。我们表明,这种方法显着优于最先进的主观测试中进行的专家听众。我们还表明,尽管没有考虑任何特定的快速采样策略,但它仅用4-8个扩散步骤就实现了具有竞争力的客观分数。我们希望我们的方法和技术贡献鼓励研究人员和从业者采用通用的方法来增强语音,可能将其框定为生成任务。
2022-09-16 cs.LG cs.SD eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University(台湾师范大学);EZAI;Academia Sinica(中央研究院)
针对低资源语言ASR的监督证据不足问题,提出轻量级多模态适配器机制SAMA-ASR,结合语义与声学锚,在台湾闽南语和客家话数据集上优于多种基线,且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
SoCodec: A Semantic-Ordered Multi-Stream Speech Codec for Efficient Language Model Based Text-to-Speech Synthesis
Xiaohongshu(小红书);Centre for Perceptual and Interactive Intelligence (CPII) Ltd(感知与交互智能中心有限公司)
本文提出语义有序多流语音编解码器 SoCodec,将语音压缩为更短的多流离散语义序列,并结合有序乘积量化与多流延迟语言模型,在帧移压缩 12 倍的情况下仍优于基线,实现高效 LM 基 TTS。
2024-09-02 cs.SD eess.AS
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
FRILL: A Non-Semantic Speech Embedding for Mobile Devices
University of Washington(华盛顿大学);Google(谷歌)
学习的语音表示可以大大提高有限标记数据的任务性能。然而,由于它们的大小和复杂性,学习表示在移动环境中的实用性有限,其中运行时性能可能是一个重要的瓶颈。在这项工作中,我们提出了一类轻量级的非语义语音嵌入模型,有效地运行在移动设备上最近提出的TRILL语音嵌入的基础上。我们结合新的架构修改与现有的加速技术,以创建嵌入模型,是足够快的实时运行在一个移动终端上,并表现出最小的性能下降的基准上的非语义语音任务。其中一个模型(FRILL)在Pixel 1智能手机上的速度快32倍,尺寸是TRILL的40%,准确度平均仅降低2%。据我们所知,FRILL是专为移动设备设计的最高质量的非语义嵌入。此外,我们证明,这些表示是有用的移动健康任务,如非语音人类声音检测和蒙面语音检测。我们的模型和代码是公开的。
2021-06-10 cs.SD eess.AS
Robust Semantic Communications for Speech Transmission
本文提出 Ross-S2T 鲁棒语义通信系统,通过深度语义编码器、GAN 语义补偿器和语义探针辅助补偿器,在减少传输数据的同时提升受损语音的语音到文本翻译性能和鲁棒性。
2025-07-04 eess.AS
DiffEditor: Enhancing Speech Editing with Semantic Enrichment and Acoustic Consistency
College of Computer Science, Nankai University(南开大学计算机学院);Zhejiang University(浙江大学)
本文提出DiffEditor语音编辑模型,通过整合预训练语言模型词嵌入增强语义信息,并引入一阶损失函数优化帧间平滑,显著提升了领域外文本编辑的可懂度、声学一致性与流畅度。
2024-09-19 cs.AI cs.LG cs.SD
Modeling Sarcastic Speech: Semantic and Prosodic Cues in a Speech Synthesis Framework
Speech Technology Lab, University of Groningen, Campus Fryslân, The Netherlands(格罗宁根大学弗里赛兰校区语音技术实验室,荷兰);Center for Language and Cognition, University of Groningen, The Netherlands(格罗宁根大学语言与认知中心,荷兰)
提出一个计算框架,通过整合语义和韵律线索建模讽刺,使用微调LLaMA 3模型提取语义线索,从讽刺语音数据库提取韵律线索,语音合成测试表明两者结合能增强讽刺感知。
2026-06-16 cs.CL cs.SD eess.AS
GRASS: Unified Generation Model for Speech-to-Semantic Tasks
Didi Chuxing(滴滴出行)
本文提出统一的端到端框架GRASS,通过指令微调技术处理语音到语义任务,利用TTS系统构建数据对模型进行预训练,在多个基准上取得SOTA结果,并在零样本及少样本场景下表现优异,同时开源了数据集和代码。
2023-09-11 cs.CL cs.SD eess.AS
A Semantic Information-based Hierarchical Speech Enhancement Method Using Factorized Codec and Diffusion Model
Hithink ResearchZhejiang, China(Hithink研究院);Tsinghua University(清华大学);Electrical Engineering Department(电气工程系)
针对传统语音增强方法忽略语音语义与声学属性、复杂环境下性能下降的问题,提出基于语义信息的因子化分层语音增强方法,结合因子化解码器与扩散模型,在语音质量和嘈杂环境下的TTS性能上均优于现有SOTA基线。
2025-05-20 cs.SD eess.AS
Large Model Empowered Streaming Speech Semantic Communications
该研究提出大模型赋能的多语言流式语音语义通信系统LSSC-ST,通过边缘协同架构、预训练大语音模型统一语义特征及动态语音分割算法,在保障语音质量的同时实现低时延的准确流式语音传输。
2025-02-21 eess.AS
Towards Universal Speech Discrete Tokens: A Case Study for ASR and TTS
Shanghai Jiao Tong University(上海交通大学);Xiaomi Corporation(小米公司)
针对现有语音离散Token研究多聚焦单任务、多任务场景性能受限的问题,该研究对比优化多种主流SSL模型生成的离散Token在ASR和TTS任务中的表现,验证了其通用性与应用潜力,并开源了相关工作。
2023-12-14 cs.SD eess.AS
Universal Speech Content Factorization
Center for Language and Speech Processing, Johns Hopkins University, USA(约翰霍普金斯大学语言与语音处理中心);Human Language Technology Center of Excellence (COE), Johns Hopkins University, USA(约翰霍普金斯大学人类语言技术卓越中心(COE))
本文提出USCF方法,通过线性可逆方法提取低秩语音表示,抑制说话人音色同时保留语音内容。该方法扩展了语音内容分解,通过最小二乘优化学习通用语音到内容映射,并从少量目标语音中推导出说话人特定转换。
2026-06-07 cs.SD eess.AS
Universal Score-based Speech Enhancement with High Content Preservation
LY Corporation(LY公司)
本研究提出基于分数扩散与对抗训练的通用语音增强方法UNIVERSE++,通过架构改进、对抗损失及带音素保真损失的低秩适配方案提升性能与内容保真度,在多基准测试中优于各类基线模型。
2024-06-18 cs.SD eess.AS
Wireless Deep Speech Semantic Transmission
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室)
在本文中,我们提出了一类新的高效语义编码传输方法的端到端的语音传输在无线信道。我们将整个系统命名为深层语音语义传输(DSST)。具体地说,我们引入了一个非线性变换来映射语音源到语义潜在空间,并将语义特征输入到源通道编码器中以生成通道输入序列。在变分建模思想的指导下,我们在隐空间上建立了一个熵模型来估计语义特征嵌入之间的重要性差异。相应地,这些不同重要性的语义特征可以被合理地分配不同的编码速率,从而最大化系统编码增益。此外,我们引入了一个信道信噪比(SNR)自适应机制,使一个单一的模型可以应用于各种信道状态。我们的模型的端到端的优化导致了灵活的率失真(RD)的权衡,支持多功能的无线语音语义传输。实验结果表明,我们的DSST系统明显优于目前工程语音传输系统的客观和主观指标。与现有的神经语音语义传输方法相比,我们的模型节省了高达75%的信道带宽成本时,达到相同的质量。音频演示的直观比较可以在https://ximoo123.github.io/DSST上找到。
2022-11-04 cs.IT cs.SD eess.AS
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart(斯图加特大学)
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据,但是整个系统遭受错误传播。在本文中,我们提出了一种新的训练方法,使预训练的上下文嵌入处理声学特征。特别是,我们扩展它与编码器的预训练语音识别系统,以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架,跨越语音和文本形式,对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明,我们的系统达到了与流水线架构相当的性能,而不使用任何训练数据,并在三个基准测试中的两个上进行了每类十个示例的微调后,性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
A Hybrid Discriminative and Generative System for Universal Speech Enhancement
本文提出一种混合判别与生成模型,通过信号保真度与重建能力结合,提升通用语音增强效果,并在ICASSP 2026挑战中取得第三名。
2026-01-27 cs.SD eess.AS
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai Innovation Institute, China(上海创新研究院);Soul AI Lab, China(Soul AI实验室)
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力,实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Multi-modal Model Training, Kakao Corp(Kakao公司多模态模型训练部)
提出LM-SPT方法,通过语义语音重合成蒸馏,在不降低帧率的情况下生成与语言模型更对齐的离散语音标记,在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology(云从科技)
虽然自动语音识别(ASR)系统近年来取得了显著的进步,但是口语识别错误仍然存在,并且很容易被人类发现。各种语言建模技术已经开发出后识别任务,如语义校正。在本文中,我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化,在10000小时的汉语语音数据集上的实验表明,字符出错率(CER)可以有效地减少21.7%,相对于我们的基线ASR系统。专家评估表明,我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley(加州大学伯克利分校)
人类说话者将信息编码成原始语音,然后由听者解码。编码(产生)和解码(感知)之间的这种复杂关系通常是单独建模的。在这里,我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现,该网络结合了语音的产生和感知原理。据我们所知,我们介绍了无监督词汇学习中最具挑战性的目标:一个网络,必须学习词汇项的唯一表示,没有直接存取训练数据。我们训练了几个模型(ciwGAN和fiwGAN arXiv:2006.02951),并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此,组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息,而无需直接访问真实的训练数据。我们提出了一种技术,探索词汇(整体)和词汇(特征)学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义,因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
Speech Codec Probing from Semantic and Phonetic Perspectives
University of Southern California(南加州大学);Dolby Laboratories(杜比实验室)
本文通过三项任务系统分析多种语音分词器编码的信息,发现当前分词器主要捕获语音结构而非词汇语义,为下一代语音分词方法设计提供指导。
2026-06-25 cs.CL eess.AS
On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明,即使没有任何文本监督,与图像配对的语音也可以用于学习语义上有意义的语音表示。然而,在现实世界的低资源环境中,我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的,在存在不同数量的文本监督。特别是,我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务,其中模型在带有语音字幕的图像上进行训练,并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法,以利用视觉和文本形式,与视觉监督的关键字概率从外部标记的形式。我们发现,视觉接地是有帮助的,即使在存在的文字监督,我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音,当还使用视觉监督时,我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS
Utilizing Neural Transducers for Two-Stage Text-to-Speech via Semantic Token Prediction
Samsung Research(三星研究院)
提出以 token transducer 为核心的两阶段 TTS 框架,先预测 wav2vec2.0 语义 token,再由 NAR 生成器合成语音,在零样本自适应任务中提升语音质量与说话人相似度。
2024-01-03 cs.CL cs.LG cs.SD
Generative Semantic Communication for Text-to-Speech Synthesis
Shenzhen Future Network of Intelligence Institute(深圳未来网络智能研究院);Guangdong Provincial Key Laboratory of Future Networks of Intelligence, The Chinese University of Hong Kong (Shenzhen)(广东省未来网络智能重点实验室,香港中文大学(深圳));School of Automation, Central South University(中南大学自动化学院)
本文提出一种面向文本到语音合成的生成式语义通信框架,利用WavLM、残差向量量化、Transformer编码器和扩散模型构建收发端语义知识库并实现高效编码,在多种信道下生成语音保真度显著优于四个基线。
2024-10-04 cs.IT cs.LG cs.SD
Semantic-aware Speech to Text Transmission with Redundancy Removal
Zhejiang University(浙江大学)
近年来,基于深度学习(DL)的语义通信方法已经被探索用于图像、文本和语音的高效传输。与传统的无线通信侧重于传输抽象符号的方法相比,语义通信方法试图通过仅发送源数据的语义相关信息来实现更好的传输效率。在本文中,我们考虑面向语义的语音文本传输。我们提出了一种新的端到端的DL为基础的收发器,其中包括一个基于注意力的软对齐模块和冗余删除模块来压缩传输的数据。特别是,前者只提取与文本相关的语义特征,后者进一步丢弃语义冗余内容,与现有方法相比,大大减少了语义冗余量。我们还提出了一个两阶段的训练计划,这加快了建议的DL模型的训练。仿真结果表明,我们提出的方法优于现有的方法在接收文本的准确性和传输效率。此外,该方法还具有较小的模型大小和较短的端到端的运行时间。
2022-02-07 cs.SD eess.AS
Semantic MIMO Systems for Speech-to-Text Transmission
Imperial College London(帝国理工学院);Tsinghua University(清华大学);Jinan University(暨南大学);The Hong Kong University of Science and Technology(香港科技大学);Peng Cheng Laboratory(鹏城实验室)
本研究针对单用户及多用户MIMO场景,提出语义感知语音转文本传输系统SAC-ST,通过transformer生成低维语义特征、语义感知网络保障关键信息恢复,结合神经网络信道估计降低对完美信道信息的依赖,在低信噪比下性能优于传统方案。
2024-10-05 cs.SD eess.AS
Deep Learning Enabled Semantic Communications with Speech Recognition and Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院);Imperial College London(帝国理工学院)
本文提出一种名为DeepSC-ST的深度学习语义通信系统,通过联合语义-信道编码器传输语音识别特征并在接收端合成语音,在低信噪比下显著优于传统系统。
2023-03-31 cs.SD eess.AS
SenSE: Semantic-Aware High-Fidelity Universal Speech Enhancement
Northwestern Polytechnical University(西北工业大学);Huawei Technologies Co., Ltd.(华为技术有限公司);Nanjing University(南京大学)
SenSE提出一种两阶段生成式通用语音增强框架,通过语言模型建模语义先验,引导流匹配过程生成语义忠实的语音,提升上下文保真度,并引入双路径掩码条件训练策略提升模型灵活性和适应性。
2026-04-05 eess.AS
BoSS: Beyond-Semantic Speech
Institute of Artificial Intelligence (TeleAI)(人工智能研究所)
本文提出BoSS超越语义语音概念及L1-L5口语交互能力框架,结合认知理论与机器学习分析语音隐性信号,评测发现现有SLM在五维超越语义理解上仍不足。
2025-07-23 cs.CL cs.SD eess.AS
Semantic speech retrieval with a visually grounded model of untranscribed speech
Stellenbosch University(斯泰伦博斯大学);TTI-Chicago(芝加哥丰田技术研究所)
人们对可以从与视觉上下文配对的未标记语音中学习的模型越来越感兴趣。此设置与低资源语音处理、机器人和人类语言习得研究相关。在这里,我们研究了一个基于视觉的语音模型,在与口头字幕配对的场景图像上训练,如何捕捉语义的各个方面。我们使用外部图像标记器从图像中生成软文本标签,这些标签作为神经模型的目标,将未转录的语音映射到(语义)关键字标签。我们引入了一个新收集的数据集的人类语义相关性判断和相关的任务,语义语音检索,其目标是搜索口语的语义相关的一个给定的文本查询。在没有看到任何文本的情况下,在并行语音和图像上训练的模型在其十大语义检索中达到了近60%的精度。与在transmittance上训练的监督模型相比,我们的模型在某些方面更好地匹配人类的判断,特别是在检索非逐字语义匹配方面。我们进行了广泛的分析模型及其产生的表示。
2018-10-31 cs.CL cs.CV eess.AS
Transduce and Speak: Neural Transducer for Text-to-Speech with Semantic Token Prediction
Seoul National University(首尔大学)
该研究提出基于神经换能器的TTS框架,利用wav2vec2.0的离散语义令牌实现单调对齐,通过解耦的对齐建模与非自回归声学建模降低训练复杂度,在零样本自适应TTS的语音质量、说话人相似度上优于基线,兼具推理速度与韵律可控性优势。
2023-11-08 cs.LG eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的,而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据,这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕,我们表明,相同的模型架构可以成功地应用于这两种语言。此外,我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后,我们表明,这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
SpeechTaxi: On Multilingual Semantic Speech Classification
Center For Artificial Intelligence and Data Science, University of Würzburg(维尔茨堡大学人工智能与数据科学中心)
本文构建覆盖28种语言、时长80小时的SpeechTaxi数据集,系统比较端到端与级联语义语音分类,并提出罗马化文本级联方法以解决低资源语言ASR支持不足问题。
2024-09-10 cs.CL cs.SD eess.AS
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab(Soul AI实验室)
该研究提出SemBridge框架,通过离散语义令牌监督自回归LM状态,在零样本TTS和SVS任务中提升内容准确性,同时保持说话人相似度与感知质量,为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
Universal Adaptor: Converting Mel-Spectrograms Between Different Configurations for Speech Synthesis
National Taiwan University(国立台湾大学)
最新的语音合成系统由合成器和声码器组成。然而,现有的合成器和声码器只能匹配到用特定配置提取的声学特征。因此,我们不能将任意的合成器和声码器组合在一起形成一个完整的系统,更不用说应用于新开发的模型。在本文中,我们提出了通用适配器,它采取由源配置参数化的梅尔频谱图,并将其转换成由目标配置参数化的梅尔频谱图,只要我们在源和目标配置的饲料。实验结果表明,无论是在单说话人还是多说话人情况下,基于Universal Adaptor的语音合成质量都可以与基于真实Mel-声谱图的语音合成质量相媲美。此外,通用适配器可以应用于最近的TTS系统和语音转换系统,而不会降低质量。
2022-10-29 cs.SD eess.AS
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research(Meta人工智能研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta Reality Labs Research(Meta现实实验室);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真(例如,分离、修复、视频到语音)并呈现定制的算法。本文提出将这些学科结合起来,研究广义语音增强,其目标不是重建精确的参考干净信号,而是专注于改善语音的某些方面。特别是,本文关注的可懂度,质量和视频同步。我们将这个问题归结为视听语音再合成,它包括两个步骤:伪视听语音识别(P-AVSR)和伪文本到语音合成(P-TTS)。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外,我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型,并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性,还在EasyCom上对ReVISE进行了评估,EasyCom是在具有挑战性的声学条件下收集的视听基准,只有1.6小时的训练数据。同样,ReVISE极大地抑制了噪声并提高了质量。项目页面:https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Comparing Unsupervised and Supervised Semantic Speech Tokens: A Case Study of Child ASR
University of California Los Angeles(加州大学洛杉矶分校)
本文对比了监督和无监督语义语音标记在儿童语音识别中的性能,发现监督方法在低资源环境下表现更优。
2025-12-02 eess.AS
Semantic query-by-example speech search using visual grounding
Stellenbosch University(斯泰伦博斯大学);TTI-Chicago(芝加哥丰田技术研究所)
最近的一些研究已经开始研究如何通过在训练时利用伴随的图像来训练语音系统。任务的示例包括关键字预测和模式内和跨模式检索。在这里,我们考虑这样的模型可以用于查询的例子(QBE)搜索,检索相关的一个给定的口头查询的话语的任务。我们特别感兴趣的语义QBE,其中的任务不仅是检索话语包含确切的查询实例,但也话语的意义是相关的查询。我们遵循分段QBE方法,其中可变持续时间的语音段(查询,搜索话语)被映射到固定维度的嵌入向量。我们表明,使用嵌入函数训练视觉接地语音数据的QBE系统优于一个纯粹的声学QBE系统的准确和语义检索性能。
2019-04-15 cs.CL cs.SD eess.AS
Speech Emotion Recognition using Semantic Information
Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
语音情感识别在人机交互、教育等领域有着广泛的应用。虽然近年来取得了一些进展,特别是随着深度神经网络(DNN)的出现,但文献中的大多数研究都没有考虑语音信号中的语义信息。在本文中,我们提出了一个新的框架,可以捕获信号中的语义和非语言信息。特别是,我们的框架是由一个语义特征提取器,捕捉语义信息,和一个双语言特征提取器,捕捉双语言信息。语义和paraliguistic功能,然后结合到一个统一的表示使用新的注意力机制。在最终预测之前,统一的特征向量通过LSTM来捕获信号中的时间动态。为了验证我们的框架的有效性,我们使用流行的SEWA数据集的AVEC挑战系列和比较的三个获奖论文。我们的模型提供了最先进的结果在效价和喜欢的尺寸。
2021-03-04 cs.SD eess.AS
Gesticulator: A framework for semantically-aware speech-driven gesture generation
KTH(瑞典皇家理工学院)
人们在说话时会自发地做手势,手势在信息传递中起着关键作用。类似地,逼真的协同语音手势对于实现与社交代理的自然和流畅的交互至关重要。当前的端到端协同语音手势生成系统使用单个模态来表示语音:音频或文本。因此,这些系统被限制为产生声学链接的节拍手势或语义链接的手势(例如,在说“高”时举手):他们不能适当地学习生成两种手势类型。我们提出了一个模型,旨在产生任意节拍和语义手势在一起。我们基于深度学习的模型将语音的声学和语义表示作为输入,并将手势生成为关节角度旋转序列作为输出。由此产生的手势可以应用于虚拟代理和人形机器人。主观和客观的评价证实了我们的方法的成功。代码和视频可以在项目页面https://svito-zar.github.io/gesticulator上找到。
2021-01-14 cs.HC cs.LG eess.AS
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
USAD通过从领域特定SSL模型进行逐层蒸馏,将语音、声音和音乐统一到一个音频表示模型中,在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
USEV: Universal Speaker Extraction with Visual Cue
National University of Singapore(新加坡国立大学);Tianjin University(天津大学);the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学);Kriston AI(Kriston人工智能)
说话人提取算法试图从多说话人语音混合中提取目标说话人的语音。现有的研究主要集中在从高度重叠的多说话人混合语音中提取说话人。然而,在自然语音通信中,目标说话人与干扰说话人的重叠率可能在0%~ 100%的范围内变化,而且目标说话人可能不存在于语音混合中,因此将这种通用多说话人情况下的语音混合描述为通用语音混合。说话人提取算法需要辅助参考,例如视频记录或预先录制的语音,以形成对目标说话人的自上而下的听觉注意。我们提倡视觉提示,即,嘴唇运动比音频提示更能提供信息,即,预先录制的语音,作为辅助参考的讲话者提取在解开目标说话者从一个一般的语音混合。在本文中,我们提出了一个通用的说话人提取网络与视觉提示,适用于所有多说话人的情况。此外,我们提出了一个基于目标感知的差异化损失函数用于网络训练,以平衡不同目标-干扰说话人配对场景下的网络性能。实验结果表明,我们提出的方法优于各种竞争基线的一般语音混合信号的保真度。
2022-08-30 cs.SD eess.AS
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation
Fudan University(复旦大学)
针对SLLM信息建模冗余问题,提出解耦语义与感知信息的CoIG,并构建80亿参数SpeechGPT-Gen,在零样本TTS、语音转换和语音对话中表现优异。
2024-01-25 cs.CL cs.SD eess.AS