FRILL: A Non-Semantic Speech Embedding for Mobile Devices
University of Washington(华盛顿大学);Google(谷歌)
学习的语音表示可以大大提高有限标记数据的任务性能。然而,由于它们的大小和复杂性,学习表示在移动环境中的实用性有限,其中运行时性能可能是一个重要的瓶颈。在这项工作中,我们提出了一类轻量级的非语义语音嵌入模型,有效地运行在移动设备上最近提出的TRILL语音嵌入的基础上。我们结合新的架构修改与现有的加速技术,以创建嵌入模型,是足够快的实时运行在一个移动终端上,并表现出最小的性能下降的基准上的非语义语音任务。其中一个模型(FRILL)在Pixel 1智能手机上的速度快32倍,尺寸是TRILL的40%,准确度平均仅降低2%。据我们所知,FRILL是专为移动设备设计的最高质量的非语义嵌入。此外,我们证明,这些表示是有用的移动健康任务,如非语音人类声音检测和蒙面语音检测。我们的模型和代码是公开的。
2021-06-10 cs.SD eess.AS
A Semantic Information-based Hierarchical Speech Enhancement Method Using Factorized Codec and Diffusion Model
Hithink ResearchZhejiang, China(Hithink研究院);Tsinghua University(清华大学);Electrical Engineering Department(电气工程系)
针对传统语音增强方法忽略语音语义与声学属性、复杂环境下性能下降的问题,提出基于语义信息的因子化分层语音增强方法,结合因子化解码器与扩散模型,在语音质量和嘈杂环境下的TTS性能上均优于现有SOTA基线。
2025-05-20 cs.SD eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University(台湾师范大学);EZAI;Academia Sinica(中央研究院)
针对低资源语言ASR的监督证据不足问题,提出轻量级多模态适配器机制SAMA-ASR,结合语义与声学锚,在台湾闽南语和客家话数据集上优于多种基线,且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Communication-Cost Aware Microphone Selection For Neural Speech Enhancement with Ad-hoc Microphone Arrays
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究院)
在本文中,我们提出了一种联合学习的麦克风选择机制和语音增强网络的多通道语音增强与ad-hoc麦克风阵列的方法。基于注意力的麦克风选择机制被训练为通过表示任务性能/通信成本权衡的惩罚项来降低通信成本。在权衡的同时,我们的方法可以智能地从更低SNR场景中的更多麦克风和更高SNR场景中的更少麦克风进行流传输。我们评估了该模型在复杂的回声声学场景与移动源,并表明,它匹配的模型,从一个固定数量的麦克风流的性能,同时降低通信成本。
2021-04-21 cs.SD eess.AS
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai Innovation Institute, China(上海创新研究院);Soul AI Lab, China(Soul AI实验室)
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力,实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
Modeling Sarcastic Speech: Semantic and Prosodic Cues in a Speech Synthesis Framework
Speech Technology Lab, University of Groningen, Campus Fryslân, The Netherlands(格罗宁根大学弗里赛兰校区语音技术实验室,荷兰);Center for Language and Cognition, University of Groningen, The Netherlands(格罗宁根大学语言与认知中心,荷兰)
提出一个计算框架,通过整合语义和韵律线索建模讽刺,使用微调LLaMA 3模型提取语义线索,从讽刺语音数据库提取韵律线索,语音合成测试表明两者结合能增强讽刺感知。
2026-06-16 cs.CL cs.SD eess.AS
GRASS: Unified Generation Model for Speech-to-Semantic Tasks
Didi Chuxing(滴滴出行)
本文提出统一的端到端框架GRASS,通过指令微调技术处理语音到语义任务,利用TTS系统构建数据对模型进行预训练,在多个基准上取得SOTA结果,并在零样本及少样本场景下表现优异,同时开源了数据集和代码。
2023-09-11 cs.CL cs.SD eess.AS
Semantic-aware Speech to Text Transmission with Redundancy Removal
Zhejiang University(浙江大学)
近年来,基于深度学习(DL)的语义通信方法已经被探索用于图像、文本和语音的高效传输。与传统的无线通信侧重于传输抽象符号的方法相比,语义通信方法试图通过仅发送源数据的语义相关信息来实现更好的传输效率。在本文中,我们考虑面向语义的语音文本传输。我们提出了一种新的端到端的DL为基础的收发器,其中包括一个基于注意力的软对齐模块和冗余删除模块来压缩传输的数据。特别是,前者只提取与文本相关的语义特征,后者进一步丢弃语义冗余内容,与现有方法相比,大大减少了语义冗余量。我们还提出了一个两阶段的训练计划,这加快了建议的DL模型的训练。仿真结果表明,我们提出的方法优于现有的方法在接收文本的准确性和传输效率。此外,该方法还具有较小的模型大小和较短的端到端的运行时间。
2022-02-07 cs.SD eess.AS
Semantic MIMO Systems for Speech-to-Text Transmission
Imperial College London(帝国理工学院);Tsinghua University(清华大学);Jinan University(暨南大学);The Hong Kong University of Science and Technology(香港科技大学);Peng Cheng Laboratory(鹏城实验室)
本研究针对单用户及多用户MIMO场景,提出语义感知语音转文本传输系统SAC-ST,通过transformer生成低维语义特征、语义感知网络保障关键信息恢复,结合神经网络信道估计降低对完美信道信息的依赖,在低信噪比下性能优于传统方案。
2024-10-05 cs.SD eess.AS
Deep Learning Enabled Semantic Communications with Speech Recognition and Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院);Imperial College London(帝国理工学院)
本文提出一种名为DeepSC-ST的深度学习语义通信系统,通过联合语义-信道编码器传输语音识别特征并在接收端合成语音,在低信噪比下显著优于传统系统。
2023-03-31 cs.SD eess.AS
Robust Semantic Communications for Speech Transmission
本文提出 Ross-S2T 鲁棒语义通信系统,通过深度语义编码器、GAN 语义补偿器和语义探针辅助补偿器,在减少传输数据的同时提升受损语音的语音到文本翻译性能和鲁棒性。
2025-07-04 eess.AS
Does the Lombard Effect Improve Emotional Communication in Noise? - Analysis of Emotional Speech Acted in Noise -
在嘈杂的环境中,说话者通常会不由自主地调整自己的说话方式,以实现有效的沟通。这种适应被称为伦巴第效应。虽然伴随着隆巴德效应的语音可以提高说话者声音的可懂度,但由隆巴德效应引起的声学特征(例如基频、语音强度和频谱倾斜)的变化也可能影响听者对情感内容的判断。据我们所知,目前还没有关于隆巴德效应对情绪性言语影响的研究。因此,我们记录了平行的情绪语音波形发出的12个扬声器在安静和嘈杂的条件下,在一个专业的录音室,以探讨如何隆巴德效应与情绪语音相互作用。通过分析混淆矩阵和声学特征,我们的目标是回答以下问题:1)说话人是否能在不利条件下正确表达自己的情感?2)即使在有噪声的情况下,听者能否识别出语音信号中所包含的情感?3)在噪声环境中发出的情绪性语音与在安静环境中发出的情绪性语音在声学特性上有何不同?
2019-04-09 cs.SD eess.AS
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
Large Model Empowered Streaming Speech Semantic Communications
该研究提出大模型赋能的多语言流式语音语义通信系统LSSC-ST,通过边缘协同架构、预训练大语音模型统一语义特征及动态语音分割算法,在保障语音质量的同时实现低时延的准确流式语音传输。
2025-02-21 eess.AS
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab(Soul AI实验室)
该研究提出SemBridge框架,通过离散语义令牌监督自回归LM状态,在零样本TTS和SVS任务中提升内容准确性,同时保持说话人相似度与感知质量,为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Le Mans University(勒芒大学)
我们提出了SAMU-XLSR:语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同,它以声学帧(10- 20 ms)的分辨率学习多语言上下文语音嵌入,这项工作专注于学习多模态(语音-文本)多语言语音嵌入,以句子(5- 10 s)的分辨率,使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入(LaBSE)模型,创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据,跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张,我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索,并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
A Supervised Speech enhancement Approach with Residual Noise Control for Voice Communication
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
对于语音通信,重要的是从其噪声版本中提取语音而不引入不自然的人工噪声。通过研究非监督语音增强方法的子带均方误差(MSE),揭示其与已有的有监督语音增强方法的损失函数之间的关系,导出了考虑残余噪声控制的有监督语音增强方法的广义损失函数。我们的广义损失函数包含著名的MSE损失函数和许多其他常用的损失函数作为特殊情况。与传统的损失函数相比,本文提出的广义损失函数能够更灵活地在语音失真和噪声抑制之间进行权衡。这是因为可以引入一组经过充分研究的噪声整形方案来控制实际应用中的残余噪声。客观和主观测试结果验证了残余噪声控制对有监督语音增强方法的重要性。
2019-12-08 cs.SD eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology(云从科技)
虽然自动语音识别(ASR)系统近年来取得了显著的进步,但是口语识别错误仍然存在,并且很容易被人类发现。各种语言建模技术已经开发出后识别任务,如语义校正。在本文中,我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化,在10000小时的汉语语音数据集上的实验表明,字符出错率(CER)可以有效地减少21.7%,相对于我们的基线ASR系统。专家评估表明,我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley(加州大学伯克利分校)
人类说话者将信息编码成原始语音,然后由听者解码。编码(产生)和解码(感知)之间的这种复杂关系通常是单独建模的。在这里,我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现,该网络结合了语音的产生和感知原理。据我们所知,我们介绍了无监督词汇学习中最具挑战性的目标:一个网络,必须学习词汇项的唯一表示,没有直接存取训练数据。我们训练了几个模型(ciwGAN和fiwGAN arXiv:2006.02951),并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此,组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息,而无需直接访问真实的训练数据。我们提出了一种技术,探索词汇(整体)和词汇(特征)学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义,因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明,即使没有任何文本监督,与图像配对的语音也可以用于学习语义上有意义的语音表示。然而,在现实世界的低资源环境中,我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的,在存在不同数量的文本监督。特别是,我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务,其中模型在带有语音字幕的图像上进行训练,并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法,以利用视觉和文本形式,与视觉监督的关键字概率从外部标记的形式。我们发现,视觉接地是有帮助的,即使在存在的文字监督,我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音,当还使用视觉监督时,我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS
Speech Emotion Recognition using Semantic Information
Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
语音情感识别在人机交互、教育等领域有着广泛的应用。虽然近年来取得了一些进展,特别是随着深度神经网络(DNN)的出现,但文献中的大多数研究都没有考虑语音信号中的语义信息。在本文中,我们提出了一个新的框架,可以捕获信号中的语义和非语言信息。特别是,我们的框架是由一个语义特征提取器,捕捉语义信息,和一个双语言特征提取器,捕捉双语言信息。语义和paraliguistic功能,然后结合到一个统一的表示使用新的注意力机制。在最终预测之前,统一的特征向量通过LSTM来捕获信号中的时间动态。为了验证我们的框架的有效性,我们使用流行的SEWA数据集的AVEC挑战系列和比较的三个获奖论文。我们的模型提供了最先进的结果在效价和喜欢的尺寸。
2021-03-04 cs.SD eess.AS
BoSS: Beyond-Semantic Speech
Institute of Artificial Intelligence (TeleAI)(人工智能研究所)
本文提出BoSS超越语义语音概念及L1-L5口语交互能力框架,结合认知理论与机器学习分析语音隐性信号,评测发现现有SLM在五维超越语义理解上仍不足。
2025-07-23 cs.CL cs.SD eess.AS
Wireless Deep Speech Semantic Transmission
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室)
在本文中,我们提出了一类新的高效语义编码传输方法的端到端的语音传输在无线信道。我们将整个系统命名为深层语音语义传输(DSST)。具体地说,我们引入了一个非线性变换来映射语音源到语义潜在空间,并将语义特征输入到源通道编码器中以生成通道输入序列。在变分建模思想的指导下,我们在隐空间上建立了一个熵模型来估计语义特征嵌入之间的重要性差异。相应地,这些不同重要性的语义特征可以被合理地分配不同的编码速率,从而最大化系统编码增益。此外,我们引入了一个信道信噪比(SNR)自适应机制,使一个单一的模型可以应用于各种信道状态。我们的模型的端到端的优化导致了灵活的率失真(RD)的权衡,支持多功能的无线语音语义传输。实验结果表明,我们的DSST系统明显优于目前工程语音传输系统的客观和主观指标。与现有的神经语音语义传输方法相比,我们的模型节省了高达75%的信道带宽成本时,达到相同的质量。音频演示的直观比较可以在https://ximoo123.github.io/DSST上找到。
2022-11-04 cs.IT cs.SD eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的,而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据,这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕,我们表明,相同的模型架构可以成功地应用于这两种语言。此外,我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后,我们表明,这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
Introducing Semantics into Speech Encoders
University of California, Los Angeles(加州大学洛杉矶分校);Meta AI;National Taiwan University(国立台湾大学)
最近的研究发现,现有的自监督语音编码器主要包含声学信息,而不是语义信息。因此,流水线监督自动语音识别(ASR)到大语言模型(LLM)系统通过利用来自LLM的丰富语义表示来实现语义口语任务的最新结果。这些系统的代价是标记的音频传输,这是昂贵和耗时的获得。我们提出了一个任务不可知的无监督的方式,将语义信息从LLM到自监督语音编码器没有标记的音频transmitting。通过引入语义,我们将现有的语音编码器口语语言理解性能在意图分类上提高了10%以上,在命名实体分辨率和槽填充方面有适度的增益,口语问答FF1得分提高了2%以上。我们的无监督方法实现了与在超过100小时的标记音频转录上训练的监督方法相似的性能,证明了现有语音编码器的无监督语义增强的可行性。
2022-11-15 cs.CL cs.LG cs.SD
SenSE: Semantic-Aware High-Fidelity Universal Speech Enhancement
Northwestern Polytechnical University(西北工业大学);Huawei Technologies Co., Ltd.(华为技术有限公司);Nanjing University(南京大学)
SenSE提出一种两阶段生成式通用语音增强框架,通过语言模型建模语义先验,引导流匹配过程生成语义忠实的语音,提升上下文保真度,并引入双路径掩码条件训练策略提升模型灵活性和适应性。
2026-04-05 eess.AS
SpeechTaxi: On Multilingual Semantic Speech Classification
Center For Artificial Intelligence and Data Science, University of Würzburg(维尔茨堡大学人工智能与数据科学中心)
本文构建覆盖28种语言、时长80小时的SpeechTaxi数据集,系统比较端到端与级联语义语音分类,并提出罗马化文本级联方法以解决低资源语言ASR支持不足问题。
2024-09-10 cs.CL cs.SD eess.AS
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Multi-modal Model Training, Kakao Corp(Kakao公司多模态模型训练部)
提出LM-SPT方法,通过语义语音重合成蒸馏,在不降低帧率的情况下生成与语言模型更对齐的离散语音标记,在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
GenSE: Generative Speech Enhancement via Language Models using Hierarchical Modeling
Northwestern Polytechnical University(西北工业大学);Nanyang Technological University(南洋理工大学)
GenSE将语音增强建模为条件语言建模任务,通过语义与声学token的分层生成及token链提示机制,利用语言模型引入语义信息,在语音质量和泛化能力上超越现有最优系统。
2025-02-05 cs.SD eess.AS
Causal Speech Enhancement with Predicting Semantics based on Quantized Self-supervised Learning Features
The University of Tokyo(东京大学)
本文首次将因果自监督学习特征引入语音增强模型,通过向量量化表示语义令牌,并在多任务学习中预测未来语义令牌,在VoiceBank + DEMAND数据集上取得PESQ 2.88,验证了语义预测对因果语音增强的重要性。
2024-12-26 cs.SD eess.AS
Speech Codec Probing from Semantic and Phonetic Perspectives
University of Southern California(南加州大学);Dolby Laboratories(杜比实验室)
本文通过三项任务系统分析多种语音分词器编码的信息,发现当前分词器主要捕获语音结构而非词汇语义,为下一代语音分词方法设计提供指导。
2026-06-25 cs.CL eess.AS
Semantic query-by-example speech search using visual grounding
Stellenbosch University(斯泰伦博斯大学);TTI-Chicago(芝加哥丰田技术研究所)
最近的一些研究已经开始研究如何通过在训练时利用伴随的图像来训练语音系统。任务的示例包括关键字预测和模式内和跨模式检索。在这里,我们考虑这样的模型可以用于查询的例子(QBE)搜索,检索相关的一个给定的口头查询的话语的任务。我们特别感兴趣的语义QBE,其中的任务不仅是检索话语包含确切的查询实例,但也话语的意义是相关的查询。我们遵循分段QBE方法,其中可变持续时间的语音段(查询,搜索话语)被映射到固定维度的嵌入向量。我们表明,使用嵌入函数训练视觉接地语音数据的QBE系统优于一个纯粹的声学QBE系统的准确和语义检索性能。
2019-04-15 cs.CL cs.SD eess.AS
Comparing Unsupervised and Supervised Semantic Speech Tokens: A Case Study of Child ASR
University of California Los Angeles(加州大学洛杉矶分校)
本文对比了监督和无监督语义语音标记在儿童语音识别中的性能,发现监督方法在低资源环境下表现更优。
2025-12-02 eess.AS
Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction
University of Science and Technology of China (USTC)(中国科学技术大学);Tianjin University(天津大学);Alibaba Group(阿里巴巴集团)
本文提出一种用于低延迟分割的语义 VAD 方法,通过引入帧级标点预测、人工端点分类及 ASR 语义损失,在保持后端 ASR 字符错误率不显著恶化的前提下将平均延迟降低 53.3%。
2023-05-21 cs.SD eess.AS
Semantic speech retrieval with a visually grounded model of untranscribed speech
Stellenbosch University(斯泰伦博斯大学);TTI-Chicago(芝加哥丰田技术研究所)
人们对可以从与视觉上下文配对的未标记语音中学习的模型越来越感兴趣。此设置与低资源语音处理、机器人和人类语言习得研究相关。在这里,我们研究了一个基于视觉的语音模型,在与口头字幕配对的场景图像上训练,如何捕捉语义的各个方面。我们使用外部图像标记器从图像中生成软文本标签,这些标签作为神经模型的目标,将未转录的语音映射到(语义)关键字标签。我们引入了一个新收集的数据集的人类语义相关性判断和相关的任务,语义语音检索,其目标是搜索口语的语义相关的一个给定的文本查询。在没有看到任何文本的情况下,在并行语音和图像上训练的模型在其十大语义检索中达到了近60%的精度。与在transmittance上训练的监督模型相比,我们的模型在某些方面更好地匹配人类的判断,特别是在检索非逐字语义匹配方面。我们进行了广泛的分析模型及其产生的表示。
2018-10-31 cs.CL cs.CV eess.AS
FireRedTTS-1S: An Upgraded Streamable Foundation Text-to-Speech System
Xiaohongshu(小红书)
本文提出FireRedTTS-1S,一个升级的流式基础TTS系统,通过文本到语义和语义到声学两步解码实现高质量流式语音生成,并在零样本语音克隆中达到与真实录音相当的质量。
2025-05-26 cs.SD eess.AS
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation
Fudan University(复旦大学)
针对SLLM信息建模冗余问题,提出解耦语义与感知信息的CoIG,并构建80亿参数SpeechGPT-Gen,在零样本TTS、语音转换和语音对话中表现优异。
2024-01-25 cs.CL cs.SD eess.AS
Enhancing Neural Speech Coding with Semantic and Visual Cues
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学语音和语言信息处理国家工程研究中心)
该研究提出SVSC编解码器,通过语义与视觉线索的两种注入策略,在低比特率下提升神经语音编码的重建性能,使ViSQOL评分达4.01
2026-09-07 eess.AS
Phoenix-VAD: Streaming Semantic Endpoint Detection for Full-Duplex Speech Interaction
School of Informatics, Xiamen University, China(厦门大学信息学院);School of Electronic Science and Engineering, Xiamen University, China(厦门大学电子科学与技术学院);DiDi Global Inc., Beijing, China(滴滴全球有限公司)
针对现有口语对话模型缺少即插即用全双工语义端点检测模块的问题,提出基于LLM的Phoenix-VAD模型,通过滑动窗口训练实现流式推理,在两类语音场景下表现优异,且模块可独立优化,助力下一代人机交互。
2026-09-04 cs.SD eess.AS
SememeASR: Boosting Performance of End-to-End Speech Recognition against Domain and Long-Tailed Data Shift with Sememe Semantic Knowledge
Tsinghua University(清华大学);Peng Cheng Lab(鹏城实验室);The Chinese University of Hong Kong(香港中文大学)
针对纯数据驱动语音识别在领域不匹配和长尾数据场景下的性能瓶颈,提出融合义原语义知识的SememeASR方法,实验验证其可提升识别效果、长尾数据识别能力及领域泛化性。
2023-10-07 cs.CL cs.SD eess.AS
Brain-tuned Speech Models Better Reflect Speech Processing Stages in the Brain
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文发现脑调谐语音模型后期层与语义脑区对齐显著提升,并形成从声学到语义的清晰层级处理,使其更适于模拟人类语音处理。
2025-06-04 cs.CL cs.SD eess.AS
Enhancing Word-Level Semantic Representation via Dependency Structure for Expressive Text-to-Speech Synthesis
Tencent(腾讯)
利用原始文本中丰富的语言信息是表达性文语转换(TTS)的关键。随着大规模预训练文本表示的发展,来自Transformers的双向编码器表示(BERT)已被证明包含语义信息,并最近被用于TTS。然而,原始的或简单的微调BERT嵌入仍然不能提供足够的语义知识,表达TTS模型应该考虑。本文提出了一种基于依存结构和预训练BERT嵌入的词级语义表示增强方法。每个词的BERT嵌入被重新处理,考虑其特定的依赖关系和句子中的相关词,以生成更有效的TTS语义表示。为了更好地利用依赖结构,引入关系门控图网络(RGGN),使语义信息通过依赖结构流动和聚合。实验结果表明,该方法可以进一步提高合成语音的自然度和表现力的中文和英文数据集。
2022-11-11 cs.CL cs.SD eess.AS
Multitask-Based Joint Learning Approach To Robust ASR For Radio Communication Speech
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Temasek Laboratories, Nanyang Technological University(南洋理工大学淡马锡实验室)
为了实现无线电通信条件下的端到端自动语音识别(E2E ASR),提出了一种基于多任务的方法,将语音增强(SE)模块作为前端,E2E ASR模型作为后端,联合进行训练。所提出的方法的优点之一是,整个系统可以从头开始训练。与以前的作品不同,这里的任何一个组件都不需要单独执行预训练和微调过程。通过分析,我们发现,所提出的方法的成功在于以下几个方面。首先,多任务学习是必不可少的,即SE网络不仅要学习以产生更智能的语音,而且还要产生有利于识别的语音。其次,我们还发现,语音相位保留从噪声的语音是至关重要的,以提高ASR性能。第三,提出了一种双通道数据增强训练方法,将纯净语音和增强语音结合起来对整个系统进行训练。我们评估所提出的方法对大鼠英语数据集,实现了相对WER减少4.6%的联合训练方法,并高达相对WER减少11.2%的建议的数据增强方法。
2021-07-22 cs.SD eess.AS
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM,利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步,在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
Monotonicity-Guided Semantic Alignment for Zero-shot Multispeaker Image-to-Speech Synthesis
针对图像到语音合成中的对齐难题,提出MGSA框架,利用语义语音单元和软单调先验实现零样本多说话人合成,在Flickr8k-Audio上表现优异,并支持未见说话人。
2026-10-01 eess.AS
Single-stage TTS with Masked Audio Token Modeling and Semantic Knowledge Distillation
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Dolby Laboratories(杜比实验室)
针对当前主流两阶段TTS流程复杂的问题,提出结合语义知识蒸馏的单阶段音频Token建模方法,在语音质量相当的情况下大幅缩小与两阶段模型的可懂度差距,验证了精简架构单阶段TTS的高效高质量潜力。
2024-09-17 cs.AI cs.SD eess.AS
MaskedSpeech: Context-aware Speech Synthesis with Masking Strategy
JD Technology Group(京东科技集团)
本文提出上下文感知语音合成系统MaskedSpeech,通过掩码策略结合上下文语义与声学特征重建被掩蔽声学特征,显著提升了段落级语音的自然度与表现力。
2023-05-18 cs.SD eess.AS
RESOUND: Speech Reconstruction from Silent Videos via Acoustic-Semantic Decomposed Modeling
FPT Software AI Center(FPT软件人工智能中心);IRISA
提出RESOUND系统,利用源-滤波器理论将语音生成解耦为声学和语义路径,并融合无监督语音单元,从静默视频重建出准确、自然且保留说话人身份的语音。
2025-05-28 cs.CV cs.SD eess.AS
XY-Tokenizer: Mitigating the Semantic-Acoustic Conflict in Low-Bitrate Speech Codecs
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
提出XY-Tokenizer,通过多阶段多任务学习缓解语音编解码器中语义与声学冲突,在语义和声学任务上均达到最先进水平,文本对齐强且重建说话人相似度达0.83。
2025-07-09 cs.AI cs.SD eess.AS
A Comparative Study of Discrete Speech Tokens for Semantic-Related Tasks with Large Language Models
The Chinese University of Hong Kong(香港中文大学)
本文使用Qwen1.5-0.5B对比了离散与连续语音特征在语义任务上的表现,发现连续特征更优,并分析了离散Token表现不佳的原因及改进方向。
2024-11-13 cs.CL cs.SD eess.AS
Integrated Semantic and Phonetic Post-correction for Chinese Speech Recognition
E.SUN Financial Holding Co., Ltd.(玉山金融控股股份有限公司);National Kaohsiung Normal University(国立高雄师范大学)
由于自然语言处理的最新进展,一些工作已经将BERT的预训练的掩蔽语言模型(MLM)应用于语音识别的后校正。然而,现有的预训练模型只考虑语义校正,而忽略了单词的语音特征。由于同音异义词错误在汉语自动语音识别中相当普遍,因此仅基于语义的后纠正会降低识别性能。在本文中,我们提出了一种新的方法,共同利用上下文表示和语音信息之间的错误和它的替代候选人,以减轻出错率的中文ASR。我们在真实世界语音识别数据集上的实验结果表明,我们提出的方法具有明显低于基线模型,其中使用预训练的BERT MLM作为校正器。
2021-11-16 cs.CL cs.SD eess.AS
On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models
Verily AI
本研究探索冻结扩散TTS模型潜空间的语义信息,提出有监督和无监督方法寻找语义方向,实现无需额外训练或架构更改的开箱即用音频编辑。
2024-06-04 cs.CL cs.LG cs.SD
End-to-End Neural Speech Coding for Real-Time Communications
Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
基于深度学习的方法在音频编码方面已经显示出其相对于传统方法的优势,但对实时的【形】通信(RTC)的关注有限。本文提出了TFNet,一个端到端的神经语音编解码器,具有低延迟的RTC。它采用了编码器-时间滤波-解码器范式,这在音频编码中很少被研究。提出了一种用于时间滤波的交织结构,以捕获短期和长期的时间依赖性。此外,通过端到端优化,TFNet与语音增强和丢包隐藏进行了联合优化,为三项任务提供了一个一对多的网络。主观和客观的结果表明,所提出的TFNet的效率。
2022-02-15 cs.LG cs.SD eess.AS
CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens
Alibaba Group(阿里巴巴集团);Speech Lab(语音实验室)
针对现有无监督语音Token缺乏语义、与文本不对齐的问题,提出基于有监督语义Token的多语言零样本TTS模型CosyVoice,在语音克隆效果和可扩展性上表现更优,为该领域首次尝试。
2024-07-09 cs.AI cs.SD eess.AS