FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo(纽约州立大学布法罗分校)
针对儿童语音ASR缺乏高质量对齐数据的问题,提出灵活自动语音对齐工具FASA,从含噪数据中提取高质量对齐儿童语音,在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Discrete Diffusion for Generative Modeling of Text-Aligned Speech Tokens
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Cornell Tech(康奈尔科技校区)
本文提出基于离散扩散模型(DDM)的文本对齐语音令牌生成框架,替换自回归解码器以提升重建质量、ASR性能与推理速度,优化TASTE的量化模块并实现高效语音生成。
2025-09-24 eess.AS
CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving
Indian Institute of Technology Bombay(印度孟买理工学院)
本文提出端到端模型 CoSTA,利用预训练 ASR 与 MT 模块及对齐语音-文本交错融合,解决印度语码转换语音英译的数据稀缺问题,并发布多语种评测基准,最高提升 3.5 BLEU。
2024-06-16 cs.CL cs.LG cs.SD
Robust Multi-channel Speech Recognition using Frequency Aligned Network
Amazon(亚马逊)
诸如波束成形的常规语音增强技术对于远场语音识别具有已知的益处。我们自己在频域多通道声学建模中的工作已经通过在声学模型内联合训练空间滤波层而显示出额外的改进。在本文中,我们进一步发展了这一思想,并使用频率对齐网络的鲁棒多通道自动语音识别(ASR)。与频域中的仿射层不同,所提出的频率对准组件防止一个频率仓影响其他频率仓。我们表明,这种修改不仅减少了模型中的参数数量,而且显着提高了ASR性能。我们通过ASR实验研究了频率对齐网络对真实远场数据的影响,其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明,我们的多通道声学模型与频率对齐的网络显示高达18%的字出错率相对减少。
2020-02-06 cs.CL cs.SD eess.AS
Cognitive Coding of Speech
Université de Sherbrooke(舍布鲁克大学)
我们提出了一种认知编码的语音在两个层次的抽象水平的上下文表示的无监督提取的方法。在较低的抽象级别中捕获持续一百毫秒或更短的语音属性(诸如音素身份),而在较高的抽象级别中捕获持续长达一秒的语音属性(诸如说话者身份和情感)。这种分解是通过两级神经网络实现的,其中较低和较高的阶段在不同的时间尺度上操作。这两个阶段都被训练来预测它们各自潜在空间中的信号内容。阶段之间的自顶向下路径进一步提高了网络的预测能力。考虑到在语音压缩中的应用,我们研究降维和低比特率量化对提取的表示的影响。在LibriSpeech和LibriV-DB数据集上测量的性能达到了,对于某些语音属性甚至超过了最先进的方法。
2021-10-08 cs.LG eess.AS
An Analysis of Semantically-Aligned Speech-Text Embeddings
Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局资讯通信研究院)
嵌入在多模态语言处理问题的端到端解决方案中起着重要作用。虽然已经有一些努力来理解单模态嵌入空间的属性,特别是文本的属性,但它们的跨模态对应物却很少被理解。在这项工作中,我们研究了联合语音文本嵌入空间的一些内在属性,该空间是通过最小化教师-学生模型设置中配对话语和转录输入之间的距离来构建的,这些属性对于几个突出的用例来说是有用的。我们发现,通过预训练和多任务场景结合自动语音识别可以显著帮助语义对齐,从而产生更紧密耦合的嵌入。为了分析跨模态嵌入,我们利用定量检索准确性度量的语义对齐,zero-shot分类的概括性,和探测的编码器,以观察知识转移的程度从一个模态到另一个。
2023-01-19 cs.CL cs.LG eess.AS
Exploring Universal Speech Attributes for Speaker Verification with an Improved Cross-stitch Network
本文提出利用发音方式和部位构建通用语音属性单元,并通过改进的交叉缝合多任务学习框架将其融入 x-vector 训练,在 NIST SRE10 上一致提升了说话人验证性能。
2023-05-31 eess.AS
DuraS2ST: Chain-of-Thought and Reinforcement Learning for Duration-Aligned Speech-to-Speech Translation
The Chinese University of Hong Kong(香港中文大学);Microsoft Corporation(微软公司)
DuraS2ST提出时长对齐推理框架,利用思维链规划与强化学习优化,在CVSS-T上平衡翻译质量与时长一致性,优于现有基线。
2026-09-29 cs.CL cs.SD eess.AS
Simultaneous Speech-to-Speech Translation Without Aligned Data
LIA, University of Avignon, France(LIA,阿维尼翁大学,法国)
Hibiki-Zero无需词级对齐数据,通过句子级对齐和强化学习策略实现高精度的同时语音翻译,支持多种语言并提升翻译质量与效率。
2026-07-23 cs.CL cs.SD eess.AS
WACO: Word-Aligned Contrastive Learning for Speech Translation
University of California, Santa Barbara(加州大学圣巴巴拉分校);ByteDance AI Lab(字节跳动人工智能实验室)
针对极低资源语音翻译,本文提出词对齐对比学习方法WACO,通过对比学习对齐语音与文本的词级表示,在MuST-C和IWSLT 2023马耳他语-英语上仅用1小时数据即超越最佳基线9个以上BLEU分。
2023-07-07 cs.CL cs.SD eess.AS
Multimodal Speech Emotion Recognition using Cross Attention with Aligned Audio and Text
Seoul National University(首尔国立大学)
在本文中,我们提出了一种新的语音情感识别模型称为交叉注意网络(CAN),使用对齐的音频和文本信号作为输入。它的灵感来自于这样一个事实,即人类将语音识别为同时产生的声学和文本信号的组合。首先,我们的方法将音频和底层文本信号以对齐的方式分割成相等数量的步骤,使得顺序信号的相同时间步骤覆盖信号中的相同时间跨度。与此技术一起,我们应用交叉注意力从对齐的信号中聚集顺序信息。在交叉注意中,通过对每个模态应用全局注意机制,每个模态被独立地聚合。然后,每种模态的注意力权重以交叉的方式直接应用于另一种模态,使得CAN基于每种模态从相同的时间步长收集音频和文本信息。在标准IEMOCAP数据集上进行的实验中,我们的模型在加权和未加权准确率方面相对于最先进的系统分别高出2.66%和3.18%。
2022-07-26 cs.SD eess.AS
Scale This, Not That: Investigating Key Dataset Attributes for Efficient Speech Enhancement Scaling
Shanghai Jiao Tong University(上海交通大学)
提出一种生成-训练-评估框架,利用零样本文本转语音系统受控合成数据,发现声学属性比语义属性对语音增强模型性能更重要。
2024-12-19 cs.SD eess.AS
SpeechEditBench: A Bilingual Multi-Attribute Benchmark for Instruction-Guided Speech Editing
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);AI Lab, Leibniz Research Center, Huawei(华为莱茵研究院人工智能实验室)
提出SpeechEditBench双语多属性基准,通过锚点评估协议衡量语音编辑中目标属性的修改成功与非目标属性的保持,发现现有模型在组合编辑任务上表现不佳。
2026-09-02 cs.SD eess.AS
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia(沙特阿拉伯国防部);Ability Center, Saudi Arabia(沙特阿拉伯能力中心);University of Rochester, USA(罗切斯特大学)
提出Harf-Speech模块化系统,结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器,在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC,优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Multi-modal Model Training, Kakao Corp(Kakao公司多模态模型训练部)
提出LM-SPT方法,通过语义语音重合成蒸馏,在不降低帧率的情况下生成与语言模型更对齐的离散语音标记,在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
An Attribute Interpolation Method in Speech Synthesis by Model Merging
CyberAgent, Inc.(CyberAgent公司)
本文提出一种仅通过平均基础模型参数实现语音合成属性插值的方法,无需额外模块或训练,在说话人生成和情感强度控制任务中验证了其平滑插值且保持语言内容的效果。
2024-06-30 cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University(首尔大学);University of California, Berkeley(加州大学伯克利分校);KRAFTON;Georgia Institute of Technology(佐治亚理工学院)
StreamAlign提出流式文本对齐语音分词框架,结合字符级RNN-T与词级ASR指导,降低延迟并缓解词汇不匹配,在LibriSpeech上取得最优WER和UTMOS,其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
Beyond U-Net: A Latent-Representation-Aligned Skip-Free Backbone for Flow-Matching Speech Enhancement
Department of Information Engineering, Electronics and Telecommunications(信息工程、电子与电信系)
提出一种无跳跃连接的编码器-解码器骨干网络,通过潜在表示对齐(LRA)引导流匹配语音增强,避免U-Net跳跃连接传递噪声相关特征,仅需五次函数评估即可提升PESQ和感知质量。
2026-06-24 cs.AI cs.SD eess.AS
UniTTS: Residual Learning of Unified Embedding Space for Speech Style Control
Handong Global University(韩东全球大学)
我们提出了一种新的高保真表达语音合成模型,UniTTS,学习和控制重叠的风格属性,避免干扰。UniTTS在一个统一的嵌入空间中表示多个风格属性,通过应用属性之前和之后的音素嵌入之间的残差。所提出的方法是特别有效的,在控制多个属性,是很难分开干净,如扬声器ID和情绪,因为它最大限度地减少冗余时,添加在扬声器ID和情绪的变化,此外,预测持续时间,音高,和能量的基础上的扬声器ID和情绪。在实验中,可视化结果表明,所提出的方法学习多个属性和谐的方式,可以很容易地再次分离。此外,UniTTS合成高保真语音信号控制多种风格属性。合成的语音样本在https://anonymous-authors2022.github.io/paper_works/UniTTS/demos/上呈现。
2022-02-28 cs.AI cs.LG cs.SD
Toward Human-Aligned Judgement of Speech Emotion Similarity
National Taiwan University(台湾大学);National Taiwan University of Science and Technology(台湾科技大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(台湾大学人工智能卓越研究中心(NTU AI-CoRE))
针对语音情感相似度评估,提出SES-Bench基准与SES-Judge模型,基于人类比较标注训练,显著优于现有自动度量方法。
2026-09-29 cs.SD eess.AS
On the Use of Semantically-Aligned Speech Representations for Spoken Language Understanding
Omilia - Conversational Intelligence(Omilia对话智能公司)
在本文中,我们研究使用语义对齐的语音表示的端到端的口语语言理解(SLU)。我们采用最近推出的SAMU-XLSR模型,它的目的是生成一个单一的嵌入,捕捉在话语级别的语义,语义对齐不同的语言。该模型结合了声学帧级语音表示学习模型(XLS-R)和语言不可知BERT句子嵌入(LaBSE)模型。我们表明,使用的SAMU-XLSR模型,而不是最初的XLS-R模型,显着提高了性能的框架中的端到端SLU。最后,我们提出了使用这种模式对语言的可移植性SLU的好处。
2022-10-11 cs.CL cs.SD eess.AS
TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling
MediaTek Research(联发科技研究);Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);Artificial Intelligence Center of Research Excellence, National Taiwan University(国立台湾大学卓越人工智能研究中心)
TASTE通过语音重建目标实现文本对齐的语音标记化与嵌入,提升语音语言建模的性能。
2026-02-05 cs.CL cs.SD eess.AS
PAAPLoss: A Phonetic-Aligned Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室)
尽管近年来发展迅速,但当前的语音增强模型通常产生与真正的干净语音在感知质量上不同的语音。我们提出了一个学习目标,正式的感知质量的差异,通过使用领域知识的声学语音。我们确定时间声学参数-如频谱倾斜,频谱通量,微光等-是不可微的,我们开发了一个神经网络估计,可以准确地预测其时间序列值在整个话语。我们还为每个特征建模音素特定的权重,因为已知声学参数在不同的音素中显示不同的行为。我们可以将此标准作为辅助损失添加到任何产生语音的模型中,以优化语音输出,从而在这些特征中匹配干净语音的值。实验上,我们表明,它提高了语音增强工作流程在时域和时频域,标准的评估指标。我们还提供了一个音素依赖的声学参数的改进分析,证明了我们的方法提供的额外的可解释性。这种分析可以表明哪些功能目前是改进的瓶颈。
2023-02-16 cs.CL cs.SD eess.AS
Controlling your Attributes in Voice
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种无需平行数据的语音属性控制方法,结合基于GAN的变分自编码器和两阶段语音转换模型,在保持语音质量与说话人身份的同时操控年龄和性别属性。
2025-01-03 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.(先进媒体公司)
针对无干净参考的助听器处理语音清晰度预测任务,研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略,提出帧对齐融合方法,在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
MSAC: Multiple Speech Attribute Control Method for Reliable Speech Emotion Recognition
Kyushu University(九州大学);Shanghai Ximalaya Technology Co Ltd(上海喜马拉雅科技有限公司);University of Alberta(阿尔伯塔大学)
本文提出统一语音情感识别框架 MSAC-SERNet 及多语音属性控制方法(MSAC),通过细粒度控制语音属性并减轻无关表示影响,在单语料库和跨语料库场景及可靠性检验中均取得优越性能。
2024-03-22 cs.AI cs.MM cs.SD
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束,联合属性和音素信息进行多语言端到端音素识别,在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
CHILDES-Aligned: A Curated Children's Speech Dataset via Multi-Model Timestamp Ensembling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));IBM Research(IBM研究院);University at Buffalo(布法罗大学)
研究儿童语音数据集时间戳问题,提出BEACON框架,通过聚合多ASR模型知识优化时间戳,贡献经整理含正确时间戳的数据集及子集,微调后在基准测试中WER降低。
2026-09-25 eess.AS eess.SP
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering(信息科学与工程学院)
本文提出利用颜色属性表示情绪,通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
A Large-Scale Probing Analysis of Speaker-Specific Attributes in Self-Supervised Speech Representations
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学电子工程系);Independent Researcher(独立研究者);School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学深圳学校数据科学系)
本研究通过大规模分析揭示了自监督语音表示中说话人特定属性的编码机制,发现大模型在深层结构中能恢复说话人身份,且中间表示更擅长捕捉动态语调。
2026-09-09 cs.SD eess.AS
A Bottom-up Framework with Language-universal Speech Attribute Modeling for Syllable-based ASR
提出一种底层ASR框架,通过语言通用发音属性建模与音节预测结合,在AISHELL-1上性能有竞争力且低资源鲁棒,跨语言日语错误率降低40%。
2025-09-09 eess.AS
URGENT-PK: Perceptually-Aligned Ranking Model Designed for Speech Enhancement Competition
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Technische Universität Braunschweig(Braunschweig 技术大学);Google DeepMind(谷歌DeepMind);Waseda University(早稻田大学);Meta
针对MOS人工标注成本高且现有预测模型受限于数据不足的问题,提出URGENT-PK成对排序方法,利用同源语音对预测相对质量,在有限数据下实现了优于基线的系统级排序性能。
2025-06-30 cs.SD eess.AS
Harmonic-aligned Frame Mask Based on Non-stationary Gabor Transform with Application to Content-dependent Speaker Comparison
Acoustic Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所)
提出了一种基于非平稳Gabor变换的语音信号谐波对齐帧掩码算法。帧掩码对信号的传输系数进行操作,并因此将信号转换为对应信号。它描述了两个信号之间的差异。在以前的研究中,基于正则Gabor变换的帧模板被应用于单音符乐器声音分析。本研究将框架屏蔽方法扩展到语音信号。对于有声语音,基频通常随时间连续变化。我们采用NSGT与音高相关,因此随时间变化的频率分辨率,以达到谐波对齐的变换域,从而产生谐波对齐的帧掩码的语音信号。我们建议将谐波对齐的帧掩码应用于内容相关的说话人比较。该算法利用不同说话人的同一元音的浊音信号计算出的帧掩码作为相似性度量,对说话人身份进行比较和区分。使用深度神经网络获得的结果表明,所提出的帧掩码在表示说话人特征方面是有效的,并且在有限的数据场景中显示出SID应用的潜力。
2019-04-23 cs.SD eess.AS math.SP
Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play
Carnegie Mellon University(卡内基梅隆大学);Anuttacon(安纳塔康)
针对语音角色扮演评估中ALLM评判器遗漏副语言线索等问题,提出Speech-DRAME框架,包含双语评估基准、微调评估模型DRAME-Eval及角色扮演基准,通过原型与真实度评估策略,显著提升了与人类评分的一致性。
2026-11-02 cs.AI cs.SD eess.AS
Interactive tools for making temporally variable, multiple-attributes, and multiple-instances morphing accessible: Flexible manipulation of divergent speech instances for explorational research and education
本文提出交互式工具扩展,使时间可变、多属性、多实例的语音变形算法更易用,支持探索性研究与教育,并在研究生课程中验证成功。
2024-04-20 cs.HC eess.AS
In This Environment, As That Speaker: A Text-Driven Framework for Multi-Attribute Speech Conversion
Shenzhen International Graduate School(深圳国际研究生院)
本研究提出文本驱动的多属性语音转换框架TES-VC,可独立控制说话人音色与环境声学,通过潜在扩散建模与RBTC模块实现精准操控,实验验证其在内容保留和可控性上表现优异。
2025-06-13 cs.SD eess.AS
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
China Mobile Science and Technology(中国移动科学技术);Beijing Institute of Technology(北京理工大学)
提出UniSAE统一框架,通过离散音素后验图(DPPG)表示语音内容,支持从子音素到词级的说话人、情感和内容编辑,并采用扩散解码器生成语音。
2026-07-01 cs.AI cs.CL cs.SD
Explainability by Design: Structured Kolmogorov-Arnold Networks over Probabilistic Attributes for Speech Deepfake Source Tracing
School of Computing, University of Eastern Finland(东芬兰大学计算机学院)
该研究针对语音深度伪造源追踪问题,提出结合多任务概率属性提取与结构化KAN的框架,在ASVspoof2019-attr-17数据集上实现高准确率,且具备设计层面的可解释性,性能优于基线方法。
2026-08-21 eess.AS
Towards Explainable Spoofed Speech Attribution and Detection:a Probabilistic Approach for Characterizing Speech Synthesizer Components
本文提出一种可解释的概率框架,将欺骗语音分解为概率属性嵌入以检测特定语音合成器组件,结合Shapley值量化属性贡献,在检测与归因任务中均取得与原始嵌入相当的性能。
2025-06-01 eess.AS
Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition
Georgia Institute of Technology(佐治亚理工学院);Università degli Studi di Palermo(巴勒莫大学);Norwegian University of Science and Technology(挪威科技大学)
提出基于Wav2Vec2.0和通用语音属性的语言通用端到端SKR方法,结合领域对抗训练,在已见和零样本未见语言中均显著降低词错误率,优于传统字符与音素方法。
2024-06-04 cs.CL cs.SD eess.AS
MAESTRO: Matched Speech Text Representations through Modality Matching
Google, Inc.(谷歌公司)
我们提出了Maestro,这是一种自我监督的训练方法,可以统一从语音和文本模态中学习到的表示。从语音信号的自监督学习旨在学习信号中固有的潜在结构,而从文本的自监督学习试图捕获词汇信息。从不成对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。以前的工作要么隐含地强制执行的表示从这两个模态对齐的潜在空间,通过多任务和参数共享或明确地通过转换的方式通过语音合成。前者受到两种模式之间的干扰,后者则带来更多的复杂性。在本文中,我们提出了Maestro,一种新的算法,从这两种模态同时学习统一的表示,可以转移到不同的下游任务,如自动语音识别(ASR)和语音翻译(ST)。Maestro通过序列对齐、持续时间预测和匹配嵌入来学习统一表示,这些嵌入是通过对齐的掩蔽语言模型损失来学习的。我们在VoxPopuli多语言ASR上建立了一个新的最先进的(SOTA),Word出错率(WER)相对降低了8%,多域SpeechStew ASR(相对降低了3.7%)和CoVoST 2上的英语多语言ST的21种语言,平均比21种语言提高了2.8 BLEU。
2022-07-01 cs.CL cs.SD eess.AS
Explainable Speech Emotion Recognition: Weighted Attribute Fairness to Model Demographic Contributions to Social Bias
Imperial College London(伦敦帝国学院)
本文提出一种新的公平性模型,用于评估语音情绪识别中 demographic 属性与模型偏见之间的相互信息,并验证了其在 HuBERT 和 WavLM 模型上的有效性,揭示了性别偏见的存在。
2026-03-26 cs.AI cs.CL eess.AS
TTS-CtrlNet: Time varying emotion aligned text-to-speech generation with ControlNet
本文提出TTS-CtrlNet,首个基于ControlNet的可控流匹配TTS方法,通过冻结原模型并引入可训练副本实现时间变化的情感控制,在保持零样本克隆和自然度的同时取得最先进的情感相似度性能。
2025-07-06 cs.SD eess.AS
P2VA: Converting Persona Descriptions into Voice Attributes for Fair and Controllable Text-to-Speech
Department of Artificial Intelligence, Sungkyunkwan University, Korea(人工智能系,成均馆大学,韩国);Department of Computer Science and Engineering, Sungkyunkwan University, Korea(计算机科学与工程系,成均馆大学,韩国)
本文提出首个从人设描述自动生成语音的框架P2VA,通过结构化属性与风格描述两种策略实现可控语音合成,并揭示了LLM在转换中嵌入社会偏见的问题。
2025-09-19 cs.CL eess.AS
A Unified Neural Codec Language Model for Selective Editable Text to Speech Generation
School of Electronic Information, Wuhan University, China(武汉大学电子信息学院);Microsoft Corporation(微软公司)
SpeechEdit是一种通过选择性控制机制实现灵活属性控制的神经编码语言模型,用于可编辑的文本到语音生成。
2026-01-18 cs.SD eess.AS
An Explainable Probabilistic Attribute Embedding Approach for Spoofed Speech Characterization
University of Eastern Finland(东芬兰大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出可解释概率属性嵌入方法用于欺骗语音表征,以可解释子组件属性替代高维难解释的原始CM嵌入,结合决策树分类器,在ASVspoof2019数据集上实现与原始嵌入相当的欺骗检测性能及更优的攻击归因性能,并通过Shapley值分析了各属性贡献。
2024-09-17 cs.SD eess.AS
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI(亚马逊Alexa人工智能部门);Google Research(谷歌研究院)
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行,并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性,如语言内容,说话者身份和节奏。在这项工作中,我们引入了一个自我监督的方法来解开房间声学语音,并使用设备仲裁的下游任务的声学表示。我们的结果表明,当标记的训练数据稀缺时,我们提出的方法比基线显着提高了性能,这表明我们的预训练方案学会了对房间声学信息进行编码,同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
On-the-Fly Aligned Data Augmentation for Sequence-to-Sequence ASR
Heidelberg University(海德堡大学)
本研究提出面向序列到序列ASR的实时对齐数据增强方法ADA,通过对齐替换转录词元和语音表示生成训练样本,在LibriSpeech数据集上较SpecAugment实现显著WER下降。
2021-06-09 cs.CL eess.AS
Speaker Privacy and Security in the Big Data Era: Protection and Defense against Deepfake
本文概述了应对深度伪造语音的三种技术:语音匿名化、深度伪造检测和水印,分别用于保护说话人属性及防御滥用,并总结了其方法、进展与挑战。
2025-09-09 eess.AS
VoiceShop: A Unified Speech-to-Speech Framework for Identity-Preserving Zero-Shot Voice Editing
ByteDance(字节跳动)
本研究提出统一语音转语音框架VoiceShop,基于条件扩散骨干模型搭配可选编辑模块,单次前向传播即可零样本修改语音多种属性且保留说话者音色,解决了以往专用模型效果弱、无零样本能力、音色泄漏的问题。
2024-04-11 cs.AI cs.SD eess.AS
Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社媒体智能研究所);Nagaoka University of Technology(长冈技术科学大学)
提出了一种新的单通道多说话人重叠自动语音识别(ASR)系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练,其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而,传统的建模方法不能显式地考虑个体话语的说话者属性,例如性别和年龄信息。事实上,当每个说话者是同一性别或年龄接近时,性能会恶化。为了解决这个问题,我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中,基于变换的自回归模型不仅递归地生成文本标记,而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
FC-TTS: Style and Timbre Control in Zero-Shot Text-to-Speech with Disentangled Speech Representations
Qualcomm AI Research(高通人工智能研究院)
提出FC-TTS框架,通过解耦语音表示和双参考条件实现风格与音色的独立控制,并引入架构、训练目标和辅助任务提升分离可靠性。
2026-05-23 eess.AS
Towards Fine-Grained Multi-Dimensional Speech Understanding: Data Pipeline, Benchmark, and Model
Northwestern Polytechnical University(西北工业大学);Shanghai Lingguang Zhaxian Technology(上海灵光炸线科技)
本文提出FMSU-Bench基准和FM-Speech模型,通过数据管道优化、细粒度建模和渐进式课程训练,提升语音多维感知能力,验证现有语音LLM在细粒度多维理解上仍需改进。
2026-09-09 eess.AS
FaceSpeak: Expressive and High-Quality Speech Synthesis from Human Portraits of Different Styles
Tencent AI Lab(腾讯AI实验室)
针对视觉驱动TTS局限于真实人脸的问题,提出FaceSpeak方法,从多种图像风格提取身份和情感特征并减轻无关信息,还构建Expressive Multi-Modal TTS数据集,实现与肖像对齐的高质量语音合成。
2025-04-15 cs.AI cs.SD eess.AS