Leveraging Soft Distributions of SSL-Derived Discrete Speech Tokens for Downstream Inference
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(国家工业科学与技术研究院(AIST))
提出在下游推理时使用软标记分配,保留硬离散化的训练效率同时增强推理时表达力,在ASR和语音合成任务上优于硬分配,并在非母语ASR上超越连续SSL特征。
2026-06-05 cs.SD eess.AS
FOAdapter: A Plug-and-Play Spatial Tokenizer for Low-Bitrate FOA Speech Coding
KAIST(韩国科学技术院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对神经语音编解码器难以保留低比特率FOA语音空间线索的问题,提出即插即用的FOAdapter空间分词器,可结合预训练单声道编解码器在低比特率下同时保留语言与空间信息,经评估效果稳定。
2026-10-14 cs.SD eess.AS
End-to-End Emotional Speech Synthesis Using Style Tokens and Semi-Supervised Training
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院);iFLYTEK Co., Ltd.(科大讯飞股份有限公司)
提出了一种端到端的情感语音合成方法。该模型基于GST-Tacotron框架构建。风格标记被定义为呈现情感类别。设计了一种基于情感标签和特征权重的交叉熵损失函数,利用少量带有情感标签的训练数据获得风格特征的可解释性。情感识别实验表明,该方法能有效地实现风格标记与情感类别的一一对应。客观和主观评价结果表明,当训练数据中只有5%的数据含有情感标签时,该模型的性能优于传统的Tacotron ESS模型.它的主观表现接近使用所有情感标签训练的Tacotron模型。
2019-06-26 cs.SD eess.AS
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab(Soul AI实验室)
该研究提出SemBridge框架,通过离散语义令牌监督自回归LM状态,在零样本TTS和SVS任务中提升内容准确性,同时保持说话人相似度与感知质量,为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
HD-PPT: Hierarchical Decoding of Content- and Prompt-Preference Tokens for Instruction-based TTS
本文提出HD-PPT框架,通过分层解码策略提升指令遵循性和语音自然度,实现更精细的语音合成控制。
2026-03-15 cs.SD eess.AS
SemiCodec: Bridging Speech Tokenization and High-fidelity Reconstruction with Semi-discrete Representations
Tencent(腾讯)
本研究提出新型半离散神经语音编解码器SemiCodec,采用“先保留后基础”训练范式,在重建质量、可懂度上优于全离散编解码器,声学保真度与说话人保留能力可与连续表示媲美。
2026-10-14 cs.SD eess.AS
CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens
Alibaba Group(阿里巴巴集团);Speech Lab(语音实验室)
针对现有无监督语音Token缺乏语义、与文本不对齐的问题,提出基于有监督语义Token的多语言零样本TTS模型CosyVoice,在语音克隆效果和可扩展性上表现更优,为该领域首次尝试。
2024-07-09 cs.AI cs.SD eess.AS
Addressing Index Collapse of Large-Codebook Speech Tokenizer with Dual-Decoding Product-Quantized Variational Auto-Encoder
The Chinese University of Hong Kong(香港中文大学);Xiaohongshu Inc.(小红书公司)
针对大码本语音分词器的“索引坍塌”问题,提出双解码乘积量化VQ-VAE,将特征编码至多个子空间并组合成大码本,有效提升了码本利用率、重建质量及基于语言模型的TTS效果。
2024-06-05 cs.SD eess.AS
Revise-TTS: A Non-Masking Refinement Framework for Masked Diffusion Models in Text-to-Speech
HojoAI
针对掩码扩散模型TTS的中间预测无法修改导致误差累积的问题,提出Revise-TTS框架,用HBQ替换FSQ并引入GRN,实现可自校正的零样本语音合成,性能具竞争力且可扩展。
2026-10-15 cs.SD eess.AS
FreeCodec: A disentangled neural speech codec with fewer tokens
NERCMS, School of Computer Science(NERCMS计算机学院)
针对现有神经语音编解码器在token较少时因建模复杂耦合信息效率低而性能下降的问题,提出FreeCodec,通过将语音内在属性解耦为音色、韵律和内容组件实现更有效编码,在重建与解耦场景中达到SOTA。
2025-06-28 cs.SD eess.AS
UniCATS: A Unified Context-Aware Text-to-Speech Framework with Contextual VQ-Diffusion and Vocoding
MoE Key Lab of Artificial Intelligence, AI Institute X-LANCE Lab, Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院计算机科学与工程系人工智能教育部重点实验室X-LANCE实验室);Shenzhen Research Institute of Big Data(深圳市大数据研究院);AISpeech Ltd(思必驰科技股份有限公司)
本文提出统一上下文感知TTS框架UniCATS,通过上下文VQ扩散预测语义token并结合上下文声码化,同时支持语音延续与编辑,在两项任务上均达到最先进性能。
2024-03-28 cs.SD eess.AS
DTM-Codec: Dynamic Token Masking for VFR Speech Coding with Efficient Boundary Selection
Graduate School of Cultural Technology, KAIST, South Korea(韩国科学技术院文化技术研究生院)
提出DTM-Codec,通过动态令牌掩码和路径长度均衡(PLE)边界选择器,在严格匹配总比特率下优于固定帧率基线,提升重建质量和可懂度。
2026-06-28 cs.SD eess.AS
CleanCodec: Efficient and Robust Speech Tokenization via Perceptually Guided Encoding
Pennsylvania State University(宾夕法尼亚州立大学);Drexel University(德雷塞尔大学)
提出CleanCodec,一种去噪音频编解码器,通过选择性信息瓶颈编码仅保留感知重要特征,以12.5 tokens/s实现最先进的分词效率,在说话人相似度和语音可懂度上显著优于现有编解码器,并在下游任务中实现高达17倍推理加速。
2026-06-03 cs.CL cs.SD eess.AS
ReLMCodec: Designing Predictable Speech Tokens from Pre-Quantization Phoneme Structure
Peking University(北京大学);Tencent(腾讯)
ReLMCodec 基于预量化音素结构,通过保留-控制-细化原则设计低比特率单码本语音编解码器,提升了语音 token 的可预测性与重建性能,且利于下游 TTS 合成。
2026-08-11 cs.SD eess.AS
Improving Noise Robustness of LLM-based Zero-shot TTS via Discrete Acoustic Token Denoising
University of Science and Technology of China(中国科学技术大学);National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家工程研究中心)
本文提出一种基于神经编解码器的语音去噪器,集成于LLM-based TTS模型LauraTTS,通过令牌去噪与嵌入精炼提升零样本TTS的噪声鲁棒性,实验优于现有SE方法。
2025-05-22 cs.SD eess.AS
Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs
文本转语音系统通常在单个句子上进行评估。当考虑长格式内容时,例如由完整段落或对话组成的数据,孤立地评估句子并不总是合适的,因为缺少合成句子的上下文。在本文中,我们研究了三种不同的方法来评估自然的长形式的文本转语音合成。我们比较了孤立地评价句子,评价整个段落的讲话,并提出了一个选择的语音或文本作为上下文,并评估随后的讲话。我们发现,即使这三个评估是基于相同的材料,结果不同的设置,而且这些结果不一定相互关联。我们表明,我们的研究结果是一致的,一个单一的扬声器设置的阅读段落和两个扬声器的对话场景。我们的结论是,要评估长格式语音的质量,传统的评价孤立的句子的方式是不够的,需要多个评价。
2019-09-09 cs.CL cs.LG cs.SD
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架,通过引入兼容约束与异构下采样策略,提升了语言模型在语音数据上的持续预训练效果,验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
Carnegie Mellon University(卡内基梅隆大学);Mohammed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
针对现有合成语音自动评估指标多局限于可懂度的问题,提出通过在合成语音上训练ASR模型、用其在真实语音上的WER衡量语音分布相似性的评估方法,该指标与MOS的自然度和可懂度均有强相关性。
2023-10-01 cs.CL cs.SD eess.AS
XY-Tokenizer: Mitigating the Semantic-Acoustic Conflict in Low-Bitrate Speech Codecs
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
提出XY-Tokenizer,通过多阶段多任务学习缓解语音编解码器中语义与声学冲突,在语义和声学任务上均达到最先进水平,文本对齐强且重建说话人相似度达0.83。
2025-07-09 cs.AI cs.SD eess.AS
HoliTok: A Continuous Holistic Tokenization with Robust Dual Capabilities of Speech Generation and Understanding
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, China(X-LANCE实验室,计算机科学学院,上海交通大学,中国);hi lab, Xiaohongshu Inc, China(hi实验室,小红书公司,中国)
提出HoliTok连续整体式语音分词模型,通过渐进训练策略联合保持信号保真度、融入语义信息并维持潜在可学习性,基于该分词构建统一AR+DiT模型实现语音合成与识别,实验证明其在统一生成-理解架构中无需额外优化即可鲁棒运行。
2026-09-09 cs.AI cs.SD eess.AS
Accelerating Codec-based Speech Synthesis with Multi-Token Prediction and Speculative Decoding
Korea Advanced Institute of Science and Technology(韩国科学技术院);dot Inc(42dot公司)
本文提出多预测头多令牌预测与基于维特比算法的投机解码方法,在不额外训练的情况下将编解码器语音合成速度提升4至5倍,同时保持甚至改善语音可懂度。
2024-10-17 cs.AI cs.SD eess.AS
Factorized RVQ-GAN For Disentangled Speech Tokenization
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Brno University of Technology(布拉格技术大学);LIUM University, France(法国利乌姆大学)
提出因子化RVQ-GAN的HAC编解码器,通过多层级瓶颈和知识蒸馏实现语音解纠缠分词,优于单层级基线。
2025-06-18 cs.CL cs.SD eess.AS
BridgeCode: A Dual Speech Representation Paradigm for Autoregressive Zero-Shot Text-to-Speech Synthesis
South China University of Technology, Guangzhou, China(华南理工大学);Foshan University, Foshan, China(佛山大学)
本文提出基于双语音表示范式BridgeCode的AR-TTS框架BridgeTTS,通过预测稀疏token并重建连续特征减少迭代,联合优化目标,在加速合成的同时保持高质量与说话人相似度。
2025-10-13 cs.SD
Rethinking Discrete Speech Representation Tokens for Accent Generation
本文重新思考离散语音表示标记在口音生成中的作用,提出统一评估框架,发现层选择对保留口音信息影响最大,ASR监督会减少口音信息,且简单代码书缩减无法有效分离口音信息。
2026-03-09 cs.CL cs.SD eess.AS
Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization
Korea University(高丽大学)
Q-SPT提出可学习查询式双流压缩器,分别处理语义和声学流,并辅以文本损失监督,在低帧率下实现最优重建、识别与合成质量。
2026-10-02 cs.CL cs.SD eess.AS
SpeechComposer: Unifying Multiple Speech Tasks with Prompt Composition
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出仅解码器语音语言模型SpeechComposer,通过组合固定提示令牌统一多种语音任务,实现任务间结构化知识共享,在核心与组合任务上均取得优于或媲美单任务专家模型的性能。
2024-01-31 cs.AI cs.CL cs.SD
TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
TaDiCodec提出一种文本感知扩散Transformer语音分词器,通过端到端单阶段训练和文本引导扩散解码,在极低帧率6.25 Hz和0.0875 kbps下实现高质量语音重构,并验证了其在自回归与掩码生成式零样本文本到语音中的有效性。
2025-08-22 cs.LG cs.SD eess.AS
Objective Evaluation of Prosody and Intelligibility in Speech Synthesis via Conditional Prediction of Discrete Tokens
Center for Language and Speech Processing (CLSP), Johns Hopkins University(语言与语音处理中心(CLSP),约翰·霍普金斯大学);National University of Singapore(新加坡国立大学)
本文提出TTScore,一种基于条件预测离散语音令牌的无参考评估框架,用于更准确地评估语音合成的语调和可懂性。
2026-01-19 cs.LG cs.SD eess.AS
dMel: Speech Tokenization made Simple
Apple(苹果公司)
本研究提出无需训练的新型语音表示dMel,将梅尔滤波器组通道离散为强度区间,并配套高维令牌并行编解码方法,在统一架构下实现了性能优异的语音合成与识别,为语音文本联合建模提供新思路。
2025-05-21 cs.AI cs.CL cs.SD
TTSDS2: Resources and Benchmark for Evaluating Human-Quality Text to Speech Systems
Centre for Speech Technology Research University of Edinburgh(语音技术研究中心爱丁堡大学)
TTSDS2是一种改进的TTS评估基准,通过高相关性指标和持续更新的资源,提升对合成语音真实性的评估能力。
2026-03-02 cs.CL cs.SD eess.AS
ParaGSE: Parallel Generative Speech Enhancement with Group-Vector-Quantization-based Neural Speech Codec
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家级工程研究中心);University of Science and Technology of China(中国科学技术大学)
ParaGSE通过基于分组向量量化神经语音编解码器的并行生成式语音增强方法,实现了更高的效率和更优的语音质量。
2026-02-02 cs.SD
Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization
Concordia University, Montreal, Canada(康科德大学);Mila-Quebec AI Institute, Montreal, Canada(魁北克人工智能研究所)
DyCAST通过动态字符对齐和显式持续时间建模,实现可变帧率语音分词,提升低帧率下的语音重合成质量与下游性能。
2026-02-04 cs.AI cs.LG cs.SD
TLDR: Compressing Audio Tokens for Efficient Autoregressive Text-to-Speech
Sungkyunkwan University(成均馆大学);University of Seoul(首尔市立大学)
提出TLDR框架,通过将因果建模从令牌级转移到补丁级,利用轻量级压缩器和LoRA适配的冻结预训练骨干,实现1.8倍推理加速和75% KV缓存减少。
2026-06-08 cs.AI cs.SD
Spark-TTS: An Efficient LLM-Based Text-to-Speech Model with Single-Stream Decoupled Speech Tokens
Hong Kong University of Science and Technology(香港科技大学);SparkAudio Open Source Community(SparkAudio开源社区);Shanghai Mobvoi Information Technology Co., Ltd(上海出门问问信息技术有限公司);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Northwestern Polytechnical University(西北工业大学);NetEase, Inc(网易公司)
提出基于LLM的单流解耦语音编解码模型Spark-TTS,结合Qwen2.5与思维链实现粗细粒度双重语音控制,在零样本语音克隆与定制化生成上达到SOTA。
2025-03-03 cs.AI cs.SD eess.AS
Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis
Innoetics, Samsung Electronics(三星电子Innoetics);Mobile eXperience Business, Samsung Electronics(三星电子移动体验业务部)
本文提出了一种表达性语音合成模型,利用令牌级潜在韵律变量,以捕捉和控制话语级属性,如字符表演的声音和说话风格。目前的工作旨在明确因式分解这种细粒度和话语级的语音属性到不同的表示提取的模块,在相应的水平。我们发现,细粒度的潜在空间也捕获粗粒度的信息,这是更明显的潜在空间的维度增加,以捕捉不同的韵律表示。因此,在令牌级和话语级表示的多样性与它们的解纠缠之间出现权衡。我们首先将丰富的语音属性捕获到标记级潜在空间中,然后单独训练一个先验网络,该网络给定输入文本,学习话语级表示,以预测在前一步中提取的音素级后验潜在空间,从而缓解了这个问题。定性和定量的评价被用来证明所提出的方法的有效性。音频样本可在我们的演示页面。
2022-11-01 cs.CL cs.LG cs.SD
Phoenix TTS: High-Fidelity Synthesis and Voice Conversion via Flow-Matching-Driven Speech Tokenization
Didichuxing Co. Ltd(滴滴出行有限公司)
Phoenix TTS是将表示学习与流匹配驱动的生成式声学建模耦合的统一框架,经11万小时数据训练后,实现高保真语音合成,在零样本场景下兼具优异可懂度与说话人相似度,还可无缝适配零样本语音转换任务。
2026-08-13 cs.SD
Utilizing Neural Transducers for Two-Stage Text-to-Speech via Semantic Token Prediction
Samsung Research(三星研究院)
提出以 token transducer 为核心的两阶段 TTS 框架,先预测 wav2vec2.0 语义 token,再由 NAR 生成器合成语音,在零样本自适应任务中提升语音质量与说话人相似度。
2024-01-03 cs.CL cs.LG cs.SD
Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis
Google, Inc.(谷歌公司)
在这项工作中,我们提出了“全球风格令牌”(GST),一个银行的嵌入,共同训练内Tacotron,一个国家的最先进的端到端的语音合成系统。嵌入在没有显式标签的情况下进行训练,但学习对大范围的声学表现力进行建模。GST带来了一系列丰富的重要结果。它们生成的软可解释“标签”可用于以新颖的方式控制合成,例如改变速度和说话风格-与文本内容无关。它们也可以用于风格转换,在整个长文本语料库中复制单个音频片段的说话风格。当在有噪声的、未标记的数据上训练时,GST学习分解噪声和说话者身份,为高度可扩展但鲁棒的语音合成提供了一条途径。
2018-03-23 cs.CL cs.LG cs.SD
AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis
针对对话语音合成中情感表达不真实及多模态令牌干扰问题,提出AuEmoChat框架,通过AuEmoCodec学习情感令牌空间、AuEmoToMe合并冗余令牌,集成到模型并结合情感流匹配渲染语音,实验证明其性能优于现有基线。
2026-08-03 cs.AI cs.SD
UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
提出UR-BERT,一种基于罗马化转录的TTS编码器,通过统一书写系统为罗马化表示,结合语音标记预测目标,在495种语言上实现高效多语言TTS,优于现有基线并泛化到未见语言。
2026-06-12 cs.CL cs.SD
Data-efficient Targeted Token-level Preference Optimization for LLM-based Text-to-Speech
SpiralAI Inc.(SpiralAI公司);The University of Osaka(大阪大学);Shizuoka University(izuoka大学)
本文提出TKTO方法,通过无需配对数据实现高效训练,直接优化令牌级单位,提升日语音识别准确率39%并降低CER 54%。
2026-04-27 cs.AI cs.CL cs.SD
Optimality of FSQ Tokens for Continuous Diffusion for Categorical Data with Application to Text-to-Speech
Huawei Noah's Ark Lab(华为诺亚实验室);National Research University Higher School of Economics(俄罗斯国家研究大学高等经济学院);National University of Science and Technology MISIS(俄罗斯科学与技术国立大学MISIS)
本文研究连续扩散模型中离散令牌的潜在空间结构,通过理论分析和实验证明 FSQ 令牌化方案在分类数据连续扩散中最优,并在文本到语音任务中验证其优于基于 LLM 的方法。
2026-06-08 cs.AI cs.LG cs.SD
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo(东京大学);Japan National Institute of Advanced Industrial Science and Technology (AIST)(日本国家工业科学与技术研究院);Japan Kyoto University(京都大学)
本研究通过分析离散词元ASR,验证了中介语语音可懂度优势,提出仅用母语数据即可实现口音鲁棒识别,适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Say More with Less: Variable-Frame-Rate Speech Tokenization via Adaptive Clustering and Implicit Duration Coding
针对固定帧率语音分词与语音信息非均匀分布不匹配的问题,本文提出VARSTok可变帧率分词器,通过自适应聚类与隐式时长编码实现动态词元分配,在更少词元下取得更优性能,可无缝集成下游语音语言模型。
2025-11-13 cs.SD eess.AS
NAST: Noise Aware Speech Tokenization for Speech Language Models
School of Computer Science;Engineering The Hebrew University of Jerusalem, Israel
本文提出噪声感知语音分词框架 NAST,通过预测器、残差编码器和解码器提升噪声场景下的离散语音表示,并在多项口语建模任务中优于基线且具备鲁棒性。
2024-06-16 cs.SD eess.AS
DualSpeechLM: Towards Unified Speech Understanding and Generation via Dual Speech Token Modeling with Large Language Models
针对统一语音理解与生成模型面临的模态差距及任务信息偏好差异问题,提出理解驱动语音令牌器(USTokenizer)与DualSpeechLM双令牌建模框架,结合语义监督损失和CoC策略,实现两任务互补增强。
2025-11-16 cs.SD eess.AS
SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language Models
Fudan University(复旦大学)
本文提出统一语音分词器 SpeechTokenizer,通过 RVQ 层级解耦语义与声学信息,并构建 USLM,在重建、令牌基准和零样本 TTS 上取得优异表现。
2024-01-23 cs.CL cs.SD eess.AS
Frontend Token Enhancement for Token-Based Speech Recognition
NTT, Inc.(日本NTT公司)
本文提出了一种前端令牌增强方法,通过波形到令牌的增强模型在CHiME-4数据集上实现了最佳ASR性能,优于基于连续SSL特征的ASR系统。
2026-02-04 cs.CL cs.SD eess.AS
Confidence-based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens
CyberAgent;The University of Tokyo(东京大学)
本文提出基于置信度的过滤方法,用于消除生成式语音增强模型中的幻觉错误,从而提升语音数据集的质量和TTS模型的性能。
2026-01-18 cs.SD eess.AS
Acoustic BPE for Speech Generation with Discrete Tokens
MoE Key Lab of Artificial Intelligence, AI Institute(教育部人工智能重点实验室,人工智能研究院);X-LANCE Lab, Department of Computer Science and Engineering(X-LANCE实验室,计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学)
本文提出声学BPE,通过字节对编码压缩离散音频令牌序列以缩短长度并利用形态学先验,从而提升语音语言模型的推理速度与句法捕捉能力,并提出重打分方法从多样合成语音中选出最符合人类偏好的结果。
2024-01-15 cs.SD eess.AS
RepCodec: A Speech Representation Codec for Speech Tokenization
ByteDance(字节跳动)
本文提出了一种用于语义语音标记化的新型语音表示编解码器RepCodec,通过从语音编码器重建语音表示来学习向量量化码本,显著优于k-means聚类方法,提升了语音理解和生成性能。
2024-07-22 cs.LG cs.SD eess.AS
Continuous Speech Tokens Makes LLMs Robust Multi-Modality Learners
Tsinghua University(清华大学);Microsoft Corporation(微软公司)
本文提出 Flow-Omni,用 flow matching 与小型 MLP 让自回归 LLM 预测连续语音 token,并联合离散文本 token 进行多模态训练,从而提升实时语音对话的鲁棒性。
2024-12-06 cs.SD eess.AS eess.SP
Token-level Speaker Change Detection Using Speaker Difference and Speech Content via Continuous Integrate-and-fire
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Bytedance AI LAB(字节跳动人工智能实验室)
在会议和对话等多人场景中,通常需要语音处理系统对音频进行分段,然后转录每个分段。这两个阶段分别由说话人变化检测(SCD)和自动语音识别(ASR)来解决。大多数先前的SCD系统仅依赖于说话人信息,而忽略了语音内容的重要性。在本文中,我们提出了一种新的SCD系统,同时考虑说话人差异和语音内容的线索。这两个线索被转换成令牌级表示的连续集成和消防(CIF)机制,然后结合用于检测扬声器的变化令牌声学边界。我们评估了我们的方法在公共真实记录的会议数据集AISHELL-4上的性能。实验结果表明,我们的方法优于竞争帧级基线系统的2.45%等覆盖率纯度(ECP)。此外,我们证明了语音内容和扬声器差异的SCD任务的重要性,以及进行SCD的令牌声学边界相比,进行SCD帧逐帧的优势。
2022-11-17 cs.SD eess.AS
token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
自监督预训练在文本和语音处理方面都取得了成功。语音和文本提供不同但互补的信息。问题是我们是否能够对未配对的语音和文本进行语音-文本联合预训练。在本文中,我们将自监督预训练的思想更进一步,并提出了token 2 vec,这是一种基于语音离散表示的非成对语音和文本的新型联合预训练框架。首先,由于语音和文本模态之间的不同特征,其中语音是连续的,而文本是离散的,我们首先将语音离散成一系列离散的语音令牌来解决模态失配问题。其次,为了解决语音序列通常比文本序列长得多的长度不匹配问题,我们将文本中的单词转换为音素序列,并随机重复序列中的每个音素。最后,我们将离散的语音和文本令牌馈送到与模态无关的Transformer编码器中,并使用令牌级掩蔽语言建模(tMLM)进行预训练。实验表明,token 2 vec显着优于各种仅语音预训练基线,相对WER降低高达17.7%。Token 2 vec模型也在非ASR任务上进行验证,即,口语意图分类,并表现出良好的可移植性。
2022-10-30 cs.CL cs.SD eess.AS