Show Me Your Face, And I'll Tell You How You Speak
Saarland University（萨尔大学）
当我们说话时，可以从我们嘴唇的运动中推断出语音的韵律和内容。在这项工作中，我们探讨了唇到语音合成的任务，即，学习生成仅给定说话者的嘴唇运动的语音，其中我们专注于在不受约束的大词汇量设置中学习多个说话者的准确嘴唇到语音的映射。我们通过说话者的面部特征来捕捉他们的声音身份，即，年龄、性别、种族，并将它们与嘴唇运动一起调节以生成说话者身份感知语音。为此，我们提出了一种新的方法“Lip2Speech”，关键的设计选择，以实现准确的唇到语音合成在无约束的情况下。我们还使用定量，定性指标和人工评估进行各种实验和广泛的评估。
2022-06-28 cs.CV cs.SD eess.AS
Cloning one's voice using very limited data in the wild
ByteDance（字节跳动）
随着语音合成产品的日益普及，业界对个性化的语音合成提出了更多的要求：（1）如何利用低资源、易获取的数据克隆一个人的声音。(2)如何克隆一个人的声音，同时控制风格和韵律。针对这两个问题，提出了Hieratron模型框架，将韵律和音色分别用两个模块建模，从而在生成语音的同时实现对音色和音频其他特性的独立控制。实践表明，对于野外非常有限的目标说话人数据，Hieratron方法比传统方法具有明显的优势，除了控制生成语音的风格和语言外，生成语音的语音质量平均意见评分也提高了0.2分以上。
2021-10-08 cs.HC cs.SD eess.AS
NaturalL2S: End-to-End High-quality Multispeaker Lip-to-Speech Synthesis with Differential Digital Signal Processing
针对现有唇语转语音合成方法依赖梅尔频谱图导致域差距的问题，提出端到端框架NaturalL2S，集成F0预测器与可微分数字信号处理合成器，无需参考说话人嵌入，有效提升合成语音质量。
2025-02-17 cs.CV cs.SD eess.AS
LipSody: Lip-to-Speech Synthesis with Enhanced Prosody Consistency
Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能跨学科项目，首尔国立大学）；Artificial Intelligence Institute, Seoul National University, Republic of Korea（人工智能研究所，首尔国立大学，韩国）
LipSody通过结合说话人身份、语言内容和情感上下文，提升唇到语音合成的语调一致性。
2026-02-02 cs.SD
VoiceCraft: Zero-Shot Speech Editing and Text-to-Speech in the Wild
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta（Meta FAIR）
VoiceCraft是一种令牌填充神经编解码语言模型，通过Transformer解码器和令牌重排程序，在有声书、视频和播客等真实场景中同时实现了领先的语音编辑和零样本TTS性能，并发布了高难度数据集RealEdit。
2024-06-14 cs.AI cs.CL cs.LG
FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis
Zhejiang University（浙江大学）
无约束唇到语音合成的目标是从说话人脸的无声视频中生成相应的语音，而不限制头部姿势或词汇量。目前的工作主要使用序列到序列模型来解决这个问题，无论是在自回归架构或基于流的非自回归架构。然而，这些模型有几个缺点：1）它们不是直接生成音频，而是使用两阶段流水线，首先生成梅尔频谱图，然后从频谱图重建音频。这会导致部署繁琐，并由于错误传播而导致语音质量下降; 2）这些模型使用的音频重建算法限制了推理速度和音频质量，而神经声码器不适用于这些模型，因为它们的输出频谱图不够准确; 3）自回归模型具有高推理延迟，而基于流的模型具有高内存占用：它们在时间和存储器使用方面都不够有效。为了解决这些问题，我们提出了FastLTS，这是一种非自回归端到端模型，可以直接从无约束的通话视频中合成高质量的语音音频，具有低延迟，并且具有相对较小的模型大小。此外，不同于广泛使用的用于唇动编码的3D-CNN视觉前端，我们首次提出了一种基于transformer的视觉前端。实验结果表明，在3秒的输入序列上，与现有的自回归模型相比，该模型在音频波形生成上实现了$19.76\times$加速，并获得了较好的音频质量。
2022-07-13 cs.CL cs.CV cs.MM
WildSpoof Challenge Evaluation Plan
WildSpoof Challenge（WildSpoof挑战）
WildSpoof 挑战通过 TTS 生成与 SASV 检测两个并行赛道，推动在真实场景数据下开展欺骗语音生成与检测研究，并促进两个社区的跨学科协作。
2025-08-23 cs.AI cs.SD
LTA-L2S: Lexical Tone-Aware Lip-to-Speech Synthesis for Mandarin with Cross-Lingual Transfer Learning
School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）；Institute of Acoustics Chinese Academy of Science（中国科学院声学研究所）
针对普通话唇动转语音中视位—音素映射复杂且声调关键的问题，本文提出 LTA-L2S，利用英语视听 SSL 模型跨语言迁移、flow-matching 生成 F0 及两阶段细化频谱图，显著提升可懂度与声调准确性。
2025-09-30 cs.CV cs.SD
Robust TTS Training via Self-Purifying Flow Matching for the WildSpoof 2026 TTS Track
Supertone Inc.（Supertone公司）
本文提出通过自净化流匹配技术提升TTS系统在野外语音中的鲁棒性，使其在WildSpoof 2026 TTS赛道中取得优异成绩。
2025-12-19 cs.AI cs.SD
A Lightweight Pipeline for Noisy Speech Voice Cloning and Accurate Lip Sync Synthesis
International Islamic University（国际伊斯兰大学）；Seoul National University（首尔大学）
本文提出一种新型模块化轻量级流水线，结合Tortoise文本转语音实现仅需少量样本的高保真零样本语音克隆，并采用轻量级生成对抗网络实现鲁棒实时唇音同步，适用于带噪及低资源环境。
2025-09-16 cs.AI cs.SD
Cross-Modal Masking for Robust Silent Speech Synthesis Using sEMG and Lipreading
Aholab research group within the HiTZ Center at University of the Basque Country (UPV/EHU)（巴斯克大学HiTZ中心内Aholab研究组）；PRHLT research center, Universitat Politècnica de València (UPV)（瓦伦西亚理工大学PRHLT研究中心）
提出掩蔽多模态语音合成框架，联合表面肌电图和唇读信号，通过训练时模态掩蔽提升鲁棒性，在多说话人设置下词错误率降低14个百分点。
2026-06-08 cs.CL cs.SD eess.AS
Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Agency for Science, Technology and Research（新加坡科技研究局）；National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；Shenzhen Loop Area Institute（深圳河套学院）
提出Emo-LiPO框架，将情感强度控制建模为学习排序问题，通过列表式偏好优化对齐文本与语音的情感强度，实现更忠实连续的情感表达，在ESD-plus数据集上显著提升情感准确性和强度可控性。
2026-06-12 cs.SD
DubWise: Video-Guided Speech Duration Control in Multimodal LLM-based Text-to-Speech for Dubbing
Sony Research India Pvt. Ltd.（索尼印度私人有限公司研究院）；Indraprastha Institute of Information Technology (IIIT)（因德拉普拉斯塔信息技术学院（IIIT））
针对配音后的音视频对齐难题，本文提出 DubWise，利用跨模态注意力融合文本、说话人身份与视频时长令牌，使 TTS 在非平行和跨语言场景下实现更好的唇形同步与自然度。
2024-06-13 cs.SD eess.AS
A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild
IIIT, Hyderabad（印度海得拉巴国际信息技术研究所）；University of Bath（巴斯大学）
在这项工作中，我们研究了嘴唇同步的问题，说话的脸视频的任意身份，以匹配目标语音段。目前的工作擅长在训练阶段看到的特定人的静态图像或视频上产生准确的嘴唇运动。然而，它们无法准确地变形动态、不受约束的说话面部视频中任意身份的嘴唇运动，导致视频的显著部分与新音频不同步。我们确定了与此相关的关键原因，并通过从强大的对口型同步器中学习来解决这些问题。接下来，我们提出了新的，严格的评估基准和指标，以准确地测量唇同步在不受约束的视频。对我们具有挑战性的基准测试进行了广泛的定量评估，结果表明，我们的Wav2Lip模型生成的视频的嘴唇同步准确性几乎与真实同步视频一样好。我们在我们的网站上提供了一个演示视频，清楚地展示了我们的Wav2Lip模型和评估基准的实质性影响：\url{cvit.iiit.ac.in/research/projects/cvit-projects/a-lip-sync-expert-is-all-you-need-for-speech-to-lip-generation-in-the-wild}。代码和模型发布在这个GitHub存储库：\url{github.com/Rudrabha/Wav2Lip}。您也可以尝试在此链接的互动演示：\url{bhaasha.iiit.ac.in/lipsync} .
2020-08-23 cs.CV cs.LG cs.SD
WildElder: A Chinese Elderly Speech Dataset from the Wild with Fine-Grained Manual Annotations
College of Computer Science, Nankai University, China（南开大学计算机科学学院）
针对老年语音自动处理挑战及现有中文数据集局限，提出WildElder，从在线视频收集普通话老年语音语料库并细粒度标注，结合野外数据真实性与专家策划，可有力研究自动语音识别等，是有潜力的新基准。
2026-07-21 cs.SD eess.AS
Detecting and analysing spontaneous oral cancer speech in the wild
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）
口腔癌是一种每年影响全球50多万人的疾病。到目前为止，对口腔癌言语的分析主要集中在阅读言语上。在本文中，我们1）呈现和2）分析了从YouTube收集的长达三小时的自发性口腔癌语音数据集。3)我们在这个数据集上为口腔癌语音检测任务设置了基线。对这些可解释的机器学习基线的分析表明，咝音和塞音是自发性口腔癌语音检测的最重要指标。
2020-07-28 cs.LG cs.SD eess.AS
Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
Amazon（亚马逊公司）
本研究针对音视频语音到语音翻译中唇音同步被忽视的问题，提出将唇音同步损失整合到 AVS2S 模型训练过程中，显著提升了唇音同步效果，同时保持了翻译语音的自然度与高质量。
2024-12-21 cs.CL cs.CV cs.MM
Lip-Reading Driven Deep Learning Approach for Speech Enhancement
提出了一种新的唇读驱动的深度学习语音增强框架。所提出的方法利用了深度学习和分析声学建模（基于滤波的方法）两者的互补优势，与最近发布的仅依赖于深度学习的相对简单的基准方法相比。建议的视听语音增强框架在两个层面上运作。在第一级中，采用了一种新的基于深度学习的唇读回归模型。在第二级中，唇读近似干净的音频功能，利用增强的，视觉推导的维纳滤波器（EVWF），干净的音频功率谱估计。具体地，基于堆叠的长短期记忆（LSTM）的唇读回归模型被设计用于仅使用考虑不同数量的先前视觉帧的时间视觉特征的干净音频特征估计。对于干净的语音谱估计，一个新的滤波器组域EVWF制定，利用估计的语音特征。将所提出的EVWF与使用理想AV映射和LSTM驱动的AV映射的传统谱减法和对数最小均方误差方法进行比较。建议的语音增强框架的潜力进行评估下，不同的动态现实世界的商业动机的情况下（例如咖啡馆，公共交通，行人区）在不同的SNR水平（从低到高的SNR）使用基准网格和ChiME3语料库。对于客观测试，使用语音质量的感知评估来评估恢复语音的质量。对于主观测试，使用标准的平均意见得分方法与推理统计。比较仿真结果表明显着的唇读和语音增强改善语音质量和语音清晰度。
2018-07-31 cs.CV cs.LG cs.SD
Instance-Specific Test-Time Training for Speech Editing in the Wild
Korea Electronics Technology Institute（韩国电子技术研究院）
针对真实场景语音编辑难以适应未知声学条件的问题，提出实例特定测试时训练方法，通过直接与间接监督及掩码长度调整优化声学过渡与语速控制，在客观和主观评估中均优于现有系统。
2025-11-03 cs.SD eess.AS
Advancing Test-Time Adaptation in Wild Acoustic Test Settings
National University of Singapore（新加坡国立大学）
针对野外声学测试场景下ASR微调声学基础模型性能下降、现有视觉TTA方法不适配语音特性的问题，提出置信度增强自适应方法，结合帧级置信度权重与一致性正则化，在多类场景下性能优于现有基线。
2024-10-05 cs.LG cs.SD eess.AS
LipDiffuser: Lip-to-Speech Generation with Conditional Diffusion Models
Signal Processing, University of Hamburg, Germany（信号处理，汉堡大学，德国）
LipDiffuser提出基于条件扩散模型的唇语到语音生成方法，利用MP-ADM架构和MP-FiLM视觉特征，在LRS3上优于现有基线，提升语音质量和说话人相似度。
2025-10-24 cs.SD eess.AS
Whilter: A Whisper-based Data Filter for "In-the-Wild" Speech Corpora Using Utterance-level Multi-Task Classification
ConnexAIUnited Kingdom（ConnexAI英国）
针对野外语音语料库含不良样本的问题，提出基于Whisper编码器的多任务分类模型Whilter，能同时识别五类不良样本，性能优于BEATs且处理更快，还发布了标注数据集。
2025-08-25 cs.LG cs.SD eess.AS
Visual Speech Enhancement Without A Real Visual Stream
IIIT Hyderabad（海得拉巴国际信息技术学院）；University of Bath（巴斯大学）
在这项工作中，我们重新思考在不受约束的现实世界环境中的语音增强的任务。当前最先进的方法仅使用音频流，并且在宽范围的真实世界噪声中的性能受到限制。最近的作品使用嘴唇的运动作为额外的线索，提高了质量的“音频”的方法生成的语音。但是，这些方法不能用于其中视觉流不可靠或完全不存在的若干应用。我们提出了一种新的语音增强模式，利用最近的突破，语音驱动唇合成。使用一个这样的模型作为教师网络，我们训练一个强大的学生网络，以产生准确的嘴唇运动，掩盖了噪音，从而作为一个“视觉噪音过滤器”。通过我们的伪唇方法增强的语音的可懂度与使用真实嘴唇的情况相当（< 3%差异）。这意味着即使在没有真实视频流的情况下，我们也可以利用使用嘴唇运动的优势。我们使用定量指标以及人工评估来严格评估我们的模型。我们网站上的其他消融研究和演示视频（包含定性比较和结果）清楚地说明了我们方法的有效性。我们在我们的网站上提供了一个演示视频，清楚地说明了我们提出的方法的有效性：\url{http://cvit.iiit.ac.in/research/projects/cvit-projects/visual-speech-enhancement-without-a-real-visual-stream}。还发布了代码和模型以供将来研究：\url{https://github.com/Sindhu-Hegde/pseudo-visual-…
2020-12-20 cs.CV cs.LG cs.MM
On the Transferability of Whisper-based Representations for "In-the-Wild" Cross-Task Downstream Speech Applications
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Institut National de la Recherche Scientifique（国家科学研究所）
本文研究Whisper语音表示在SUPERB基准四项任务及噪声混响“野外”条件下的可迁移性与鲁棒性，实验证明其具备跨任务真实部署潜力。
2023-05-23 cs.CL cs.LG cs.SD
Learning Speaker-specific Lip-to-Speech Generation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
对于普通人来说，理解嘴唇的运动并从中推断出讲话是非常困难的。准确唇读的任务从说话者及其上下文或环境设置的各种线索中获得帮助。每个说话者都有不同的口音和说话风格，这可以从他们的视觉和言语特征中推断出来。这项工作的目的是了解相关/映射之间的语音和唇运动的序列的个人发言者在一个不受约束的和大的词汇。我们将帧序列建模为自动编码器设置中的Transformer之前的帧序列，并学习了利用音频和视频的时间属性的联合嵌入。我们使用深度度量学习来学习时间同步，这将指导解码器生成与输入嘴唇运动同步的语音。因此，预测后验为我们提供了说话者说话风格的生成语音。我们已经在Grid和Lip 2 Wav Chemistry讲座数据集上训练了我们的模型，以评估在无约束的自然环境中从嘴唇运动中生成单个说话者自然语音的任务。使用各种定性和定量指标与人类评估进行的广泛评估也表明，我们的方法在几乎所有评估指标上都优于Lip 2 Wav化学数据集（无约束设置中的大词汇量），并且在GRID数据集上略优于最先进的数据集。
2022-08-20 cs.CV cs.SD eess.AS
Indian EmoSpeech Command Dataset: A dataset for emotion based speech recognition in the wild
Bharati Vidyapeeth’s College of Engineering（巴拉蒂维迪亚佩思工程学院）；Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
语音情感分析是一项重要的任务，它进一步实现了几个应用用例。言语中的非言语声音在言语情感分析中也起着关键作用。由于智能手机的广泛使用，通过利用设备上的机器学习模型来分析使用麦克风捕获的语音命令以用于情感理解变得可行。非语言信息包括描述周围环境的类型、当前情况和正在进行的活动的环境背景声音。在这项工作中，我们认为口头（语音命令）和非口头的声音（背景噪音）在现实生活中的情况下的情绪分析的话语。我们为这项任务创建了一个本地数据集，即“印度语语音命令数据集”。它包含具有不同情感和背景声音的关键字，旨在探索音频分析中的新挑战。我们详尽地比较了语音命令的几个性能指标的情感分析与各种基线模型。我们证明，我们实现了一个显着的平均增益为3.3%的前一个分数超过一个子集的语音命令数据集的关键字定位。
2019-10-18 cs.MM cs.SD eess.AS
AutoPrep: An Automatic Preprocessing Framework for In-the-Wild Speech Data
Tencent AI Lab（腾讯人工智能实验室）；Shenzhen Research Institute of Big data（深圳大数据研究院）
本文提出AutoPrep自动预处理框架，通过语音增强、切分、说话人聚类、目标语音提取、质量过滤和自动语音识别六个组件处理自然场景语音数据，实验表明其预处理数据质量接近开源TTS数据集，并支持TTS系统达到0.68的域内说话人相似度。
2023-09-25 cs.SD eess.AS
On the Audio-visual Synchronization for Lip-to-Speech Synthesis
The Hong Kong University of Science and Technology（香港科技大学）
大多数唇语（LTS）合成模型都是在数据集中的音频-视频对完全同步的假设下进行训练和评估的。在这项工作中，我们表明，常用的视听数据集，如GRID，TCD-TIMIT，和Lip 2 Wav，可以有数据压缩问题。用这样的数据集训练唇到语音可能会进一步导致模型不稳定的问题--也就是说，生成的语音和输入的视频不同步。为了解决这些问题，我们提出了一个同步的唇到语音（SLTS）模型与自动同步机制（ASM），以纠正数据错误和惩罚模型错误。我们进一步证明了通常采用的评估指标的LTS与异步测试数据的局限性，并介绍了一个音频对齐前端之前的指标敏感的时间对齐更好的评估。我们将我们的方法与传统和时间对齐指标的最先进方法进行比较，以显示同步训练的好处。
2023-03-01 cs.CV cs.SD eess.AS
Lipper: Synthesizing Thy Speech using Multi-View Lipreading
Adobe（奥多比）；NSIT-Delhi（德里内塔吉·苏巴斯理工学院）；IIIT-Delhi（德里印度信息技术学院）；NUS（新加坡国立大学）
唇读在监控和视频会议等领域有着广泛的应用前景。尽管如此，构建唇读系统的大部分工作仅限于将无声视频分类为表示文本短语的类。然而，唇读作为一种基于文本的分类任务存在着许多问题，比如它依赖于特定的语言和词汇映射。因此，在本文中，我们提出了一个多视角唇读音频系统，即Lipper，它的模型作为一个回归任务。该模型将无声视频作为输入，并产生语音作为输出。对于多视图无声视频，我们观察到单视图语音重建结果的改进。我们展示了这一点，提出了一套详尽的实验依赖于扬声器，词汇和扬声器独立的设置。此外，我们比较的延迟值的利珀与其他语音阅读系统，以显示实时性的音频产生。我们还对制作的音频进行了用户研究，以了解使用理柏制作的音频的可理解性水平。
2019-06-28 cs.LG cs.SD eess.AS
DFKI-Speech System for WildSpoof Challenge: A robust framework for SASV In-the-Wild
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；GretchenAI；Technical University of Berlin（柏林技术大学）
DFKI-Speech系统通过自监督提取器与图神经网络结合，提出鲁棒的SASV框架，融合多尺度特征提升说话人验证性能。
2026-02-02 cs.AI cs.LG cs.SD
LipVoicer: Generating Speech from Silent Videos Guided by Lip Reading
Bar-Ilan University（巴伊兰大学）；Faculty of Electrical Engineering（工程学院）
LipVoicer通过结合唇读预测文本与分类器引导扩散模型，从无声视频生成高可懂度、自然同步的语音，在LRS2和LRS3上显著优于现有方法。
2024-03-28 cs.SD eess.AS
On the role of Lip Articulation in Visual Speech Perception
Apple（苹果公司）
从音频生成逼真的嘴唇运动来模拟语音产生对于驱动自然角色动画至关重要。先前的研究表明，用于优化和评估从语音生成嘴唇运动的模型的传统指标不是动画质量的主观意见的良好指标。设计符合主观意见的指标首先需要了解什么会影响人们对质量的感知。在这项工作中，我们专注于清晰度，并运行了一系列的实验，研究如何清晰度强度影响人类的嘴唇运动伴随着讲话的感知。具体来说，我们研究如何增加下关节（阻尼）和过度关节（夸张）嘴唇运动影响人类的感知质量。我们研究的影响时，只考虑嘴唇的运动，观众与说话的脸所代表的地标，并在具体的字符，观众呈现照片般逼真的视频的上下文中，对人类的感知的清晰度强度。我们的研究结果表明，观众更喜欢过关节的嘴唇运动一贯比下关节的嘴唇运动，这种偏好概括在不同的扬声器和实施例。
2022-11-10 cs.CV cs.GR cs.SD
LipSound2: Self-Supervised Pre-Training for Lip-to-Speech Reconstruction and Lip Reading
University of Hamburg（汉堡大学）
这项工作的目的是通过利用视频中音频和视觉流的自然共现来研究跨模态自监督预训练对语音重建（视频到音频）的影响。我们提出了LipSound 2，它由一个编码器-解码器架构和位置感知的注意力机制直接映射到梅尔规模的频谱图的人脸图像序列，而不需要任何人的注释。所提出的LipSound 2模型首先在$\sim$ 2400 h多语言（例如英语和德语）视听数据（VoxCeleb 2）上进行预训练。为了验证所提出的方法的通用性，我们然后微调预训练模型的特定领域的数据集（网格，TCD-TIMIT）英语语音重建和实现语音质量和可懂度的显着改善相比，以前的方法在说话人相关和独立的设置。除了英语之外，我们还在CMLR数据集上进行了汉语语音重建，以验证对可移植性的影响。最后，我们通过在预先训练的语音识别系统上微调生成的音频来训练级联唇读（视频到文本）系统，并在英语和汉语基准数据集上实现最先进的性能。
2022-09-12 cs.AI cs.SD eess.AS
Visual Speech Recognition for Multiple Languages in the Wild
Imperial College London（帝国理工学院）；Meta AI
视觉语音识别（VSR）的目标是基于嘴唇运动来识别语音内容，而不依赖于音频流。深度学习的进步和大型视听数据集的可用性导致了比以往任何时候都更准确和强大的VSR模型的发展。然而，这些进步通常是由于更大的训练集，而不是模型设计。在这里，我们证明了设计更好的模型与使用更大的训练集同样重要。我们建议在VSR模型中添加基于预测的辅助任务，并强调超参数优化和适当的数据增强的重要性。我们表明，这样的模型适用于不同的语言，并且在很大程度上优于所有以前在公开数据集上训练的方法。它甚至优于在非公开数据集上训练的模型，这些数据集包含多达21倍的数据。此外，我们表明，使用额外的训练数据，即使在其他语言或自动生成的transmittance，结果在进一步改善。
2022-10-30 cs.CV cs.SD eess.AS
Speech Detection For Child-Clinician Conversations In Danish For Low-Resource In-The-Wild Conditions: A Case Study
Technical University of Denmark（丹麦技术大学）；Copenhagen University Hospital（哥本哈根大学医院）；Copenhagen University（哥本哈根大学）
使用语音模型进行自动语音处理任务可以提高医学和精神病学中的筛选、分析、诊断和治疗的效率。然而，预处理语音任务（如分割和日志化）的性能可能会在野外临床数据上大幅下降，特别是当目标数据集包含非典型语音时。在本文中，我们研究了一个预先训练的语音模型的性能，包括在丹麦的儿童临床医生的对话的数据集相对于分类阈值。由于我们没有获得足够的标记数据，我们提出了几个实例的阈值自适应，其中我们采用的第一分钟的语音对话，以获得最佳的分类阈值。通过我们在本文中的工作，我们了解到，具有默认分类阈值的模型对患者组的儿童表现较差。此外，该模型的出错率与患者诊断的严重程度直接相关。最后，我们对少实例适应的研究表明，三分钟的医生-儿童对话足以获得最佳分类阈值。
2022-04-25 cs.CL cs.SD eess.AS
Mitigating Proxy-to-Wild Domain Gap in Deepfake Speech
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所）；Graduate Institute of Networking and Multimedia, National Taiwan University（国立台湾大学网络与多媒体研究所）；Department of Information Management, National Taiwan University（国立台湾大学信息管理系）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立台湾大学人工智能研究中心卓越计划）
提出域偏移特征增强（DSFA）方法，通过将确定性特征统计转换为随机分布来缩小代理数据与真实世界之间的域差距，在CoSG ExtEval数据集上达到最先进性能。
2026-06-05 cs.SD eess.AS
A Novel Speech-Driven Lip-Sync Model with CNN and LSTM
China Unicom（中国联通）
生成与语音同步、自然的唇动是虚拟人物真实感生成的重要任务之一。在本文中，我们提出了一种一维卷积和LSTM的组合深度神经网络，用于从可变长度的语音输入生成3D模板人脸模型的顶点位移。面部下半部分的运动由3D唇形的顶点运动表示，与输入语音一致。为了提高网络对不同声音信号的鲁棒性，我们采用训练好的语音识别模型提取语音特征，并采用速度损失项来减少生成的人脸动画的抖动。我们录制了一系列中国成年人说普通话的视频，并创建了一个新的语音动画数据集，以弥补此类公共数据的缺乏。定性和定量的评价表明，我们的模型是能够产生平滑和自然的嘴唇运动与语音同步。
2022-05-02 cs.AI cs.CV cs.GR
Correlating Subword Articulation with Lip Shapes for Embedding Aware Audio-Visual Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞研究院，科大讯飞股份有限公司）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个视觉嵌入的方法，以提高嵌入感知语音增强（EASE）的同步视觉唇帧在手机和地方的清晰度水平。我们首先提取视觉嵌入唇帧使用预先训练的电话或发音的地方识别器的视觉只EASE（VEASE）。接下来，我们提取视听嵌入噪声语音和唇视频中的信息交叉的方式，利用音频和视觉功能的互补性多模态EASE（MEASE）。在模拟加性噪声污染的TCD-TIMIT语料库上的实验表明，我们提出的基于子词的VEASE方法比传统的词级嵌入方法更有效。此外，在发音位置水平上的视觉嵌入，利用发音位置和嘴唇形状之间的高度相关性，显示出比在电话水平上更好的性能。最后，建议的MEASE框架，结合音频和视频嵌入，产生显着更好的语音质量和清晰度比最好的视觉和音频的EASE系统。
2020-09-21 cs.LG cs.SD eess.AS
TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Conversion via Arousal-Conditioned Latent Style Diffusion
Hasso Plattner Institute / University of Potsdam（霍普特尔研究所 / 波茨坦大学）
提出TargetSEC，一种基于嵌入驱动的潜在扩散框架，通过连续情感条件生成情感风格嵌入，在紧凑潜在空间操作，实现高转换精度和语音质量。
2026-10-19 cs.LG cs.SD
LRS-VoxMM: A benchmark for in-the-wild audio-visual speech recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出LRS-VoxMM基准，基于VoxMM数据集，通过预处理生成适合AVSR管道的样本，覆盖更广泛场景和声学条件，并提供噪声、回声和带宽限制的评估集，实验表明其比LRS3更难，视觉信息在音频退化时作用更显著。
2026-04-30 cs.MM cs.SD eess.AS
BiMamba2 Masked Discrete-Unit Prediction for Multilingual Speech Representation for Unsupervised Speech in the Wild Challenge
Howard University（霍华德大学）
本文提出基于BiMamba2的掩蔽离散单元预测方法，在无标注多语言语音上训练，实现说话人聚类性能超越基线，并分析了评估差异。
2026-09-25 cs.CL cs.SD
SwinLip: An Efficient Visual Speech Encoder for Lip Reading Using Swin Transformer
Sogang University（西江大学）
本文提出基于 Swin Transformer 的高效唇读视觉编码器 SwinLip，通过层次化结构与改进 Conformer 时间嵌入降低计算复杂度，在英文 LRW 和中文 LRW-1000 数据集上以更少计算量取得领先性能。
2025-05-07 cs.CV cs.SD eess.AS
On the Impact of Quantization and Pruning of Self-Supervised Speech Models for Downstream Speech Recognition Tasks "In-the-Wild''
Institut National de la Recherche Scientifique（国家科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文评估量化与剪枝对鲁棒 wav2vec 2.0 在噪声、混响等训练/测试不匹配条件下语音识别准确率的影响，以推动自监督模型在边缘设备部署。
2023-09-25 cs.SD eess.AS
EMOCONV-DIFF: Diffusion-based Speech Emotion Conversion for Non-parallel and In-the-wild Data
Universität Hamburg（汉堡大学）
提出基于扩散的模型EmoConv-Diff，利用连续唤醒度维度在非并行真实环境数据上实现语音情感转换与强度控制，有效解决了极端情感值下的性能挑战。
2024-01-08 cs.SD eess.AS eess.SP
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签，提升了语音基础模型在多种语言和任务中的性能，显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
Lip-Listening: Mixing Senses to Understand Lips using Cross Modality Knowledge Distillation for Word-Based Models
The American University in Cairo（开罗美国大学）
在这项工作中，我们提出了一种技术来转移语音识别能力从音频语音识别系统的视觉语音识别器，我们的目标是在唇读模型训练过程中利用音频数据。在语音识别领域中的令人印象深刻的进展已经通过音频和视听系统展示出来。尽管如此，由于某些音素的视觉模糊性，视觉语音识别系统仍有许多需要探索的地方。为此，鉴于音频模型的不稳定性，视觉语音识别模型的开发是至关重要的。本研究的主要贡献在于：i）通过将序列级和帧级知识蒸馏（KD）集成到他们的系统中，建立了最近最先进的基于单词的唇读模型; ii）在训练视觉模型期间利用音频数据，这在先前的基于单词的工作中还没有被利用; iii）提出帧级KD中的高斯形平均，作为帮助模型在序列模型编码器处提取知识的有效技术。这项工作提出了一种新颖而有竞争力的唇读架构，因为我们证明了性能的显着改善，在LRW数据集上设置了一个新的基准，等于88.64%。
2022-06-05 cs.CL cs.MM cs.SD
Fake Speech Wild: Detecting Deepfake Speech on Social Media Platform
Communication University of China（通信大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Institute of Technology（北京理工大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对深度伪造语音在社交媒体泛滥及现有对策在跨域场景性能下降的问题，提出FSW数据集并建立基于自监督学习的基准，通过数据增强与纳入FSW训练集将平均等错误率降至3.54%。
2025-08-14 cs.AI cs.SD
How Private is Low-Frequency Speech Audio in the Wild? An Analysis of Verbal Intelligibility by Humans and Machines
RWTH Aachen University（亚琛工业大学）；Delft University of Technology（代尔夫特理工大学）
本文评估低频音频在真实环境中保护言语隐私的有效性，通过模拟攻击并权衡语音活动检测性能与隐私，结合人类和机器可懂度分析其平衡。
2024-07-18 cs.HC cs.SD eess.AS
CS-YODAS: A Mined Dataset of In-the-Wild Code-Switched Speech
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰霍普金斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Sheffield（谢菲尔德大学）；Brno University of Technology（布尔诺理工大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Kyoto University（京都大学）
本文提出CS-YODAS数据集，通过可扩展的人机协同流程从多语言YouTube数据中挖掘真实代码转换语音，涵盖7种基质语言共313小时，并分析其分布特征与语言对切换模式。
2026-06-11 cs.SD
Significance of Data Augmentation for Improving Cleft Lip and Palate Speech Recognition
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Indian Institute of Technology Dharwad（印度理工学院达尔瓦德分校）；Fortemedia Singapore（新加坡富迪科技）
由于各种原因，病理性语音的自动识别，特别是任何发音障碍的儿童，是一项具有挑战性的任务。缺乏可用的领域特定数据是阻碍其用于针对病理说话者的不同基于语音的应用的一个这样的障碍。为了应对这一挑战，在这项工作中，我们研究了一些数据增强技术来模拟训练数据，以提高儿童语音识别，考虑到唇腭裂（CLP）语音的情况。在这项研究中探索的增强技术，包括声道长度扰动（VTLP），混响，说话速率，音高修改和语音特征修改使用周期一致的对抗网络（CycleGAN）。我们的研究发现，数据增强方法显着提高了CLP语音识别的性能，这是更明显的，当我们使用特征修改CycleGAN，VTLP和混响为基础的方法。更具体地说，从这项研究的结果表明，我们的系统产生一个改进的电话错误率相比，没有数据增强的系统。
2021-10-02 cs.SD eess.AS
LPIPS-AttnWav2Lip: Generic Audio-Driven lip synchronization for Talking Head Generation in the Wild
University of Science and Technology Beijing（北京科技大学）；Xiaoduo Intelligent Technology (Beijing) Co., Ltd（小多智能技术（北京）有限公司）；Department of Computer Science, Changzhi University（长治大学计算机科学系）
本文提出LPIPS-AttnWav2Lip方法，通过音频驱动生成逼真高质的说话人面部图像，实现精确唇同步和视觉质量提升。
2026-01-30 cs.AI cs.MM cs.SD
Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge
KAIST（韩国科学技术院）
本文针对低资源语言唇读数据不足的问题，提出从高资源语言学习通用唇动知识，并结合语言特定记忆增强解码器（LMDecoder）利用音频-文本数据学习语言知识，从而高效构建低资源语言唇读模型。
2024-01-12 cs.CL cs.CV cs.SD
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
Processing Phoneme Specific Segments for Cleft Lip and Palate Speech Enhancement
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Indian Institute of Technology Dharwad（印度理工学院达尔瓦德分校）
唇腭裂患者由于发音系统的变形，导致语音清晰度失真。为了解决同样的问题，一些以前的作品在CLP语音中进行音素特定的修改。在CLP语音中，发音错误和鼻音化都扭曲了单词的可懂度。因此，特定音素的修改可能并不总是产生增强的整个词级可懂度。对于这种情况，重要的是基于声学事件的知识来识别和隔离音素特定错误。因此，音素特定的错误修改算法可以用于转换指定的错误，并提高单词级的可懂度。受此启发，在这项工作中，我们结合了一些突出的音素特定的增强方法，并证明其有效性，提高词级的可懂度的CLP语音。使用主观和客观评价度量来评价增强的语音样本。
2021-10-02 cs.SD eess.AS q-bio.QM
