Shouted Speech Compensation for Speaker Verification Robust to Vocal Effort Conditions
University of Zaragoza(萨拉戈萨大学);Aalborg University(奥尔堡大学)
当登记和测试之间的声音努力条件(例如,正常的说话方式(正常的说话方式)不同。这是非合作说话人确认任务中的一种潜在情况。在本文中,我们提出了一个研究的不同方法的线性补偿嵌入利用高斯混合模型聚类喊叫和正常的语音域。这些补偿技术是从自动语音识别的鲁棒性领域借来的,在这项工作中,我们应用它们来补偿说话人验证中的喊叫和正常条件之间的失配。在补偿之前,通过逻辑回归自动检测出被喊状态。这个过程计算量很小,并且在x向量系统的后端执行。实验结果表明,应用所提出的方法中存在的声乐努力不匹配产生高达13.8%的相等的错误率相对改善的系统,既不适用于喊语音检测也不补偿。
2020-08-06 cs.HC cs.LG cs.SD
Speaker Identification Investigation and Analysis in Unbiased and Biased Emotional Talking Environments
University of Sharjah(沙迦大学)
本文基于超音段隐马尔可夫模型(SPHALG),研究和分析了无偏和有偏两种情感环境下的说话人辨识问题。第一个谈话环境对任何情绪都没有偏见,而第二个谈话环境对不同的情绪都有偏见。每一种谈话环境都由六种不同的情绪组成。这些情绪是中性的,愤怒,悲伤,快乐,厌恶和恐惧。实验结果表明,有偏说话环境下的说话人辨识性能优于无偏说话环境。在这项工作中所获得的结果接近人类法官的主观评价中所取得的结果。
2017-06-29 cs.SD
Employing Emotion Cues to Verify Speakers in Emotional Talking Environments
University of Sharjah(沙迦大学)
通常情况下,人们在没有压力和情绪等异常谈话条件的环境中说话是中立的。其他可能影响人们说话语气的情绪状况,如快乐,愤怒和悲伤。这种情绪直接受到患者健康状况的影响。在中性谈话环境中,说话者可以很容易地被验证,然而,在情感谈话环境中,说话者不能像在中性谈话环境中那样容易地被验证。因此,说话人确认系统在情感谈话环境中的表现不如在中性谈话环境中的表现。在这项工作中,一个两阶段的方法已被采用和评估,以提高说话人确认的性能,在情绪说话的环境。该方法采用说话人情感线索(文本无关和情感相关的说话人确认问题)的基础上隐马尔可夫模型(HALF)和超分段隐马尔可夫模型(SPHALF)作为分类器。该方法包括两个级联的阶段,结合和集成的情感识别器和说话人识别器到一个识别器。该架构已在两个不同的和独立的情感语音数据库:我们收集的数据库和情感韵律语音和成绩单数据库进行了测试。实验结果表明,该方法较以往的研究和其他方法,如完全基于Hynth的情感无关说话人确认方法和情感相关说话人确认方法,都有了显著的改进,取得了令人满意的结果。
2017-07-01 cs.SD
Employing both Gender and Emotion Cues to Enhance Speaker Identification Performance in Emotional Talking Environments
University of Sharjah(沙迦大学)
说话人识别性能在情感说话环境中是不高的,因为它是在中性的谈话环境。这项工作的重点是提出,实施和评估一种新的方法,以提高在情绪化的谈话环境中的性能。新提出的方法是基于识别未知的扬声器使用他/她的性别和情感线索。隐马尔可夫模型(HALF)和超分段隐马尔可夫模型(SPHALF)已被用作在这项工作中的分类。该方法已在我们收集的由六种情绪组成的情感语音数据库上进行了测试。实验结果表明,同时使用性别和情感线索的说话人辨识性能分别比仅使用性别线索、仅使用情感线索和既不使用性别也不使用情感线索的说话人辨认性能高7.22%、4.45%和19.56%。这项工作还表明,最佳的说话人辨识性能发生时,分类器是完全偏向于超音段模型和没有影响的声学模型在情绪说话的环境。所实现的平均说话人辨识性能的基础上,新提出的方法属于2.35%的主观评价中获得的人类法官。
2017-06-29 cs.SD
Novel Cascaded Gaussian Mixture Model-Deep Neural Network Classifier for Speaker Identification in Emotional Talking Environments
University of Sharjah(沙迦大学)
本文提出了一种基于级联高斯混合模型-深度神经网络(GMM-DNN)的说话人识别方法,以提高情感说话环境中与文本无关的说话人辨识性能。我们目前的工作重点是提出,实现和评估一种新的方法,说话人辨识在情感说话环境的基础上级联高斯混合模型-深度神经网络作为分类器。结果指出,级联GMM-DNN分类器使用两个不同的语音数据库:阿联酋语音数据库(阿拉伯联合酋长国数据集)和模拟和实际压力下的语音(SUSAS)英语数据集,提高了各种情绪下的说话人辨识性能。该分类器在每个数据集上的性能优于经典的分类器,如多层感知器(MLP)和支持向量机(SVM)。基于级联的GMM-DNN已经获得的说话人辨识性能类似于从人类收听者的主观评估获得的性能。
2018-10-11 cs.SD
Using Second-Order Hidden Markov Model to Improve Speaker Identification Recognition Performance under Neutral Condition
University of Sharjah(沙迦大学)
本文采用二阶隐马尔可夫模型(HMM 2)来提高文本相关说话人辨识系统在中性说话条件下的识别性能。我们的研究结果表明,HMM 2提高了识别性能相比,一阶隐马尔可夫模型(HMM 1)在中性谈话条件下。识别性能提高了9%。
2017-06-29 cs.SD
Emirati-Accented Speaker Identification in Stressful Talking Conditions
University of Sharjah(沙迦大学)
本研究致力于提高文本无关的印尼口音说话人辨识的性能,在紧张的谈话条件下使用三个不同的分类器:一阶隐马尔可夫模型(HMM1),二阶隐马尔可夫模型(HMM2),和三阶隐马尔可夫模型(HMM3)。这项工作中使用的数据库是从25个性别的阿联酋语母语者中收集的,他们在每个中立,大声,缓慢,大声,柔和和快速的谈话条件下说出8个广泛的阿联酋语句子。所捕获的数据库的提取的特征被称为梅尔频率倒谱系数(MFCC)。基于HMM1、HMM2和HMM3,在压力条件下的平均阿拉伯语口音说话人辨识准确率分别为58.6%、61.1%和65.0%。基于HMM3在压力条件下实现的平均说话人辨识准确度与人类听者在主观评估中实现的准确度非常相似。
2019-10-29 cs.CL cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah(沙迦大学)
本文致力于引入、执行和评估一个三阶段的说话人确认框架,以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段:性别识别阶段,其次是情感识别阶段,其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估:我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明,基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认,只有情感线索,既没有性别线索,也没有情感线索。所实现的平均说话人确认性能的基础上,建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Modeling and Analyzing the Vocal Tract under Normal and Stressful Talking Conditions
University of Sharjah(沙迦大学);Southern Illinois University at Carbondale(南伊利诺伊大学卡本代尔分校)
在这项研究中,我们的模型和分析声道正常和紧张的谈话条件下。该研究回答了在紧张的谈话条件下文本相关的说话人辨识的识别性能下降的问题。这项研究可以用来(为未来的研究),以提高识别性能的压力下的谈话条件。
2017-07-01 cs.SD
Speaker Verification in Emotional Talking Environments based on Third-Order Circular Suprasegmental Hidden Markov Model
University of Sharjah(沙迦大学)
说话人确认的准确率在情感说话环境中不高,因为它是在中性的。本文基于三阶循环超音段隐马尔可夫模型(CSPHMM3)作为分类器,研究了在情感环境中说话人的语音识别问题。已被用来评估我们的工作与梅尔频率倒谱系数作为提取的特征的阿拉伯口音(阿拉伯语)的语音数据库。实验结果表明,基于CSPHMM3的说话人确认准确率高于基于高斯混合模型(GMM)、支持向量机(SVM)和矢量量化(VQ)等最新分类器和模型的说话人确认准确率。
2019-10-29 cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah(沙迦大学)
说话人确认在中性说话环境中的性能通常较高,而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中,一个三阶段的说话人确认架构已被提出,以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成:性别识别阶段,然后是情感识别阶段,然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集:内部数据集和情感韵律语音和成绩单数据集。实验结果表明,基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上,建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
Look who's not talking
Naver Corporation(Naver公司);University of Oxford(牛津大学)
这项工作的目的是发言人diarisation的讲话录音'在野外'。确定语音片段的能力是日记系统的关键部分,占错误的很大比例。在本文中,我们提出了一个简单而有效的解决方案,语音活动检测的基础上说话人嵌入。特别是,我们发现,规范的发言人嵌入是一个非常有效的指标的语音活动。该方法不需要用于语音活动检测的独立模型,因此允许使用用于说话者建模和语音活动检测两者的统一表示来执行说话者diarisation。我们在内部和公共数据集上进行了大量实验,其中我们的方法优于流行的基线。
2020-11-30 cs.SD eess.AS
CASA-Based Speaker Identification Using Cascaded GMM-CNN Classifier in Noisy and Emotional Talking Conditions
University of Sharjah(沙迦大学);The University of Tokyo(东京大学)
本文的工作旨在提高文本无关的说话人辨识在实际应用中的性能,如嘈杂和情绪化的谈话条件。这是通过合并两个不同的模块来实现的:用于降噪的基于计算听觉景物分析CASA的预处理模块和用于说话人辨识的级联高斯混合模型卷积神经网络GMM-CNN分类器,然后是情感识别。本研究提出并评估了一种新的算法,以提高说话人辨识的准确性,在情绪和高噪声敏感条件。实验表明,该模型产生有前途的结果与其他分类器相比,语音在模拟和实际压力SUSAS数据库,阿联酋语音数据库ESD,瑞尔森视听数据库的情感语音和歌曲RAVDESS数据库和流利的语音命令数据库在嘈杂的环境中使用。
2021-02-11 cs.AI cs.SD eess.AS
HI-MIA : A Far-field Text-Dependent Speaker Verification Database and the Baselines
Duke Kunshan University(昆山杜克大学);Beijing Shell Shell Technology Co. Ltd.(北京贝壳科技有限公司);Wuhan University(武汉大学)
本文提出了一个远场文本相关的说话人确认数据库HI-MIA。我们的目标是满足基于远场麦克风阵列的说话人确认的数据要求,因为大多数公开可用的数据库是单通道近距离说话和文本无关的。该数据库包含340人在为远场场景设计的房间中的录音。录音是由位于不同方向和距离的扬声器和高保真近距离麦克风多个麦克风阵列捕获。此外,我们提出了一套端到端的神经网络为基础的基线系统,采用单通道数据进行训练。此外,我们提出了一个测试背景感知的注册增强策略,以进一步提高性能。实验结果表明,该融合系统在远场登记远场测试任务中的EER为3.29%,在近距离交谈登记和远场测试任务中的EER为4.02%。
2020-02-01 cs.SD eess.AS
Emirati Speaker Verification Based on HMM1s, HMM2s, and HMM3s
University of Sharjah(沙迦大学)
这项工作的重点是在中立的谈话环境中的阿联酋说话人验证系统的基础上的每一个一阶隐马尔可夫模型(HMM1),二阶隐马尔可夫模型(HMM2),和三阶隐马尔可夫模型(HMM3)作为分类器。这些系统已被评估我们收集的阿联酋语音数据库,其中包括25名男性和25名女性阿联酋扬声器使用梅尔频率倒谱系数(MFCC)作为提取的功能。我们的研究结果表明,HMM3优于每一个HMM1和HMM2的文本无关的阿联酋语说话人验证。基于HMM3s得到的结果接近于人类听者主观评估中得到的结果。
2017-07-02 cs.SD
Talking Condition Identification Using Second-Order Hidden Markov Models
University of Sharjah(沙迦大学)
本工作的重点是使用二阶隐马尔可夫模型(HMM2)来提高文本相关和说话人相关的说话条件识别系统的性能。我们的研究结果表明,基于HMM2的通话条件识别性能已显着改善相比,一阶隐马尔可夫模型(HMM1)。我们在这部作品中的谈话条件是中立的,大声喊叫,大声,愤怒,快乐和恐惧。
2017-07-01 cs.SD
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico(新墨西哥大学)
在嘈杂的音频记录中,特别是那些来自协作学习环境的音频记录中,说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题,我们假设每个学生组使用单个麦克风,而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证,并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
Novel Hybrid DNN Approaches for Speaker Verification in Emotional and Stressful Talking Environments
University of Sharjah(沙迦大学);Prince Sattam bin Abdulaziz University(萨塔姆·本·阿卜杜勒-阿齐兹亲王大学);Bolu Abant Izzet Baysal University(博卢阿邦特·伊士德·贝萨尔大学)
在这项工作中,我们进行了一个实证性的比较研究的文本无关的说话人确认的性能在情绪和压力的环境。这项工作将深层模型与浅层架构相结合,从而产生了新颖的混合分类器。利用四种不同的混合模型:深度神经网络-隐马尔可夫模型(DNN-HMM)、深度神经网络-高斯混合模型(DNN-GMM)、高斯混合模型-深度神经网络(GMM-DNN)和隐马尔可夫模型-深度神经网络(HMM-DNN)。所有模型都基于新的实现架构。这项比较研究使用了三个不同的语音数据集:一个私人阿拉伯语数据集和两个公共英语数据库,即模拟和实际压力下的语音(SUSAS)和瑞尔森情绪语音和歌曲视听数据库(RAVDESS)。上述混合模型的测试结果表明,所提出的HMM-DNN利用了情感和压力环境中的验证性能。结果还显示,HMM-DNN在等出错率(EER)和曲线下面积(AUC)评估指标方面优于所有其他混合模型。基于三个数据集的平均结果验证系统基于HMM-DNN、DNN-HMM、DNN-GMM和GMM-DNN分别产生了7.19%、16.85%、11.51%和11.90%的EER。此外,我们发现,DNN-GMM模型表现出最小的计算复杂性相比,所有其他混合模型在两个谈话环境。相反,HMM-DNN模型需要最多的训练时间。研究结果还表明,EER和AUC值依赖于数据库时,比较平均情绪和压力的表现。
2021-12-26 cs.LG cs.SD eess.AS
Studying and Enhancing Talking Condition Recognition in Stressful and Emotional Talking Environments Based on HMMs, CHMM2s and SPHMMs
University of Sharjah(沙迦大学)
本研究的工作是致力于研究和提高在紧张和情绪化的谈话环境(完全两个独立的环境)的基础上,三个不同的和独立的分类器的谈话条件识别。这三个分类器是:隐马尔可夫模型(HHMM),二阶循环隐马尔可夫模型(CHMM 2)和超分段隐马尔可夫模型(SPHMM)。本研究中所使用的压力性谈话环境由中性、喊叫、缓慢、大声、柔和和快速的谈话条件组成,而情绪性谈话环境由中性、愤怒、悲伤、快乐、厌恶和恐惧情绪组成。在目前的工作中所取得的成果表明,SPHM导致每一个HHM和CHMM2在提高说话条件识别在紧张和情绪化的谈话环境。实验结果还表明,在紧张的谈话环境中的谈话条件识别比在情绪化的谈话环境中的分别提高了2.7%,1.8%和3.3%,基于Hacks,CHMM 2s和SPHacks。根据人类法官的主观评估,压力谈话条件下的识别性能领先于情绪条件下的识别性能5.2%。
2017-07-01 cs.SD
The Cone of Silence: Speech Separation by Localization
University of Washington(华盛顿大学)
给定一个未知数量的扬声器同时说话的多麦克风录音,我们同时定位的来源和单独的扬声器。我们的方法的核心是在波形域中的深度网络,其在给定感兴趣的角度$θ$和角度窗口大小$w$的情况下隔离角度区域$θ\pm w/2$内的源。通过指数递减的$w$,我们可以执行二分搜索,在对数时间内定位和分离所有源。我们的算法允许在测试时有任意数量的潜在移动扬声器,包括比训练期间看到的更多的扬声器。实验证明了声源分离和声源定位的最新性能,特别是在高水平的背景噪声中。
2020-10-12 cs.AI cs.SD
Dialogue-Based Streaming Audio-Visual Target Speaker Extraction with Predictive Dialogue Information
Shenzhen Loop Area Institute(深圳河套学院);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院);The Chinese University of Hong Kong(香港中文大学)
针对真实对话中轮流发言机制被忽视的问题,首次提出在线音视频目标说话人提取基准,并设计基于大语言模型的目标说话人语音活动投影模块,从重叠混合语音预测未来活动以引导低延迟分离器,结合历史、同步与预测性上下文,在多种骨干网络上持续提升流式提取性能,真实对话中获近1分贝增益。
2026-09-28 cs.SD eess.AS
Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments
Department of Computer Science, University of Oxford(计算机科学系,牛津大学)
本文提出通过比较噪声正样本与负样本音频提取目标说话人,提升单声道语音提取性能。
2025-12-05 cs.AI cs.SD eess.AS
Spatially Selective Deep Non-linear Filters for Speaker Extraction
针对多人同时说话场景,提出一种深度联合空间-谱非线性滤波器,通过基于目标方向设置循环层初始状态的条件化机制,实现任意方向引导,在无性能损失下提升灵活性,并可用于语音分离与多说话人定位。
2023-03-23 cs.LG cs.SD eess.AS
Towards Real-Time Single-Channel Speech Separation in Noisy and Reverberant Environments
McGill University(麦吉尔大学);CIRMMT(跨学科音乐媒体与技术中心);Microsoft Research(微软研究院)
本文提出一种低复杂度、资源高效的因果DNN级联架构,依次完成噪声抑制、分离和去混响,实现嘈杂混响环境下两个及以上说话人的实时单通道语音分离,性能可与大型离线模型SepFormer相媲美。
2023-04-17 cs.SD eess.AS
DualTalk: Dual-Speaker Interaction for 3D Talking Head Conversations
Renmin University of China(中国人民大学);Ant Group(蚂蚁集团);Tsinghua University(清华大学);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算创新中心)
针对现有3D说话头模型忽略对话中听说切换的问题,提出DualTalk统一框架,整合说话与倾听行为,并构建50小时、超1000角色的多轮对话数据集,显著提升双人对话的3D说话头自然度与表现力。
2025-05-26 cs.CV cs.SD eess.AS
Speaking Style Authentication Using Suprasegmental Hidden Markov Models
University of Sharjah(沙迦大学)
从人类语音中进行说话风格认证的重要性越来越受到工程界的关注和关注。其重要性来自于提高口语人机界面的自然度和效率的需求。我们在这项研究中的工作重点是提出,实施和测试依赖于说话者和文本的说话风格认证(验证)系统,接受或拒绝身份索赔的说话风格的基础上超分段隐马尔可夫模型(SPHALGOT)。基于SPHHT的测试结果表明,中性、喊叫、缓慢、大声、柔和、快速、愤怒、高兴和恐惧等说话风格的平均认证率分别为:99%、37%、85%、60%、61%、59%、41%、61%和57%。
2017-06-29 cs.SD
Speaker Independent and Multilingual/Mixlingual Speech-Driven Talking Head Generation Using Phonetic Posteriorgrams
Tencent(腾讯)
近年来,生成3D语音驱动的说话人受到越来越多的关注。最近的方法主要有以下局限性:1)大多数说话人无关的方法需要手工制作的功能,设计耗时或不可靠; 2)没有令人信服的方法来支持多语言或混合语言的语音输入。在这项工作中,我们提出了一种新的方法,使用语音后验图(PPG)。通过这种方式,我们的方法不需要手工制作的功能,并且与最近的方法相比,对噪声更具鲁棒性。此外,我们的方法可以支持多语言的语音作为输入,通过建立一个通用的音素空间。据我们所知,我们的模型是第一个支持多语言/混合语言语音作为输入的令人信服的结果。客观和主观的实验表明,我们的模型可以生成高质量的动画给定的语音从看不见的语言或扬声器和噪声是鲁棒的。
2020-06-20 cs.LG cs.MM cs.SD
Look Who's Talking: Active Speaker Detection in the Wild
Yonsei University(延世大学)
在这项工作中,我们提出了一种新的视听数据集在野外主动扬声器检测。当一个说话者的脸是可见的,同时声音也是可听到的时,他或她就被认为是活跃的。虽然主动说话人检测是许多视听任务的关键预处理步骤,但没有现有的自然人类语音数据集来评估主动说话人检测的性能。因此,我们策划了Active Speakers in the Wild(ASW)数据集,其中包含视频和具有密集语音活动标签的共现语音片段。音频片段的视频和时间戳是从VoxConverse中解析和采用的,VoxConverse是一个现有的扬声器diarisation数据集,由野生视频组成。从视频中提取人脸轨迹,并以半自动的方式基于VoxConverse的时间戳对活动片段进行注释。两个参考系统,一个自我监督的系统和一个完全监督的,在数据集上进行评估,以提供ASW的基线性能。跨域评估是为了显示配音视频在训练数据中的负面影响而进行的。
2021-08-17 cs.CV cs.SD eess.AS
VisageSynTalk: Unseen Speaker Video-to-Speech Synthesis via Speech-Visage Feature Selection
KAIST(韩国科学技术院)
这项工作的目标是重建语音从一个无声的说话的脸视频。最近的研究表明,从无声的说话人脸视频合成语音的性能令人印象深刻。然而,他们没有明确地考虑不同的身份特征的不同发言人,这将在视频到语音合成的挑战,这变得更加关键,在unseen-speaker设置。我们的方法是从一个给定的无声说话的脸视频分离的语音内容和面部风格。通过引导模型独立地专注于对这两种表示进行建模,即使在给定看不见的对象的输入视频时,我们也可以从模型中获得高清晰度的语音。为此,我们引入语音人脸选择,分离的语音内容和扬声器的身份从输入视频的视觉特征。通过基于人脸风格的合成器,该合成器通过在保持语音内容的同时涂覆人脸风格来生成语音。因此,所提出的框架带来了合成包含正确内容的语音的优点,即使是与看不见的主体的无声谈话面部视频。我们验证了建议的框架上的GRID,TCD-TIMIT志愿者,和LRW数据集的有效性。
2022-07-20 cs.CV cs.LG cs.SD
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型,使其支持文本驱动说话人脸合成,并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
See the Speaker: Crafting High-Resolution Talking Faces from Speech with Prior Guidance and Region Refinement
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Speech and Acoustic Laboratory, Joy Future Academy, Jingdong Corporation(语音与声学实验室、Joy Future Academy、京东公司);Aarhus University(阿arhus大学)
本研究提出一种通过语音直接生成高分辨率说话面孔的方法,结合扩散模型与统计先验,实现高质量视频生成。
2025-10-28 cs.AI cs.CV cs.SD
MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation
Johns Hopkins University(约翰斯·霍普金斯大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
多目标挑战赛旨在评估当前语音技术在多大程度上能够确定记录的话语是否是由大量黑名单中的一个人说出的。它是一种基于真实世界电话对话的多目标说话人检测形式。数据记录是从呼叫中心客户-代理对话中生成的。这项任务是测量一个人能多准确地检测到1)测试录音是否是由黑名单上的说话者说的,以及2)哪个特定的黑名单上的说话者在说话。本文概述了挑战,并提供了其基线,结果和讨论。
2019-04-07 cs.SD eess.AS
MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation (MCE) Plan, Dataset and Baseline System
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
多目标挑战赛旨在评估当前语音技术在多大程度上能够确定记录的话语是否是由大量“黑名单”发言者之一所说的。它是一种基于真实世界电话对话的多目标说话人检测形式。数据记录是从呼叫中心客户-代理对话中生成的。每个会话由单个i向量表示。给定来自非黑名单和黑名单扬声器的训练和开发数据池,任务是测量人们可以多准确地检测1)测试录音是否由黑名单扬声器说出,以及2)哪个特定的黑名单扬声器正在说话。
2018-07-17 cs.SD eess.AS
MIRRORTALK: Forging Personalized Avatars Via Disentangled Style and Hierarchical Motion Control
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
MirrorTalk通过解耦风格与运动控制生成个性化虚拟形象,提升嘴唇同步准确性和个性化表达。
2026-01-30 cs.CV cs.SD
EgoAdapt: Enhancing Robustness in Egocentric Interactive Speaker Detection Under Missing Modalities
School of Computer and Communication Enngineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence, College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(民航大学模式分析与机器智能重点实验室,计算机科学与技术学院);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence, College of Computer Science and Technology, Shenzhen Research Institute, Nanjing University of Aeronautics and Astronautics(民航大学模式分析与机器智能重点实验室,计算机科学与技术学院,深圳研究院)
本文提出EgoAdapt框架,通过融合视觉与音频模块,提升在缺失模态下的眼动交互说话检测鲁棒性,实验显示其在Ego4D数据集上取得显著性能提升。
2026-03-18 cs.CV cs.MM cs.SD
Speech2Video: Cross-Modal Distillation for Speech to Video Generation
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
本文研究了一个新的任务,说话的脸视频生成完全从语音。语音到视频生成技术可以在娱乐,客户服务和人机交互行业中引发有趣的应用。事实上,语音中的音色、口音和语速都包含着与说话人外貌相关的丰富信息。挑战主要在于从音频信号中分离出不同的视觉属性。在这篇文章中,我们提出了一个轻量级的,跨模态蒸馏方法来提取未标记的视频输入解开情感和身份信息。提取的特征,然后集成到一个生成对抗网络说话的脸视频剪辑。通过精心制作的鉴别器,所提出的框架实现了逼真的生成结果。与观察到的个人的实验表明,所提出的框架捕捉的情感表达完全从讲话,并产生自发的面部运动的视频输出。与语音与说话者的静态图像相结合的基线方法相比,所提出的框架的结果几乎是不可区分的。用户研究也表明,所提出的方法优于现有的算法在生成的视频中的情感表达。
2021-07-10 cs.CV cs.SD eess.AS
Learning Separable Hidden Unit Contributions for Speaker-Adaptive Lip-Reading
本文针对唇读中的说话人自适应问题,提出利用说话人自身特征在浅层增强语音内容特征、在深层抑制无关噪声,学习可分离的隐单元贡献,并在多个数据集上验证了其优越性。
2024-04-30 cs.AI cs.CV cs.SD