Single-Microphone Speech Enhancement and Separation Using Deep Learning
鸡尾酒会问题包括理解复杂声学环境中的语音信号的挑战性任务，其中多个扬声器和背景噪声信号同时干扰感兴趣的语音信号。在这种复杂的声学情况下，能够有效地提高语音可懂度和语音信号的质量的信号处理算法是非常需要的。特别是对于涉及移动通信设备和听力辅助设备的应用。由于机器学习技术的重新出现，今天被称为深度学习，与这些算法相关的挑战可能会被克服。在这篇博士论文中，我们研究和开发了基于深度学习的技术，用于鸡尾酒会问题的两个子学科：单麦克风语音增强和单麦克风多说话者语音分离。具体而言，我们对基于现代深度学习的单麦克风语音增强算法的泛化能力进行了深入的实证分析。我们表明，这样的算法的性能是密切相关的训练数据，和良好的泛化能力，可以实现精心设计的训练数据。此外，我们提出了uPIT，一种基于深度学习的单麦克风语音分离算法，并报告了与说话者无关的多说话者语音分离任务的最新结果。此外，我们表明，uPIT工程以及联合语音分离和增强没有明确的先验知识的噪声类型或扬声器的数量。最后，我们表明，基于深度学习的语音增强算法，旨在最大限度地减少经典的短时谱幅度均方误差导致增强的语音信号，这是本质上最佳的STOI，一个国家的最先进的语音清晰度估计。
2018-12-04 cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University（奥尔堡大学）；GN Hearing（GN听力公司）
在诸如鸡尾酒会场景的情况下，听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中，我们提出了一个双耳语音增强框架，考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器，使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器（STP）参数以及干净语音音调参数。在这项工作中，提出了一种基于双耳码本的方法来估计STP参数，并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息，导致滤波器参数的更鲁棒的估计。客观的措施，如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试，以评估清晰度和质量改善方面的性能。听力测试表明，该算法，即使只有一个通道的噪声观察，显着提高整体语音质量，和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
Toward Speech Separation in The Pre-Cocktail Party Problem with TasTas
Fujitsu Research and Development Center（富士通研发中心）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出使用TasTas模型端到端解决预鸡尾酒会问题的单声道语音分离，在WSJ0-5mix上取得10.41dB SDR提升，采用数据重混增强后达11.14dB，并开源实现便于复现。
2020-10-28 cs.SD eess.AS
Audio-Visual Turn-taking Prediction in Cocktail Party Scenarios
Trinity College Dublin（都柏林圣三一大学）
本研究评估了音视频轮流说话预测模型在鸡尾酒会嘈杂场景下的泛化与适应能力，发现性能显著下降（加权F1最高降38%），微调可改善但效果因模态和数据量而异，并公开了代码与标签。
2026-10-09 cs.CL cs.SD
Tune-In: Training Under Negative Environments with Interference for Attention Networks Simulating Cocktail Party Effect
Tencent AI Lab（腾讯人工智能实验室）
我们研究了鸡尾酒会问题，并提出了一种新的注意力网络称为调谐，缩写为负干扰环境下的训练。它首先学习两个独立的空间的基础上共享的特征空间的说话人知识和语音刺激，其中一个新的块结构被设计为所有空间的构建块，然后合作解决不同的任务。在这两个空间之间，信息通过一种新颖的交叉和双重注意机制相互投射，模仿人类鸡尾酒会效应的自下而上和自上而下的过程。事实证明，通过我们的自我监督训练，在严重干扰的条件下，可以学习到基本上有区别的和可推广的说话人表示。实验结果验证了这一看似矛盾的现象。学习的说话人嵌入具有优越的鉴别能力比标准的说话人验证方法，同时，Tune-In实现显着更好的语音分离性能方面的SI-SNRi和SDRi一致的所有测试模式，特别是在较低的内存和计算消耗，比最先进的基准系统。
2021-03-02 cs.AI cs.LG cs.SD
Cocktails, but no party: multipath-enabled private audio
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们描述了一个私人的音频消息系统，使用回声来解读消息在几个预定的位置在一个房间。该系统的工作原理是将音频分成短块，并从不同的扬声器发出。这些信息块经过过滤，当它们在房间里回荡时，除了在少数几个选定的聚焦点上，它们在任何地方都是噪音，而这些聚焦点恰好再现了预期的信息。与标准个人音频区域的情况不同，所提出的方法使聚焦点之外的声音难以理解。我们的方法基本上取决于回声：房间作为一个混合系统，以便在给定的点，我们得到所需的输出。最后，我们只需要一个适度数量的扬声器和只有几个脉冲响应测量点的消息应该被传递。我们证明了所提出的方法的有效性，通过客观的定量指标以及非正式的听力实验在一个真实的房间。
2018-09-16 cs.SD eess.AS
The Mad Hatter´s Cocktail Party: A Social Mobile Audio Space Supporting Multiple Simultaneous Conversations
本文提出了一个移动音频空间，旨在使用的凝胶社会群体。在这样的社交群体中的面对面交互中，会话楼层频繁地改变，例如，两个参与者分开以形成新的会话楼层、参与者从一个会话楼层移动到另一个会话楼层等。迄今为止，音频空间几乎没有为参与者的这种动态重新分组提供支持，要么要求参与者明确地指定他们希望与谁交谈，要么简单地呈现所有参与者，就好像他们在单个楼层中一样。相比之下，这里描述的音频空间监视参与者的行为，以在会话楼层出现时识别它们。该系统动态地修改传递给每个参与者的音频，以增强他们当前正在与之交谈的参与者的显著性。我们报告的系统的用户研究，侧重于会话分析结果。
2003-04-01 cs.HC cs.SD
RadarVox: Radar-Audio Multimodal Cocktail-Party Speech Separation with Speaker-Aware Cross-Modal Matching
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Dalian Maritime University（大连海事大学）
RadarVox提出雷达-音频多模态基准，利用FMCW雷达捕获喉部运动线索，通过门控融合和跨模态匹配实现身份感知的鸡尾酒会语音分离，显著提升分离质量和说话人分配准确率。
2026-09-29 cs.MM cs.SD eess.AS
Cracking the cocktail party problem by multi-beam deep attractor network
Microsoft AI and Research（微软人工智能与研究院）
虽然神经网络方法在单通道语音分离，或更一般的鸡尾酒会问题，取得了显着的改善，其性能复杂的混合物仍然不能令人满意。在这项工作中，我们提出了一种新的多通道框架多说话者分离。在该模型中，输入的多通道混合信号首先被转换成一组波束形成的信号使用固定的波束方向图。对于这种波束形成，我们建议使用差分波束形成器，因为它们更适合语音分离。然后将每个波束形成的信号馈送到单通道锚定深度吸引子网络以生成分离的信号。最后通过对各光束的分离输出进行后选，得到最终的分离结果。为了评估所提出的系统，我们创建了一个具有挑战性的数据集，包括2，3或4个扬声器的混合物。我们的研究结果表明，该系统大大提高了语音分离的最新技术水平，实现了11.5 dB，11.76 dB和11.02 dB的平均信号失真比改善4，3和2重叠扬声器混合，这是一个最小方差无失真响应波束形成器，使用预言机的位置，源和噪声信息的性能相媲美。我们还运行语音识别与一个干净的训练声学模型上分离的语音，实现相对字出错率（WER）减少45.76%，59.40%和62.80%的完全重叠的语音4，3和2扬声器，分别。利用远距离通话声学模型，WER被进一步降低。
2018-03-29 cs.SD eess.AS
Thinking in cocktail party: Chain-of-Thought and reinforcement learning for target speaker automatic speech recognition
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）；MiLM Plus, Xiaomi Inc., China（MiLM Plus，小米公司，中国）
本文提出结合链式思维和强化学习的新型框架，提升目标说话人自动语音识别的性能。
2026-01-30 cs.SD eess.AS
Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）；Nagoya University（名古屋大学）；Academia Sinica（中央研究院）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）
基于深度学习的模型已经显著提高了语音分离的性能，例如鸡尾酒会。突出的方法（例如，频域和时域语音分离）通常使用基于掩蔽的设计和信号电平损失准则（例如，MSE或SI-SNR）。这项研究表明，第一次，基于综合的方法也可以很好地表现在这个问题上，具有很大的灵活性和强大的潜力。具体而言，我们提出了一种新的语音分离/增强模型的基础上识别的离散符号，并转换的语音分离/增强相关的任务从回归到分类的范式。该合成模型以离散符号为输入，对离散符号序列进行预测后，再对每个目标语音进行合成。基于WSJ 0 - 2 mix和VCTK噪声语料在不同环境下的评测结果表明，该方法能够稳定地合成出高质量的分离语音，并且没有任何干扰，这是基于回归的方法难以避免的。此外，该方法还可以在不影响听音质量的情况下，方便地实现增强/分离语音的说话人转换。
2022-01-09 cs.LG cs.SD eess.AS
Reading to Listen at the Cocktail Party: Multi-Modal Speech Separation
University of Oxford（牛津大学）；VGG（视觉几何组）
本文提出基于 Transformer 的多模态语音分离统一框架，可融合文本与视觉线索，在 LRS2 和 LRS3 上取得最先进性能。
2025-01-02 cs.SD eess.AS eess.SP
Convoifilter: A case study of doing cocktail party speech recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
该研究提出结合 ConVoiFilter 单通道语音增强与 ASR 的端到端鸡尾酒会语音识别模型，并通过联合微调将 WER 从 80% 降至 14.5%。
2024-04-07 cs.CL cs.SD eess.AS
Real-time Speaker counting in a cocktail party scenario using Attention-guided Convolutional Neural Network
University of Texas at Dallas（德克萨斯大学达拉斯分校）
大多数当前的语音技术系统被设计为即使在存在多个活动说话者的情况下也能良好地操作。然而，大多数解决方案假设并流扬声器的数量是已知的。不幸的是，这些信息在实际应用中可能并不总是可用的。在这项研究中，我们提出了一个实时的，单通道的注意力引导卷积神经网络（CNN），以估计重叠语音中的活跃发言者的数量。所提出的系统使用CNN模型从语音频谱内容中提取更高级别的信息。接下来，注意力机制将提取的信息总结为紧凑的特征向量，而不会丢失关键信息。最后，使用完全连接的网络对活跃的说话人进行分类。使用WSJ语料库的模拟重叠语音的实验表明，注意力解决方案被证明比传统的时间平均池提高了近3%的绝对性能。所提出的注意力引导的CNN在加权准确率和平均召回率方面都达到了76.15%，并且在短至20帧的语音段上达到了75.80%的准确率（即，200 ms）。对于离线场景中的注意力引导模型，所有分类度量都超过92%，其中输入信号超过100帧长（即，1s）。
2021-10-30 cs.LG cs.SD eess.AS
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union（库珀联盟学院）
本文将描述一种新的方法，鸡尾酒会的问题，依赖于一个完全卷积神经网络（FCN）架构。FCN将噪声音频数据作为输入，并执行非线性滤波操作，以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型，然后能够从串音背景噪声中提取扬声器的声音。实验结果表明，该方法具有推广到新的说话人的能力，并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调，并部署到助听器上，以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
Raking the Cocktail Party
LCAV-EPFL（洛桑联邦理工学院视听通信实验室）
我们提出了一个声学瑞克接收机的概念-一个麦克风波束形成器，使用回波来改善噪声和干扰抑制。rake思想在无线通信中是众所周知的;它涉及建设性地组合到达接收器天线的不同多径分量。与无线通信中使用的扩频信号不同，语音信号与它们的移位不正交。因此，我们关注的是空间结构，而不是时间结构。而不是明确估计的通道，我们创建早期的回波在时间和空间中的图像源之间的对应关系。期望信号和干扰信号的这些多个源提供了我们可以在波束形成器设计中利用的附加空间分集。我们提出了几个“直观的”和最佳配方的声耙接收器，并从理论上和数值上表明，最大信号干扰和噪声波束形成器的耙制定提供显着的性能提升，在噪声和干扰抑制。除了信噪比之外，我们观察到语音质量的\emph{perceptual evaluation of speech quality}（PESQ）度量方面的增益。我们伴随着用Python编写的完整模拟和处理链。代码和声音示例可在\url{http://lcav.github.io/AcousticRakeReceiver/}上在线获得。
2015-01-15 cs.IT cs.SD math.IT
Leveraging Mamba with Full-Face Vision for Audio-Visual Speech Enhancement
Academia Sinica（台湾“中央研究院）
针对现有基于Mamba的语音增强模型难以应对多说话人复杂场景的问题，提出融合全脸视觉时空信息与Mamba时序骨干的音视频增强模型AVSEMamba，在AVSEC-4挑战赛单声道赛道取得榜首，多项指标优于基线。
2025-09-30 cs.SD eess.AS
Improving spatial cues for hearables using a parameterized binaural CDR estimator
University of Sydney（悉尼大学）
我们研究了一种基于双耳相干扩散功率比（CDR）的语音增强方法，该方法保留了掩蔽者和宽边目标的听觉空间线索。传统的CDR估计器通常在其公式中依赖于期望信号和/或扩散噪声场的数学相干模型，这可能影响其在自然环境中的准确度。本文提出了一种新的鲁棒性和参数化的方向性双耳CDR估计器。估计器在时频域中计算，并且基于双耳麦克风信号之间的空间相干函数的几何解释。新的CDR估计器的双耳性能相比，三个国家的最先进的CDR估计在鸡尾酒会的环境中，并已显示出改善方面的几个客观的语音质量指标，如PESQ和SRMR。我们还讨论了不同的声音环境的参数化CDR估计的好处，并简要地反映了几个非正式的主观评价使用低延迟的实时框架。
2022-07-17 cs.SD eess.AS
Towards Solving Cocktail-Party: The First Method to Build a Realistic Dataset with Ground Truths for Speech Separation
Higher Institute for Applied Sciences and Technology（高等应用科学与技术学院）
本文提出首个构建带真实基准的语音分离真实数据集的方法，通过同步录制两名说话人获取真实基准，并利用基于BGRU和聚类算法的深度学习模型验证，显著提升了SI-SDR和PESQ指标及模型稳定性。
2024-08-28 cs.SD eess.AS
Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
Google Research（谷歌研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了一个联合视听模型，用于从混合的声音（如其他扬声器和背景噪声）中分离出单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的，并且不提供分离的语音信号与视频中的说话者的关联。在本文中，我们提出了一个基于深度网络的模型，该模型结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的期望扬声器上，并提高语音分离质量。为了训练我们的联合视听模型，我们引入了AVSpeech，这是一个由来自Web的数千小时视频片段组成的新数据集。我们证明了我们的方法的适用性，经典的语音分离任务，以及现实世界中的场景，涉及激烈的采访，嘈杂的酒吧，尖叫的孩子，只需要用户指定的人的脸在视频中的讲话，他们要隔离。在混合语音的情况下，我们的方法比最先进的仅音频语音分离具有明显的优势。此外，我们的模型是独立于说话者的（训练一次，适用于任何说话者），比最近的依赖于说话者的视听语音分离方法（需要为每个感兴趣的说话者训练一个单独的模型）产生更好的结果。
2018-08-09 cs.CV cs.SD eess.AS
WASE: Learning When to Attend for Speaker Extraction in Cocktail Party Environments
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
在说话人提取问题中，人们发现来自目标说话人的附加信息有助于目标说话人的跟踪和提取，这些附加信息包括声纹、唇动、面部表情和空间信息。然而，没有人关心声音起始的线索，这已经在听觉场景分析和心理学中得到了重视。受此启发，我们明确建模的起始线索，并验证了在说话人提取任务的有效性。我们进一步扩展到起始/偏移线索，并得到性能的改善。从任务的角度来看，我们的起始/偏移为基础的模型完成的复合任务，说话人提取和说话人相关的语音活动检测的互补组合。我们还将声纹与起始/偏移线索相结合。声纹模型的语音特征的目标，而起始/偏移模型的开始/结束信息的讲话。从听觉场景分析的角度来看，两种感知线索的结合可以促进听觉对象的完整性。实验结果也接近最先进的性能，使用近一半的参数。我们希望这项工作将启发语音处理和心理学的社区，并有助于他们之间的沟通。我们的代码将在https://github.com/aispeech-lab/wase/上提供。
2021-06-13 cs.AI cs.SD eess.AS
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
在鸡尾酒会中有区别地定位发声对象，即，混合声音场景，对于人类来说是司空见惯的，但对于机器来说仍然具有挑战性。在本文中，我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先，我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后，类感知的对象定位地图生成鸡尾酒会的情况下，通过参考预先学习的对象知识，并相应地选择发声对象通过匹配音频和视觉对象类别分布，其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明，我们的模型是优越的，在过滤出沉默的对象，并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
Nonnegative HMM for Babble Noise Derived from Speech HMM: Application to Speech Enhancement
Sound and Image Processing Laboratory, School of Electrical Engineering, KTH Royal Institute of Technology（瑞典皇家理工学院电气工程学院声音与图像处理实验室）；Zenuity AB
推导出一个好的多人串音噪声模型可以促进不同的语音处理算法，例如降噪，以降低所谓的鸡尾酒会难度。在可用的系统中，多路重合波形被生成为N个不同语音波形之和的事实没有被明确地利用。本文首先建立了语音信号功率谱的伽玛隐马尔可夫模型，然后将其表示为稀疏非负矩阵分解（NMF）。其次，稀疏NMF扩展通过放松稀疏性约束，并提出了一种新的模型（伽马非负HMM）的多路重合噪声中的多路重合基矩阵是相同的语音基矩阵，只有激活因子（权重）的两个信号随时间的推移是不同的。最后，提出了一种降噪算法，使用派生的语音和串音模型。使用期望最大化（EM）算法估计所有的静态模型参数，而使用递归EM算法估计时变参数，即语音和多路重合信号的增益参数。主观和客观的听觉评估表明，提出的多路重合干扰模型和最终的降噪算法显着优于传统的方法。
2017-09-16 cs.LG cs.SD
Face Landmark-based Speaker-Independent Audio-Visual Speech Enhancement in Multi-Talker Environments
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在本文中，我们解决的问题，增强感兴趣的演讲者在鸡尾酒会的情况下，当感兴趣的演讲者的视觉信息是可用的。与大多数以前的研究相反，我们没有在通常较小的视听数据集上学习视觉特征，而是使用已经可用的人脸地标检测器（在单独的图像数据集上训练）。基于LSTM的模型使用地标来生成应用于声学混合语音谱图的时频掩模。结果表明：（i）界标运动特征对于该任务是非常有效的特征，（ii）类似于先前的工作，通过掩蔽介导的目标说话者的声谱图的重建比直接声谱图重建明显更准确，以及（iii）最佳掩模取决于运动界标特征和输入混合语音声谱图两者。据我们所知，我们提出的模型是第一个在有限大小的GRID和TCD-TIMIT数据集上训练和评估的模型，它在多说话者环境中实现了与说话者无关的语音增强。
2019-05-02 cs.CL cs.LG cs.SD
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL（三菱电机研究实验室）
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源，并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音，从语音中分离语音，将乐器彼此分离，或将声音事件彼此分离。然而，分离音频混合（例如，电影原声带）分为语音、音乐和声音效果（理解为包括环境噪声和自然声音事件）这三大类，尽管有广泛的潜在应用，但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题，并提出了Divide and Remaster（DnR）数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集（LibriSpeech，FMA，FSD 50 k）构建的，在源重叠和相对响度方面，注意再现类似于专业制作内容的条件，并以CD质量提供。我们基准的标准源分离算法的DnR，并进一步引入一个新的多分辨率模型，以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐，11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation
Microsoft Research（微软研究院）；Aalborg University（奥尔堡大学）
我们提出了一种新的深度学习模型，它支持排列不变训练（PIT），用于说话人无关的多说话人语音分离，通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割（或聚类）问题的深度聚类技术不同，我们的模型优化了分离回归误差，忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题，该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信，基于PIT的改进最终可以解决鸡尾酒会问题，并使现实世界能够采用，例如，自动会议转录和多方人机交互，其中重叠语音是常见的。
2017-01-03 cs.CL cs.LG cs.SD
Multimodal Emotion Recognition and Sentiment Analysis in Multi-Party Conversation Contexts
University of Zurich（苏黎世大学）
本文提出融合文本、语音、面部表情和视频四种模态的多方对话情感识别与情绪分析系统，利用RoBERTa、Wav2Vec2、FacialNet及CNN+Transformer提取特征并拼接预测，在情感识别和情绪分析上分别取得66.36%和72.15%的准确率，优于单模态方法。
2025-03-09 cs.CV cs.SD eess.AS
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
Tackling the Cocktail Fork Problem for Separation and Transcription of Real-World Soundtracks
Indiana University（印第安纳大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Microsoft Corporation（微软公司）；Carnegie Mellon University（卡内基梅隆大学）
模仿人类解决鸡尾酒会问题的能力，即，在复杂的声学场景中聚焦感兴趣的声源，是声源分离研究的长期目标。这项研究的大部分是研究如何将语音与噪音、语音与语音、乐器与乐器、声音事件与声音事件分离。在本文中，我们专注于鸡尾酒叉问题，它采取了三管齐下的方法来分离音频混合，如电影配乐或播客到语音，音乐和音效（SFX -理解为包括环境噪声和自然声音事件）的三大类。我们对几种基于深度学习的源分离模型在此任务上的性能进行了基准测试，并根据简单的客观指标（如信号失真比（SDR））以及与人类感知更相关的客观指标对其进行了评估。此外，我们彻底评估源分离如何影响下游转录任务。首先，我们研究了三个源的活动检测任务，作为进一步改进源分离和执行转录的一种方式。我们将转录任务制定为针对语音的语音识别和针对音乐和SFX的音频标记。我们观察到，虽然使用的源分离估计提高转录性能相比，原声带，性能仍然是次优的，由于分离过程中引入的文物。因此，我们深入研究如何混音的三个分离的源干在各种相对水平可以减少文物，从而提高转录性能。我们发现，在17.5 dB的目标SNR的混音音乐和SFX干扰降低了语音识别字错误率，并观察到类似的影响，从混音标记音乐和SFX内容。
2022-12-14 cs.SD eess.AS
Direction-Aware Adaptive Online Neural Speech Enhancement with an Augmented Reality Headset in Real Noisy Conversational Environments
Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院信息处理与通信实验室）
本文描述了用于增强现实（AR）耳机的在线语音增强的实际响应和性能感知开发，该增强现实（AR）耳机帮助用户理解在真实嘈杂的回声环境中进行的对话（例如，鸡尾酒会）。可以使用称为快速多通道非负矩阵分解（FastMNMF）的最先进的盲源分离方法，由于其无监督性质，该方法在各种环境中工作良好。然而，其沉重的计算成本，阻止其应用到实时处理。相比之下，使用深度神经网络（DNN）来估计语音和噪声的空间信息的监督波束成形方法很容易适应实时处理，但在失配条件下会遭受严重的性能下降。鉴于这种互补的特点，我们提出了一种双进程鲁棒在线语音增强方法的基础上基于DNN的波束形成与FastMNMF指导的适应。FastMNMF（后端）以小批量方式执行，并且噪声和增强的语音对与原始并行训练数据一起使用，用于以计算允许的间隔用反向传播更新方向感知DNN（前端）。该方法与称为加权预测误差（WPE）的盲去混响方法一起使用，用于以流式方式转录说话者的有噪混响语音，该语音可以从视频中检测到或者通过用户的手势或眼睛注视来选择，并且利用AR技术在空间上示出转录。我们的实验表明，单词错误率提高了10个点以上的运行时适应使用只有12分钟的观察。
2022-07-15 cs.LG cs.SD eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London（伦敦帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种两阶段多通道语音增强算法，结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性，通过混合波束形成器和宽带子空间后置滤波器，在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
M2R2: Missing-Modality Robust emotion Recognition framework with iterative data augmentation
Xi’an Jiaotong University（西安交通大学）
本文研究了会话中情感识别（ERC）任务中具有不确定模式的话语级通道缺失问题。现有的模型一般都是根据说话人的当前话语和语境来预测说话人的情感，而这种预测能力由于模态缺失而大大降低。本文提出了一种缺失模态鲁棒情感识别框架（M2R2），该框架通过学习常用表示，利用迭代数据增强训练情感识别模型。首先，设计了一个名为聚会注意网络（PANet）的网络来分类情绪，它跟踪所有发言者的状态和上下文。在说话者与其他参与者之间建立注意力机制，以分散对多时间多方话语的依赖，而不是可能存在的不完整话语。针对模态缺失问题，定义了公共表示学习（CRL）问题。本文使用对抗策略改进的数据填补方法来构造额外的特征来增强数据。大量的实验和案例研究验证了我们的方法在两个不同数据集上的模态缺失情感识别基线的有效性。
2022-05-05 cs.AI cs.SD eess.AS
EasyCom: An Augmented Reality Dataset to Support Algorithms for Easy Communication in Noisy Environments
Facebook Reality Labs Research（Facebook现实实验室研究中心）；Facebook AI Applied Research（Facebook人工智能应用研究中心）
增强现实（AR）作为一个平台，有可能促进减少鸡尾酒会效应。未来的AR头显可能会利用来自许多不同形式的传感器阵列的信息。在波束形成和语音增强等任务中训练和测试信号处理和机器学习算法需要高质量的代表性数据。据作者所知，截至出版时，没有可用的数据集包含同步的以自我为中心的多通道音频和视频，以及嘈杂环境中的动态运动和对话。在这项工作中，我们描述，评估和发布了一个数据集，其中包含超过5个小时的多模态数据，可用于训练和测试算法，以改善AR眼镜佩戴者的对话。我们为基线方法提供语音清晰度，质量和信噪比改善结果，并显示所有测试指标的改善。我们发布的数据集包含AR眼镜自我中心的多通道麦克风阵列音频，宽视场RGB视频，语音源姿势，耳机麦克风音频，注释语音活动，语音传输，头部边界框，语音目标和源识别标签。我们已经创建并发布了这个数据集，以促进鸡尾酒会问题的多模态AR解决方案的研究。
2021-10-18 cs.CV cs.LG cs.SD
DialogueAgents: A Hybrid Agent-Based Speech Synthesis Framework for Multi-Party Dialogue
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（网络与交换技术国家重点实验室，北京邮电大学）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
提出DialogueAgents混合智能体框架，通过脚本编写、语音合成与对话评论协作生成对话，并构建高质量双语多方对话数据集MultiTalk，实验验证其有效性。
2025-04-20 cs.CL cs.SD
CoHear: Conversation Enhancement via Multi-Earphone Collaboration
The Chinese University of Hong Kong（香港中文大学）
CoHear通过多耳机协作提升对话质量，采用对话驱动网络协议和稳健的目标对话提取模型，实现高准确率和实时语音增强。
2025-12-03 cs.SD
Speaker and Direction Inferred Dual-channel Speech Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
大多数语音分离方法试图同时分离所有通道源，但对于输入声音的数量通常是不确定的甚至是动态的真实场景，仍然远远没有足够的通用化能力。在这项工作中，我们采用的想法，从听觉注意与两只耳朵，并提出了一个扬声器和方向推断语音分离网络（称为SDNet）来解决鸡尾酒会的问题。具体来说，我们的SDNet首先以顺序的方式从场景的混合物中解析出各自的感知表示及其扬声器和方向特征。然后，利用感知表示来注意每个对应的语音。我们的模型在空间特征的帮助下生成了更精确的感知表示，并成功地处理了未知源数量和输出选择的问题。在标准的完全重叠语音分离基准测试WSJ 0 - 2 mix、WSJ 0 - 3 mix和WSJ 0 -2&3mix上的实验表明了该方法的有效性，在无回声环境下，该方法的SDR性能分别提高了25.31 dB、17.26 dB和21.56 dB。我们的代码将在https://github.com/aispeech-lab/SDNet上发布。
2021-02-08 cs.SD eess.AS
An Analysis of Speech Enhancement and Recognition Losses in Limited Resources Multi-talker Single Channel Audio-Visual ASR
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；University of Padova（帕多瓦大学）
在本文中，我们分析了如何视听语音增强可以帮助执行的ASR任务在鸡尾酒会的情况下。因此，我们考虑了两个简单的端到端基于LSTM的模型，分别执行单通道视听语音增强和电话识别。然后，我们研究了这两个模型是如何相互作用的，以及如何对它们进行训练共同影响最终的结果。我们分析了不同的训练策略，揭示了一些有趣和意想不到的行为。实验表明，在ASR任务的优化过程中，该模型的语音增强能力显着下降，反之亦然。然而，这两个任务的联合优化显示了显着下降的电话错误率（PER）相比，视听基线模型训练只执行电话识别。我们通过使用两个有限大小的数据集分析了所提出的模型的行为，特别是我们使用了混合语音版本的GRID和TCD-TIMIT。
2019-11-27 cs.CL cs.SD eess.AS
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法，通过减少计算复杂性并保持性能，提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
On Neural Phone Recognition of Mixed-Source ECoG Signals
International Computer Science Institute（国际计算机科学研究所）；Ruhr-Universität Bochum（鲁尔大学波鸿分校）；Columbia University（哥伦比亚大学）；UC San Francisco（加州大学旧金山分校）；Apple Inc.（苹果公司）
近年来，利用皮层电图的神经语音识别（NSR）这一新兴领域吸引了人们对研究人脑在安静和嘈杂环境中如何识别语音的极大兴趣。在这项研究中，我们展示了NSR系统的实用性，客观地证明了人类参加一个单一的语音源，同时抑制干扰信号在模拟鸡尾酒会的情况下的能力。实验结果表明，NSR系统性能的相对下降时，在混合源的情况下进行测试是显着低于自动语音识别（ASR）。在本文中，我们已经大大提高了我们最近发布的框架的性能，使用手动对齐初始化，而不是平坦的开始技术。我们还通过考虑声学信号和神经信号之间可能的转录失配来改善NSR系统性能。
2019-12-12 cs.NE cs.SD eess.AS
Single-Channel Multi-Speaker Separation using Deep Clustering
MERL（三菱电机研究实验室）
深度聚类是最近引入的一种深度学习架构，它使用区分训练的嵌入作为聚类的基础。它最近被应用于声谱图分割，在说话人无关的多说话人分离方面取得了令人印象深刻的结果。在本文中，我们扩展了基线系统的端到端的信号近似的目标，大大提高了性能的一个具有挑战性的语音分离。我们首先通过结合更好的正则化、更大的时间上下文和更深的架构来显着改善基线系统性能，最终与两个扬声器分离的6.0 dB基线相比，信号失真比（SDR）整体改善了10.3 dB，三个扬声器分离的SDR改善了7.1 dB。然后，我们扩展模型，将增强层合并到信号估计中，并通过聚类和增强阶段进行端到端训练，以最大限度地提高信号保真度。我们使用自动语音识别评估结果。新的信号近似目标与端到端训练相结合，产生了前所未有的性能，将字出错率（WER）从89.1%降至30.8%。这是解决鸡尾酒会问题的一个重大进步。
2016-07-07 cs.LG cs.SD stat.ML
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能，他们建立在一个战略，以处理预定义的条件，限制其应用在复杂的听觉场景。针对鸡尾酒会问题，提出了一种新的视听语音分离模型。在我们的模型中，我们使用人脸检测器来检测场景中说话者的数量，并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力，未知的扬声器，我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法，并使用此功能来协助语音分离。此外，采用时域方法，避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能，我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验，我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
Unified Architecture and Unsupervised Speech Disentanglement for Speaker Embedding-Free Enrollment in Personalized Speech Enhancement
Shanghai Engineering Research Center of Intelligent Education and Bigdata, Shanghai Normal University（智能教育与大数据上海工程研究中心，上海师范大学）；SHNU-Unisound Natural Human-Computer Interaction Lab, Shanghai Normal University（上海师范大学Unisound人机交互实验室）；Unisound AI Technology Co., Ltd.（Unisound人工智能技术有限公司）
研究针对传统语音增强与个性化语音增强任务面临的挑战，提出USEF-PNet和DSEF-PNet新模型，前者统一架构提升性能简化部署，后者用无监督语音解缠提高鲁棒性，还探索注册配对策略，实验表明新模型性能显著提升。
2026-07-14 cs.SD eess.AS
End-to-End Monaural Multi-speaker ASR System without Pretraining
Johns Hopkins University（约翰斯·霍普金斯大学）
近年来，端到端模型已成为自动语音识别（ASR）中传统混合模型的一种替代方法。多说话人语音分离与识别是鸡尾酒会问题的核心任务。在本文中，我们提出了一个国家的最先进的单耳多说话人端到端的自动语音识别模型。与以往单耳多说话人语音识别的研究相比，该端到端框架完全从头开始训练识别多个标签序列。该系统只需要语音混合和相应的标签序列，而不需要从非混合语音或相应的标签/对齐获得任何不确定的监督。此外，我们利用每个单独的扬声器和定时采样的个人注意力模块，以进一步提高性能。最后，我们评估所提出的模型上的2扬声器混合语音从WSJ语料库和wsj 0 - 2 mix数据集，这是一个语音分离和识别的基准。实验结果表明，该方法可以提高端到端模型在分离重叠语音和识别分离流方面的性能。从结果来看，所提出的模型导致约10.0%的相对性能增益CER和WER分别。
2018-11-05 cs.CL cs.SD eess.AS
Towards Robust Real-time Audio-Visual Speech Enhancement
Edinburgh Napier University（爱丁堡龙比亚大学）
人类大脑根据上下文利用异质的感觉信息来有效地执行包括视觉和听觉在内的认知任务。例如，在鸡尾酒会的情况下，人类的听觉皮层上下文整合视听（AV）线索，以便更好地感知语音。最近的研究表明，AV语音增强（SE）模型可以显着提高语音质量和清晰度在非常低的信噪比（SNR）的环境相比，只有音频SE模型。然而，尽管在AV SE领域进行了大量研究，但开发具有低延迟的实时的处理模型仍然是一项艰巨的技术挑战。在本文中，我们提出了一个新的框架，低延迟扬声器独立的AV SE，可以概括一系列的视觉和声学噪声。特别是，生成对抗网络（GAN）提出了解决AV SE中的视觉缺陷的实际问题。此外，我们提出了一种基于深度神经网络的实时的AV SE模型，该模型考虑了来自GAN的清洁视觉语音输出，以提供更鲁棒的SE。建议的框架进行评估合成和真正的嘈杂AV语料库使用客观的语音质量和清晰度指标和主观上市测试。比较仿真结果表明，我们的实时的AV SE框架优于最先进的SE方法，包括最近基于DNN的SE模型。
2021-12-16 cs.CV cs.LG cs.SD
Speech Separation Based on Multi-Stage Elaborated Dual-Path Deep BiLSTM with Auxiliary Identity Loss
Fujitsu Research and Development Center（富士通研发中心）；Harbin Institute of Technology（哈尔滨工业大学）
具有双路径双向长短期记忆（BiLSTM）块的深度神经网络已被证明在序列建模中非常有效，特别是在语音分离中。这项工作研究了如何扩展双路径BiLSTM，以产生一种新的最先进的方法，称为TasTas，用于多说话者单声道语音分离（也称为鸡尾酒会问题）。TasTas介绍了两个简单但有效的改进，一个是迭代的多级细化方案，另一个是通过分离语音和原始语音之间的说话人身份一致性损失来校正具有不完美分离的语音，以提高基于双路径BiLSTM的网络的性能。TasTas将两个说话者的混合话语映射为两个单独的话语，其中每个话语仅包含一个说话者的声音。在WSJ 0 - 2 mix数据集上的实验结果表明，该网络在说话人分离方面有较大的性能提升，SDR提高了20.55dB，SI-SDR提高了20.35dB，PESQ提高了3.69，ESTOI提高了94.86%.我们在这里开源了我们对DPRNN-TasNet的重新实现（https：//github.com/Shiziqiang/dual-path-RNNs-DPRNNs-based-speech-separation），我们的TasTas是基于DPRNN-TasNet的这个实现的，相信本文的结果可以很容易地复制。
2020-08-06 cs.SD eess.AS
TFGA-Net: Temporal-Frequency Graph Attention Network for Brain-Controlled Speaker Extraction
College of Electronic；Optical Engineering \& College of Flexible Electronics (Future Technology), Nanjing University of Posts
提出TFGA-Net模型，利用EEG信号通过多尺度时频特征、图卷积和自注意力机制提取目标语音，在公共数据集上优于现有方法。
2025-10-14 cs.AI cs.SD
X-CrossNet: A complex spectral mapping approach to target speaker extraction with cross attention speaker embedding fusion
AI Innovation Center FRI of the Ministry of Public Security of PRC（中华人民共和国公安部第一研究所AI创新中心）
本文提出X-CrossNet目标说话人提取模型，以抗噪抗混响的CrossNet为骨干，并在全局多头自注意力模块中引入交叉注意力机制融合目标说话人特征，在WSJ0-2mix和WHAMR!数据集上取得优越分离性能。
2024-11-25 cs.MM cs.SD eess.AS
Advances in Speech Separation: Techniques, Challenges, and Future Trends
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）；School of Computer Technology and Application, Qinghai University（计算机技术与应用学院，青海大学）；ByteDance（字节跳动）；Nanjing University（南京大学）；Southern University of Science and Technology（南方科技大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
本文系统综述了基于深度神经网络的语音分离技术，从学习范式、架构组件、评估基准等角度梳理现状，并提出领域鲁棒、高效架构、多模态融合和新型自监督等未来方向。
2025-08-14 cs.SD eess.AS
Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions
The Chinese University of Hong Kong（香港中文大学）
本研究提出MT-LLM系统，利用WavLM和Whisper编码器提取语音表示，并通过LoRA微调LLM，使其能根据多样化指令在多说话人环境中进行语音转录，在鸡尾酒会场景中表现优异。
2025-04-02 cs.AI cs.CL cs.SD
Speech Separation with Pretrained Frontend to Minimize Domain Mismatch
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Shenzhen Research Institute of Big Data, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
本文提出自监督域不变预训练前端，通过孪生网络捕获混合数据共享线索，减少合成与真实数据域差距，提升语音分离质量。
2024-11-05 cs.LG cs.MM cs.SD
