AudioLens: Multi-Perspective Speech Clustering with Reasoning Audio-Language Models
University of California, Irvine(加利福尼亚大学欧文分校);Dartmouth College(达特茅斯学院);Purdue University Northwest(普渡大学西北分校)
该研究提出音频多视角聚类任务,构建基准AudioLens-Bench,开发经推理蒸馏和偏好优化训练的AudioLens-R1模型,实验显示其在语音聚类任务中性能优于基线模型。
2026-08-27 cs.AI cs.SD
Cluster-based pruning techniques for audio data
Logitech Europe S.A.(罗技欧洲公司)
本文首次将k-means聚类引入音频数据剪枝,以关键词识别数据集为例,证明其能在保持不同神经网络分类性能的同时显著缩减数据规模,并探讨了规模分析对确定最优剪枝策略的作用。
2023-09-21 cs.SD eess.AS
Enhancements for Audio-only Diarization Systems
Microsoft(微软)
在本文中,两种不同的方法来提高性能的最具挑战性的组成部分的发言人日记系统,即说话人聚类部分。提出了一种结合非线性滤波的时间平滑处理来增强输入特征的处理步骤。我们还提出了对深度嵌入式聚类(DEC)算法的改进-一种非线性特征变换。这些增强的性能与不同的聚类算法,如UISRNN,k-Means,谱聚类和x-Means进行了比较。评估针对三个不同的任务进行,即AMI、DIHARD和内部会议转录任务。所提出的方法假设已知数量的扬声器和音频文件的时间分割。因为,我们只关注这项工作的日志化的聚类组件,所以假设提供的分割是完美的。最后,我们提出了如何监督,在给定的扬声器配置文件的形式,可以进一步提高整体的日记性能。当说话人数目已知时,所提出的改进在所有3个任务中产生了实质性的相对改善,在AMI中比最佳日记系统好20%,在DIHARD任务中比最佳日记系统好19%。
2019-08-30 cs.SD eess.AS
Multimodal Clustering with Role Induced Constraints for Speaker Diarization
University of Southern California(南加州大学)
说话人聚类是传统说话人日志化系统中的一个重要步骤,通常被视为纯音频语音处理任务。然而,参与者在对话中使用的语言携带了可以帮助提高聚类性能的附加信息。这在会话互动中尤其如此,例如商务会议,面试和讲座,其中对话者(经理,客户,教师等)承担的特定角色。通常与可区分的语言模式有关。在本文中,我们建议采用一个监督的基于文本的模型来提取扬声器的角色,然后使用这些信息来指导基于音频的谱聚类步骤,通过施加必须链接和不能链接段之间的约束。所提出的方法被应用在两个不同的领域,即医疗互动和播客节目,并产生改进的结果相比,只有音频的方法。
2022-07-11 cs.SD eess.AS
Toeplitz Inverse Covariance based Robust Speaker Clustering for Naturalistic Audio Streams
University of Texas at Dallas(德克萨斯大学达拉斯分校)
发言人日记确定谁发言和何时发言?在音频流中。在这项研究中,我们提出了一个基于模型的方法,强大的说话人聚类使用i向量。从同一说话人的不同分段中提取的向量是相关的。我们用马尔可夫随机场(MRF)网络对这种相关性进行建模。利用MRF建模的进步,我们使用Toeplitz逆协方差(TIC)矩阵来表示每个扬声器的MRF相关网络。该方法捕获属于音频流中的相同扬声器的i向量(或等效扬声器转向)的顺序结构。采用标准期望最大化(EM)算法的一种变体,使用动态规划(DP)和交替方向乘子法(ADMM)推导出封闭形式的解。我们的日志化系统有四个步骤:(1)地面实况分割;(2)i向量提取;(3)后处理(均值减法,主成分分析和长度归一化);和(4)提出的扬声器聚类。我们采用余弦K-means和movMF扬声器聚类作为基线方法。我们的评估数据来自:(i)CRSS-PLTL语料库,和(ii)AMI语料库的两个会议子集。与基线相比,使用所提出的改进,CRSS-PLTL语料库的日志化出错率(DER)相对降低了43.22%。对于AMI会议IS 1000 a和IS 1003 b,相对DER降低分别为29.37%和9.21%。
2019-07-12 cs.LG cs.SD eess.AS
A Fast Audio Clustering Using Vector Quantization and Second Order Statistics
本文描述了一种有效的无监督说话人索引方法。我们提出了一个两阶段的算法,以加快国家的最先进的算法的基础上贝叶斯信息准则(BIC)。在合并过程的第一阶段,使用基于矢量量化(VQ)的计算成本低的方法。然后,在第二阶段中,应用基于BIC的计算更昂贵的技术。在说话人索引任务中,使用转向参数或阈值。我们建议一个在线程序来定义的车削参数的值,而不使用开发数据。使用10小时的音频数据评估结果。
2010-09-23 cs.LG cs.SD
Model selection for deep audio source separation via clustering analysis
Northwestern University(西北大学)
音频源分离是将混合(例如流行乐队录音)分离为来自各个源(例如仅主唱)的孤立声音的过程。深度学习模型是源分离领域的最新技术,因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练,以便为给定的音频混合选择正确的模型。在这项工作中,我们自动选择适当的模型的音频混合。我们提出了一种置信度度量,该度量不需要地面实况来估计分离质量,给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法,使用单独的模型没有选择,一个神谕,总是选择最好的模型和随机模型选择器。结果表明,我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
Acoustic Scene Clustering Using Joint Optimization of Deep Embedding Learning and Clustering Iteration
针对新兴的声学场景聚类问题,提出一种联合优化深度CNN嵌入学习与AHC聚类迭代的方法,通过统一损失函数整合优化,实验显示其在归一化互信息和聚类准确率上优于现有无监督方法及主流特征。
2023-06-09 cs.SD eess.AS
Spoof Diarization: "What Spoofed When" in Partially Spoofed Audio
National Institute of Informatics(信息学研究所);SOKENDAI(高级研究大学机构);National Institute of Information and Communications Technology(信息通信技术研究所);Brno University of Technology(布尔诺理工大学);EURECOM(欧洲通信与网络研究中心)
本文提出部分欺骗音频中的欺骗日志新任务,定义评估指标并给出3C基准模型,结合三种标注方案与欺骗定位预测揭示了该任务的高复杂性。
2024-06-12 cs.CL cs.SD eess.AS
AuditoryHuM: Auditory Scene Label Generation and Clustering using Human-MLLM Collaboration
Australian Hearing Hub, Macquarie University, Sydney, Australia(澳大利亚听力中心、麦觉里大学、悉尼、澳大利亚);Google Research Australia, Sydney, Australia(谷歌澳大利亚研究、悉尼、澳大利亚)
AuditoryHuM通过人机协同方法实现听觉场景标签的自动生成与聚类,提供了一种高效且低成本的标准化分类解决方案,适用于边缘设备部署。
2026-10-06 cs.SD
SLICER: Learning universal audio representations using low-resource self-supervised pre-training
University of Maryland, College Park(马里兰大学帕克分校);IIT Madras(印度理工学院马德拉斯分校)
本文提出SLICER自监督学习方法,结合聚类与对比学习,在低资源无标签音频预训练中学习通用音频表征,并在LAPE基准上超越预训练数据量10倍的先前方法。
2023-05-18 cs.AI cs.CL cs.SD
Analysis of Deep Clustering as Preprocessing for Automatic Speech Recognition of Sparsely Overlapping Speech
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
当音频信号包含串扰时,自动语音识别(ASR)系统的性能显著下降。最近提出的解决多说话者ASR问题的方法之一是深度聚类(DPCL)方法。将DPCL与最先进的混合声学模型相结合,我们在常用的wsj 0 - 2 mix数据集上获得了16.5%的单词出错率(WER),这是迄今为止据我们所知的最佳性能。wsj 0 - 2 mix数据集包含模拟的串扰,其中多个说话者的语音几乎在整个话语中重叠。在更现实的ASR场景中,音频信号包含单说话者语音的显著部分,并且仅信号的一部分包含多个竞争说话者的语音。本文研究了在这种情况下,稀疏重叠的语音应用DPCL作为预处理方法的ASR的障碍。为此,我们提出了一种数据模拟方法,密切相关的wsj 0 - 2 mix数据集,生成稀疏重叠的语音数据集的任意重叠率。将DPCL应用于稀疏重叠语音的分析是完全重叠数据集(如wsj 0 - 2 mix)和更真实的ASR数据集(如CHiME-5或AMI)之间的重要中间步骤。
2019-09-25 cs.CL cs.SD eess.AS
Disambiguating Music Artists at Scale with Audio Metric Learning
Deezer(迪泽)
我们解决的问题,通过定义一个未知的艺术家聚类任务的大规模目录消歧。我们探索使用度量学习技术直接从音频中学习艺术家嵌入,并使用专用的同音艺术家数据集,将我们的方法与最近使用艺术家分类器学习类似嵌入的方法进行比较。虽然这两个系统都有能力消除歧义的未知艺术家完全依赖于音频,我们表明,我们的系统是更合适的情况下,当足够的音频数据可用于每个艺术家的训练数据集。我们还提出了一种新的负采样方法的度量学习,利用边信息,如音乐流派在学习阶段,并显示出有前途的结果,艺术家聚类任务。
2018-10-03 cs.AI cs.IR cs.LG
Audio Source Separation Using a Deep Autoencoder
Kyungpook National University(庆北国立大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出了一种新的框架,无监督的音频声源分离使用深度自动编码器。混合输入中混合的未知源信号的特征由适当配置的自编码器自动实现,该自编码器由具有许多层的网络实现,并且通过在代码层中聚类系数向量来分离。通过研究到最终目标(表示层)的权重向量,观察频域中的音频信号的原始分量。通过对码层中的激活系数进行聚类,分离出先前未知的源信号。然后,通过使用属于不同簇的码向量来分离和重构原始源声音。恢复的声音是不完美的,但产生有希望的结果的可能性,在许多实际应用的成功。
2014-12-22 cs.LG cs.NE cs.SD
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);KU Leuven(鲁汶大学)
提出wav2tok 2.0,通过分阶段训练(对比学习、向量量化、CTC对齐损失和DTW对齐帧预测)实现可扩展的语音分词,在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
A Toolchain for Comprehensive Audio/Video Analysis Using Deep Learning Based Multimodal Approach (A use case of riot or violent context detection)
Austrian Institute of Technology(奥地利技术研究院);HCM University of Technology(胡志明市理工大学);FPT University(FPT大学)
本文提出一个基于深度学习的多模态音视频分析工具链,集成语音转文本、声学场景分类、声学事件检测、视觉目标检测、图像描述和视频描述等任务,支持音视频聚类、综合摘要及骚乱或暴力场景检测等应用。
2024-05-02 cs.AI cs.SD eess.AS
UT-AISTimprt submission for ICME 2026 Grand Challenge on Academic Text-to-Music Generation
UT-AIST
本研究针对低数据和小模型设置下的文本到音乐生成,提出基于文本或音频嵌入的聚类批量采样策略,分析模态和聚类粒度的影响,发现文本嵌入聚类在客观指标上更优,中等聚类数在客观指标最佳而大聚类数在听觉测试中结构更连贯。
2026-07-03 cs.SD
Self-supervised Context-aware Style Representation for Expressive Speech Synthesis
Microsoft(微软)
表达性语音合成与有声读物合成一样,对于风格表示学习和预测仍然具有挑战性。从参考音频中推导或从文本中预测风格标签需要大量的标记数据,这些数据获取成本高,并且难以准确定义和注释。在本文中,我们提出了一个新的框架,学习风格表示丰富的纯文本中的自我监督的方式。它利用情感词典并使用对比学习和深度聚类。我们进一步集成的风格表示作为一个条件嵌入多风格的Transformer TTS。与通过预测在相同数据集上训练但具有人类注释的风格标签的多风格TTS相比,我们的方法根据对有声读物语音中的域内和域外测试集的主观评价来实现改进的结果。此外,通过隐式上下文感知风格表示,合成音频在长段落中的情感过渡显得更自然。音频示例可在演示网站上获得。
2022-06-25 cs.AI cs.CL cs.SD
Self-Supervised Metric Learning With Graph Clustering For Speaker Diarization
Indian Institute of Science(印度科学学院)
在本文中,我们提出了一种新的算法,说话人日记使用基于图的聚类度量学习。图聚类算法使用由相似性分数组成的邻接矩阵。这些分数是在从给定记录内的音频片段对中提取的扬声器嵌入之间计算的。在本文中,我们提出了一种方法,共同学习的发言人嵌入和相似性度量的原则,自监督学习。度量学习网络实现了概率线性判别分析(PLDA)的神经模型。自我监督是从先前的聚类迭代中获得的伪标签中得到的。表示学习和度量学习的整个模型都是用二进制交叉熵损失来训练的。通过将基于自监督的度量学习与基于图的聚类算法相结合,我们在AMI和DIHARD数据集上分别实现了60%和7%的相对改进。
2021-09-14 cs.SD eess.AS
Time-Domain Based Embeddings for Spoofed Audio Representation
Tel Aviv University (TAU)(特拉维夫大学(TAU));Afeka Tel Aviv Academic College of Engineering(阿菲卡特拉维夫工程学术学院);Avignon University(阿维尼翁大学)
反欺骗是语音认证的任务。也就是说,与欺骗性语音相比,识别真正的人类语音。本文的主要重点是提出新的表示为真正的和假冒的语音,基于概率质量函数(PMF)估计的音频波形的幅度。本文介绍了一种新的语音音频信号特征提取方法:与传统方法不同,我们的方法是基于直接处理的时域音频样本。PMF是利用设计一个基于不同的PMF距离和相似性措施的特征提取器。作为附加步骤,我们使用了滤波器组预处理,这显著影响了特征的区分特性,并有助于方便地可视化欺骗攻击的可能聚类。此外,我们使用扩散映射来揭示数据所在的底层流形。建议的嵌入允许使用简单的线性分隔符来实现良好的性能。此外,我们提出了一种方便的方法来可视化的数据,这有助于评估不同的欺骗技术的效率。实验结果表明,使用多通道PMF为基础的功能的反欺骗任务的潜力,除了使用扩散图作为分析工具和嵌入工具的好处。
2022-10-27 cs.SD eess.AS
End-to-End Diarization utilizing Attractor Deep Clustering
Human Language Technology Center of Excellence(人类语言技术卓越中心)
针对说话人分离的表征、建模与鲁棒性挑战,提出整合conformer解码器、transformer更新吸引子与角度损失的紧凑型端到端框架,通过正交约束等优化,在控制参数量的同时取得了低分离错误率的效果。
2025-06-05 cs.SD eess.AS
Improved multiple birdsong tracking with distribution derivative method and Markov renewal process clustering
Queen Mary University of London(伦敦玛丽女王大学);Universitat Pompeu Fabra(庞培法布拉大学)
分离包含多个同时的鸟声的音频混合是一项具有挑战性的任务。然而,鸟鸣通常包含快速的音调调制,这些调制携带的信息可能在自动识别中有用。在本文中,我们证明了一种改进的频谱表示,基于分布导数方法,导致隔离算法,使用马尔可夫更新过程模型来跟踪发声模式组成的歌唱和沉默的性能提高。
2013-02-15 cs.SD
Emotional Styles Hide in Deep Speaker Embeddings: Disentangle Deep Speaker Embeddings for Speaker Clustering
Computer Engineering Florida International University Miami, USA(计算机工程,佛罗里达国际大学,迈阿密,美国);Knight Foundation School of Computing(骑士基金会计算科学学院);Information Sciences Florida International University Miami, USA(信息科学,佛罗里达国际大学,迈阿密,美国)
针对情感表达损害深度说话人嵌入及聚类性能的问题,提出DTG-VAE,在VAE框架中解耦情感因素,提取更鲁棒的说话人嵌入并显著提升聚类效果。
2025-09-27 cs.SD eess.AS
Self-supervised Representation Learning With Path Integral Clustering For Speaker Diarization
Indian Institute of Science(印度科学学院)
自动说话人日记化技术通常涉及两阶段处理方法,其中在第一阶段中将固定持续时间的音频段转换为向量表示。然后在第二阶段对表示进行无监督聚类。在大多数现有方法中,这两个阶段以具有独立优化步骤的隔离方式执行。在本文中,我们提出了一种表示学习和聚类算法,可以迭代执行改进的扬声器日记。表示学习是基于自监督学习的原则,而聚类算法是一种基于路径积分聚类(PIC)的图结构方法。表示学习步骤使用来自PIC的聚类目标,聚类步骤对从自监督深度模型学习的嵌入执行。这种迭代方法被称为自监督聚类(SSC)。在CALLHOME和AMI会议数据集上进行了日志化实验。在这些实验中,我们表明SSC算法在基线系统上有显著改进(在日志化错误率(DER)方面,CALLHOME和AMI数据集分别相对改进了13%和59%)。此外,在这项工作中报告的DER结果改善了其他几个最近的方法发言人日记。
2021-04-19 cs.SD eess.AS
Supervised Hierarchical Clustering using Graph Neural Networks for Speaker Diarization
Indian Institute of Science(印度科学学院)
用于说话人日记化的常规方法涉及将音频文件窗口化为短片段以提取说话人嵌入,随后是嵌入的无监督聚类。这种多步骤方法为每个片段生成扬声器分配。在本文中,我们提出了一种新的监督层次gRaph聚类算法(SHARC)的说话人日记,我们引入了一个层次结构,使用图神经网络(GNN)进行监督聚类。监督允许模型更新表示,并直接提高聚类性能,从而实现一个单步方法的日志。在所提出的工作中,输入段嵌入被视为一个图的节点,与节点之间的相似性得分对应的边的权重。我们还提出了一种方法来联合更新嵌入提取器和GNN模型,以执行端到端的扬声器日记(E2 E-SHARC)。在推理过程中,使用节点密度和边缘存在概率进行分层聚类,以合并段直到收敛。在日志化实验中,我们说明了所提出的E2 E-SHARC方法在AMI和Voxconverse等基准数据集上分别比基线系统实现了53%和44%的相对改进。
2023-02-24 cs.LG cs.SD eess.AS
Conv-codes: Audio Hashing For Bird Species Classification
IIT Mandi(曼迪印度理工学院);University of Oxford(牛津大学);Idiap Research Institute(伊迪亚普研究所)
在这项工作中,我们提出了一个监督,凸表示为基础的音频哈希框架鸟类物种分类。该框架利用原型分析,矩阵分解技术,获得凸稀疏表示的鸟发声。使用具有非密码散列函数的布隆过滤器对这些凸表示进行散列,以获得紧凑的二进制码,指定为conv码。从训练样本中提取的conv码使用类特定的k-中心聚类与Jaccard系数作为相似性度量进行聚类。使用聚类中心作为键填充哈希表,而哈希值/槽是指向物种标识信息的指针。在测试过程中,搜索哈希表以找到与测试卷积码具有最大相似性的聚类中心对应的物种信息。因此,所提出的框架分类的conv代码空间中的鸟发声,不需要明确的分类器或重建误差计算。除此之外,基于min-hash和直接寻址,我们还提出了一个框架的变体,可以提供更快,更有效的分类。这两个框架的性能进行了比较与现有的鸟类物种分类框架的音频记录的50种不同的鸟类。
2019-02-07 cs.LG cs.SD eess.AS
Bag-of-Audio-Words based on Autoencoder Codebook for Continuous Emotion Prediction
École de Technologie Supérieure (ÉTS)(高等技术学院);Université du Québec(魁北克大学)
在本文中,我们提出了一种新的方法来提取一袋的字(BoW)表示的神经网络码本的基础上。传统的BoW模型是基于一个字典(码本),从随机选择的基本表示,或通过使用聚类算法的训练数据集建立。然后使用度量将看不见的基本表示分配给最接近的字典条目,以产生直方图。在所提出的方法中,自动编码器(AE)包括字典创建和分配度量的作用。AE的编码层的维度对应于字典的大小,并且其神经元的输出表示分配度量。AVEC 2017音频数据集上的连续情感预测任务的实验结果表明,相对于基线系统中实现的传统BoW版本,唤醒维度的一致性相关系数(CCC)从0.225提高到0.322,效价维度从0.244提高到0.368。
2019-07-06 cs.LG cs.SD eess.AS
Unsupervised Incremental Learning and Prediction of Music Signals
University of Sheffield(谢菲尔德大学);Aalborg Universitet København(奥尔堡大学哥本哈根校区);Universitat Pompeu Fabra(庞培法布拉大学);Berlin Institute of Technology(柏林工业大学)
提出了一种系统,其以无监督的方式对音乐音频进行分段、聚类和预测,从而针对音频输入瞬时地调整(音色)聚类的数量。序列学习算法使其结构适应动态变化的聚类树。系统流程如下:1)通过起始点检测进行分段,2)通过Mel频率倒谱系数表示每个分段的音色,3)通过增量聚类进行离散化,产生不同声音类别的树(例如,乐器),其可以在由瞬时声音事件驱动的飞行中增长或收缩,导致离散符号序列,4)使用分层N-gram和新引入的概念Boltzmann机来提取符号序列的统计特征,以及5)预测序列中的下一个声音事件。该系统的鲁棒性进行评估相对于信号的复杂性和噪声。孤立的聚类产生一个调整后的兰德指数(ARI)为82.7% / 85.7%的数据集的歌声和鼓。发作检测与聚类联合实现了81.3% / 76.3%的ARI,整个系统的预测产生了27.2% /39.2%的ARI。
2015-10-23 cs.IR cs.LG cs.SD
Speech Pre-training with Acoustic Piece
Microsoft Research Asia(微软亚洲研究院)
之前的语音预训练方法,例如wav2vec2.0和HuBERT,预训练Transformer编码器以从音频数据学习深度表示,目标是预测来自潜在向量量化空间的元素或使用离线聚类的预生成标签(称为目标代码)。然而,这些训练信号(量化元素或代码)在不同的令牌之间是独立的,而不考虑它们的关系。根据我们的观察和分析,目标代码与语音化文本数据有明显的模式。在此基础上,我们建议利用这些模式来更好地预训练模型,考虑代码之间的关系。我们提取的模式,称为“声学片段”,是从HuBERT码的句子片段结果中提取的。利用声学片段作为训练信号,我们可以隐式地桥接输入音频和自然语言,这有利于音频到文本任务,例如自动语音识别(ASR)。简单但有效,我们的方法“HuBERT-AP”在LibriSpeech ASR任务上的表现明显优于强基线。
2022-04-07 cs.SD eess.AS
Low-Latency Deep Clustering For Speech Separation
Tampere University of Technology(坦佩雷理工大学)
本文提出了一种低算法延迟适应的深度聚类方法,以非特定人语音分离。它包括三个部分:a)使用长短期记忆(LSTM)网络,而不是原始工作中使用的双向变体,b)使用低延迟操作所需的短合成窗口(此处为8 ms),以及c)在音频混合的开始使用缓冲器来估计与组成扬声器对应的聚类中心,然后利用该聚类中心来分离信号其余部分中的扬声器。缓冲持续时间将用作初始化阶段,在该初始化阶段之后,系统能够以8ms的算法延迟操作。我们评估我们提出的方法对两个扬声器的混合物从华尔街日报(WSJ0)语料库。我们观察到,与基线双向LSTM相比,LSTM的使用在源失真比(SDR)方面降低了约1dB的SDR。此外,与基线相比,使用8ms合成窗口而不是32ms使分离性能降低约2.1dB。最后,我们还报告了不同缓冲持续时间的分离性能,指出即使缓冲持续时间低至300 ms,也可以实现分离。
2019-02-19 cs.SD eess.AS
Deep Tensor Factorization for Spatially-Aware Scene Decomposition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究中心)
我们提出了一种完全无监督的方法来理解随机麦克风布置观察到的音频场景,通过将场景分解为其组成源及其在每个麦克风中的相对存在。为此,我们制定了一个神经网络架构,可以被解释为一个非负张量分解的多通道音频记录。通过对与通道内容相对应的学习网络参数进行聚类,我们可以学习源的各个频谱字典及其随时间的激活模式。我们的方法允许我们利用深度学习的进步,如端到端训练,同时还允许随机小批量训练,以便我们可以可行地分解难以使用标准方法分解的真实音频场景。这种神经网络架构很容易扩展到其他种类的张量因子分解。
2019-09-26 cs.LG cs.SD eess.AS
S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models
S-SONDO通过仅利用输出嵌入进行知识蒸馏,实现对通用音频模型的高效压缩,保留96%性能,适用于嵌入式教师模型。
2026-04-27 cs.AI cs.SD
Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Columbia University(哥伦比亚大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
深度聚类是处理具有相同类型的多个源和任意数量的源的一般音频分离场景的第一种方法,在与说话者无关的语音分离任务中表现出色。然而,很少有人知道它在其他具有挑战性的情况下,如音乐源分离的有效性。与直接估计源信号的传统网络相反,深度聚类为每个时频bin生成嵌入,并通过对嵌入空间中的bin进行聚类来分离源。我们发现,在匹配和不匹配的条件下,深度聚类在歌声分离任务上的表现优于传统网络,尽管传统网络具有端到端训练的优势,可以获得最佳信号近似,这可能是因为其更灵活的目标可以产生更好的正则化。由于深度聚类和传统网络架构的优势似乎是互补的,因此我们探索将它们结合在一个通过类似于多任务学习的方法训练的混合网络中。值得注意的是,该组合的表现明显优于其任何一个组成部分。
2017-06-15 cs.LG cs.SD stat.ML
Zero-Shot Federated Learning with New Classes for Audio Classification
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器);Ericsson Research(爱立信研究院)
联邦学习是一种从不同用户设备中提取见解同时保护用户隐私的有效方法。然而,具有完全不可见的数据分布的新类可以在联邦学习设置中的任何设备上流式传输,其数据不能被全局服务器或其他用户访问。为此,我们提出了一个统一的zero-shot框架来处理联邦学习过程中的这些挑战。我们在这里模拟了两种情况- 1)当用户没有报告新的类别标签时,使用传统的FL设置; 2)当用户报告新的类别标签时,我们通过计算与每个设备的新类别对应的类别相似性矩阵来合成Ancesterized Data Imperial,然后进行无监督聚类以区分不同用户的新类别。此外,我们提出的框架还可以处理参与用户的标签和模型中的统计异质性。我们在两个广泛使用的音频分类应用程序(关键字识别和城市声音分类)上,通过本地和全局更新中的新类别以及异构标签和模型,在不同的通信回合(FL迭代)中对我们的设备上框架进行了经验评估,并观察到平均确定性准确度分别增加了~4.041%和~4.258%。
2021-06-18 cs.LG cs.SD eess.AS
PairAlign: A Framework for Autoregressive Tokenization via Self-Alignment with Applications to Audio Tokenization
Department of Electrical Engineering, Indian Institute of Technology, Kanpur(电子工程系,印度理工学院,坎浦尔)
PairAlign通过序列级自对齐实现紧凑音频标记化,利用条件序列生成方法,提升标记一致性、长度控制和编辑相似性。
2026-09-01 cs.CL cs.LG cs.SD
Dirichlet process mixture model based on topologically augmented signal representation for clustering infant vocalizations
UJM(圣艾蒂安大学);CNRS(法国国家科学研究中心);Inserm(法国国家健康与医学研究院);Aix Marseille Univ(艾克斯-马赛大学)
本文提出一种基于拓扑增强信号表示和Dirichlet过程混合模型的婴儿发声聚类方法,在出生后前12个月的录音数据中识别出8个发声聚类,并分析了其时间分布与声学特征。
2024-07-08 cs.SD eess.AS stat.AP
End-to-End Supervised Hierarchical Graph Clustering for Speaker Diarization
Indian Institute of Science(印度科学学院)
针对多阶段说话人日志优化割裂、端到端系统训练成本高的问题,提出E-SHARC,用GNN联合优化嵌入提取与层次聚类,并可结合重叠检测器,在多个基准上取得有竞争力的结果。
2024-12-02 cs.AI cs.SD eess.AS
Low-Latency Online Speaker Diarization with Graph-Based Label Generation
Duke University(杜克大学);Lenovo Research(联想研究院);Duke Kunshan University(昆山杜克大学)
本文介绍了一个在线的说话人日志系统,可以处理长时间的音频,低延迟。我们使凝聚层次聚类(AHC)的工作在一个在线的方式,通过引入一个标签匹配算法。该算法解决了输出标签和每轮生成的隐藏标签之间的不一致性。为了确保在线设置中的低延迟,我们引入了AHC的变体,即chkpt-AHC,以聚类扬声器。此外,我们提出了一个说话人嵌入图,利用基于图的重新聚类方法,进一步提高性能。在实验中,我们在DIHARD 3和VoxConverse数据集上评估了我们的系统。实验结果表明,我们提出的在线系统有更好的性能比我们的基线在线系统,并有相当的性能,我们的离线系统。我们发现,结合chkpt-AHC方法和标签匹配算法的框架在在线设置中工作得很好。此外,chkpt-AHC方法大大减少了时间开销,而基于图的重新聚类方法有助于提高性能。
2022-06-24 cs.SD eess.AS
Deep Spectro-temporal Artifacts for Detecting Synthesized Speech
Tianjin University(天津大学);National Institute of Informatics(国立情报学研究所);Taiyuan University of Technology(太原理工大学);Japan Advanced Institute of Science and Technology(北陆先端科学技术大学院大学)
音频深度合成检测(ADD)挑战赛旨在检测生成的类人语音。通过我们提交的系统,本文提供了轨道1(低质量假音频检测)和轨道2(部分假音频检测)的总体评估。本文利用原始时域信号、频谱特征和深度嵌入特征检测谱时伪影。为了解决轨道1,低质量的数据增强,领域自适应通过微调,和各种互补的特征信息融合聚合在我们的系统。此外,我们分析了不同特征的子系统的聚类特性,通过可视化的方法,解释了我们提出的贪婪融合策略的有效性。对于音轨2,使用自监督学习结构来检测帧转换和平滑,以在时域中捕获PF攻击的操纵。我们分别在第一和第二轨道中排名第四和第五。
2022-10-11 cs.AI cs.SD eess.AS
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics(三星电子Innoetics);University of West Attica(西阿提卡大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程,用于离散化音素级F0和持续时间的功能,从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块,该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率,例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器,同时保持扬声器的身份。而不是依赖于参考话语的推理,我们引入了一个事先韵律编码器,学习每个扬声器的风格,使语音合成,而不需要参考音频。我们还微调的多说话人模型,以看不见的扬声器与有限的数据量,作为一个现实的应用场景,并显示韵律控制能力的维护,验证说话人无关的韵律聚类是有效的。实验结果表明,该模型具有较高的输出语音质量,所提出的方法允许有效的韵律控制在每个扬声器的范围内,尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Unsupervised Evaluation of Deep Audio Embeddings for Music Structure Analysis
IMT Atlantique(IMT大西洋)
本文无监督评估九种开源通用预训练深度音频模型在音乐结构分析中的表现,发现现代通用嵌入优于传统频谱基线,CBM算法表现最佳,提出需改进评估标准。
2026-11-09 cs.AI cs.LG cs.SD
Monaural Audio Speaker Separation with Source Contrastive Estimation
Lab41, In-Q-Tel Laboratories(Lab41,In-Q-Tel实验室)
我们提出了一个算法,同时发言的人从彼此分离,“鸡尾酒会问题”,使用一个麦克风。我们的方法涉及深度递归神经网络回归到描述独立说话者的向量空间。这样的向量空间可以嵌入凭经验确定的扬声器特性,并且通过区分扬声器掩码来优化。我们称这种技术为源对比估计。该方法受到负采样的启发,负采样在自然语言处理中取得了成功,其中通过将给定的输入向量与输出权重进行相关和解相关来学习嵌入。虽然由输出权重确定的矩阵取决于一组已知的扬声器,但我们在推理期间仅使用输入向量。这样做将确保声源分离是显式地与说话者无关的。我们的方法类似于最近的深度神经网络聚类和置换不变训练研究;我们使用加权频谱特征和掩码来增强单个扬声器频率,同时过滤掉其他扬声器。然而,我们避免了其他方法与我们的技术严重的计算负担。此外,通过训练向量空间而不是不同说话者的组合或其差异,我们避免了训练期间的所谓排列问题。我们的算法提供了一个直观的,计算效率高的响应鸡尾酒会的问题,最重要的是拥有更好的经验性能比其他目前的技术。
2017-05-12 cs.AI cs.LG cs.SD
Coincidence, Categorization, and Consolidation: Learning to Recognize Sounds with Minimal Supervision
人类不像我们训练机器那样获得感知能力。虽然机器学习算法通常在大量随机选择的、明确标记的示例上运行,但人类的学习更依赖于多模态无监督学习(婴儿)和主动学习(儿童)。基于这种动机,我们提出了一个用于声音表示和识别的学习框架,该框架结合了(i)基于单峰和跨模态重合的一般概念的自监督目标,(ii)反映我们需要对我们的经验施加类别结构的聚类目标,以及(iii)基于聚类的主动学习过程,其请求有针对性的弱监督以将类别合并到相关语义类中。通过根据这些标准训练组合的声音嵌入/聚类/分类网络,我们实现了一种新的最先进的无监督音频表示,并证明了达到所需分类性能所需的标签数量减少了20倍。
2019-11-14 cs.SD eess.AS stat.ML
Automated data curation for self-supervised learning in underwater acoustic analysis
Center of Mathematics and Computer Science(数学与计算机科学中心);Vrije Universiteit(阿姆斯特丹自由大学);Naturalis Biodiversity Center(自然生物多样性中心)
针对水下声学分析中PAM数据量大且未标记的问题,提出一种全自动数据策展流水线,集成AIS数据并利用层次k均值聚类构建平衡多样数据集,以支持自监督学习模型开发,用于海洋哺乳动物监测和声污染评估。
2025-05-26 cs.AI cs.SD eess.AS
Graph Representation of RaagBase: A Unique Dataset for Hindustani Music
XIM University(西姆大学)
针对北印度音乐拉格聚类未充分探索的问题,提出基于Pt. Bhatkhande作品音符序列的拉格基础数据集,用图形表示拉格结构,通过音符频率分布体现作品相似性,应用聚类技术,实验验证了数据集及表示的有效性。
2026-07-14 cs.SD