Multi-label Sound Event Retrieval Using a Deep Learning-based Siamese Structure with a Pairwise Presence Matrix
Simon Fraser University（西蒙菲莎大学）；Microsoft（微软公司）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
真实的音景录音通常有多个声音事件同时发生，如汽车喇叭，引擎和人类的声音。声音事件检索是一种基于内容的搜索，旨在查找音频样本，类似于基于声学或语义内容的音频查询。现有技术的声音事件检索模型集中于仅发生一个声音事件的单标签音频记录，而不是多标签音频记录（即，在一个记录中发生多个声音事件）。为了解决后一个问题，我们提出了不同的深度学习架构，包括Siamese结构和Pairwise Presence Matrix。使用包含单标签和多标签音景录音的SONYC-UST数据集对网络进行训练和评估。实验结果表明了该模型的有效性。
2020-02-20 cs.IR cs.LG cs.SD
A Case Study of Deep-Learned Activations via Hand-Crafted Audio Features
Pompeu Fabra University（庞培法布拉大学）；European Commission - Joint Research Centre（欧盟委员会联合研究中心）
卷积神经网络（CNN）的可解释性在所有应用领域都是一项特别具有挑战性的任务，特别是在音乐和音频领域。在本文中，我们利用我们对手工制作的音频功能的知识来接近可解释性。我们的研究集中在一个定义明确的MIR任务，从用户生成的音乐录音中识别乐器。我们计算一组传统音频特征和CNN学习的表示之间的相似性。我们还提出了一种用于测量激活图和音频特征之间的相似性的技术，这些特征通常以矩阵的形式呈现，例如色度图或频谱图。我们观察到一些神经元的激活对应于众所周知的经典音频特征。特别是，对于浅层，我们发现激活和谐波和谐波分量的频谱之间的相似之处。对于更深的层，我们将色度图与高级激活图进行比较，并将响度和发病率与深度学习的嵌入进行比较。
2019-07-03 cs.LG cs.SD eess.AS
Siamese Vision Transformers are Scalable Audio-visual Learners
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出音视频孪生网络AVSiam，用单一共享ViT骨干同时处理音频和视觉输入，结合多比例随机掩码的对比预训练，在AudioSet和VGGSound上以更高参数效率取得有竞争力的分类与检索性能。
2024-03-28 cs.CV cs.SD eess.AS
Towards Assessing Data Replication in Music Generation with Music Similarity Metrics on Raw Audio
本文提出与模型无关的 MiRA 开放评估工具，利用多种音频相似度度量检测 AI 生成音乐对训练数据的复制，并通过受控实验验证其有效性，以推动音乐生成模型的伦理与法律合规评估。
2024-08-01 cs.AI cs.MM cs.SD
Personalized Audio Quality Preference Prediction
本文提出了利用音频输入和主题信息来预测两个音频片段的个性化偏好，具有相同的内容，在不同的质量。一个连体网络被用来比较输入和预测的偏好。研究了连体网络每一侧的几种不同结构，以PANN的CNN 6作为编码器，以多层感知器块作为解码器的LDNet优于仅使用音频输入的基线模型，其中整体准确度从77.56%增长到78.04%。实验结果还表明，使用所有的主题信息，包括年龄，性别和耳机或耳机的规格，比只使用其中的一部分更有效。
2023-02-16 cs.LG cs.SD eess.AS
Towards Cover Song Detection with Siamese Convolutional Neural Networks
Bose Corporation（博士公司）
根据定义，翻唱歌曲是以前录制的商业发行歌曲的新表演或录音。它可能是由原来的艺术家自己或完全不同的艺术家，可以从原来的不可预测的方式，包括关键，安排，仪器，音色和更多的变化。在这项工作中，我们提出了一种新的方法来学习音频表示的任务，封面歌曲检测。我们在数万首翻唱歌曲的音频片段上训练了一个神经架构，并在一个固定的集合上测试了它。我们在小批量上获得了65%的平均精度@1，比随机猜测好10倍。我们的研究结果表明，暹罗网络配置接近封面歌曲识别问题的承诺。
2020-05-20 cs.LG cs.SD eess.AS
Pseudo-Siamese Network based Timbre-reserved Black-box Adversarial Attack in Speaker Identification
Northwestern Polytechnical University（西北工业大学）
本文提出一种基于伪孪生网络的音色保留黑盒对抗攻击方法，通过语音转换模型添加对抗约束生成保留音色的伪造音频，并利用替代模型逼近黑盒说话人识别模型的决策边界，在ADD数据集上白盒和黑盒攻击成功率分别达60.58%和55.38%。
2023-05-30 cs.SD eess.AS
SAN: a robust end-to-end ASR model architecture
Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
针对模糊音频识别的困难，提出了一种新的用于自动语音识别的连体对抗网络（SAN）结构。具体地说，SAN构造两个子网络来区分音频特征输入，然后引入一个损失来统一这些子网络的输出分布。对抗性学习使网络能够捕获更多基本的声学特征，并帮助模型在遇到模糊音频输入时实现更好的性能。我们进行了数值实验与SAN模型在几个数据集上的自动语音识别任务。实验结果表明，该方法显著降低了字符出错率.具体来说，我们在AISHELL-1数据集上实现了一个新的最新技术水平4.37 CER，而没有语言模型，这导致CER相对减少约5%。为了揭示暹罗对抗网络的通用性，我们还进行了音素识别任务的实验，这也显示了暹罗对抗网络的优越性。
2022-10-27 cs.CL cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH（希腊研究与技术基金会信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在这项工作中，我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习（AuSiL）的方法，有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算，我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络（CNN）的迁移学习来提取代表性的基于音频的视频描述符，然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络，该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性，我们手动注释两个公开的视频数据集的基础上，他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比，三个国家的最先进的方法。此外，与竞争的方法，它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
Siamese Capsule Network for End-to-End Speaker Recognition In The Wild
Queen’s University（女王大学）；Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
我们提出了一个端到端的深度模型，用于在野外进行说话人验证。我们的模型使用thin-ResNet从话语中提取说话人嵌入，并使用Siamese胶囊网络和动态路由作为后端来计算嵌入之间的相似性得分。我们对我们的模型与最先进的解决方案进行了一系列的实验和比较，结果表明，我们的模型在使用更少的训练数据的情况下优于所有其他模型。我们还进行了额外的实验，以研究不同的扬声器嵌入对暹罗胶囊网络的影响。我们表明，通过使用直接从前端的特征聚合模块获得的嵌入并使用动态路由将其传递给更高的胶囊，可以实现最佳性能。
2020-09-28 cs.LG cs.SD eess.AS
Multi-Task Siamese Neural Network for Improving Replay Attack Detection
Uber AI（优步人工智能）；RWTH Aachen University（亚琛工业大学）
自动说话人验证系统容易受到音频重放攻击，这些攻击通过重放授权说话人的录音来绕过安全性。基于残差神经网络（ResNet）构建的重放攻击检测（RA）检测系统在公共基准ASVspoof 2019物理访问挑战中取得了惊人的结果。由于大多数团队使用微调的特征提取管道和模型架构，因此此类系统的通用性仍然值得怀疑。在这项工作中，我们分析了多任务学习（MTL）设置中的判别特征学习对RA检测系统的泛化能力和判别能力的影响。我们使用一个流行的ResNet架构作为我们的基线，并将其与MTL使用暹罗神经网络（SNN）优化的相同架构进行比较。可以表明，SNN以相对26.8%的等误差率（EER）优于基线。我们进一步增强了模型的体系结构，并证明具有额外重建损失的SNN可以再次显着提高相对13.8%的EER。
2020-02-16 cs.LG cs.SD eess.AS
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon AWS AI（亚马逊云科技人工智能）
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性，值得探索。在这项研究中，我们提出了一个有效的自监督学习框架和一个新的正则化策略，以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同，所提出的自监督正则化（SSReg）只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略，所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力，并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明，通过添加有效的自监督正则化，我们提出的自监督方法获得了23.4%的相对改进，并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
Audio Similarity is Unreliable as a Proxy for Audio Quality
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多音频处理任务需要感知评估。然而，获得"黄金标准“人类判断的时间和费用限制了此类数据的可用性。大多数应用程序都包含完全引用或其他基于相似性的度量（例如PESQ），这些度量取决于干净的引用。研究人员依靠这些指标来评估和比较各种建议的方法，通常得出结论，微小的测量差异意味着一种方法比另一种方法更有效。本文演示了几种实际场景，其中相似性度量无法与人类感知一致，因为它们：（1）随着干净的引用而变化;（2）依赖于人类在考虑质量时考虑的属性，以及（3）对不可感知的信号电平差异敏感。在这些情况下，我们表明，无参考指标不遭受这样的缺点，更好地与人类的感知。因此，我们得出结论，相似性作为一个不可靠的代理音频质量。
2022-06-27 cs.SD eess.AS
Audio Classification of Low Feature Spectrograms Utilizing Convolutional Neural Networks
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有音频分类技术难以处理低特征声谱图信号、依赖不符合真实分布的全量数据集的问题，本文提出多种首创的定制化卷积架构与分类方法，在不同数据分布下实现了最优分类准确率与更高效率。
2024-10-28 cs.LG cs.SD eess.AS
Unsupervised Spoken Term Discovery Based on Re-clustering of Hypothesized Speech Segments with Siamese and Triplet Networks
The Chinese University of Hong Kong（香港中文大学）
从未转录的语音音频中发现口语术语可以通过两个阶段的过程来实现。在第一阶段中，未标记的语音被解码成一系列的子字单元，这些子字单元以无监督的方式被学习和建模。在第二阶段中，对解码的子词序列执行部分序列匹配和聚类，从而产生一组发现的词或短语。这种方法的局限性在于子字解码的结果可能是错误的，并且错误将影响后续步骤。虽然Siamese/Triplet网络是一种学习片段表示的方法，可以改善发现过程，但在完全无监督的场景下口语术语发现的挑战是训练示例不可用。在本文中，我们提出了从初始假设序列聚类生成训练样本。在假设的示例上训练Siamese/Triplet网络以测量两个语音片段之间的相似性，并由此执行所有假设的子词序列的重新聚类以实现口语术语发现。实验结果表明，该方法能有效地获得Siamese和Triplet网络的训练样本，与原两阶段方法相比，提高了口语词发现的效率。
2021-06-02 cs.CL cs.SD eess.AS
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound（流行病声音公司）
我们已经建立了一个音乐相似性搜索引擎，让视频制作人搜索的音乐摘录，作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络，在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明，我们可以成功地打动专业视频制作人的搜索体验的质量，并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验，更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Audio Difference Captioning Utilizing Similarity-Discrepancy Disentanglement
NTT Corporation（NTT公司）
本研究提出音频差异字幕生成新任务ADC，设计聚焦交叉注意力的Transformer编码器与相似性-差异性解耦方法，构建AudioDiffCaps数据集，实验验证方法可有效提取音频差异并完成字幕生成。
2023-08-23 cs.CL cs.LG cs.SD
Enhance audio generation controllability through representation similarity regularization
Meta AI
本文提出在语言模型音频生成训练中引入音频-文本表示相似性正则化，尤其在无分类器引导阶段强化对齐，从而提升音频与音乐生成的客观指标和人类感知质量。
2023-09-15 cs.AI cs.LG cs.SD
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Assessing the Alignment of Audio Representations with Timbre Similarity Ratings
本文提出评估音频表示与人类音色相似性判断对齐程度的指标，发现受图像风格迁移启发的风格嵌入在建模音色相似性方面显著优于其他表示。
2025-07-10 cs.SD eess.AS
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University（南洋理工大学）
在本文中，我们研究了使用预训练音频神经网络（PANNs）的迁移学习的使用，并提出了一种架构，能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标，重建潜在空间相似正则化（RLSSR）。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Content-based Music Similarity with Triplet Networks
Ithaca College（伊萨卡学院）；Cornell University（康奈尔大学）
我们探讨了使用三元组神经网络嵌入基于内容的音乐相似性的歌曲的可行性。我们的网络使用三首歌曲进行训练，使得同一艺术家的两首歌曲比不同艺术家的第三首歌曲更接近彼此。我们比较了两个模型，它们是使用不同的方式来挑选第三首歌的：随机与基于共享的流派标签。我们的实验是使用免费音乐档案中的歌曲进行的，并使用标准的音频功能。初步结果表明，浅层暹罗网络可以用于嵌入音乐的一个简单的艺术家检索任务。
2022-12-07 cs.LG cs.SD eess.AS
CDPAM: Contrastive learning for perceptual audio similarity
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多基于深度学习的语音处理方法都需要一个自动的、可微分的音频度量作为损失函数。Manocha等人的DPAM方法学习了直接根据人类判断训练的全参考度量，因此与人类感知很好地相关。然而，它需要大量的人类注释，并且在训练的扰动范围之外不能很好地泛化。本文介绍了CDPAM，一个建立在DPAM的基础上并对其进行了改进的度量。主要的改进是结合对比学习和多维表示，从有限的数据中构建强大的模型。此外，我们收集人类对三重比较的判断，以提高对更广泛的音频扰动的泛化能力。CDPAM在九个不同的数据集上与人类反应良好相关。我们还表明，将此度量添加到现有的语音合成和增强方法产生显着的改善，客观和主观的测试。
2021-02-09 cs.LG cs.SD eess.AS
Multiscale Matching Driven by Cross-Modal Similarity Consistency for Audio-Text Retrieval
National Engineering Research Center of Speech and Language Information Processing（国家语言信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
针对音频-文本检索中现有方法忽略局部细节和细粒度语义的问题，提出基于跨模态相似性一致性的多尺度匹配框架，通过局部到全局的细粒度对齐和软监督增强，在AudioCaps和Clotho上显著提升检索性能。
2024-03-15 cs.IR cs.SD eess.AS
Intra-Utterance Similarity Preserving Knowledge Distillation for Audio Tagging
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon.com Inc.（亚马逊公司）
知识蒸馏（KD）是一个热门的研究领域，用于减少大型模型的大小，同时仍然保持良好的性能。较大教师模型的输出用于指导较小学生模型的训练。鉴于声学事件的重复性，我们建议利用这些信息来调节音频标记的KD训练。这种新的KD方法，“话语内相似性保持KD”（IUSP），显示出有前途的结果的音频标记任务。它是由以前发表的KD方法：“相似性保持KD”（SP）的动机。然而，我们的方法保留了单个输入话语的帧之间的成对相似性，而不是保留小批量内输入之间的成对相似性。我们提出的KD方法IUSP在DCASE 2019任务5数据集上的不同大小的学生模型上显示了对SP的一致改进。相对于SP在基线上的改善，微AUPRC在基线上的改善增加了27.1%至122.4%。
2020-09-03 cs.SD eess.AS
Automatic Segmentation of Broadcast News Audio using Self Similarity Matrix
Institute of Technology, Nirma University（尼尔玛大学理工学院）；TCS Innovation Labs - Mumbai, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS创新实验室（孟买））
一般来说，无线电广播的音频新闻除了由新闻播音员阅读的实际新闻外，还包括音乐、商业广告、来自记者的新闻和录音声明。当新闻转录可用时，音频新闻广播的自动分割以将音频与文本转录时间对齐以构建节俭的语音语料库是必不可少的。我们解决的问题，确定在音频新闻广播中的分段对应的新闻播音员阅读的新闻，使他们可以映射到文本成绩单。现有技术在用于提取新闻阅读器阅读片段时产生次优解决方案。在本文中，我们提出了一种新的技术，这是能够确定可靠的声学变化点使用声学自相似矩阵（SSM）。我们详细描述了两遍技术，并验证了其性能上的真正的音频新闻广播的全印度广播电台不同的语言。
2014-03-27 cs.LG cs.MM cs.SD
Text-to-Audio Grounding Based Novel Metric for Evaluating Audio Caption Similarity
TCS Research, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS研究院）
自动音频字幕（AAC）是指将音频样本翻译成描述音频事件、事件来源及其关系的自然语言（NL）文本的任务。与依赖于基于词汇语义的BLEU、ROUGE、METEOR等指标进行评估的NL文本生成任务不同，AAC评估指标需要能够映射与词汇语义之外的类似声音相对应的NL文本（短语）。目前用于评估AAC任务的指标缺乏对文本所表示的声音的感知属性的理解。在本文中，我们提出了一种新的度量基于文本到音频接地（TAG），这是有用的跨模态任务，如AAC的评估。公开可用的AAC数据集上的实验表明，我们的评价指标，以执行更好的NL文本和图像描述文献中使用的现有指标相比。
2022-10-03 cs.AI cs.CL cs.SD
Contrastive Learning of General-Purpose Audio Representations
Google（谷歌）
我们介绍COLA，一种用于学习通用音频表示的自我监督预训练方法。我们的方法是基于对比学习：它学习一种表示，该表示将高相似性分配给从同一录音中提取的音频片段，同时将较低相似性分配给来自不同录音的片段。我们基于计算机视觉对比学习和强化学习的最新进展，设计了一个轻量级的，易于实现的自监督音频模型。我们在大规模Audioset数据库上预训练嵌入，并将这些表示转移到9个不同的分类任务中，包括语音，音乐，动物声音和声学场景。我们表明，尽管它的简单性，我们的方法显着优于以前的自我监督系统。我们还进行消融研究以确定关键的设计选择，并发布一个库来预训练和微调COLA模型。
2020-10-21 cs.LG cs.SD eess.AS
BINAQUAL: A Full-Reference Objective Localization Similarity Metric for Binaural Audio
School of Computer Science（计算机科学学院）；University College Dublin（都柏林大学学院）；Google LLC（谷歌公司）
本文提出全参考客观指标 BINAQUAL，将 AMBIQUAL 适配至双耳音频，以评估定位相似度，并证明其对空间变化敏感且与主观测试高度相关。
2025-10-19 cs.SD eess.AS
Spectral Visibility Graphs: Application to Similarity of Harmonic Signals
Queen Mary University of London（伦敦玛丽女王大学）
图论正在成为时间序列分析的新工具。一种有前途的方法是将信号转换为可见性图，这是一种捕获信号许多有趣方面的表示。在这里，我们介绍了音频频谱的可见性图，并提出了一种新的音频分析表示：频谱可见性图度。这种表示固有地捕获信号的谐波内容，同时对宽带噪声有弹性。我们目前的实验表明，其实用程序来衡量真实的和合成的音频数据的谐波信号之间的强大的相似性。源代码可在线获得。
2019-06-20 cs.SD eess.AS
MERIT: Learning Disentangled Music Representations for Audio Similarity
MERIT: Learning Disentangled Music Representations for Audio Similarity（MERIT：学习解耦音乐表示以实现音频相似性）
针对现有音乐相似性模型将旋律、节奏和音色等维度纠缠在一起的问题，提出MERIT框架，通过条件音频生成和源分离茎的训练策略学习解耦的因子特定表示，实现各维度独立响应。
2026-05-26 cs.SD
Knowledge-based Multimodal Music Similarity
University of Bologna（博洛尼亚大学）
本研究提出一种结合符号与音频内容的可解释音乐相似性系统，以克服现有方法依赖符号内容或缺乏解释性的局限，增强用户对相似性判断的理解与控制。
2023-06-21 cs.AI cs.IR cs.LG
ecVoice: Audio Text Extraction and Optimization of Video Based on Idioms Similarity Replacement
Monash University（莫纳什大学）
针对低计算内存下Whisper语音识别受限的问题，提出基于习语相似度计算分析的ecVoice方法，可提升音频文本提取质量，将习语语法纠错率平均提至90%，低内存下增强Whisper识别效果，可用于视频翻译等场景。
2024-05-20 cs.MM cs.SD eess.AS
Inpainting of long audio segments with similarity graphs
Swiss Data Science Center, EPFL and ETH Zürich（瑞士数据科学中心、洛桑联邦理工学院与苏黎世联邦理工学院）；Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）
我们提出了一种新的方法，用于补偿音频信号，特别是音乐中的长时间数据丢失。这种信号缺陷的隐藏是基于一个图，该图根据时间持久的频谱相似性对信号结构进行编码。通过直观的优化方案提出用于替换丢失内容的合适的候选片段，并将其平滑地插入到间隙中，即丢失或失真的信号区域。广泛的听力测试表明，该算法提供了非常有前途的结果时，应用于各种现实世界的音乐信号。
2018-02-23 cs.AI cs.MM cs.SD
Targeted Adversarial Examples for Black Box Audio Systems
UC Berkeley（加州大学伯克利分校）
深度递归网络在音频转录中的应用已经在自动语音识别（ASR）系统中取得了令人印象深刻的进展。许多人已经证明，小的对抗性扰动可以欺骗深度神经网络，使其以高置信度错误地预测特定目标。目前关于愚弄ASR系统的工作主要集中在白盒攻击上，其中模型架构和参数是已知的。在本文中，我们采用了一个黑箱的方法来对抗生成，结合遗传算法和梯度估计的方法来解决这个问题。我们在3000代后实现了89.25%的目标攻击相似性，同时保持了94.6%的音频文件相似性。
2019-08-20 cs.CR cs.LG cs.SD
Evaluating Prompt Robustness in Text-to-Audio Systems for Adaptive Virtual Agents and Game Soundtracks
本文评估文本到音频生成系统在受控提示扰动下的语义脆弱性，通过三种扰动方法测试不同模型的鲁棒性，发现大模型在语义一致性上表现更好，但音频和时间分析显示存在持续差异。
2026-09-16 cs.AI cs.SD
Forensic Similarity for Speech Deepfakes
Politecnico di Milano（米兰理工学院）
本研究提出语音深度伪造取证相似度方法，构建含特征提取器与相似度网络的深度学习系统，可判断音频取证痕迹是否同源，对未知痕迹泛化性强，适用于源验证与拼接检测。
2025-10-03 cs.SD
Do Models Hear Like Us? Probing the Representational Alignment of Audio LLMs and Naturalistic EEG
School of Computer Science, Chongqing University（重庆大学计算机科学学院）；Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua University（清华大学计算机科学与技术系、人工智能研究院）；School of Economics and Business Administration, Chongqing University（重庆大学经济与商业管理学院）；School of Artificial Intelligence, Southwest University（西南大学人工智能学院）；The First Affiliated Hospital of Chongqing Medical University（重庆医科大学第一附属医院）
本研究通过比较音频大语言模型与EEG信号，揭示了模型在自然聆听中的表征对齐特性，发现排名依赖分裂、时空对齐模式及情感分离现象。
2026-02-03 cs.AI cs.SD eess.AS
Better audio representations are more brain-like: linking model-brain alignment with performance in downstream auditory tasks
Instituto de Investigación en Ciencias de la Computación (ICC)（计算科学研究所（ICC））；CONICET-Universidad de Buenos Aires（CONICET-阿根廷布宜诺斯艾利斯大学）；Departamento de Computación, FCEyN（计算机系，FCEyN）；Universidad de Buenos Aires (UBA)（阿根廷布宜诺斯艾利斯大学（UBA））
研究发现，改进音频模型在下游任务中的表现使其内部表示更接近大脑信号，且这种对齐性在预训练早期逐步增强。
2026-03-04 cs.LG cs.SD
AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering
National Taiwan University（国立台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
AQAScore通过音频问答评估文本到音频生成的语义对齐，利用大型语言模型的推理能力，有效捕捉语义不一致性。
2026-01-21 cs.AI cs.CL cs.LG
Employing Subsequence Matching in Audio Data Processing
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
我们概述了当前的问题，音频检索和时间序列子序列匹配。我们讨论了使用子序列匹配方法在音频数据处理，特别是在自动语音识别（ASR）领域，我们的目标是提高性能的检索过程。为了克服已知的问题，从时间序列领域的实现偏差和数据偏差的发生，我们提出了一个子序列匹配框架作为快速原型设计，建设和测试相似性搜索子序列匹配应用程序的工具。该框架是建立在MESSIF（度量相似性搜索实现框架）之上，因此，子序列匹配算法可以利用先进的相似性索引，以显着提高其查询处理性能。为了证明我们的概念，我们提供了一个查询的例子口语术语检测类型的应用程序与使用的语音后验图和子序列匹配方法的设计。
2012-04-11 cs.DB cs.SD
Exploring Musical Roots: Applying Audio Embeddings to Empower Influence Attribution for a Generative Music Model
Northwestern University（西北大学）
针对生成式音乐模型黑箱导致的训练数据归因不明问题，研究提出基于音频嵌入的可复现相似度识别方法，对比CLMR与CLAP在VampNet训练集上的效果并验证修改音频的影响，为自动化影响力归因奠基。
2024-01-25 cs.AI cs.SD eess.AS
Parameter Efficient Audio Captioning With Faithful Guidance Using Audio-text Shared Latent Representation
Qualcomm Technologies（高通科技）
针对自动音频字幕生成中模型过度参数化导致的幻觉和内存问题，提出数据增强检测幻觉及参数高效的推理时忠实解码算法，利用音频-文本共享潜在表示实现语义对齐，使小模型性能媲美大模型。
2023-09-06 cs.CL cs.MM cs.SD
Positive Sample Propagation along the Audio-Visual Event Line
Hefei University of Technology（合肥工业大学）；Intelligent Interconnected Systems Laboratory of Anhui Province（安徽省智能互联系统实验室）；Australian National University（澳大利亚国立大学）
本文提出正样本传播模块，通过全对相似度图与相似度损失，在音视频事件定位中有效利用正样本对，并在AVE数据集上取得最先进结果。
2026-09-09 cs.CV cs.MM cs.SD
Weakly-supervised Audio Separation via Bi-modal Semantic Similarity
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）
本文提出一种基于 CLAP 双模态语义相似性的弱监督音频分离框架，利用语言模态信号辅助音频单源分离，在无监督场景下 SDR 提升 71%，并可将监督学习性能进一步提升 17%。
2024-04-02 cs.AI cs.SD eess.AS
