Sound Event Detection in Multichannel Audio Using Spatial and Harmonic Features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了使用空间和谐波特征结合长短期记忆（LSTM）递归神经网络（RNN）的自动声音事件检测（SED）任务。现实生活中的录音通常有许多重叠的声音事件，使得很难仅用单声道音频来识别。人类听众已经成功地使用音高线索识别重叠声音事件的混合，并利用在他们的耳朵处可用的立体声（多通道）音频信号来空间定位这些事件。传统上，SED系统仅使用单声道音频，出于人类听众的动机，我们建议将其扩展为使用多声道音频。在TUT声音事件检测2016数据库的开发子集上，将所提出的SED系统与最先进的单声道方法进行比较。空间和谐波特征的使用被证明可以提高SED的性能。
2017-06-07 cs.LG cs.SD
Direction-Aware Neural Acoustic Fields for Few-Shot Interpolation of Ambisonic Impulse Responses
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；New York University（纽约大学）
针对现有神经场方法无法精确捕捉声场单点方向特性的问题，提出融入Ambisonic格式RIR方向信息的方向感知神经场及对应损失函数，并探究其适配新房间的能力。
2025-05-19 cs.AI cs.CV cs.LG
Identifying Actions for Sound Event Classification
Microsoft（微软）；Bosch Research（博世研究院）
在心理学中，动作对于人类识别声音事件至关重要。在机器学习（ML）中，动作识别实现了高准确性;然而，还没有人问识别动作是否有利于声音事件分类（SEC），而不是将音频直接映射到声音事件。因此，我们提出了一种新的心理学启发的方法，包括通过人类听众的行动识别SEC。为了实现这一目标，我们使用众包让听众识别20个动作，这些动作单独或组合可能产生了精心研究的数据集ESC-50中的50个声音事件中的任何一个。每个音频记录的结果注释第一次将动作与声音事件的数据库相关联。注释用于创建称为动作向量（AV）的语义表示。我们通过比较AV与两种类型的音频特征-对数梅尔频谱图和最先进的音频嵌入来评估SEC。由于音频特征和AV捕获声学内容的不同抽象，我们将它们结合起来，并实现了最高的准确率（88%）。
2021-08-05 cs.SD eess.AS
GESI: Gammachirp Envelope Similarity Index for Predicting Intelligibility of Simulated Hearing Loss Sounds
Graduate School / Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院/研究生院）
提出GESI客观可懂度指标，利用gammachirp滤波器组预测模拟听力损失语音可懂度，在多项实验中优于STOI等传统方法，可助力助听设备语音增强。
2024-03-14 cs.SD eess.AS
Scene2Sound: Auditory-Grounded Soundscape Generation for 3D Gaussian Worlds
Hokkaido University（北海道大学）
Scene2Sound是一个无训练框架，通过听觉锚定和高斯集匹配为3D高斯世界生成空间一致的声景，在保留音频质量的同时解决了现有方法空间不一致的问题，经实验和用户研究验证有效。
2026-08-04 cs.CV cs.MM cs.SD
Sound Field Translation and Mixed Source Model for Virtual Applications with Perceptual Validation
The Australian National University（澳大利亚国立大学）；Facebook Reality Labs
针对传统声场平移技术受最佳听音点限制、听众可导航区域小的问题，提出融合近远场声源的稀疏扩展平移方法，经MUSHRA实验和数值模拟验证，提升了声源可定位性与频谱鲁棒性，更适配VR等交互式虚拟听觉场景。
2020-07-23 cs.SD eess.AS
AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis
University of Surrey（萨里大学）；Imperial College London（帝国理工学院）
针对NVAS中NeRF渲染低效且场景几何、材质与空间关系表征不足的问题，提出AV-GS显式高斯场景表示及音频自适应点致密化与剪枝策略，在RWAS和SoundSpaces上取得优于现有方法的性能。
2025-03-16 cs.AI cs.SD eess.AS
You Sound a Little Tense: L2 Tailored Clear TTS Using Durational Vowel Properties
School of Computing Science（计算科学学院）；SUPMICROTECH, CNRS, institut FEMTO-ST（SUPMICROTECH、CNRS、FEMTO-ST研究所）；Department of Linguistics（语言学系）
本研究提出首个面向二语学习者的定制化TTS系统，通过调整美式英语紧/松元音时长为Matcha-TTS增设清晰模式，实验证实该模式可降低二语听众转录错误率，且发现实际可懂度与感知可懂度不相关，Whisper-ASR不足以评估TTS对二语人群的可懂度。
2025-09-03 cs.CL cs.SD eess.AS
Speech intelligibility of simulated hearing loss sounds and its prediction using the Gammachirp Envelope Similarity Index (GESI)
Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院）
本研究通过模拟70岁和80岁听力损失的语音可懂度实验，比较实验室与远程环境差异，并提出Gammachirp包络相似性指数（GESI）作为新的客观可懂度测量方法，验证其解释心理测量函数及预测听力受损听者语音可懂度的潜力。
2023-11-28 cs.SD eess.AS
Reduction of Subjective Listening Effort for TV Broadcast Signals with Recurrent Neural Networks
Carl von Ossietzky University Oldenburg（奥尔登堡大学）；Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）
收听电视广播信号的音频对于听力受损者以及听力正常的收听者来说可能是具有挑战性的，特别是当背景声音与语音信号相比突出或太响时。这可能导致听众的满意度降低和收听努力增加。由于广播声音通常是预混的，我们进行主观评价量化的潜力语音增强系统的基础上，音频源分离和递归神经网络（RNN）。最近，RNN在声源分离和实时信号处理的背景下显示出有希望的结果。在本文中，我们将语音从背景信号中分离出来，并将分离出来的声音以更高的信噪比进行混音。这不同于经典的语音增强，在经典的语音增强中，通常仅利用所提取的语音信号。主观评价与20个正常的听力主体对真正的电视广播材料表明，我们提出的增强系统是能够减少约2个点的13点的听力努力评级量表上的听力努力，并增加了感知的声音质量相比，原来的混合物。
2021-11-02 cs.SD eess.AS
When Audio Generators Become Good Listeners: Generative Features for Understanding Tasks
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Peking University, Shenzhen（广东超高清沉浸媒体技术重点实验室，北京大学深圳校区）；Tencent AI Lab, Seattle（腾讯AI实验室，西雅图）；Shanghai Jiao Tong University, Shanghai（上海交通大学）
本文研究生成特征对音频理解的作用，系统比较生成式与判别式音频表征并提出有效融合策略，在分类、标注和音频字幕任务上取得一致提升。
2025-09-29 cs.SD
Auralization based on multi-perspective ambisonic room impulse responses
Institute of Electronic Music and Acoustics, University of Music and Performing Arts Graz（格拉茨音乐与表演艺术大学电子音乐与声学研究所）
本文提出对空间网格上的 Ambisonic 房间脉冲响应进行声音事件分解、视角外推与线性插值，以生成可变听者视角的可听化，并通过测量与模拟数据集及听音实验确定参数。
2023-12-06 cs.SD eess.AS
Dynamic Portal Occlusion for Precomputed Interactive Sound Propagation
Microsoft Research（微软研究院）
游戏和虚拟现实中的沉浸式视听体验需要快速计算基于衍射的声学效果。为了保持可扩展性，效果必须在几何复杂场景中保持源和收听者运动的空间平滑度。预先计算的基于波的技术可以以低运行时CPU成本渲染这样的结果，但仍然限于静态场景。对动态门户（如门）的遮挡效果进行建模是保持视听一致性的一个尚未解决的挑战。我们提出了一个快速的解决方案，可实现为一个下拉扩展到现有的预计算系统。Key是一种新颖的门户搜索方法，它利用预先计算的传播延迟和方向数据，在运行时找到连接动态源和侦听器的衍射最短路径的门户。在最坏的情况下，该方法与门户的数量呈线性关系，远比显式全局路径搜索与场景区域成比例。我们将讨论进一步加速的剔除技术。搜索算法与几何声学近似相结合，以模拟额外的直接和间接的能量损失，从干预门户网站取决于他们的动态关闭状态。我们展示了合理的视听动画在我们的系统集成虚幻引擎4（TM）和AudioKinetic Wwise（TM）。
2021-07-27 cs.GR cs.SD eess.AS
Auto-adaptive Resonance Equalization using Dilated Residual Networks
Sony CSL Paris（索尼计算机科学实验室巴黎分部）；Yascore
针对音乐和音频制作中频谱共振衰减问题，提出双组件系统，用动态均衡器检测共振，深度神经网络预测最佳衰减因子，测试两种网络架构，其预测效果优于基线方法。
2026-07-23 cs.LG cs.SD eess.AS
SoundscapeAgent: Agentic Soundscape Construction for Controllable Synthesis and Scalable Audio-Language Supervision
Tencent（腾讯）
提出智能音景构建框架SoundscapeAgent，基于大语言模型的智能体将用户意图转化为场景计划，经多步骤实现可控音频合成与可扩展音频-语言数据构建，在生成性能及下游音频推理方面表现出色。
2026-07-27 cs.SD
Beyond $L_p$ clipping: Equalization-based Psychoacoustic Attacks against ASRs
University of Florida（佛罗里达大学）
自动语音识别（ASR）系统将语音转换为文本，可分为两大类：传统和完全端到端。这两种类型都被证明容易受到对抗性音频示例的影响，这些音频示例听起来对人耳是良性的，但会迫使ASR产生恶意的传输。在这些攻击中，只有“心理声学”攻击可以创建具有相对难以察觉的扰动的示例，因为它们利用了人类听觉系统的知识。不幸的是，现有的心理声学攻击只能应用于传统模型，而对于更新的、完全端到端的ASR来说已经过时了。在本文中，我们提出了一种基于均衡的心理声学攻击，可以利用传统的和完全端到端的ASR。我们成功地证明了我们对现实世界的ASR的攻击，包括DeepSpeech和Wav2Letter。此外，我们采用用户研究来验证我们的方法产生低的听觉失真。具体来说，100名参与者中有80人投票赞成我们所有的攻击音频样本，因为它们比现有的最先进的攻击噪音更小。通过这一点，我们证明了这两种类型的现有ASR管道可以利用最小的退化来攻击音频质量。
2021-10-25 cs.CR cs.SD eess.AS
Decomposing the Influence of Physical Acoustic Modeling on Neural Personal Sound Zone Rendering: An Ablation Study
Princeton University（普林斯顿大学）
本文通过消融研究，分析了物理声学建模对神经个人声音区域渲染的影响，发现RS-HRTF在双耳分离中表现最佳，FR提供频谱校准，DIR提供最稳定的声区分离效果。
2026-03-03 cs.SD eess.AS eess.SP
Stereo Audio Rendering for Personal Sound Zones Using a Binaural Spatially Adaptive Neural Network (BSANN)
Princeton University（普林斯顿大学）
本文提出使用BSANN生成耳部优化的扬声器滤波器，以实现多听众独立的立体声音频渲染，提升空间感知和声学准确性。
2026-01-10 cs.SD eess.AS
ACES: Evaluating Automated Audio Captioning Models on the Semantics of Sounds
Maastricht University（马斯特里赫特大学）；Université Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
本文提出ACES评估指标，从人类听觉语义解析角度结合语义相似度与实体标注评估自动音频字幕，并在Clotho-Eval FENSE基准上优于同类指标。
2024-03-27 cs.SD eess.AS
A Simple Method to Produce Algorithmic MIDI Music based on Randomness, Simple Probabilities and Multi-Threading
University of Crete（克里特大学）；Institute of Computer Science, FORTH-ICS（希腊研究与技术基金会计算机科学研究所）
本文介绍了一种基于随机性和简单概率的多通道MIDI音乐制作方法。该方法的一个显著特征是，它通过利用通用程序设计语言的多线程能力来产生并并行地向声卡发送一个以上的非同步通道。因此，派生的声音提供了一个相当"充分”和"不可预测”的声学经验，以听众。随后，本文报告了与用户的评价结果。结果非常令人惊讶：大多数用户回答说，他们可以在各种场合容忍这种音乐。
2013-12-14 cs.SD
Modeling nonuniform energy decay through the modal decomposition of acoustic radiance transfer (MoD-ART)
University of Surrey（萨里大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Aalto University（阿尔托大学）
提出声辐射传递模态分解方法（MoD-ART），通过提取能量衰减模态及其与声源和听者的位置关系，高效处理复杂环境下的晚期混响，计算复杂度优于光线追踪并能捕捉多种衰减斜率和颤动回声。
2025-10-13 cs.SD cs.SY eess.AS
ESDD2: Environment-Aware Speech and Sound Deepfake Detection Challenge Evaluation Plan
Duke Kunshan University（杜克-肯斯敦大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；The University of Melbourne（墨尔本大学）；Johns Hopkins University（约翰霍普金斯大学）；Fortemedia Singapore（新加坡Fortemedia）
ESDD2挑战旨在通过CompSpoofV2数据集和增强分离联合学习框架，检测语音和环境声音的组件级深度伪造。
2026-02-05 cs.SD
Optimized Loudspeaker Panning for Adaptive Sound-Field Correction and Non-stationary Listening Areas
针对非标准扬声器布局与非平稳听音区域导致的声场重放误差问题，提出贝叶斯归一化与频域约束下的声像平移优化方法，构建虚拟标准布局扬声器以提升多声道重放质量，并验证了方法鲁棒性。
2025-10-27 cs.SD eess.AS eess.SP
Multimodal Dataset Normalization and Perceptual Validation for Music-Taste Correspondences
University of Padova（帕多瓦大学）
本文通过两项实验验证了合成FMA标注中存在听觉调味效果，展示了跨模态结构在不同监督下的保持以及计算目标与人类感知的显著一致性。
2026-09-15 cs.LG cs.MM cs.SD
Trends and Perspectives for Signal Processing in Consumer Audio
Beats Electronics, LLC（Beats Electronics 有限责任公司）
流媒体和便携式媒体消费的趋势为音频和声学中的信号处理提供了新的挑战和机遇。这一趋势最重要的体现是，大多数音乐消费现在都发生在旅途中，这导致了耳机和小型便携式扬声器的销售爆炸式增长。特别是，高端耳机为年轻一代提供了体验高品质声音的途径。此外，通过整合头部相关传输功能的技术，耳机还可以在游戏、增强现实和环绕声收听方面提供独特的新体验。家庭音频也已经过渡到以条形音箱形式的更小的音响系统。这种扬声器配置为传统上使用五个扬声器环绕听众的环绕声再现提供了许多令人兴奋的挑战。此外，现代家庭娱乐系统提供的不仅仅是内容交付;用户现在期望无线和连接的智能设备具有视频会议，游戏和其他交互功能。这就带来了在远距离和苛刻条件下进行语音交互的挑战，例如，在内容回放期间，以及基于环境和用户生物识别的感知的新的智能交互体验的机会。
2014-05-19 cs.MM cs.SD
Do self-supervised speech models develop human-like perception biases?
University of Paris（巴黎大学）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；University of Toronto（多伦多大学）
用于语音处理的自监督模型在不使用任何外部标签的情况下形成表示空间。越来越多地，它们似乎是一种可行的方法，至少可以部分消除昂贵的手动注释，这是低资源语言特别关注的问题。但是这些模型构建了什么样的表征空间呢？人类的感知专门针对听众的母语的声音。同样的事情也会发生在自我监督模型中吗？我们研究了三种最先进的自我监督模型的代表空间：wav2vec 2.0，HuBERT和对比预测编码（CPC），并将它们与讲法语和讲英语的人类听众的感知空间进行比较，无论是全球还是考虑到两个语言群体之间的行为差异。我们发现，CPC模型显示出一个小的母语效果，但wav2vec 2.0和休伯特似乎开发了一个通用的语音感知空间，这是不是语言特定的。对监督电话识别器的预测进行比较表明，所有三种自我监督模型都捕捉到了相对细粒度的感知现象，而监督模型更善于捕捉听众母语对感知的粗糙、电话级别的影响。
2022-05-31 cs.CL cs.SD eess.AS
Doppelganger: Sound Effects and Their Synthetic Twins
ETH Zürich（苏黎世联邦理工学院）
介绍Doppelganger基准，用于跨合成-真实边界匹配音效。通过配对真实与合成音频，测试不同训练方式对音频编码器跨边界匹配的影响，发现特定训练可提升匹配准确率，且该匹配具有生成器特异性。
2026-07-07 cs.SD eess.AS
Delay-Performance Tradeoffs in Causal Microphone Array Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在诸如助听器信号处理之类的实时听力增强应用中，必须以不超过几毫秒的延迟来处理声音以使听者听起来自然。通过使用麦克风阵列在空间和时间上对声学信号进行滤波，收听设备可以以较低的延迟实现更好的性能。在这里，我们分析了因果多通道维纳滤波器的麦克风阵列降噪的延迟和平方误差性能之间的权衡。我们计算的延迟误差曲线在两种特殊情况下的精确表达式，并从现实世界的麦克风阵列录音的实验结果。我们发现，延迟性能特性是由信号的空间和时间相关结构决定的。
2018-07-31 cs.SD eess.AS
Audio Captcha Recognition Using RastaPLP Features by SVM
Middle Tennessee State University（中田纳西州立大学）；Goats（三羊公司）
如今，CAPTCHA是计算机生成的测试，人类可以通过，但目前的计算机系统不能。它们在各种Web服务中具有共同的用途，以便能够自主地从计算机程序中检测人。通过这种方式，所有者可以保护他们的Web服务免受机器人攻击。除了由失真图像（主要是测试图像）组成的视觉CAPTCHA之外，用户还必须编写一些关于该图像的描述，还有大量的音频CAPTCHA。简而言之，音频验证码是声音文件，其中包括在重噪声下的人类声音，其中扬声器连续发出一串数字。一般来说，在这些声音文件中，有一些周期性和非周期性的噪音，很难用程序识别它们，但对于人类听众来说却不是这样。我们收集了大量随机收集的音频文件进行训练，然后使用我们的SVM算法进行测试，以便能够从每个对话中提取数字。
2019-01-08 cs.LG cs.SD eess.AS
AutoFoley: Artificial Synthesis of Synchronized Sound Tracks for Silent Videos with Deep Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在电影制作中，福利艺术家负责创建一个覆盖配乐，帮助电影为观众带来活力。这就要求艺术家首先确定声音，这将提高听众的经验，从而加强导演的意图，为给定的场景。在本文中，我们介绍了AutoFoley，一个全自动的深度学习工具，可用于合成视频的代表性音轨。AutoFoley可用于没有与视频相关联的相应音频文件的应用程序中，或者需要识别关键场景并提供合成的强化音轨的情况下。合成声道的一个重要性能标准是与输入视频时间同步，这提供了合成声音的逼真和可信的描绘。与现有的声音预测和生成架构不同，我们的算法能够通过将插值技术和时间关系网络（TRN）结合起来，精确识别快速移动的视频剪辑中的动作和帧间关系。我们采用了一个强大的多尺度递归神经网络（RNN）与卷积神经网络（CNN），以更好地理解复杂的输入输出关联随着时间的推移。为了评估AutoFoley，我们创建并引入了一个大规模的音频视频数据集，其中包含电影中经常用作Foley效果的各种声音。我们的实验表明，合成的声音逼真地描绘了准确的时间同步的相关视觉输入。AutoFoley的人类定性测试显示，超过73%的测试对象认为生成的音轨是原始的，这是声音合成中跨模态研究的一个值得注意的进步。
2020-02-21 cs.CV cs.LG cs.SD
Acoustic Wave Modeling Using 2D FDTD: Applications in Unreal Engine For Dynamic Sound Rendering
本文提出一种在 Unreal Engine 中模拟声传播的 2D FDTD 框架，通过网格离散与反卷积生成保留空间方向性的多通道脉冲响应以实现动态声音渲染，基准测试证实其有效性与商业潜力。
2025-07-12 cs.HC cs.MM cs.SD
Generative Audio Extension and Morphing
Adobe Research（Adobe研究院）
本文提出了一种生成音频扩展与变形的方法，通过遮蔽潜在表示并应用分类器自由引导变体，实现了音频的双向扩展和无缝变形，并通过客观指标和主观测试验证了其有效性。
2026-02-18 cs.MM cs.SD
"It is okay to be uncommon": Quantizing Sound Event Detection Networks on Hardware Accelerators with Uncommon Sub-Byte Support
Bose Corporation（博士公司）
本文针对耳机端声音事件检测的资源约束，利用支持常见与不常见亚字节位宽的神经网络加速器，并通过可微神经架构搜索优化量化位宽，在保持浮点性能的同时显著降低内存、延迟与能耗。
2024-04-05 cs.SD eess.AS
Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook 人工智能研究院）
双耳音频为人类听众提供沉浸式空间声音体验，但大多数现有视频缺乏双耳音频记录。我们提出了一种音频空间化方法，利用视频中的视觉信息将其单声道（单通道）音频转换为双耳音频。而现有的方法利用直接从视频帧中提取的视觉特征，我们的方法明确地解开存在于视觉流中的几何线索，以指导学习过程。特别是，我们开发了一个多任务框架，通过考虑底层房间脉冲响应，视觉流与声源位置的一致性，以及随着时间的推移发声对象的几何形状的一致性，来学习双耳音频生成的几何感知特征。此外，我们引入了一个新的大型视频数据集与现实的双耳音频模拟现实世界的扫描环境。在两个数据集上，我们证明了我们的方法的有效性，达到了最先进的结果。
2021-11-21 cs.CV cs.SD eess.AS
When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs
Yonsei University, Seoul, South Korea（延世大学）；Seoul National University, Seoul, South Korea（首尔国立大学）；Pohang University of Science（坡桑科学大学）
WhisperInject通过在无害音频中嵌入细微扰动，利用两阶段对抗性攻击框架劫持音频-语言模型，生成有害内容，展示了音频原生威胁的可行性。
2026-02-04 cs.AI cs.CR cs.SD
Modeling the Repetition-based Recovering of Acoustic and Visual Sources with Dendritic Neurons
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Children’s Hospital（儿童医院）；Harvard Medical School（哈佛医学院）
在自然听觉环境中，声信号来源于不同声源的时间叠加。从模糊的声音混合物中推断单个源的问题被称为盲源分解。对人类的实验已经证明，听觉系统可以将声源识别为嵌入在声学输入中的重复模式。源的重复产生时间上的重复，这种重复可以被检测到并用于分离。具体来说，听众可以识别在不同混合物中出现不止一次的声音，但不能识别只在单一混合物中听到的声音。然而，这种行为是否可以计算建模尚未探讨。在这里，我们提出了一个生物启发的计算模型进行盲声源分离的混合声刺激序列。我们的方法依赖于一个体树突神经元模型训练与赫布样学习规则，可以检测时空模式反复突触输入。我们表明，我们的模型的隔离能力是让人想起的功能，在各种实验设置涉及合成的声音与自然属性的人的表现。此外，我们扩展的研究，调查尚未探索与人类受试者，即自然的声音和图像的任务设置隔离的属性。总的来说，我们的工作表明，体树突神经元模型提供了一个有前途的神经启发的学习策略，以解释大脑分离能力的特点，以及对尚未测试的实验设置进行预测。
2022-01-16 cs.NE cs.SD eess.AS
Representations of Sound in Deep Learning of Audio Features from Music
Cold Spring Harbor Laboratory（冷泉港实验室）
一个音乐家、一个乐队或一个作曲家的作品在音乐风格上可以有很大的不同。事实上，不同的风格元素，从表演媒介和节奏到和谐和纹理，通常是在艺术家的一生中开发和发展的。然而，例如，在感知层面上，单个作曲家的作品通常具有可辨别的特征-有经验的听众通常可以从音乐中找到微妙的线索来识别作曲家或表演者。在这里，我们建议卷积网络可以学习这些微妙的线索或特征，给出音乐的适当表示。在本文中，我们将深度卷积神经网络应用于大型音频数据集，并根据经验评估其在音频分类任务上的性能。我们训练的网络在这样的分类任务上表现出准确的性能，当呈现通过原始音频波形的简单变换获得的5秒音乐示例时。一个特别有趣的例子是音乐的频谱表示，通过应用一个空间间隔的滤波器组，反映了哺乳动物听觉信号转导的早期阶段。最成功的音乐表示，以促进歧视是通过随机矩阵变换（RMT）。基于对数滤波器组和RMT的网络能够分别在68%和84%的情况下正确地猜测出31种可能性中的一个作曲家。
2017-12-08 cs.CV cs.SD eess.AS
Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics?
Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）；Northwestern University（西北大学）
本文评估MS-CLAP等联合语言-音频嵌入模型捕捉感知音色语义的能力，发现LAION-CLAP对齐表现较强但整体有限，混响诱导音色语义的编码一致性优于均衡诱导。
2026-08-26 cs.AI cs.SD eess.AS
SonicMaster: Towards Controllable All-in-One Music Restoration and Mastering
Information Systems Technology and Design（信息系统技术与设计）
SonicMaster通过基于文本的控制，实现了音乐修复与母带处理的统一生成模型，显著提升了音频质量。
2026-09-14 cs.AI cs.MM cs.SD
A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models
Rama Labs（Rama实验室）
提出一种实时音乐界面，将自然语言场景描述转化为可演化的程序化声景，通过直接参数调整实现细粒度控制，并采用三种可互换后端生成连贯音频流。
2026-07-02 cs.CL cs.HC cs.SD
Efficient learning-based sound propagation for virtual and real-world audio processing applications
提出三种基于学习的声传播方案：高效RIR生成器、视听RIR估计器和IR-GAN，显著提升虚拟与现实音频处理任务的速度与性能。
2024-09-08 cs.SD eess.AS
Listen2Scene: Interactive material-aware binaural sound propagation for reconstructed 3D scenes
University of Maryland（马里兰大学）
Listen2Scene提出一种基于图神经网络和条件生成对抗网络的端到端双耳声音传播方法，利用三维场景材质与拓扑生成声学效果，在RTX 2080 Ti上0.1毫秒内完成，经感知和定量评估优于现有方法。
2024-02-01 cs.CV cs.LG cs.MM
Few-Shot Audio-Visual Learning of Environment Acoustics
UT Austin（德克萨斯大学奥斯汀分校）；FAIR（Facebook人工智能研究院）
房间脉冲响应（RIR）函数捕捉周围的物理环境如何转换听者听到的声音，并对AR、VR和机器人技术中的各种应用产生影响。而传统的方法来估计RIR假设密集的几何形状和/或整个环境中的声音测量，我们探讨如何推断RIR的基础上，在空间中观察到的图像和回波的稀疏集。为了实现这一目标，我们引入了一种基于变换器的方法，该方法使用自注意力来构建丰富的声学上下文，然后通过交叉注意力来预测任意查询源-接收器位置的RIR。此外，我们设计了一个新的训练目标，提高了RIR预测和目标之间的声学签名的匹配。在实验中使用的国家的最先进的视听模拟器的3D环境中，我们证明，我们的方法成功地产生任意RIR，优于国家的最先进的方法和-在一个主要的背离传统的方法-概括到新的环境中的Few-Shot的方式。项目：http://vision.cs.utexas.edu/projects/fs_rir。
2022-11-24 cs.CV cs.LG cs.SD
Transhuman Ansambl - Voice Beyond Language
Monash University（莫纳什大学）
本文提出超人类合唱团——一个由十六个虚拟歌手组成的交互式歌唱语音系统，通过感知音高、语调和音量或超声波距离来回应人类，探索超越语言的语音交互与现场表演创新。
2024-05-06 cs.HC cs.SD eess.AS
Cross-cultural evaluation of taste-sound correspondences in AI-generated music
University of Padova（帕多瓦大学）；University of Trento（特伦托大学）；University of Gastronomic Sciences（美食科学大学）；Universidad Nacional de Tres de Febrero（三月十五日国立大学）；Ritsumeikan University（立命馆大学）
本研究通过阿根廷、意大利、日本三国实验，评估AI生成音乐中味觉-声音对应关系的跨文化差异，发现差异源于量表使用与感知结构，需区分反应风格偏差与真实感知重组。
2026-08-05 cs.HC cs.SD
Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound
FAIR at Meta（Meta FAIR实验室）；Reality Labs at Meta（Meta Reality Labs）
本文提出Meta Audiobox Aesthetics，通过四轴标注指南和无参考逐项预测模型，统一自动评估语音、音乐与声音的美学质量，性能达到或超越人类MOS与现有方法，并开源模型与数据集。
2025-02-07 cs.LG cs.SD eess.AS
ADIFF: Explaining audio difference using natural language
Carnegie Mellon University（卡内基梅隆大学）
本文首次系统研究音频差异解释任务，提出ADIFF模型，通过交叉投影、位置字幕和三步训练生成多层次自然语言解释，并在新基准上显著超越基线方法。
2025-02-06 cs.AI cs.SD eess.AS
Room Impulse Response Generation Conditioned on Acoustic Parameters
Dolby Laboratories（杜比实验室）；KTH Royal Institute of Technology（皇家理工学院）
本研究提出直接基于声学参数约束RIR生成，探索了自回归与非自回归模型，实验表明MaskGIT模型表现最佳，匹配或超越现有方法。
2025-07-16 cs.SD eess.AS
Automatic Contextual Audio Denoising
Tampere University（塔尔皮奥大学）；Nokia（诺基亚）
本文提出了一种自动上下文音频去噪方法，通过推断音频场景类别来区分有用和无关声音成分，从而提高去噪效果。
2026-05-21 cs.LG cs.SD eess.AS
