TELEVAL: A Benchmark Designed for Spoken Language Models in Chinese Interactive Scenarios
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI)、中国电信)
TELEVAL是一个为中国语音交互场景设计的动态基准,旨在评估语音语言模型在真实对话中的表现,强调内容准确性和互动适当性,揭示当前模型在自然交互回应上的不足。
2026-08-25 cs.AI cs.CL cs.SD
Guiding Audio Editing with Audio Language Model
University of Pennsylvania(宾夕法尼亚大学)
SmartDJ框架利用音频语言模型推理与潜在扩散生成,将高级指令分解为原子操作,实现立体声音频编辑,显著提升感知质量、空间真实感与语义对齐。
2025-09-25 cs.AI cs.LG cs.SD
Audio Interaction Model
NTU(国立新加坡大学);NUS(新加坡国立大学);CUHK(香港大学)
提出一种统一的在线大型音频语言模型Audio-Interaction,通过始终在线的感知-决策-响应循环实现实时音频交互,并构建了StreamAudio-2M数据集和Proactive-Sound-Bench基准,在保持主流音频任务性能的同时解锁了实时ASR、流式音频指令跟随和主动帮助等能力。
2026-08-24 cs.AI cs.CL cs.MM
No Time to Collapse: Unlocking Robustness and Multiplexed Capacity in Frozen Audio Watermarkers
University of Warwick(华威大学);OfSpectrum, Inc.(OfSpectrum 公司)
针对神经音频水印中时间折叠限制鲁棒性与多路复用能力的问题,本文冻结预训练水印器,仅训练低延迟Conformer解码器,在三个水印器上提升攻击恢复与AUROC,并显著改善多路复用联合恢复。
2026-09-25 cs.SD
Unlocking Spatial Grounding in Large Audio-Visual Retrieval models
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信与信号处理实验室,巴黎电信学院);Meta, Reality Labs Research(元宇宙公司 Reality Labs 研究部);NVIDIA(英伟达公司);Inria at Université Grenoble Alpes, CNRS, LJK(法国国家信息与自动化研究所,格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,让·昆汀·莫诺德实验室)
研究针对视听声源定位任务,利用大规模视听检索模型的潜在表示,引入LAIP框架,通过音频信息池化恢复局部空间信息,在相关数据集上取得领先性能,证明可从现有检索表示解锁定位,为检索和定位任务提供统一路径。
2026-09-30 cs.AI cs.IR cs.MM
Resurfacing Paralinguistic Awareness in Large Audio Language Models
本文提出一种语义外增强的微调方法,通过五种分层分析提升LALMs的语义外意识能力,实验表明其效果优于全层微调策略。
2026-03-12 cs.CL cs.MM cs.SD
Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation
National Taiwan University(台湾大学)
本文提出了大型音频语言模型中音频越狱攻击与防御的统一分类法和受控实证评估,揭示了声学最佳N攻击暴露了最坏情况下的音频空间漏洞,叙事框架是一种有效的低延迟语义威胁,而现有防御在鲁棒性与良性可用性之间存在权衡。
2026-05-28 cs.AI cs.CL cs.SD
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University(南洋理工大学)
自动音频字幕(AAC)是一个跨模态的任务,它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征,因此对于跨模态解码任务是次优的。在这项工作中,我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说,CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外,我们还应用对比学习,通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明,所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明,预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
ADAGIO: Interactive Experimentation with Adversarial Attack and Defense for Audio
Georgia Institute of Technology(佐治亚理工学院);Intel Corporation(英特尔公司)
对抗机器学习研究最近已经证明了通过向音频样本引入声学上不可感知的扰动来混淆自动语音识别(ASR)模型的可行性。为了帮助研究人员和从业人员更好地了解此类攻击的影响,并为他们提供工具,帮助他们更轻松地评估和为其模型制作强大的防御,我们介绍了ADAGIO,这是第一个旨在实时的ASR模型上的对抗攻击和防御的交互式实验工具,包括视觉和听觉。ADAGIO采用AMR和MP3音频压缩技术作为防御手段,用户可以交互式地将其应用于受攻击的音频样本。我们表明,这些技术,这是基于心理声学原理,有效地消除有针对性的攻击,攻击成功率从92.5%降低到0%。我们将演示ADAGIO,并邀请观众在Mozilla Common Voice数据集上试用。
2018-05-30 cs.CR cs.LG cs.SD
FAAG: Fast Adversarial Audio Generation through Interactive Attack Optimisation
Swinburne University of Technology(斯威本科技大学);James Cook University(詹姆斯·库克大学);Deakin University(迪肯大学)
自动语音识别服务(ASR)继承了深度神经网络的漏洞,如精心制作的对抗性示例。现有的方法通常效率低下,因为目标相位被添加到整个音频样本中,导致对计算资源的高需求。本文提出了一种名为FAAG的新方案,作为一种基于迭代优化的方法来快速生成有针对性的对抗性示例。通过在音频的开始部分注入噪声,FAAG以高的成功率及时生成高质量的对抗性音频。具体来说,我们使用音频的logits输出将转录中的每个字符映射到音频帧的近似位置。因此,FAAG仅使用CPU就可以在大约两分钟内生成一个对抗性示例,使用一个GPU大约需要十秒,同时保持平均成功率超过85%。具体来说,在对抗性示例生成过程中,FAAG方法与基线方法相比可以加快60%左右。此外,我们发现,附加良性音频到任何可疑的例子可以有效地抵御有针对性的对抗攻击。我们希望这项工作为发明新的针对具有计算约束的语音识别的对抗攻击铺平道路。
2022-02-11 cs.CR cs.SD eess.AS
MuseAgent-1: Interactive Grounded Multimodal Understanding of Music Scores and Performance Audio
Nanyang Technological University(南洋理工大学);Beijing University of Chemical Technology(北京化工大学);Microsoft(微软公司);University of Chicago(芝加哥大学)
MuseAgent-1 是一个专注于音乐的多模态代理,通过结构化符号表示和多步骤推理,提升对音乐谱面和表演音频的交互式理解能力。
2026-01-17 cs.MM cs.SD eess.AS
Mind the Gap! Static and Interactive Evaluations of Large Audio Models
Georgia Institute of Technology(佐治亚理工学院);National University of Singapore(新加坡国立大学);SCB 10X, SCBX Group(SCB 10X、SCBX集团);Stanford University(斯坦福大学)
本研究通过收集484名参与者的7500次交互,提出交互式评估大型音频模型的方法,发现静态基准与交互性能相关性弱,需开发更贴合用户偏好的评估。
2025-02-21 cs.CL cs.SD eess.AS
CosyEdit: Unlocking End-to-End Speech Editing Capability from Zero-Shot Text-to-Speech Models
CosyEdit通过任务特定的后训练和互补训练范式,从零样本文本到语音模型中解锁端到端语音编辑能力,实现高一致性语音编辑。
2026-06-28 cs.SD eess.AS
Sounding that Object: Interactive Object-Aware Image to Audio Generation
University of California, Berkeley(加州大学伯克利分校);ByteDance Inc.(字节跳动公司)
本文提出交互式物体感知音频生成模型,将物体中心学习与条件潜在扩散模型结合,通过多模态注意力实现用户选择物体层面的声音生成,并在定量与定性评估中优于基线方法。
2025-06-04 cs.CV cs.LG cs.MM
Hear-Your-Click: Interactive Object-Specific Video-to-Audio Generation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Technologies Co., Ltd.(华为技术有限公司)
提出交互式V2A框架Hear-Your-Click,通过点击帧为特定对象生成声音,结合OCAV微调、MVE编码器及RVS、MLM数据增强策略,实现更精确的对象级视听对齐与生成性能提升。
2025-07-13 cs.AI cs.CV cs.MM
Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels
University of Science and Technology of China(中国科学技术大学);iFLYTEK(科大讯飞)
本文提出基于对话音频上下文感知核的交互式虚拟角色生成方法,通过引入多头高斯核解决谈话与倾听行为的时间尺度差异问题,构建了能同时处理双流音频输入的全双工虚拟代理,并在VoxHear数据集上验证了其在生成自然响应的全双工数字人类方面的优越性。
2026-04-11 cs.AI cs.SD
Real-valued parametric conditioning of an RNN for interactive sound synthesis
National University of Singapore(新加坡国立大学)
用于音频合成的递归神经网络(RNN)通过用关于信号特征(诸如音高、幅度和乐器)的信息来增强音频输入来训练。训练后的结果是音频合成器,其像乐器一样演奏,具有作为连续参数控制提供的期望的音乐特性。本文的重点是用实值参数调节数据驱动的综合模型,特别是系统a)泛化和b)响应训练期间未看到的参数值和序列的能力。
2018-05-30 cs.LG cs.SD eess.AS
Instruct-MusicGen: Unlocking Text-to-Music Editing for Music Language Models via Instruction Tuning
本文提出Instruct-MusicGen,通过在预训练MusicGen中引入文本与音频融合模块并仅微调8%参数,高效实现添加、移除或分离音轨等文本到音乐编辑任务,性能超越现有基线。
2025-07-17 cs.AI cs.LG cs.MM
Interactive singing melody extraction based on active adaptation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
提出基于主动适应的交互式歌唱旋律提取方法,利用归一化真实类别概率置信度准则选择需人工标注的区域,并通过处理类别不平衡的元学习使模型适应目标域,同时发布了HAR数据集。
2024-02-12 cs.SD eess.AS
iKlax: a New Musical Audio Format for Active Listening
iKlax Media(iKlax媒体);SCRIME;LaBRI - CNRS(波尔多第一大学计算机科学实验室 - 法国国家科学研究中心);Univ. of Bordeaux 1(波尔多第一大学);IRCAM(法国巴黎声学与音乐研究中心)
在本文中,我们提出了一个新的互动音乐模型。与大多数交互式系统不同,我们的模型是基于文件组织,但不需要数字音频处理。该模型包括约束系统及其求解器的定义。该项目的产品面向普通大众、没有经验的用户以及专业音乐家,并将进行商业发行。我们在这里介绍这个项目的三个产品。这个项目的难点在于设计一种交互式音乐的技术和软件产品,它必须易于普通大众和专业作曲家使用。
2009-01-25 cs.SD
In-the-wild Audio Spatialization with Flexible Text-guided Localization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室)
本文提出文本引导的音频空间化框架TAS,并构建包含37.6万样本的SpatialTAS数据集,通过文本提示实现对双耳音频空间位置的灵活交互式控制,在模拟与真实数据上均优于现有方法。
2025-06-01 cs.AI cs.SD eess.AS
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University(上海交通大学)
自动音频字幕是一个跨模态的任务,生成自然语言描述来总结音频剪辑的声音事件。然而,尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集,它提供了声音事件和Audiocaps中提供的字幕之间的对应关系,以及每个声音事件的位置(时间戳)。在此基础上,我们提出了文本到音频接地(TAG)的任务,交互地考虑音频处理和语言理解之间的关系。提供了基线方法,导致事件F1评分为28.3%,复音检测评分(PSDS)为14.7%。
2021-02-23 cs.SD eess.AS
Rendering Spatial Sound for Interoperable Experiences in the Audio Metaverse
iZotope, Inc.(艾佐拓普公司);Facebook Reality Labs(脸书现实实验室);Magic Leap, Inc.(魔法 leap 公司);Brian Schmidt Studios, LLC.(布莱恩·施密特工作室有限责任公司)
先前为视频游戏创作和渲染而开发的交互式音频空间化技术已经发展成为平台的重要组成部分,能够为未来的共存、远程协作和娱乐应用提供共享的沉浸式虚拟体验。新的可穿戴虚拟和增强现实显示器采用实时双耳音频计算引擎,该引擎呈现多个数字对象,并支持联网参与者或其化身通过真实和虚拟环境的并置(通常被称为Metaverse)的自由导航。这些应用需要一个参数化音频场景编程接口,以便于在移动计算平台和远程服务器上创建和部署共享的、动态的和逼真的虚拟3D世界。我们提出了一种实用的方法来设计参数6自由度的基于对象的交互式音频引擎,以提供必要的音频/视觉和虚拟/真实的一致性在Metaverse经验的感知相关的双耳线索。我们解决了室内混响,声反射器,和障碍物在虚拟和真实环境中的影响,并讨论了这种影响可能会被预先计算和实时声传播求解器的组合驱动。我们设想一个开放的场景描述模型蒸馏,以促进跨多个平台分布的可互操作的应用程序的开发,其中每个音频对象表示,对用户来说,一个自然的声源具有可控的距离,大小,方向和声辐射属性。
2021-09-26 cs.SD eess.AS
AudioGenie-Reasoner: A Training-Free Multi-Agent Framework for Coarse-to-Fine Audio Deep Reasoning
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent AI Lab(腾讯AI实验室)
提出无需训练的音频深度推理多智能体框架AGR,通过将音频转为文本并迭代精炼证据链,实现从粗到细的推理,达到SOTA性能。
2025-10-15 cs.SD eess.AS
ELGAR: Expressive Cello Performance Motion Generation for Audio Rendition
Tsinghua University(清华大学)
本文提出基于扩散模型的大提琴演奏动作生成框架ELGAR,通过手部与琴弓交互接触损失及专用评估指标,仅从音频生成全身细粒度演奏动作,并构建SPD-GEN数据集验证其有效性。
2025-07-01 cs.GR cs.SD eess.AS
HelixWorld: A Real-time Interactive Audio-Visual World Model
The Hong Kong University of Science and Technology(香港科技大学);Noiz AI
HelixWorld提出首个实时交互视听世界模型,通过双向教师蒸馏实现24 FPS无漂移的视听联合推演,并引入HelixBench评估空间声学一致性,在保持视觉性能的同时显著提升声学沉浸感。
2026-10-06 cs.CV cs.MM cs.SD
Dynamic Portal Occlusion for Precomputed Interactive Sound Propagation
Microsoft Research(微软研究院)
游戏和虚拟现实中的沉浸式视听体验需要快速计算基于衍射的声学效果。为了保持可扩展性,效果必须在几何复杂场景中保持源和收听者运动的空间平滑度。预先计算的基于波的技术可以以低运行时CPU成本渲染这样的结果,但仍然限于静态场景。对动态门户(如门)的遮挡效果进行建模是保持视听一致性的一个尚未解决的挑战。我们提出了一个快速的解决方案,可实现为一个下拉扩展到现有的预计算系统。Key是一种新颖的门户搜索方法,它利用预先计算的传播延迟和方向数据,在运行时找到连接动态源和侦听器的衍射最短路径的门户。在最坏的情况下,该方法与门户的数量呈线性关系,远比显式全局路径搜索与场景区域成比例。我们将讨论进一步加速的剔除技术。搜索算法与几何声学近似相结合,以模拟额外的直接和间接的能量损失,从干预门户网站取决于他们的动态关闭状态。我们展示了合理的视听动画在我们的系统集成虚幻引擎4(TM)和AudioKinetic Wwise(TM)。
2021-07-27 cs.GR cs.SD eess.AS
StreamAV-Bench: A Comprehensive Benchmark for Streaming Audio-Video Generation
BAAI(北京智源人工智能研究院);PKU(北京大学);Kling;THU(清华大学);USTC(中国科学技术大学)
该研究针对现有基准无法捕捉流式音视频生成特性的问题,推出首个综合基准StreamAV-Bench,构建含双赛道的评估框架并评估13个系统,揭示当前模型的缺陷并给出模型开发见解。
2026-08-28 cs.CV cs.MM cs.SD
SynthASR: Unlocking Synthetic Data for Speech Recognition
Alexa Speech, Amazon.com(亚马逊Alexa语音)
端到端(E2 E)自动语音识别(ASR)模型最近已经证明了优于传统混合ASR模型的性能。训练E2 E ASR模型需要大量数据,这不仅昂贵,而且可能会增加对生产数据的依赖性。与此同时,由最先进的文本到语音(TTS)引擎生成的合成语音已经发展到接近人类的自然度。在这项工作中,我们建议在数据稀疏或难以获得ASR模型训练的应用中利用合成语音进行ASR训练(SynthASR)。此外,我们采用了一种新的多阶段训练策略来解决灾难性遗忘,通过加权多风格训练,数据增强,编码器冻结和参数正则化的混合来实现。在我们针对识别药物名称的新应用程序在内部数据集上进行的实验中,通过提出的多阶段训练使用合成音频训练ASR RNN-T模型,将新应用程序的识别性能相对提高了65%以上,而不会降低现有的一般应用程序。我们的观察表明,SynthASR在为新应用程序训练最先进的大规模E2 E ASR模型方面具有很大的潜力,同时降低了成本和对生产数据的依赖。
2021-06-14 cs.LG cs.SD eess.AS
SoundPlot: An Open-Source Framework for Birdsong Acoustic Analysis and Neural Synthesis with Interactive 3D Visualization
Electrical Engineering Sukkur IBA University(电气工程 Sukkur IBA大学)
SoundPlot是一种开源框架,用于分析鸟类叫声并通过神经合成和交互式3D可视化进行声学处理,支持高保真的音频重建和多维特征空间分析。
2026-01-19 cs.LG cs.SD
AeroGPT: Leveraging Large-Scale Audio Model for Aero-Engine Bearing Fault Diagnosis
School of Physics and Astronomy, The University of Edinburgh(爱丁堡大学物理与天文学学院);Glasgow College, University of Electronic Science and Technology of China(电子科技大学格拉斯哥学院);Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系);Department of Systems Engineering, City University of Hong Kong(香港城市大学系统工程系);School of Mechanical Engineering, Northwestern Polytechnical University(西北工业大学机械工程学院);Department of Industrial Engineering, Tsinghua University(清华大学工业工程系);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
本文提出AeroGPT框架,通过迁移通用音频知识到航空发动机轴承故障诊断,结合振动信号对齐和生成故障分类,实现无需后处理的可解释故障诊断,实验验证其在航空发动机轴承数据集上的高准确率。
2026-02-23 cs.SD eess.AS
Listen2Scene: Interactive material-aware binaural sound propagation for reconstructed 3D scenes
University of Maryland(马里兰大学)
Listen2Scene提出一种基于图神经网络和条件生成对抗网络的端到端双耳声音传播方法,利用三维场景材质与拓扑生成声学效果,在RTX 2080 Ti上0.1毫秒内完成,经感知和定量评估优于现有方法。
2024-02-01 cs.CV cs.LG cs.MM
ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing
Hong Kong University of Science and Technology (HKUST)(香港理工大学);Tongyi Fun Team, Alibaba Group(阿里云团队);Zhejiang University(浙江大学)
ThinkSound利用思维链推理将视频音频生成分解为拟音生成、对象交互细化和自然语言编辑三阶段,并引入AudioCoT数据集,在多项指标上达到最先进性能。
2025-11-05 cs.CV cs.SD eess.AS
A Multiclass Acoustic Dataset and Interactive Tool for Analyzing Drone Signatures in Real-World Environments
Department of Computer Science(计算机科学系);College of Charleston(查尔斯顿学院);Department of Engineering(工程系)
针对现有无人机检测技术的局限性,本文构建了含32类无人机声学特征的多类别数据集,开发了可交互探索的网页工具,为无人机声学检测、分类研究及教育应用提供支撑。
2025-09-05 cs.SD eess.AS
Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models
Alibaba Group(阿里巴巴集团)
提出Wan-Streamer,一种原生流式、端到端的交互基础模型,通过单一Transformer联合建模语言、音频和视频,实现低延迟全双工音视频交互,无需外部模块。
2026-06-26 cs.AI cs.CV cs.GR
Evaluation of the Pronunciation of Tajweed Rules Based on DNN as a Step Towards Interactive Recitation Learning
本文提出基于EfficientNet-B0与Squeeze-and-Excitation注意力机制的深度学习模型,在QDAT数据集上对三条泰吉威德规则进行分类,准确率分别达95.35%、99.34%和97.01%,为交互式诵读学习系统奠定基础。
2025-09-19 cs.SD eess.AS
Audio Atlas: Visualizing and Exploring Audio Datasets
ETH Zurich(苏黎世联邦理工学院)
本文提出交互式 Web 应用 Audio Atlas,结合文本-音频对比嵌入、向量数据库与 DeepScatter 二维可视化,支持音频数据集的语义搜索、模式及异常值探索,并开源含多类音频与音乐数据集的初始实现。
2024-11-30 cs.AI cs.SD eess.AS
Naturalistic audio-visual volumetric sequences dataset of sounding actions for six degree-of-freedom interaction
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
随着视听系统越来越多地为我们的工作和休闲活动带来沉浸式和交互式功能,因此对自然主义测试材料的需求也在增长。新的体积数据集已经捕获了高质量的3D视频,但伴随的音频往往被忽视,因此很难测试集成的双峰体验。旨在涵盖不同的声音类型和功能,所提出的体积数据集是从音频和视频演播室录制的场景,产生四十个短动作序列。在技术和科学测试的潜在用途进行了讨论。
2021-05-03 cs.MM cs.SD eess.AS
Audio Entailment: Assessing Deductive Reasoning for Audio Understanding
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Microsoft Research(微软研究院)
本文提出音频蕴含任务以评估音频语言模型的演绎推理能力,通过构建新数据集进行基准测试,发现现有模型在逻辑推理上存在缺陷,并提出“先字幕后推理”中间步骤有效提升了模型性能。
2024-07-25 cs.SD eess.AS
Audio Dialogues: Dialogues dataset for audio and music understanding
NVIDIA(英伟达)
针对现有音频理解数据集多为单轮交互、缺乏对话式理解支撑的问题,研究团队构建了含16.38万样本的多轮音频对话数据集Audio Dialogues,覆盖通用音频与音乐,支持多音频比较,基于提示方法和现有字幕标注用LLM生成对话,并验证了其复杂性与适用性。
2024-04-11 cs.CL cs.SD eess.AS
WorldSonus: Bringing Sound to Worlds
The Hong Kong University of Science and Technology(香港科技大学);Noiz AI;MetaX;Shanghai Jiao Tong University(上海交通大学)
WorldSonus提出交互式视频到音频框架,通过流式因果自回归扩散架构实现低RTF实时生成,支持交互控制与空间对齐,在开放域基准上达到或超越最先进模型。
2026-10-07 cs.AI cs.CV cs.SD
MLAAD: The Multi-Language Audio Anti-Spoofing Dataset
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Resemble AI;Wrocław University of Science and Technology(沃拉夫大学);Thorsten-Voice
本文提出多语言音频防伪数据集(MLAAD)版本10,包含175个文本到语音(TTS)模型,总计1002.9小时的合成语音,涵盖54种语言,用于训练和评估音频深度伪造检测模型,并展示了其在多个数据集上的优越性能。
2026-08-28 cs.SD eess.AS
Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision
Imperial College London(伦敦帝国学院);University of Manchester(曼彻斯特大学);HiThink Research(HiThink研究院);Soochow University(苏州大学);Hong Kong Baptist University(香港 Baptist大学);Idiap Research Institute(Idiap研究 institute);Meta AI;Fudan University(复旦大学)
本文提出工业级全模态模型 Nexus,通过模块化架构、基于 Qwen2.5-VL 的轻量音频-语言对齐训练及音频合成流程,在视觉理解、英语口语问答、ASR、翻译和 TTS 等任务上验证有效性。
2025-10-20 cs.CV cs.MM cs.SD
CoDi-2: In-Context, Interleaved, and Interactive Any-to-Any Generation
UC Berkeley(加州大学伯克利分校);Microsoft Azure AI(微软Azure人工智能部门);Zoom(Zoom公司);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
CoDi-2 是一个多模态大语言模型,通过模态与语言对齐实现任意到任意生成,并具备上下文内学习、推理和交互式多轮对话能力,在图像生成、视觉变换和音频编辑等任务上超越领域专用模型。
2023-11-30 cs.AI cs.CL cs.CV
Designing Neural Synthesizers for Low-Latency Interaction
Queen Mary University of London(伦敦玛丽女王大学);Imperial College London(帝国理工学院)
本研究探索神经音频合成模型的延迟来源,通过迭代设计优化延迟并提出低延迟模型BRAVE,其音高响度复制更优且音色修改能力与RAVE相当,还实现了兼容乐器信号的插件,为NAS低延迟模型设计提供支持。
2025-04-11 cs.AI cs.LG cs.SD
Tragic Talkers: A Shakespearean Sound- and Light-Field Dataset for Audio-Visual Machine Learning Research
University of Surrey(萨里大学)
3D视听制作旨在为消费者提供身临其境的互动体验。然而,忠实地再现真实世界的3D场景仍然是一项具有挑战性的任务。这部分是由于缺乏可用的数据集,使视听研究在这方面。在大多数现有的多视图数据集中,伴随的音频被忽略。同样,空间音频研究的数据集主要提供单峰内容,当包括视觉数据时,质量远远不能满足标准的生产需求。我们提出了“悲剧的谈话者”,一个视听数据集组成的摘录从“罗密欧与朱丽叶”戏剧捕捉麦克风阵列和多个共同定位的摄像机的光场视频。Tragic Talkers为基于对象的媒体(OBM)制作提供了理想的内容。它旨在涵盖各种传统的谈话场景,如独白,两人对话,以及相当大的运动和遮挡的互动,产生从总共22个不同的角度和两个16元件麦克风阵列捕获的30个序列。此外,我们还提供了语音活动标签,每个摄像机视图的2D人脸边界框,2D姿势检测关键点,演员嘴巴的3D跟踪数据以及对话transmittance。我们相信社区将受益于此数据集,因为它可以帮助多学科研究。数据集的可能用途进行了讨论。
2022-12-04 cs.MM cs.SD eess.AS
Audio-Visual Speech Enhancement: Architectural Design and Deployment Strategies
School of Engineering & Physical Sciences, Heriot-Watt University(赫瑞斯泰学院,赫瑞斯泰大学);College of Engineering Department of Electrical and Computer Engineering, San Diego State University(工程学院电子与计算机工程系,圣地亚哥州立大学);SDAIA-KFUPM Joint Research Centre for Artificial Intelligence, King Fahd University of Petroleum and Minerals(SDAIA-KFUPM人工智能联合研究中心,国王法赫德石油与矿物大学)
本文提出一种云-边协同的音频-视觉语音增强系统,通过CNN和LSTM融合网络实现时序一致性,并探讨网络负载和压缩对实时性能的影响,揭示了5G和有线以太网在解压音频视频中的关键作用。
2026-07-05 cs.SD eess.SP
It Takes Two: Real-time Co-Speech Two-person's Interaction Generation via Reactive Auto-regressive Diffusion Model
The University of Hong Kong(香港大学);Great Bay University(大湾区大学);National Institute of Informatics(信息学研究所)
本文提出音频驱动的反应式自回归扩散系统,利用双方历史状态、语音与任务轨迹在线生成双人全身交互动作,并在多任务实验中优于现有方法。
2024-12-03 cs.CV cs.GR cs.MM
LK Jam: System Architecture and Implementation of a Real-Time Human-AI Interactive Music Generation System using Role-Aware GRU
Shenyang Conservatory of Music(沈阳音乐学院)
提出LK_Jam系统,基于轻量级GRU和高性能音频主机架构,通过多维稀疏事件流和角色感知编码实现低延迟双向人机交互音乐生成,采用三阶段渐进训练策略提升交互质量。
2026-06-23 cs.AI cs.LG cs.SD
Vision-Infused Deep Audio Inpainting
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
多模态感知是发展交互智能的关键。在这项工作中,我们考虑了一个新的任务的视觉信息注入音频修复,\ie合成丢失的音频片段,对应于他们的陪同视频。我们确定了成功的inpainter的两个关键方面:(1)希望对频谱图而不是原始音频进行操作。深度语义图像修补的最新进展可以被利用来超越传统音频修补的限制。(2)为了合成视觉上指示的音频,需要通过音频和视频的同步来学习视觉-音频联合特征空间。为了便于大规模的研究,我们收集了一个新的多模态乐器演奏数据集,称为MUSIC-Extra-Solo(MUSICES),通过丰富MUSIC数据集。大量的实验表明,我们的框架是能够修复现实和不同的音频片段有或没有视觉环境。更重要的是,我们合成的音频片段与视频片段是一致的,这表明我们提出的视觉注入音频修复器(VIAI)的有效性。代码、模型、数据集和视频结果可在https://hangz-nju-cuhk.github.io/projects/AudioInpainting上获得
2019-10-24 cs.CV cs.LG cs.SD
Detecting Musical Deepfakes
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文基于 FakeMusicCap 数据集,在节奏拉伸和音高偏移的对抗条件下用 Mel 频谱图训练 CNN,以区分 AI 生成音乐与人类音乐,并讨论检测系统的伦理与产业意义。
2025-05-03 cs.LG cs.SD