MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词,支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
Fun-Audio-Chat Technical Report
Alibaba Group(阿里巴巴集团)
Fun-Audio-Chat通过双分辨率语音表示和核心鸡尾酒训练,解决语音-文本模型的时间分辨率不匹配和灾难性遗忘问题,实现高效且高质量的音频理解与生成。
2026-01-20 cs.AI cs.CL cs.SD
Kimi-Audio Technical Report
Kimi Team(Kimi团队)
Kimi-Audio 是一个开源音频基础模型,采用 12.5Hz 音频分词器和基于 LLM 的架构,通过超过 1300 万小时音频数据预训练,在语音识别、音频理解等基准上达到最先进性能。
2025-04-25 cs.AI cs.CL cs.LG
The Model Hears You: Audio Language Model Deployments Should Consider the Principle of Least Privilege
本文指出端到端音频语言模型相比级联流水线带来身份推断等社会技术安全风险,主张以最小权限原则指导其开发与部署,并强调现有基准的不足。
2025-09-09 cs.AI cs.CL cs.CY
Baichuan-Omni Technical Report
Baichuan Inc.(百川智能);Westlake University(西湖大学);Zhejiang University(浙江大学)
本文提出首个开源 7B 多模态大语言模型 Baichuan-omni,可同时处理图像、视频、音频和文本,并通过两阶段多模态训练实现强性能与实时交互能力。
2024-12-27 cs.AI cs.CL cs.CV
PitchIn: Natural-Language Vocal Coaching from Unstructured Community Feedback
KAIST(韩国科学技术院);The University of Tokyo(东京大学);ETRI(韩国电子通信研究院)
PitchIn基于在线歌唱社区非结构化反馈构建音频-语言模型,结合PeerCoach数据集训练后,在VocalCoachBench上大幅提升声乐指导的诊断-纠正对匹配比例,实用性获专家与人类偏好认可。
2026-10-14 cs.SD eess.AS
Reinforcement Learning Outperforms Supervised Fine-Tuning: A Case Study on Audio Question Answering
Xiaomi Corporation(小米公司)
本文针对音频问答任务,将GRPO强化学习应用于Qwen2-Audio-7B-Instruct,仅用38k样本即在MMAU Test-mini上达到64.5%的准确率,并证明RL显著优于SFT。
2025-05-14 cs.AI cs.CL cs.SD
AdvWave: Stealthy Adversarial Jailbreak Attack against Large Audio-Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大型音频语言模型(LALMs)越狱研究有限、存在梯度破碎等技术挑战,研究团队提出首个LALMs越狱框架AdvWave,通过双阶段优化等方法实现更高攻击成功率且保证音频隐蔽性。
2024-12-11 cs.AI cs.CR cs.SD
Raon-Speech Technical Report
KRAFTON
本文提出 Raon-Speech,一个 9B 参数的语音语言模型,通过多阶段训练实现英语和韩语的语音理解、回答与生成,并扩展为全双工对话模型 Raon-SpeechChat,在语音任务上超越同类模型。
2026-04-08 cs.AI cs.CL cs.SD
On-Device Watermarking: A Socio-Technical Imperative For Authenticity In The Age of Generative AI
Kensho Technologies
本文主张放弃对AI生成内容加水印,改为在硬件层对可信内容进行加密签名认证,并提出社会技术框架,认为该路径更可行,AI水印研究应聚焦文本与LLM领域。
2025-04-15 cs.AI cs.CR
Chunking Strategies for Multimodal AI Systems
IBM(国际商业机器公司)
本文综述了多模态系统中分块策略的分类和技术分析,探讨了不同模态的数据处理方法及挑战。
2026-02-10 cs.AI cs.LG
Fish Audio S2 Technical Report
Fish Audio Team(Fish Audio 团队)
Fish Audio S2开源文本到语音系统支持多说话人、多轮生成和指令遵循控制,提供生产级流式推理引擎和模型权重。
2026-03-11 cs.AI cs.CL cs.SD
Team AcieLee: Technical Report for EPIC-SOUNDS Audio-Based Interaction Recognition Challenge 2023
Southwest University(西南大学);Samsung Research China-Beijing(SRC-B)(三星中国研究院-北京);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本报告介绍AcieLee团队参与2023年EPIC-SOUNDS基于音频的交互识别挑战赛的技术方案,通过采用学习率步长衰减等优化策略及多模型融合方法,最终获得挑战赛第三名。
2023-06-15 cs.CV cs.SD eess.AS
QuarkAudio Technical Report
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
QuarkAudio通过统一的解码器-only自回归语言模型框架,整合多种音频任务,实现高效高质量的音频生成与处理。
2025-12-23 cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California(南加州大学)
本研究基于纯音频SELDnet23模型,在GRU前融合音视频信息,并结合YOLO、DETIC检测器与视听数据增强及合成框架,构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Building Enterprise Realtime Voice Agents from Scratch: A Technical Tutorial
Salesforce AI Research(Salesforce AI研究院)
本文介绍如何从零构建企业级实时语音代理,通过Deepgram、vLLM和ElevenLabs实现端到端流程,展示最佳实践与代码实现。
2026-03-17 cs.SD
VIBEVOICE-ASR Technical Report
该报告介绍了一种基于VibeVoice的通用语音理解框架,解决长音频中上下文碎片化和多说话人复杂性问题,支持单次处理60分钟音频,整合语音识别、说话人识别和时间戳生成,支持50种语言及代码切换。
2026-03-14 cs.AI cs.SD eess.AS
Diseño de sonido para producciones audiovisuales e historias sonoras en el aula. Hacia una docencia creativa mediante el uso de herramientas inteligentes
Universidad Loyola(洛约拉大学)
本研究分享视听制作声音设计课程的教学经验,分析不同年级学生的学习问题,指出音频领域入门门槛高,验证PBL教学法效果优于传统授课,同时指出当前师生互动多聚焦技术纠错的现状。
2024-08-12 cs.AI cs.MM cs.SD
Fine-tuning Pre-trained Audio Models for COVID-19 Detection: A Technical Report
Institute of Biosciences, Languages, and Exact Sciences(生物科学、语言和精确科学学院);São Paulo State University(圣保罗州大学);Institute of Natural Sciences and Engineering(自然科学与工程学院);University of São Paulo(圣保罗大学);Institute of Mathematics and Statistics(数学与统计学院)
本报告通过微调Audio-MAE与三类PANN音频模型,在Coswara、COUGHVID数据集上开展新冠检测实验,验证了人口分层可避免虚假关联,同时指出当前音频新冠检测模型跨域泛化能力不足的核心问题。
2025-11-18 cs.LG cs.SD eess.AS
Covo-Audio Technical Report
Covo-Audio是一款7B参数端到端LALM,通过大规模预训练和微调在多种任务中表现优异,包括语音文本建模、对话、语音理解等,并展示了其在实际对话助理中的应用潜力。
2026-03-16 cs.CL cs.SD eess.AS
Technical Report of Nomi Team in the Environmental Sound Deepfake Detection Challenge 2026
Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学研究院)
Nomi团队提出音频-文本交叉注意力模型,用于2026年环境声音深度伪造检测挑战赛,实现优于基准的EER改进。
2025-12-05 cs.SD eess.AS
ADD 2023: Towards Audio Deepfake Detection and Analysis in the Wild
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Automation, Tsinghua University(清华大学自动化系)
ADD 2023挑战赛聚焦真实场景下的音频深度伪造检测,设置多类细分任务,本文介绍了其数据集、顶尖参赛方案的技术分析及未来研究方向,以推动该领域发展。
2024-12-11 cs.SD eess.AS
AudioWorldSim: Realistic Binaural Audio Datasets For World Models
VISGRAF;IMPA(巴西纯数学与应用数学国家研究所)
本研究提出开源平台AudioWorldSim,作为SoundSpaces 2.0的自定义扩展,用于生成真实双耳音频数据集,助力基于音频的机器学习尤其是世界模型研究,相关资源已公开以提升可重复性。
2026-08-24 cs.LG cs.SD
Fish Audio Drama 3 Technical Report
Fish Audio Team(Fish音频团队)
Fish Audio Drama 3 是一款开源语音生成模型,基于 35B 参数混合专家主干,新增多轮修改等功能,推理速度优于 Fish Audio S2,权重可在 GitHub 等平台获取。
2026-10-15 cs.CL cs.SD
Implementing simple spectral denoising for environmental audio recordings
University of São Paulo(圣保罗大学);University College Cork(科克大学)
本技术报告详细介绍了应用于噪声滤波器的变更,以促进其应用并改善其结果。该滤波器被应用于降噪的自然声音记录在野外,并产生一个用于声景分析的声学指数。
2022-01-06 cs.MM cs.SD eess.AS
Step-Audio 2 Technical Report
StepFun Audio Team(StepFun音频团队)
Step-Audio 2 是一个面向工业级音频理解与语音对话的端到端多模态大模型,通过潜在音频编码器、推理强化学习、离散音频 token 生成及 RAG 等机制,在多个基准上取得领先性能。
2025-08-27 cs.CL cs.SD eess.AS
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元(BiGRU)使用预训练的音频功能和声音事件检测。一个预训练的神经网络(PANN)被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕,我们从音频片段中提取声音事件,并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明,我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
Expanding on EnCLAP with Auxiliary Retrieval Model for Automated Audio Captioning
MAUM AI Inc.(MAUM AI公司);Soongsil University(崇实大学)
本文基于 EnCLAP 框架优化 DCASE2024 音频描述任务,并引入重排序与辅助检索模型,在任务6和任务8上分别取得 0.542 FENSE 和 0.386 mAP@10,显著超越基线。
2024-09-02 cs.AI cs.SD eess.AS
StepAudio 3 Gen Technical Report
StepAudio 3 Gen 是一个基于离散自回归和 RVQ 标记的通用音频生成模型,通过渐进预训练、RVQ 适配器等设计,在 TTS 和声音设计上达到最先进性能,并支持多种音频类型生成。
2026-09-14 cs.SD eess.AS
Qwen2.5-Omni Technical Report
Qwen Team(通义千问团队)
Qwen2.5-Omni是一个端到端多模态模型,通过分块编码、TMRoPE位置嵌入和Thinker-Talker架构,实现文本、图像、音频、视频的流式感知与文本和语音同步生成,性能优于现有模型。
2025-03-26 cs.CL cs.CV cs.SD
Multimodal Continuous Emotion Recognition: A Technical Report for ABAW5
Nanyang Technological University(南洋理工大学)
本文提出两种多模态模型用于连续效价-唤醒度识别,融合视觉、音频和语言信息,通过通道注意力、对数梅尔频谱图微调VGG及交叉验证提升性能。
2023-04-14 cs.MM cs.SD eess.AS
Beyond .WAV: Design and Software Verification of VocalCap, a Traceable Browser-Based Audio Capture System for Vocal Biomarker Research
Institute of Mathematics and Statistics, University of São Paulo(圣保罗大学数学与统计学院);bluecore(蓝芯科技)
该研究设计并验证了面向语音生物标志物研究的浏览器音频捕获系统VocalCap,其可追溯捕获过程且经测试验证了软件行为,为远程语音研究提供可靠音频数据支持。
2026-09-04 cs.LG cs.SD
StepAudio 3 Music Technical Report
StepFun ACE;The Chinese University of Hong Kong(香港中文大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
StepAudio 3 Music 通过离散-连续设计、ABC 记谱法显式规划和 DPO 强化学习,实现长达 5 分 30 秒的高质量长格式音乐生成,在多项基准上取得领先。
2026-09-16 cs.SD eess.AS
New Challenges for Content Privacy in Speech and Audio
University of Southampton(南安普顿大学);Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Technical University Munich(慕尼黑工业大学);Aflorithmic Labs Ltd.(Aflorithmic实验室有限公司)
语音和音频中的隐私有很多方面。在这一领域,隐私权的一个特别欠发达的领域涉及对与内容和背景有关的信息的考虑。语音内容可以包括单词及其含义,甚至包括文体标记、病态语音、语调模式或情感。更一般地,在野外捕获的音频可以包含背景语音或揭示上下文信息,诸如位置标记、房间特性、非语言声音或其他可听事件。音频记录设备和语音技术在日常生活中变得越来越普遍。与此同时,商业化的语音和音频技术并没有为消费者提供一系列隐私选择。即使在隐私受到法律监管或保护的地方,隐私保障和执行的技术解决方案也不足。这份立场文件介绍了语音和音频中内容隐私的三个重要而及时的研究挑战。我们强调当前的差距和机遇,并确定重点领域,这可能对开发道德和更安全的语音技术产生重大影响。
2023-01-21 cs.CR cs.SD eess.AS
Baichuan-Omni-1.5 Technical Report
Baichuan Inc.(百川智能)
Baichuan-Omni-1.5是一个具备全模态理解与端到端音频生成能力的模型,通过构建500B高质量数据管线、设计Baichuan-Audio-Tokenizer及多阶段训练策略,在多模态能力上领先GPT4o-mini等模型,并在医疗基准上媲美Qwen2-VL-72B。
2025-01-26 cs.CL cs.SD eess.AS
Music Enhancement with Deep Filters: A Technical Report for The ICASSP 2024 Cadenza Challenge
IRCAM(法国声学/音乐研究与协作学院)
本研究针对ICASSP 2024 Cadenza挑战赛的音乐增强任务,将DeepfilterNet的深度滤波器解耦后整合进基于Spec-UNet的网络以优化hdemucs重混流水线,在SDR和HAAQI指标上实现了增量提升。
2024-04-17 cs.AI cs.LG cs.MM
DeCodec: Rethinking Audio Codecs as Universal Disentangled Representation Learners
Jiutian Artificial Intelligence Research Institute, China Mobile, China State Key Laboratory of Multimedia Information Processing, Peking University, China(九天人工智能研究院,中国移动,国家多媒体信息处理重点实验室,北京大学)
DeCodec通过正交子空间投影和表示交换训练,将音频编解码器转化为通用解耦表示学习器,实现语音与背景声音及语义与副语言的分层解耦,支持灵活特征选择,在语音增强、声音转换、ASR和TTS中展现新能力。
2025-09-11 cs.SD
Differentiable All-pole Filters for Time-varying Audio Systems
Chin-Yun Yu Equal contribution. ,\, Christopher Mitcheltree ,\, Alistair Carson ,\, Stefan Bilbao ,\, Joshua D. Reiss ,\
本文提出一种可微时变全极点滤波器实现,使递归滤波器梯度能通过自身反向传播,从而突破自动微分框架限制,实现含极点滤波器的音频系统端到端训练,并在移相器、合成器和压缩器上验证了其训练效率与建模能力。
2024-10-19 cs.LG cs.SD eess.AS
VibeVoice Technical Report
Microsoft Research(微软研究院)
VibeVoice 通过下一标记扩散和高效连续语音分词器,在 64K 上下文中合成最长 90 分钟、最多 4 说话人的长篇语音,超越现有对话模型。
2025-08-26 cs.AI cs.CL cs.SD
Deploying Enhanced Speech Feature Decreased Audio Complaints at SVT Play VOD Service
SVT(瑞典电视台);Polish-Japanese Academy of Information Technology(波日信息技术学院)
在瑞典的公共服务广播公司SVT,节目中的背景音乐和声音多年来一直是观众最常见的抱怨之一。最敏感的群体是听力残疾的人,但其他许多人也觉得背景声音很烦人。为了解决这个问题,SVT在VOD服务SVT Play中的许多电视节目中添加了增强语音,这是一种具有较低背景噪音的功能。因此,当具有增强语音功能的程序数量增加时,客户服务的音频投诉水平就会下降。增强语音功能在86名参与者的调查中获得了8.3/10的评分。未来可能使用的评级为9.0/10。在这篇文章中,我们描述了这个功能的设计和开发过程,以及它的技术规格,限制和未来的发展机会。
2022-08-18 cs.MM cs.SD eess.AS
The CMU-AIST submission for the ICME 2025 Audio Encoder Challenge
Carnegie Mellon University, USA(卡内基梅隆大学);National Institute of Advanced Industrial Science and Technology (AIST), Japan(国家工业科学与技术研究院(AIST))
基于BEATs模型扩展并集成Dasheng 1.2B,通过预训练混合物优化音频编码性能,公开发布模型参数以促进开放科学研究。
2026-01-22 cs.SD eess.AS
Qwen-Music Technical Report
Qwen Team(通义团队)
介绍Qwen-音乐,它支持文本到音乐生成和翻唱歌曲生成两个核心任务。集成三个核心组件,通过特定机制建模并渲染。经多语言数据训练及多种训练方式,在多个音乐性和音频质量指标上达领先成果,获专业评估人员青睐。
2026-09-18 cs.SD
Neutone SDK: An Open Source Framework for Neural Audio Processing
Neutone Inc.(Neutone公司)
本文提出开源框架 Neutone SDK,通过统一且与模型无关的接口封装缓冲区大小、采样率转换等复杂挑战,简化了基于 PyTorch 的神经音频模型在数字音频工作站中的实时与离线部署,并支持用户完全使用 Python 进行开发。
2025-08-12 cs.SD cs.SE eess.AS
Can Large Language Models Predict Audio Effects Parameters from Natural Language?
Sony Group Corporation, Japan(索尼集团有限公司,日本)
本文提出 LLM2Fx 框架,利用大型语言模型以零样本方式从自然语言描述直接预测均衡和混响效果参数,并通过引入 DSP 特征、函数代码和少样本示例提升性能,优于先前优化方法。
2025-07-17 cs.MM cs.SD eess.AS
SlideAVSR: A Dataset of Paper Explanation Videos for Audio-Visual Speech Recognition
Waseda University(早稻田大学);National Institute of Informatics (NII)(信息学研究所(NII));Kyoto University(京都大学)
本文构建了基于科学论文讲解视频的 AVSR 数据集 SlideAVSR,用于评估模型结合幻灯片文本转写含技术术语语音的能力,并提出可参考幻灯片文本的基线模型 DocWhisper。
2024-07-02 cs.CV cs.MM cs.SD
LK Jam: System Architecture and Implementation of a Real-Time Human-AI Interactive Music Generation System using Role-Aware GRU
Shenyang Conservatory of Music(沈阳音乐学院)
提出LK_Jam系统,基于轻量级GRU和高性能音频主机架构,通过多维稀疏事件流和角色感知编码实现低延迟双向人机交互音乐生成,采用三阶段渐进训练策略提升交互质量。
2026-06-23 cs.AI cs.LG cs.SD
AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing
AuK 是一个开源基础模型,通过统一接口实现语音生成与编辑,采用多模态大语言模型和混合流 Transformer 架构,经后训练优化与蒸馏,实现高效推理并在多项任务上取得领先性能。
2026-09-09 cs.CL cs.MM cs.SD
Towards Robust Real-time Audio-Visual Speech Enhancement
Edinburgh Napier University(爱丁堡龙比亚大学)
人类大脑根据上下文利用异质的感觉信息来有效地执行包括视觉和听觉在内的认知任务。例如,在鸡尾酒会的情况下,人类的听觉皮层上下文整合视听(AV)线索,以便更好地感知语音。最近的研究表明,AV语音增强(SE)模型可以显着提高语音质量和清晰度在非常低的信噪比(SNR)的环境相比,只有音频SE模型。然而,尽管在AV SE领域进行了大量研究,但开发具有低延迟的实时的处理模型仍然是一项艰巨的技术挑战。在本文中,我们提出了一个新的框架,低延迟扬声器独立的AV SE,可以概括一系列的视觉和声学噪声。特别是,生成对抗网络(GAN)提出了解决AV SE中的视觉缺陷的实际问题。此外,我们提出了一种基于深度神经网络的实时的AV SE模型,该模型考虑了来自GAN的清洁视觉语音输出,以提供更鲁棒的SE。建议的框架进行评估合成和真正的嘈杂AV语料库使用客观的语音质量和清晰度指标和主观上市测试。比较仿真结果表明,我们的实时的AV SE框架优于最先进的SE方法,包括最近基于DNN的SE模型。
2021-12-16 cs.CV cs.LG cs.SD
Musical Score Following and Audio Alignment
Imperial College London(伦敦帝国学院)
实时跟踪乐谱上音乐表演的位置,即乐谱跟随,在音乐练习、表演和制作中可以是有用的。这种技术的示例应用包括计算机辅助伴奏和自动翻页。分数跟踪是一项具有挑战性的任务,特别是当考虑到由于错误或表达选择而导致的表现数据与分数的偏差时。在这个项目中,广泛的研究,目前在该领域的第一个探索之前,两个开源的评价测试平台的分数以下-一个定量和其他定性-介绍。提出了一种获取定量测试台数据的新方法,并介绍了用于定性基准测试的QualScofo数据集。随后,实现了三个不同的分数跟随器,每个分数跟随器属于不同的类。首先,创建一个交互式指挥应用程序的基于节拍的追随者-TuneApp Conductor-以演示乐谱追随的娱乐应用程序。然后,一个近似字符串匹配(ASM)的非实时跟踪器的实现,以补充定量测试平台,并提供更多的技术背景下的分数以下的细节。最后,恒定Q变换(CQT)的动态时间规整(DTW)的分数跟随器强大的主要挑战,在分数以下(如复调音乐和性能偏差)的概述和实施,它表明,这种基于CQT的方法一致,并显着优于常用的FFT为基础的方法,在提取音频功能的分数以下。
2022-05-06 cs.SD eess.AS
OxfordVGG Submission to the EGO4D AV Transcription Challenge
University of Oxford(牛津大学)
OxfordVGG团队针对EGO4D视听语音识别挑战赛,提出带词级对齐的WhisperX长音频转录系统及两个文本归一化器,以56.0% WER获挑战赛榜首,相关代码模型已开源。
2023-07-18 cs.LG cs.SD eess.AS
GLM-TTS Technical Report
Zhipu AI(智谱AI);Tsinghua University(清华大学)
GLM-TTS通过优化的语音分词器和多奖励强化学习框架,实现高效可控的生产级语音生成系统,同时支持参数高效定制和混合输入方案。
2025-12-16 cs.SD
Improving Speech Recognition Accuracy Using Custom Language Models with the Vosk Toolkit
Southern Arkansas University(南阿肯色大学)
本研究利用Vosk工具包和定制语言模型,构建Python转录流水线,支持多种音频格式,降低词错误率,提供经济高效的离线高准确率语音识别方案。
2025-03-26 cs.LG cs.SD eess.AS
A 1000-hour EEG-EMG-audio dataset of Japanese speech production
National Institute of Information and Communications Technology, Japan(日本信息与通信技术研究所)
本研究构建了一个包含1020小时同步头皮脑电图、面部肌电图和语音音频的多模态数据集,来自三名健康日语母语者在开放词汇有声语音过程中的记录,旨在支持语音解码、多模态信号处理及脑电图表示学习等研究。
2026-11-18 cs.HC cs.SD eess.AS
Qwen3-ASR Technical Report
Qwen Team(通义实验室)
Qwen3-ASR 提出两个端到端语音识别模型和非自回归强制对齐模型,实现多语言识别与高效转录,展示最佳准确率与效率平衡。
2026-01-30 cs.CL cs.SD eess.AS