AC/DC: LLM-based Audio Comprehension via Dialogue Continuation
SB IntuitionsJapan(SB Intuitions日本)
本研究提出AC/DC音频理解模型,通过对话延续训练方式利用LLM能力,仅用音频字幕数据集训练即实现零样本指令遵循,在多个数据集及音频问答测试中验证了其遵循未见指令的效果。
2025-06-12 cs.CL cs.SD eess.AS
SaSLaW: Dialogue Speech Corpus with Audio-visual Egocentric Information Toward Environment-adaptive Dialogue Speech Synthesis
本研究提出含第一人称视听同步数据的自发对话语音语料库SaSLaW,用于建模人类的环境语音调整行为,实验证明融合听觉音频数据的TTS模型比普通模型的环境自适应语音合成效果更合理。
2024-08-13 eess.AS
On the Use of Audio to Improve Dialogue Policies
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
本文针对口语对话系统中仅依赖文本转录、忽略语音语言外信息的问题,提出基于Double Multi-Head Attention融合语音与文本嵌入的对话策略,在DSTC2上取得9.8%的用户请求得分相对提升。
2024-10-17 cs.CL cs.SD eess.AS
Exploring the Viability of Synthetic Audio Data for Audio-Based Dialogue State Tracking
POSTECH(浦项科技大学);aiXplain Inc.(aiXplain公司)
本文研究用合成音频数据训练基于音频的对话状态跟踪模型,提出级联与端到端方法及 PhonemeF1 指标,证明合成数据训练的模型可泛化到真实人类语音。
2023-12-04 cs.AI cs.SD eess.AS
Benchmarking Open-ended Audio Dialogue Understanding for Large Audio-Language Models
Tsinghua University(清华大学);University of Oxford(牛津大学);Peng Cheng Laboratory(鹏城实验室)
本文提出 ADU-Bench,以超过 20,000 段开放式音频对话,从场景、技能、多语言和歧义处理等维度评测 16 个 LALM,揭示其在公式、角色扮演、多语言及语音歧义理解上的不足。
2025-07-28 cs.AI cs.CL cs.SD
Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities
NVIDIA(英伟达)
本文提出Audio Flamingo,一种具备强音频理解、少样本适应和多轮对话能力的新型音频语言模型,通过训练技术、架构设计与数据策略实现,并在多项任务上达到最先进水平。
2024-05-28 cs.LG cs.SD eess.AS
Sampling Frequency Independent Dialogue Separation
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);WS Audiology(WS听力集团)
在用于音频源分离的一些DNN中,相关模型参数与用于训练的音频的采样频率无关。考虑到对话分离的应用,这是针对两种DNN架构显示的:U-Net和全卷积模型。这些模型使用以8 kHz采样的音频进行训练。学习的参数被传输到模型中,用于处理48 kHz的音频。将分离的音频源与由相同训练数据的48 kHz版本训练的相同模型架构产生的音频源进行比较。听力测试和计算测量表明,用8 kHz或48 kHz训练的模型之间没有显着的感知差异。学习参数的这种可传递性允许更快和计算成本更低的训练。它还允许使用比应用程序所需的采样频率更低的训练数据集,或者使用具有多个采样频率的数据集合。
2022-06-05 cs.SD eess.AS
HEAR: Hearing Enhanced Audio Response for Video-grounded Dialogue
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Chung-Ang University(中央大学)
针对视频对话系统忽略音频信息的“失聪响应”问题,提出模型无关的HEAR框架,通过选择性关注音频提升系统准确性和可听性,在两个数据集上验证了对多种系统的有效性。
2025-04-13 cs.CL cs.SD eess.AS
Dialogue-Based Streaming Audio-Visual Target Speaker Extraction with Predictive Dialogue Information
Shenzhen Loop Area Institute(深圳河套学院);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院);The Chinese University of Hong Kong(香港中文大学)
针对真实对话中轮流发言机制被忽视的问题,首次提出在线音视频目标说话人提取基准,并设计基于大语言模型的目标说话人语音活动投影模块,从重叠混合语音预测未来活动以引导低延迟分离器,结合历史、同步与预测性上下文,在多种骨干网络上持续提升流式提取性能,真实对话中获近1分贝增益。
2026-09-28 cs.SD eess.AS
E-chat: Emotion-sensitive Spoken Dialogue System with Large Language Models
Northwestern Polytechnical University(西北工业大学);Alibaba Group(阿里巴巴集团)
针对语音对话系统无法基于情感语音生成合适回应的问题,提出情感敏感型语音对话系统E-chat,利用语音编码器提取情感嵌入并结合大型语言模型,同时构建E-chat200数据集,在多项指标上优于基线模型。
2024-07-27 cs.SD eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Beijing University of Technology(北京工业大学)
本文提出端到端原生音频RAG框架WavRAG,通过WavRetriever直接检索原始音频并统一文本-音频知识,在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
Covo-Audio Technical Report
Covo-Audio是一款7B参数端到端LALM,通过大规模预训练和微调在多种任务中表现优异,包括语音文本建模、对话、语音理解等,并展示了其在实际对话助理中的应用潜力。
2026-03-16 cs.CL cs.SD eess.AS
OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
The Chinese University of Hong Kong(香港中文大学);Alibaba Token Hub, Alibaba Group(阿里巴巴集团通义实验室);Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Zhejiang University(浙江大学)
OmniVChat定义原生音视频对话任务,提出多智能体数据引擎合成对话构建基准,并设计强化学习奖励,提升全模态模型对话能力。
2026-09-29 cs.AI eess.AS eess.IV
Dialogue Enhancement and Listening Effort in Broadcast Audio: A Multimodal Evaluation
对话增强(DE)在广播中起着至关重要的作用,使前景语音和背景音乐之间的相对水平和效果的个性化。DE已被证明可以提高体验质量,可理解性和自我报告的听力努力(LE)。从听力学研究已知的LE的生理指标是瞳孔大小。瞳孔大小与LE之间的关系通常使用广播内容中未遇到的人工句子和背景噪声来研究。这项工作以多模式方式评估了DE对LE的影响,包括瞳孔大小(由VR耳机跟踪)和电视中的真实世界音频摘录。在理想的收听条件下,28名听力正常的参与者收听了30段以随机顺序呈现的音频片段,并通过改变前景和背景音频之间的相对水平的条件进行处理。这些条件之一,采用了最近提出的源分离系统,以衰减的原始混合物作为唯一的输入的背景。在听完每一段之后,受试者被要求重复听到的句子并自我报告LE。分析平均瞳孔扩张和峰值瞳孔扩张,并与自我报告和单词回忆率进行比较。多模态评价显示出随着背景水平降低LE降低的一致趋势。DE,也当通过源分离启用时,显著减小瞳孔大小以及自我报告的LE。这突出了个性化功能在用户端的好处。
2022-08-03 eess.AS
Integrating Facial Generation into Full-Duplex Spoken Dialogue Systems
Graduate School of Informatics, Nagoya University, Japan(名古屋大学信息学研究科)
提出Moshi-Face,首个联合处理用户音频和面部输入并同时生成语音和面部运动的全双工对话模型,通过VQ-VAE面部编解码器和非自回归面部变换器实现实时视听对齐。
2026-06-23 cs.CL cs.CV cs.HC
Generative Spoken Dialogue Language Modeling
Meta AI Research(元人工智能研究院);EHESS(法国高等社会科学研究院);Inria(法国国家信息与自动化研究所)
我们介绍dGSLM,第一个“无文本”模型能够生成自然主义口语对话的音频样本。它使用了最近在无监督口语单元发现方面的工作,再加上一个双塔Transformer架构,该架构具有在2000小时的双通道原始会话音频(Fisher数据集)上训练的交叉注意力,没有任何文本或标签。我们表明,我们的模型能够在两个通道中同时生成语音,笑声和其他非语言信号,并且与基于文本的级联模型相比,再现了更自然和流畅的话轮转换。
2022-11-22 cs.CL cs.LG cs.SD
Low-latency Assistive Audio Enhancement for Neurodivergent People
针对神经多样性人群的声音耐受性降低问题,通过分析社区整理触发声音并构建数据集,训练DSP与ML音频增强算法,发现DRC方法最能有效衰减触发声音并减轻听觉痛苦。
2025-09-12 eess.AS
ESPnet-SDS: Unified Toolkit and Demo for Spoken Dialogue Systems
Carnegie Mellon University(卡内基梅隆大学);Sony Group Corporation(索尼集团公司);Kyoto University(京都大学);Hugging Face
本文提出开源工具包ESPnet-SDS,为级联和端到端口语对话系统构建统一网页界面,并提供延迟、理解能力、响应质量及音频质量等自动化评估指标,通过对比实验揭示当前端到端系统在音频质量和响应多样性上的不足。
2025-03-11 cs.CL cs.SD eess.AS
Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
Columbia University(哥伦比亚大学);University of Rochester(罗切斯特大学)
本文提出Style-Talker框架,通过微调音频LLM和基于风格的TTS模型,结合用户输入音频的转录与语音风格生成响应,在保持对话自然度和连贯性的同时将速度提升50%以上。
2024-08-13 cs.AI cs.CL eess.AS
Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
Peking University(北京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
Motion-Omni是端到端联合语音与全身动作生成框架,基于Qwen2.5-7B-Instruct实现,在动作指标接近教师级联的同时速度提升5.4倍,词错误率为全模态系统最低,还发布了相关数据集与评估协议。
2026-09-28 cs.CV cs.SD eess.AS
Controlling the Remixing of Separated Dialogue with a Non-Intrusive Quality Estimate
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
重新混合分离的音频源权衡了音频衰减与可听恶化的量。本文提出了一种非侵入式的音频质量估计方法,用于以信号自适应的方式控制这种权衡。最近提出的2f模型被采用作为基本的质量度量,因为它已被证明与源分离中的基本音频质量密切相关。提出了一种替代的操作模式的措施,更合适的考虑材料与目标源的长期非活动期。2f模型需要参考目标源作为输入,但这在许多应用中不可用。深度神经网络(DNN)被训练为使用参考目标(iDNN2f)侵入性地估计2f模型,使用输入混合作为参考(nDNN2f)非侵入性地估计2f模型,以及仅使用分离的输出信号(rDNN2f)无参考地估计2f模型。结果表明,iDNN2f在测试数据上与原始测量实现了非常强的相关性(Pearson r=0.99),而nDNN2f(r>=0.91)和rDNN2f(r>=0.82)的性能下降。非侵入性估计nDNN2f被映射到选择依赖于项目的再混合增益,目的是在对再混合输出的最小质量的约束下最大化干扰衰减(例如,听得见但不恼人的恶化)。收听测试表明,即使选择的增益差异很大(差异高达23 dB),也能成功实现这一点。
2021-07-21 cs.SD eess.AS
When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue
Center for Language and Speech Processing, Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心)
本研究针对口语对话理解中基于转录本的捷径问题,构建了含501个问题的受控基准ContraTalk,提出Audio Twin智能体式推理框架,可提升冲突问答案例的准确率并减少文本偏向陷阱选择。
2026-09-09 cs.AI cs.CL cs.LG
TAVID: Text-Driven Audio-Visual Interactive Dialogue Generation
Korea Advanced Institute of Science and Technology(韩国科学技术院);Carnegie Mellon University(卡内基梅隆大学)
TAVID通过统一框架同步生成交互面部和对话语音,实现音频视觉多模态对话生成。
2025-12-23 cs.AI cs.CV eess.AS
MRMAD: A Multi-Round Multi-Audio Benchmark for Evaluating Acoustic Degradation Perception in Large Audio-Language Models
Northeastern University(东北大学);Bose Corporation(博士公司);Stony Brook University(石溪大学)
该研究提出MRMAD多轮多音频基准,评估18种LALMs的音频降级感知,发现现有模型难可靠推理降级,为构建鲁棒LALMs提供基础。
2026-09-02 cs.LG cs.SD eess.AS
Towards Listening to 10 People Simultaneously: An Efficient Permutation Invariant Training of Audio Source Separation Using Sinkhorn's Algorithm
PKSHA Technology Inc.(PKSHA科技公司)
在基于神经网络的单声道语音分离技术中,最近已经普遍使用排列不变训练(PIT)损失来评估损失。然而,普通PIT需要尝试$N$基本事实和$N$估计之间的所有$N!$排列。由于阶乘复杂度随着$N$的增加而非常迅速地爆炸,因此基于PIT的训练仅在源信号的数量很小时才起作用,例如$N = 2$或$3$。为了克服这一局限性,本文提出了一种新的变形的PIT损失,这是更有效的比普通的PIT损失时,$N$是大的SinkPIT。SinkPIT基于Sinkhorn的矩阵平衡算法,该算法有效地找到了一个双随机矩阵,该矩阵以可微的方式近似于最佳排列。作者利用SinkPIT对一个神经网络模型进行了训练实验,将单通道混合物分解为10个源,取得了良好的效果。
2021-05-16 cs.LG cs.SD eess.AS
Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization
Center for Language and Speech Processing(语言与语音处理中心)
Spoken DialogSum是一个用于语音对话摘要的富有情感的对话数据集,通过结合语音、摘要和非语言线索,提升情感摘要的生成效果。
2025-12-17 cs.AI cs.CL cs.LG
Advanced Audio Aid for Blind People
Quaid-e-Awam University of Engineering, Science and Technology(奎德阿瓦姆工程科学技术大学);Mehran University of Engineering and Technology(梅赫兰工程技术大学)
人类生活中最重要的感官之一是视觉,没有它,生活完全充满了黑暗。根据世界卫生组织的数据,全球有数百万人视力受损,估计有2.85亿人,其中数百万人失明。不幸的是,在我们亲爱的国家巴基斯坦,大约有240万人失明。人是社会的重要组成部分,盲人群体是社会的重要组成部分。到目前为止,技术的发展使人类的生活更容易,更舒适,更可靠。然而,盲人群体的这种残疾会减少他们使用这种创新产品的机会。因此,视障群体认为他们是其他社会的负担,他们不能参与正常的活动,使盲人与社会分离,因此他们认为没有参与社会的正常任务。视觉障碍的人主要面临的大部分问题,在这个实时的这项工作的目的是把实时的世界变成一个音频世界,告诉盲人的对象,在他们的方式,并能阅读印刷文本。这将使盲人能够在没有任何外部帮助的情况下,仅通过实时的使用目标检测和阅读系统来识别事物和阅读文本。这项工作的目标:i)目标检测ii)阅读印刷文本,使用最先进的(SOTA)技术。
2022-11-17 cs.CV cs.HC cs.SD
WavReward: Spoken Dialogue Models With Generalist Reward Evaluators
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出WavReward,一种基于音频语言模型和强化学习的语音对话评估器,并构建ChatReward-30K偏好数据集,在IQ与EQ评估上显著超越现有模型。
2025-09-23 cs.AI cs.LG cs.MM
Dialog+ in Broadcasting: First Field Tests Using Deep-Learning-Based Dialogue Enhancement
在广播中,由于背景声音太大而导致的讲话困难是常见的。基于对象的音频,例如,MPEG-H Audio通过提供用户可调节的语音电平解决了这个问题。虽然基于对象的音频正在获得动力,但过渡到它需要时间和精力。此外,许多内容存在于基于对象的工作流之外,并在其之外生成和存档。为了解决这个问题,Fraunhofer IIS开发了一个名为Dialog+的深度学习解决方案,能够为只有最终音轨可用的内容实现语音级别的个性化。本文报告了从2020年9月开始与Westdeutscher Rundfunk(WDR)和Bayerischer Rundfunk(BR)共同进行的评估Dialog+的公开现场测试。据我们所知,这是第一次大规模的此类试验。其中一项有2,000多人参与的调查显示,90%的60岁以上的人在理解电视讲话方面存在问题,“经常”或“非常经常”。总体而言,83%的参与者喜欢切换到Dialog+的可能性,包括那些通常不会在语音清晰度方面遇到困难的人。Dialog+为观众带来了明显的好处,填补了基于对象的广播和传统制作材料之间的空白。
2021-12-17 eess.AS eess.SP
WaveFuzz: A Clean-Label Poisoning Attack to Protect Your Voice
Wuhan University(武汉大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Xi’an Jiaotong University(西安交通大学)
人们并不总是接受他们的语音数据被收集和滥用。训练音频智能系统需要这些数据来构建有用的功能,但获得权限或购买数据的成本非常高,这不可避免地鼓励黑客在人们不知情的情况下收集这些语音数据。为了阻止黑客主动收集人们的语音数据,我们首先提出了一种名为WaveFuzz的干净标签中毒攻击,它可以阻止智能音频模型从受保护(中毒)的语音数据中构建有用的功能,但仍然保留了人类的语义信息。具体地说,WaveFuzz干扰语音数据以使Mel频率倒谱系数(MFCC)(音频信号的典型表示)生成中毒的频率特征。这些中毒的特征然后被馈送到音频预测模型,这降低了音频智能系统的性能。从经验上讲,我们通过攻击两种代表性的智能音频系统,即,说话人识别系统(SR)和语音命令识别系统(SCR)。例如,当仅中毒语音数据的$10\%$要微调模型时,模型的准确度下降$19.78\%$,并且当仅训练语音数据的$10\%$中毒时,模型的准确度下降$6.07\%$。因此,WaveFuzz是一种有效的技术,使人们能够反击以保护自己的语音数据,这为改善隐私问题提供了新的思路。
2022-03-25 cs.CR cs.SD eess.AS
As Good As A Coin Toss: Human detection of AI-generated images, videos, audio, and audiovisual stimuli
Center for Strategic and International Studies(战略与国际研究中心)
研究通过1276名参与者测试了人类区分真实与合成媒体的能力,发现人们在识别合成内容时表现接近随机水平,且合成内容、外语特征及单一模态会降低准确性,年龄也影响检测能力,凸显了对替代防护措施的迫切需求。
2025-04-10 cs.AI cs.HC cs.SD
Remastering Divide and Remaster: A Cinematic Audio Source Separation Dataset with Multilingual Support
Netflix, Inc.(网飞公司);Georgia Institute of Technology(佐治亚理工学院)
本文提出了DnR v3数据集,通过改进非对白人声、响度分布、母带制作并引入超30种语言支持,解决了影视音频源分离任务中现有数据集的局限性,实验证明多语言训练显著提升了模型的泛化能力。
2024-08-26 cs.CL cs.LG cs.SD
A Generalized Bandsplit Neural Network for Cinematic Audio Source Separation
Netflix Inc.(网飞公司);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种广义Bandsplit RNN模型用于电影音频分离,通过冗余频带划分、新损失函数和公共编码器结构提升分离性能并降低计算复杂度,在Divide and Remaster数据集上达到SOTA。
2023-12-01 cs.LG cs.SD eess.AS
Braille-to-Speech Generator: Audio Generation Based on Joint Fine-Tuning of CLIP and Fastspeech2
Xinjiang University of Finance and Economics(新疆财经大学)
针对视障人士阅读效率问题,提出基于中文语境的CLIP-KNN-Fastspeech2图像到语音框架,通过独立预训练与联合微调策略,在有限数据下提升语音合成质量与客观指标。
2024-07-19 cs.CL cs.SD eess.AS
Conversation Is a Two-Body Problem: Dyadic Evaluation of Full-Duplex Dialogue Models
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对全双工对话模型单侧评估的不足,提出DyaFDB二元评估框架,让两个模型直接对话并双向评分,通过140场景、7560对话验证了模型间相互塑造,强调互为考官与被考者。
2026-10-07 cs.CL eess.AS