Audio Avatar Fingerprinting: An Approach for Authorized Use of Voice Cloning in the Era of Synthetic Audio
Research Directorate and AI Security Center(研究部和人工智能安全中心)
本文提出音频人像指纹技术,用于验证合成语音是否由授权身份生成,通过扩展现有说话人验证模型并引入新数据集解决合成语音授权使用验证问题。
2026-03-20 cs.SD eess.AS
Direct Preference Density Alignment for Conversational Audio Equalization
Aalborg University(奥尔堡大学);Bang & Olufsen A/S(Bang & Olufsen公司)
提出直接偏好密度对齐框架,无需代理奖励模型,结合GRPO在线探索与DPO离线细化,在音频均衡任务中以1.5B参数模型达到GPT-4o mini的感知水平。
2026-09-14 cs.AI cs.SD
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC(南加州大学);Amazon(亚马逊公司)
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模,通过将其用作训练数据和数据增强资源进行实验,验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
Domain Adaptation of the Pyannote Diarization Pipeline for Conversational Indonesian Audio
Faculty of Computer Science, Universitas Indonesia(计算机科学学院,印度尼西亚大学)
本研究通过生成合成数据改进Pyannote语音识别流水线在印尼语对话音频中的性能,实验显示领域适应使语音识别错误率降低13.68%。
2026-01-07 cs.SD
Synthetic Audio Forensics Evaluation (SAFE) Challenge
STR Woburn, MA(STR沃本麻省);Aptima, Inc.(Aptima公司);Drexel University(德雷塞尔大学);ULRI Digital Safety Research Institute(ULRI数字安全研究所)
针对合成语音检测难题,提出SAFE盲测框架,含90小时音频、21个来源、17个TTS模型和3个任务,评估模型在原始、处理和清洗场景下的表现。
2025-10-07 cs.SD eess.AS
CosyAudio: Improving Audio Generation with Confidence Scores and Synthetic Captions
Northwestern Polytechnical University(西北工业大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Inc.(微软公司)
针对弱标注数据集下文本到音频生成质量不佳的问题,提出CosyAudio框架,利用AudioCapTeller生成合成描述与置信度分数,结合自进化训练策略优化音频生成器,显著提升了音频生成的忠实度与泛化能力。
2025-01-28 cs.SD eess.AS
Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation
KAIST(韩国科学技术院)
本文提出首个不依赖中间文本的面对面口语对话模型,并发布包含约340小时、约9,000段对话的大规模多模态语料库MultiDialog,通过语音-文本联合预训练适配大语言模型,实验验证了其在面对面交谈中的有效性。
2024-08-02 cs.AI cs.CV cs.HC
Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization
Center for Language and Speech Processing(语言与语音处理中心)
Spoken DialogSum是一个用于语音对话摘要的富有情感的对话数据集,通过结合语音、摘要和非语言线索,提升情感摘要的生成效果。
2025-12-17 cs.AI cs.CL cs.LG
Synthetic training set generation using text-to-audio models for environmental sound classification
Politecnico di Milano(米兰理工大学)
本文研究利用文本到音频模型生成合成数据训练环境声音分类系统,比较数据增强、混合训练和纯合成训练三种场景,发现文本到音频模型适合数据增强,但完全依赖合成音频会导致识别性能下降。
2024-07-07 cs.SD eess.AS eess.SP
End-to-end Spoken Conversational Question Answering: Task, Dataset and Model
Tencent(腾讯);Peking University(北京大学);Yale University(耶鲁大学)
在口语问答中,系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而,人类寻求或测试知识的最自然的方式是通过人类对话。因此,我们提出了一个新的口语会话问答任务(SCQA),旨在使系统能够模拟复杂的对话流的语音文件。在这项任务中,我们的主要目标是建立一个系统来处理会话问题的基础上的音频记录,并探讨在信息收集系统提供更多的线索,从不同的模态的可行性。为此,而不是直接采用自动生成的语音转录与高噪声数据,我们提出了一种新的统一的数据蒸馏方法,DDNet,有效地摄取跨模态信息,以实现细粒度的语音和语言模态的表示。此外,我们提出了一个简单而新颖的机制,称为双重注意,通过鼓励更好的音频和文本之间的对齐,以减轻知识转移的过程。为了评估SCQA系统在对话式交互中的能力,我们组装了一个口语会话问答(Spoken-CoQA)数据集,其中包含来自4k个会话的超过40 k个问答对。现有的最先进的方法的性能显着降低我们的数据集,因此证明了跨模态信息集成的必要性。我们的实验结果表明,我们提出的方法在口语会话问答任务中取得了优异的性能。
2022-04-29 cs.AI cs.CL cs.SD
Improving Text-To-Audio Models with Synthetic Captions
NVIDIA(英伟达);Singapore University of Technology and Design(新加坡科技设计大学)
针对文本转音频模型高质量字幕训练数据不足的问题,研究提出用音频语言模型构建音频字幕生成流水线,合成AudioSet的字幕数据集AF-AudioSet,预训练后在AudioCaps、MusicCaps上实现音频生成质量的SOTA提升。
2024-07-08 cs.CL cs.LG cs.SD
Synthetic Audio Helps for Cognitive State Tasks
Stony Brook University(石溪大学);Department of Computer Science(计算机科学系);Department of Linguistics(语言学系);Institute for Advanced Computational Science(高级计算科学研究所)
针对认知状态任务的纯文本方法局限,提出合成音频数据微调(SAD)框架,通过文本与零样本合成音频的多模态训练,提升7项相关任务性能,甚至在部分场景下媲美真实音频方案。
2025-02-10 cs.AI cs.CL cs.LG
Covo-Audio Technical Report
Covo-Audio是一款7B参数端到端LALM,通过大规模预训练和微调在多种任务中表现优异,包括语音文本建模、对话、语音理解等,并展示了其在实际对话助理中的应用潜力。
2026-03-16 cs.CL cs.SD eess.AS
PLACES: Prompting Language Models for Social Conversation Synthesis
Columbia University(哥伦比亚大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
收集高质量的会话数据对于大多数应用程序来说可能非常昂贵,并且由于隐私,道德或类似问题而对其他应用程序来说是不可行的。解决这个问题的一个有希望的方向是通过提示大语言模型来生成合成对话。在这项工作中,我们使用一小部分专家撰写的对话作为上下文示例,使用提示合成社交对话数据集。我们对我们的合成对话与人类收集的对话进行了几次彻底的评估。这包括直接对合成对话进行人工评估的对话质量的各个维度,以及对合成生成的数据集进行微调的聊天机器人的交互式人工评估。我们还证明,这种提示方法是可推广到多方对话,为多方任务创建新的合成数据提供了可能。与从人类收集的多方数据集采样的对话摘录相比,我们的合成多方对话在所有测量维度上都得到了更有利的评价。
2023-02-17 cs.AI cs.CL cs.IR
COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning
The Hong Kong University of Science and Technology(香港科技大学);JIUTIAN Research, China Mobile(中国移动九天研究院);The State Key Laboratory of Multimedia Information Processing, Peking University(北京大学多媒体信息处理国家重点实验室);Nanjing University(南京大学);China Mobile (Hong Kong) Innovation Research Institute(中国移动(香港)创新研究院)
提出COT-TTS任务,基于对话上下文推理实现文本到语音合成,构建大规模双语数据集和基线,开发0.6B/1.7B自回归模型,以较少参数达到与大规模基线相当的性能,并支持情感、重音和节奏变化。
2026-09-28 cs.CL cs.SD eess.AS
SynBullying: A Multi LLM Synthetic Conversational Dataset for Cyberbullying Detection
SynBullying通过多语言模型生成对话数据,提供可扩展且伦理安全的网络欺凌检测研究方法,包含多轮对话结构、上下文感知标注和细粒度标签,评估了五个维度并测试了其作为训练数据和增强源的效用。
2026-03-19 cs.AI cs.CL cs.CY
SynHate: Detecting Hate Speech in Synthetic Deepfake Audio
Indian Institute of Technology Jodhpur(印度理工学院贾布尔分校);Pandit Deendayal Energy University(潘迪特·德恩达尔能源大学)
本文构建涵盖37种语言的 SynHate 四分类数据集,用于检测合成深度伪造音频中的仇恨言论,并评估五种自监督模型,发现 Whisper-small 整体最优且跨数据集泛化仍具挑战。
2025-06-07 cs.SD eess.AS
OmniResponse: Online Multimodal Conversational Response Generation in Dyadic Interactions
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Exeter(埃克塞特大学)
针对二元交互中在线生成同步多模态听众反馈的新任务,提出融合时序文本标记与可控TTS模块的多模态大模型OmniResponse,构建ResponseNet数据集,实验证明其在语义、同步性与生成质量上优于基线。
2025-10-28 cs.AI cs.CV cs.HC
Generating High Quality Synthetic Data for Dutch Medical Conversations
本文提出生成荷兰医疗对话合成数据的流程,利用微调后的大型语言模型,通过定量和定性评估发现生成对话在自然度和结构上存在不足,强调需结合领域知识和精心设计提示以提升质量。
2026-03-25 cs.AI cs.CL
Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation
South China University of Technology, China(华南理工大学);MiniMax, China(MiniMax);The Chinese University of Hong Kong, China(香港中文大学)
本文提出动态参数记忆机制,通过临时LoRA模块编码句子级情感,使语音大模型在有限上下文下处理无限长音频,在IEMOCAP上取得最优情感识别性能。
2025-09-24 cs.AI cs.CL
From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所)
本文提出BALSa框架,通过合成数据生成提升音频-语言对齐能力,缓解幻觉问题并增强模型理解与推理性能。
2026-01-10 cs.AI cs.CL cs.LG
Kimi-Audio Technical Report
Kimi Team(Kimi团队)
Kimi-Audio 是一个开源音频基础模型,采用 12.5Hz 音频分词器和基于 LLM 的架构,通过超过 1300 万小时音频数据预训练,在语音识别、音频理解等基准上达到最先进性能。
2025-04-25 cs.AI cs.CL cs.LG
Synthio: Augmenting Small-Scale Audio Classification Datasets with Synthetic Data
NVIDIA(英伟达);University of Maryland(马里兰大学)
Synthio 通过偏好优化对齐文本到音频扩散模型并利用大语言模型生成多样化字幕,为小规模音频分类数据集合成高质量增强数据,在多个数据集上显著提升分类精度。
2025-03-12 cs.AI cs.CL eess.AS
Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学)
针对多说话人对话语音识别领域数据获取难的问题,提出结合LLM内容生成与多说话人对话式TTS的合成数据流水线,经Whisper模型微调验证,性能优于经典多说话人生成方法。
2024-08-17 cs.CL cs.SD eess.AS
AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs
Meta AI;University of Cambridge(剑桥大学)
本研究提出AudioChatLlama模型,在Llama-2基础上扩展端到端通用语音能力,无需配对数据,支持跨模态多任务,在语音问答上表现优于或持平级联系统,可利用对话上下文提升效果。
2024-04-12 cs.AI cs.CL
Artificial Conversations, Real Results: Fostering Language Detection with Synthetic Data
University of Milan(米兰大学)
本研究提出一种合成数据生成流程,通过分析提示策略等因素对意大利语招聘广告包容性语言检测任务的影响,证明基于合成数据微调的LLMs在真实与合成测试集上均表现更优。
2025-03-31 cs.AI cs.CL cs.LG
UMASS_BioNLP at MEDIQA-Chat 2023: Can LLMs generate high-quality synthetic note-oriented doctor-patient conversations?
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
UMASS_BioNLP团队在MEDIQA-Chat 2023 Task-C中提出医患循环LLMs协作系统,生成高质量医患对话数据集,在多项自动指标上表现合理,并与ChatGPT和GPT-4对比验证了其有效性。
2023-06-29 cs.AI cs.CL
Playing with Voices: Tabletop Role-Playing Game Recordings as a Diarization Challenge
Heinrich Heine University Düsseldorf(海因里希·海涅大学多特蒙德)
本文验证桌面角色扮演游戏(TTRPG)音频可作为说话人分割挑战,因参与者会变声扮演角色,导致分割器更难识别真实说话人,还创建数据集并对比评估两个分割器,发现其性能受TTRPG特性影响显著。
2025-08-23 cs.CL cs.SD
EMSDialog: Synthetic Multi-person Emergency Medical Service Dialogue Generation from Electronic Patient Care Reports via Multi-LLM Agents
School of Engineering and Applied Sciences, University of Virginia(弗吉尼亚大学工程与应用科学学院);School of Medicine, University of Virginia(弗吉尼亚大学医学院)
本文提出基于ePCR的多代理生成流程,生成4414个合成多说话者EMS对话数据集,提升EMS对话诊断预测的准确性、及时性和稳定性。
2026-04-20 cs.AI cs.CL
Multi-Speaker Conversational Audio Deepfake: Taxonomy, Dataset and Pilot Study
Univ. of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
本文提出多说话人对话音频深度伪造的分类方法,并引入MsCADD数据集,评估了三种基线模型在检测合成语音方面的性能,揭示了多说话人深度伪造检测的挑战。
2026-01-30 cs.AI cs.SD eess.AS
The Mad Hatter´s Cocktail Party: A Social Mobile Audio Space Supporting Multiple Simultaneous Conversations
本文提出了一个移动音频空间,旨在使用的凝胶社会群体。在这样的社交群体中的面对面交互中,会话楼层频繁地改变,例如,两个参与者分开以形成新的会话楼层、参与者从一个会话楼层移动到另一个会话楼层等。迄今为止,音频空间几乎没有为参与者的这种动态重新分组提供支持,要么要求参与者明确地指定他们希望与谁交谈,要么简单地呈现所有参与者,就好像他们在单个楼层中一样。相比之下,这里描述的音频空间监视参与者的行为,以在会话楼层出现时识别它们。该系统动态地修改传递给每个参与者的音频,以增强他们当前正在与之交谈的参与者的显著性。我们报告的系统的用户研究,侧重于会话分析结果。
2003-04-01 cs.HC cs.SD
Development of a Conversation State Prediction System
随着使用LSTM的扬声器日志化概念的演变,理解输入音频流数据的特定片段的扬声器身份比手动标记数据相对更容易。有了这样的概念,非常需要考虑使用已识别的说话者身份来帮助识别对话中的说话者状态的可能性。在这项研究中,马尔可夫链被用来识别和更新同一组说话人之间的下一次对话的说话人状态,使他们的状态识别在最自然和长的对话。该模型基于两个数据集中三个或三个以上说话者的自然对话中的几个音频样本,识别状态的总误差百分比小于或等于12%。研究结果表明,所提出的扩展到扬声器日记是有效的预测状态的对话。
2021-12-11 cs.AI cs.SD eess.AS
Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels
University of Science and Technology of China(中国科学技术大学);iFLYTEK(科大讯飞)
本文提出基于对话音频上下文感知核的交互式虚拟角色生成方法,通过引入多头高斯核解决谈话与倾听行为的时间尺度差异问题,构建了能同时处理双流音频输入的全双工虚拟代理,并在VoxHear数据集上验证了其在生成自然响应的全双工数字人类方面的优越性。
2026-04-11 cs.AI cs.SD
Sotto Voce: Exploring the Interplay of Conversation and Mobile Audio Spaces
除了向个别游客提供信息外,电子导游手册还有可能促进游客及其同伴之间的社会互动。然而,许多系统阻碍了访问者的交互。相比之下,我们的电子指南,Sotto Voce,将社交互动作为主要设计目标。该系统使游客能够分享音频信息-具体来说,他们可以听到对方的导游活动使用技术中介音频窃听机制。我们进行了一项研究,游客使用Sotto Voce,而参观一个历史悠久的房子。结果表明,游客能够有效地使用该系统,无论是作为一个会话资源和信息家电。更令人惊讶的是,我们的研究结果表明,技术介导的音频往往比通过露天传递的音频更能连贯游客的谈话和活动。
2002-05-21 cs.HC cs.SD
MusiCRS: Benchmarking Audio-Centric Conversational Recommendation
University of California, San Diego, USA(加州大学圣地亚哥分校)
MusiCRS通过链接Reddit用户对话与音乐曲目,为音频导向的对话推荐提供首个基准测试,揭示了跨模态整合的局限性,并释放了相关数据集和代码以促进研究进展。
2026-01-23 cs.MM cs.SD
Exploring the Viability of Synthetic Audio Data for Audio-Based Dialogue State Tracking
POSTECH(浦项科技大学);aiXplain Inc.(aiXplain公司)
本文研究用合成音频数据训练基于音频的对话状态跟踪模型,提出级联与端到端方法及 PhonemeF1 指标,证明合成数据训练的模型可泛化到真实人类语音。
2023-12-04 cs.AI cs.SD eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出一种基于跨模态对话表示的对话ASR系统,通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性,在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
利用上下文信息是提高会话式自动语音识别(ASR)性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境,由于历史认知错误的不可避免,这可能会使当前公认的假设产生偏差。为了避免这个问题,我们提出了一个音频文本跨模态表示提取器,直接从前面的语音学习上下文表示。具体来说,它由两个模态相关编码器和一个跨模态编码器组成,前者从语音和相应的文本中提取高级潜在特征,后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此,该模型不仅捕获特定模态中的双向上下文依赖性,而且捕获不同模态之间的关系。然后,在会话式ASR系统的训练期间,提取器将被冻结以提取先前语音的文本表示,而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性,并在MagicData数据集上实现了高达16%的字符错误率(CER)降低。
2022-07-03 cs.CL cs.SD eess.AS
Seeing Through the Conversation: Audio-Visual Speech Separation based on Diffusion Model
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出基于扩散模型的音视频语音分离方法AVDiffuSS,通过交叉注意力特征融合机制整合音视频音素信息,在VoxCeleb2和LRS3上取得最优结果并显著提升语音自然度。
2023-10-30 cs.CV cs.SD eess.AS
The Conversation: Deep Audio-Visual Speech Enhancement
University of Oxford(牛津大学)
我们的目标是从视频中的多人同时语音中分离出单个扬声器。在这一领域的现有作品集中在试图从已知的扬声器在受控环境中分离的话语。在本文中,我们提出了一种深度视听语音增强网络,该网络能够通过预测目标信号的幅度和相位来分离相应视频中给定嘴唇区域的说话者的声音。该方法适用于在训练过程中听不见和看不见的说话者,以及不受约束的环境。我们展示了强有力的定量和定性结果,隔离了极具挑战性的现实世界的例子。
2018-06-19 cs.CV cs.SD
Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本文提出了一种新颖的评估协议,利用监督模型作为裁判评估音频基础模型在对话轮次交接中的理解、预测和执行能力,揭示了现有系统在轮次交接上的不足与改进空间。
2025-03-03 cs.CL cs.SD eess.AS
Trustera: A Live Conversation Redaction System
Interactions LLC.(Interactions有限责任公司)
Trustera是第一个在实时语音对话中编辑个人身份信息(PII)的功能系统,以消除代理人听到敏感信息的需要,同时保持实时客户-代理人对话的自然性。与呼叫后编辑相反,音频屏蔽在客户开始与PII实体通话时立即开始。这大大降低了PII被拦截或存储在不安全数据存储中的风险。Trustera的架构由自动语音识别、自然语言理解和实时音频编辑器模块组成。该系统的目标有三个方面:编辑PII实体,屏蔽去往代理的音频,同时捕获实体,以便捕获的PII可用于支付交易或呼叫者身份识别。目前,成千上万的代理商正在使用Trustera来保护客户的敏感信息。
2023-03-16 cs.CL cs.SD eess.AS
VCB Bench: An Evaluation Benchmark for Audio-Grounded Large Language Model Conversational Agents
School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);Tencent AI Lab(腾讯AI实验室)
针对现有音频语言模型基准局限,提出VCB Bench,基于真实人类语音构建,从指令跟随、知识理解、鲁棒性三个角度评估,揭示性能差距并指明改进方向,提供评估框架。
2026-07-07 cs.CL cs.SD
The Right to Talk: An Audio-Visual Transformer Approach
University of Arkansas(阿肯色大学);Concordia University(康考迪亚大学);VinAI Research(VinAI研究院);Carnegie Mellon University(卡内基梅隆大学)
话轮转换在构建会话规则中起着至关重要的作用。识别主要发言者(谁在适当地轮到他/她发言)和打断者(谁在打断或对主要发言者的话语作出反应)的任务仍然是一项具有挑战性的任务。尽管一些现有方法已经部分地解决了该任务,但是仍然存在一些限制。首先,由于不同的模态,音频和视觉特征的直接关联可能限制要提取的相关性。其次,跨时间段的关系,有助于保持本地化,分离和会话上下文的一致性没有得到有效利用。最后,说话者之间的互动,通常包含跟踪和预期的决定过渡到一个新的扬声器通常被忽略。因此,这项工作介绍了一种新的视听Transformer方法的定位和突出的问题,在音频和视频通道的多扬声器的对话视频在野外的主扬声器。所提出的方法利用不同类型的相关性呈现在视觉和音频信号。跨时空的时间视听关系通过Transformerstructure中的自我注意力机制来预期和优化。此外,一个新收集的数据集被引入到主说话人检测。据我们所知,这是第一个研究,能够自动定位和突出显示的主要发言人在视觉和音频通道中的多说话人对话视频之一。
2021-08-06 cs.CV cs.SD eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo(东京科学研究所)
本文提出通过说话人识别、知识蒸馏和分层融合方法,提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
Who Can Withstand Chat-Audio Attacks? An Evaluation Benchmark for Large Audio-Language Models
University of Technology Sydney(技术科技大学);University of Liverpool(利物浦大学);Beijing Jiaotong University(北京交通大学)
本文构建包含四类音频攻击的 CAA 基准,并结合标准、GPT-4o 与人工评估,考察六个前沿 LALM 在对话场景中的鲁棒性,发现 GPT-4o 抵御能力最强。
2025-06-06 cs.AI cs.SD eess.AS
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
本文提出SynthAC框架,利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对,将文本-视觉领域的标注数据扩展到音频描述生成,缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
M2FNet: Multi-modal Fusion Network for Emotion Recognition in Conversation
Sony Research India(索尼印度研究院)
会话中的情感识别(ERC)对于开发富有同情心的人机交互至关重要。在对话视频中,情感可以以多种形式存在,即,音频、视频和文字记录。然而,由于这些模式的固有特点,多模式ERC一直被认为是一项具有挑战性的工作。现有的ERC研究主要集中在讨论中使用文本信息,忽略了其他两种模式。我们预计,情感识别的准确性可以通过采用多模态的方法来提高。因此,在这项研究中,我们提出了一个多模态融合网络(M2FNet),从视觉,音频和文本模态中提取情感相关特征。它采用了一种基于多头注意力的融合机制来组合输入数据的情感丰富的潜在表示。我们引入了一个新的特征提取器,从音频和视觉模态提取潜在的特征。建议的特征提取器训练与一种新的自适应边缘为基础的三重损失函数学习情感相关的功能,从音频和视频数据。在ERC领域,现有的方法在一个基准数据集上表现良好,但在其他数据集上表现不佳。我们的研究结果表明,所提出的M2FNet架构在著名的MELD和IEMOCAP数据集上的加权平均F1得分方面优于所有其他方法,并在ERC中设置了新的最先进的性能。
2022-06-05 cs.CV cs.SD eess.AS
TalkPlayData 2: An Agentic Synthetic Data Pipeline for Multimodal Conversational Music Recommendation
KAIST(韩国科学技术院)
提出TalkPlayData 2,一个由智能体数据流水线生成的多模态对话式音乐推荐合成数据集,通过多角色大语言模型模拟对话并覆盖多种场景,以支持生成式推荐模型训练。
2026-06-02 cs.AI cs.IR cs.MM
Stop Bugging Me! Evading Modern-Day Wiretapping Using Adversarial Perturbations
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
IP语音(VoIP)对话的大规模监控系统对隐私构成了巨大的风险。这些自动化系统使用学习模型来分析对话,涉及特定主题的呼叫将被路由到人工代理进行进一步检查。在这项研究中,我们提出了一个基于对抗学习的VoIP会话的隐私保护框架。我们提出了一种新的方法,找到一个通用的对抗扰动(UAP),当添加到音频流,防止窃听者自动检测会话的主题。如我们的实验所示,UAP与扬声器或音频长度无关,并且其音量可以根据需要实时的改变。我们的实际解决方案使用Teensy微控制器作为外部麦克风,并将UAP实时的添加到音频中。我们研究了不同的扬声器,VoIP应用程序(Skype,Zoom,Slack和Google Meet)和音频长度。我们在现实世界中的结果表明,我们的方法是一个可行的解决方案,隐私保护。
2021-09-02 cs.CR cs.LG cs.SD
BLAT: Bootstrapping Language-Audio Pre-training based on AudioSet Tag-guided Synthetic Data
Shanghai Jiao Tong University(上海交通大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
针对音频-文本预训练平行数据不足的问题,提出BLAT方法,通过AudioSet标签引导的音频字幕生成构建高质量大规模平行数据,在多数下游任务上取得SOTA零样本分类性能。
2024-03-05 cs.SD eess.AS
Discriminating real and synthetic super-resolved audio samples using embedding-based classifiers
Tampere University(塔尔基耶大学);Nokia Technologies(诺基亚技术)
本文提出基于嵌入式分类器区分真实与合成超分辨音频的方法,揭示了感知质量与真实分布忠实性之间的差距。
2026-01-06 cs.AI cs.SD eess.AS
Probing Warmth-Mediated Harm in Speech-Enabled LLMs for Mental-Health Conversations
Microsoft(微软)
该研究针对支持语音的LLM,基于WHO指南设计7轮心理健康对话探测,发现音频模态下模型存在温暖感缺失的特定模式,强调需结合音频文本评估模型,发布了相关评估资源。
2026-09-07 cs.SD eess.AS
Chat2Map: Efficient Scene Mapping from Multi-Ego Conversations
UT Austin(德克萨斯大学奥斯汀分校);Reality Labs Research, Meta(Meta现实实验室研究部门);FAIR(Facebook人工智能研究院)
本文提出Chat2Map,利用多自我中心对话中的共享视听信息构建未知3D场景,并通过深度强化学习选择性采样视觉数据,实现更优成本—精度权衡。
2023-04-20 cs.CV cs.LG cs.SD