AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
AQAScore通过音频问答评估文本到音频生成的语义对齐,利用大型语言模型的推理能力,有效捕捉语义不一致性。
2026-01-21 cs.AI cs.CL cs.LG
Boosting Audio Visual Question Answering via Key Semantic-Aware Cues
Renmin University of China(中国人民大学)
本文提出时空感知模型TSPM,通过构建陈述性句子提示和空间感知模块,有效感知音视频问答中关键的时空视听线索,在多个AVQA基准上表现优异。
2024-07-30 cs.AI cs.CV cs.MM
Learning Trimodal Relation for Audio-Visual Question Answering with Missing Modality
Kyung Hee University(庆熙大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对视听问答中模态缺失导致性能下降的问题,提出RMM生成器和AVR扩散模型,通过关系感知与共享线索增强模态特征,实现模态缺失下的稳健问答。
2024-07-23 cs.AI cs.CV cs.MM
Towards Multilingual Audio-Visual Question Answering
IIIT-Delhi(德里印度信息技术学院);Reliance Jio AICoE(信实吉奥人工智能卓越中心);University of Tartu(塔尔图大学)
针对AVQA以英语为主、多语言复现成本高的问题,本文利用机器翻译构建八种语言的数据集,并提出融合多模态基础模型的MERA框架及MERA-L/C/T模型以建立多语言AVQA基准。
2024-06-13 cs.CV cs.LG cs.MM
AQUALLM: Audio Question Answering Data Generation Using Large Language Models
Reliance Jio AICoE(信实Jio人工智能卓越中心)
针对音频问答数据集缺乏的问题,提出基于大型语言模型的AQUALLM框架,利用现有音频-字幕标注生成大规模高质量AQA数据,并构建三个基准数据集,显著提升模型性能与泛化能力。
2023-12-28 cs.AI cs.CL cs.LG
Music Audio-Visual Question Answering Requires Specialized Multimodal Designs
University of Waterloo(滑铁卢大学);Dartmouth College(达特茅斯学院);UC Irvine(加州大学尔湾分校);New York University(纽约大学)
本文探讨了音乐音频视觉问答任务中多模态设计的必要性,指出需专门的输入处理、空间时间架构和音乐特定建模策略以应对连续密集的音频视觉内容和复杂时间动态。
2026-04-09 cs.CV cs.MM cs.SD
Music Understanding LLaMA: Advancing Text-to-Music Generation with Question Answering and Captioning
Tencent PCG(腾讯平台与内容事业群);National University of Singapore(新加坡国立大学)
针对文本到音乐生成缺乏带字幕的大规模公开数据集的问题,提出能完成音乐问答与字幕生成的MU-LLaMA模型,配套构建MusicQA数据集,实验显示其性能超越现有SOTA模型。
2023-08-22 cs.AI cs.CL cs.MM
AURA Score: A Metric For Holistic Audio Question Answering Evaluation
Carnegie Mellon University(卡内基梅隆大学)
针对现有音频问答评估指标忽视上下文与部分正确性的问题,提出AURA分数新指标及首个基准AQEval,实现与人类判断最先进的相关性。
2025-10-06 cs.AI eess.AS
Broadening Uncertainty Estimation for Audio Question Answering Across Methods, Formats, and Inputs
University of Waterloo(滑铁卢大学);University of Iowa(爱荷华大学)
本研究比较多种不确定性估计方法,发现首词度量高效且有效,且音频证据对不确定性影响远大于问题文本,为音频问答提供了可靠基线。
2026-09-25 cs.AI cs.SD
Reinforcement Learning Outperforms Supervised Fine-Tuning: A Case Study on Audio Question Answering
Xiaomi Corporation(小米公司)
本文针对音频问答任务,将GRPO强化学习应用于Qwen2-Audio-7B-Instruct,仅用38k样本即在MMAU Test-mini上达到64.5%的准确率,并证明RL显著优于SFT。
2025-05-14 cs.AI cs.CL cs.SD
RAMoEA-QA: Hierarchical Specialization for Robust Respiratory Audio Question Answering
University of Cambridge(剑桥大学);Tsinghua University(清华大学);University of Calabria(卡拉布里亚大学)
RAMoEA-QA通过分层专业化机制,统一处理多种呼吸音频问答任务,提升在不同领域和任务转换下的表现。
2026-03-06 cs.AI cs.SD
Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering
University of Edinburgh(爱丁堡大学);Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学)
本研究探究文本接口设计对视听问答任务多模态推理提示优化的影响,对比三种接口设计,基于Qwen3-Omni和Gemini实验发现直接优化有模型依赖增益,接口设计是优化有效性的重要因素。
2026-10-15 cs.AI cs.CL eess.AS
Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering
Dept. of Computer Science and Engineering(计算机科学与工程系)
研究视听问答问题,提出Q-TriM以浅并行方式进行多模态融合,引入基于文本的视频和音频注意力操作框架,避免深度堆叠融合的问题,在三个基准测试中达最优性能。
2026-07-07 cs.AI cs.CV
Learning Sparsity for Effective and Efficient Music Performance Question Answering
Dartmouth College(达特茅斯学院);Yale University(耶鲁大学)
本文提出面向音乐表演音视频问答的稀疏学习框架Sparsify,通过三种稀疏化策略和关键子集选择算法,在保持准确率的同时显著降低训练时间和数据需求。
2025-06-02 cs.CV cs.MM cs.SD
Learning Musical Representations for Music Performance Question Answering
Dartmouth College(达特茅斯学院);London School of Economics and Political Science(伦敦政治经济学院)
针对现有音视频问答方法在音乐表演场景中对多模态交互探索不足、未考虑乐器和音乐特征导致回答不准确的问题,本文设计融合音乐语境多模态交互的主骨干网络,标注发布数据集的节奏和音乐源信息,并对齐时间维度,在Music AVQA数据集上取得最先进效果。
2025-02-10 cs.CV cs.MM cs.SD
AudioMotionBench: Evaluating Auditory Motion Perception in Audio LLMs
Wuhan University(武汉大学);University of Queensland(昆士兰大学);University of Chinese Academy of Sciences(中国科学院大学);University of California, Merced(加州大学默塞德分校)
AudioMotionBench通过评估音频大语言模型对移动声源方向和轨迹的感知能力,揭示了当前模型在听觉空间推理方面的局限性。
2026-01-22 cs.AI cs.SD
Multi-Modal Scene Graph with Kolmogorov-Arnold Experts for Audio-Visual Question Answering
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China(网络与交换技术国家重点实验室,北京邮电大学)
本文提出基于多模态场景图与科莫戈罗夫-阿诺尔德专家网络的SHRIKE模型,用于提升音频-视觉问答任务中的跨模态交互建模与时间推理性能。
2026-08-11 cs.AI
Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought
Tianjin Key Laboratory of Cognitive Computing(天津认知计算实验室);Tianjin University(天津大学);Huiyan Technology Company, Ltd.(慧颜科技有限公司);Chinese Academy of Sciences(中国科学院);Tencent(腾讯)
本文提出SFFL框架,通过模态特定的推理链减少跨模态干扰,提升音频视觉问答的准确性和鲁棒性,实验显示在通用AVQA基准和跨模态幻觉基准上分别提升5.16%和11.17%。
2026-05-11 cs.AI cs.SD
ORCA: Open-ended Response Correctness Assessment for Audio Question Answering
Brno University of Technology(布尔诺科技大学);Universidad Autónoma de Madrid(马德里自治大学);University of Buenos Aires(布宜诺斯艾利斯大学);Tufts University(塔夫茨大学);University of Maryland(马里兰大学)
本文提出ORCA模型,通过三阶段标注流程实现轻量级回答正确性与分歧建模,实验显示其在已见和未见基准上均优于基线模型,且能有效识别问题项。
2026-06-29 cs.AI cs.CL cs.SD
Knowing When to Answer: Adaptive Confidence Refinement for Reliable Audio-Visual Question Answering
School of Computing, KAIST, Republic of Korea(韩国釜山科学技术院计算机科学学院);Laval University(拉瓦尔大学);Mila-Quebec AI Institute(魁北克人工智能研究所)
本文提出自适应置信度细化方法,用于提升音频-视觉问答任务中可靠性的性能。
2026-02-04 cs.LG cs.SD
Beyond Binary Instrument QA: Probing Instrument Grounding in Music Audio-Language Models
本文通过多轴诊断基准测试发现,音乐音频-语言模型在二元乐器问答中的高准确率常掩盖选项位置偏差、易混淆乐器错误和时间响应偏差等问题,表明乐器接地评估需采用多维度基准而非单一准确率。
2026-07-01 cs.AI cs.SD eess.AS
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
Zhejiang University(浙江大学);Johns Hopkins University(约翰霍普金斯大学)
提出ALM2Vec框架,利用预训练大型音频语言模型学习统一嵌入空间,实现跨域、任务感知的音频检索,支持指令感知检索,在标准基准上表现优异。
2026-07-01 cs.AI cs.SD eess.AS
End-to-end Spoken Conversational Question Answering: Task, Dataset and Model
Tencent(腾讯);Peking University(北京大学);Yale University(耶鲁大学)
在口语问答中,系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而,人类寻求或测试知识的最自然的方式是通过人类对话。因此,我们提出了一个新的口语会话问答任务(SCQA),旨在使系统能够模拟复杂的对话流的语音文件。在这项任务中,我们的主要目标是建立一个系统来处理会话问题的基础上的音频记录,并探讨在信息收集系统提供更多的线索,从不同的模态的可行性。为此,而不是直接采用自动生成的语音转录与高噪声数据,我们提出了一种新的统一的数据蒸馏方法,DDNet,有效地摄取跨模态信息,以实现细粒度的语音和语言模态的表示。此外,我们提出了一个简单而新颖的机制,称为双重注意,通过鼓励更好的音频和文本之间的对齐,以减轻知识转移的过程。为了评估SCQA系统在对话式交互中的能力,我们组装了一个口语会话问答(Spoken-CoQA)数据集,其中包含来自4k个会话的超过40 k个问答对。现有的最先进的方法的性能显着降低我们的数据集,因此证明了跨模态信息集成的必要性。我们的实验结果表明,我们提出的方法在口语会话问答任务中取得了优异的性能。
2022-04-29 cs.AI cs.CL cs.SD
SeaLLMs-Audio: Large Audio-Language Models for Southeast Asia
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
本文推出首个面向东南亚多语言的大型音频语言模型SeaLLMs-Audio,支持5种语言、多模态输入及多任务处理,并引入SeaBench-Audio基准,在东南亚语言任务上取得竞争力。
2025-11-03 cs.AI cs.CL
Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding
Jiangsu Key Lab of Language Computing(江苏省语言计算重点实验室)
针对长音频会议理解任务的问答数据集稀缺及现有语音模型的声学信息丢失、长期记忆差问题,构建LongAudioQA数据集,提出基于图的GRGA模型,利用智能体规划实现检索与答案生成。
2026-08-26 cs.AI cs.SD
Multi-TW: Benchmarking Multimodal Models on Traditional Chinese Question Answering in Taiwan
National Taiwan University of Science and Technology(台湾科技大学);University of London(伦敦大学);National Taiwan University(台湾大学)
Multi-TW是首个繁体中文三模态基准,含900道官方测试题,评估模型性能与延迟,发现闭源模型整体更优,端到端流程延迟更低,凸显繁体中文微调与高效架构需求。
2025-08-02 cs.AI cs.CL
Audio Dialogues: Dialogues dataset for audio and music understanding
NVIDIA(英伟达)
针对现有音频理解数据集多为单轮交互、缺乏对话式理解支撑的问题,研究团队构建了含16.38万样本的多轮音频对话数据集Audio Dialogues,覆盖通用音频与音乐,支持多音频比较,基于提示方法和现有字幕标注用LLM生成对话,并验证了其复杂性与适用性。
2024-04-11 cs.CL cs.SD eess.AS
AC/DC: LLM-based Audio Comprehension via Dialogue Continuation
SB IntuitionsJapan(SB Intuitions日本)
本研究提出AC/DC音频理解模型,通过对话延续训练方式利用LLM能力,仅用音频字幕数据集训练即实现零样本指令遵循,在多个数据集及音频问答测试中验证了其遵循未见指令的效果。
2025-06-12 cs.CL cs.SD eess.AS
Closing the Verification Loop: Self-Check Captioning for Long-Paragraph Detailed Audio Captioning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Kuaishou Technology(快手科技)
本研究针对长段落详细音频字幕的未解决问题,提出SCC框架,构建LACap-50k语料库与LC-SFT方法,使系统在开源字幕生成器中达最优性能。
2026-09-01 cs.SD
KARMA-MV: A Benchmark for Causal Question Answering on Music Videos
AMAAI Lab, Singapore University of Technology and Design(新加坡科技设计大学AMAAI实验室)
KARMA-MV是一个基于2682个YouTube音乐视频构建的大规模多选问答数据集,旨在测试模型整合时序音频视觉线索和视觉到音乐影响的能力,通过因果知识图谱方法提升音乐视频因果推理性能。
2026-05-05 cs.AI cs.CV
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语会话问答(SCQA)要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同,SCQA涉及音频信号处理、段落理解和上下文理解。然而,ASR系统引入了意想不到的噪声信号,这导致SCQA的性能下降。为了克服这个问题,我们提出了CADNet,一种新的上下文化的注意力蒸馏方法,它适用于交叉注意力和自我注意力,以获得ASR鲁棒的上下文嵌入表示的通道和对话历史,以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验,并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents
University of Florida(佛罗里达大学)
提出五项语义与副语言推理任务(蕴含、一致性、合理性、口音漂移、口音约束),评估音频语言模型在口音变化、领域迁移和语义过度推断下的推理能力,揭示当前评估的局限性。
2026-06-11 cs.AI cs.CL cs.SD
HEAR: Real Voices, Real Bias: A Large-Scale Human-Recorded, Demographically Diverse Benchmark for Audio Language Models
Meta Superintelligence Labs(Meta超级智能实验室)
我们提出HEAR基准,包含87k个来自843名参与者的真实语音样本,用于评估音频大语言模型中的语音条件偏见,发现偏见是模型特定且可控的,个性化指令会加剧人口差异。
2026-09-30 cs.AI cs.CY cs.SD
MECAT: A Multi-Experts Constructed Benchmark for Fine-Grained Audio Understanding Tasks
The Chinese University of Hong Kong, Hong Kong, China(香港中文大学)
本文提出MECAT基准,通过集成专家模型分析与推理模型,提供细粒度音频描述和开放问题对,结合新指标DATE评估模型性能,评估现有音频模型的能力与局限。
2026-05-11 cs.AI cs.CL cs.SD
Kimi-Audio Technical Report
Kimi Team(Kimi团队)
Kimi-Audio 是一个开源音频基础模型,采用 12.5Hz 音频分词器和基于 LLM 的架构,通过超过 1300 万小时音频数据预训练,在语音识别、音频理解等基准上达到最先进性能。
2025-04-25 cs.AI cs.CL cs.LG
Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding
Zhejiang University(浙江大学);Tencent Hunyuan(腾讯文心)
提出Spatial-Omni,通过SO-Encoder将一阶Ambisonics空间音频注入现有全模态大语言模型,以轻量方式实现空间音频理解,并在构建的SO-Bench基准上超越现有模型。
2026-09-09 cs.AI eess.AS
From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models
University of California Irvine(加州大学尔湾分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Kennesaw State University(肯尼索州立大学)
提出CASU基准,通过构建半合成音频流和设计四项任务,评估大型音频语言模型整合语音、事件和背景环境进行上下文感知听觉场景理解的能力。
2026-06-25 cs.AI cs.MM cs.SD
CALM: Class-Conditional Sparse Attention Vectors for Large Audio-Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Tuebingen AI Center(图宾根人工智能中心);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
本文提出CALM,一种用于小样本分类的类条件稀疏注意力向量方法,通过学习类依赖的重要性权重提升音频和音频视觉分类性能,实验显示在多个基准上优于传统投票方法。
2026-03-22 cs.AI cs.SD
Measuring Fairness in Large Audio Language Models via Semantic-Aware Bias Estimation
Meta Platforms, Inc.(元平台公司)
针对大音频语言模型公平性评估中语义与说话人混淆因素的问题,提出语义感知混合效应回归框架,经实验验证可减少虚假结论,得到更稳健的子群体性能差异估计。
2026-08-17 cs.AI cs.CL cs.SD
SightSound-R1: Cross-Modal Reasoning Distillation from Vision to Audio Language Models
Columbia University(哥伦比亚大学);University of Washington(华盛顿大学)
针对音频语言模型推理能力不足的问题,提出跨模态蒸馏框架 SightSound-R1,通过 LVLM 教师生成音频思维链、过滤幻觉并进行 SFT 与 GRPO 训练,显著提升 LALM 在域内外 AVQA 任务上的推理表现。
2025-09-19 cs.AI cs.CL cs.SD
Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models
Tsinghua University(清华大学);ByteDance(字节跳动)
提出FAVOR框架,通过因果Q-Former实现帧级音视频联合表示,提升多模态LLM的视频理解,在视频问答任务上准确率提升超20%。
2023-10-10 cs.AI cs.CV cs.SD
GAMA: A Large Audio-Language Model with Advanced Audio Understanding and Complex Reasoning Abilities
University of Maryland(马里兰大学);Adobe(奥多比公司)
本文提出大型音频-语言模型 GAMA,融合多种音频表示并利用 CompA-R 指令数据与软提示增强复杂推理,在多项音频理解任务上以 1%–84% 的优势超越现有 LALM。
2024-06-17 cs.AI cs.CL cs.SD
Learning When to Think While Listening in Large Audio-Language Models
University of Pennsylvania(宾夕法尼亚大学)
提出一种可学习的等待-思考-回答控制机制,通过多奖励强化学习优化大音频语言模型在流式语音交互中的推理时机,在提升准确率的同时减少响应延迟。
2026-05-26 cs.AI cs.CL cs.LG
SEABED: SouthEast Asian Benchmark for Evaluating Audio Reasoning
Centific AI Research(Centific 人工智能研究院)
针对现有音频推理基准偏重英语和通用领域的问题,提出SEABED,一个基于真实东南亚语音语料构建的六任务问答基准,含5,404个问答对,评估显示最先进模型Gemini 3.5 Flash仅达50.3%加权平均准确率,并额外检验推理是否基于音频证据。
2026-09-22 cs.AI cs.SD
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学)
在口语问答中,QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而,人类寻求或测试知识的最自然的方式是通过人类对话。因此,我们提出了一个新的口语会话问答任务(SCQA),旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中,我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题,并探索在口语文档中提供更多线索与信息收集系统的可行性。为此,而不是采用自动生成的语音转录与高噪声数据,我们提出了一种新的统一的数据蒸馏方法,DDNet,直接融合音频文本功能,以减少自动语音识别假设和参考转录之间的错位。此外,为了评估问答系统在对话式交互中的能力,我们组装了一个口语会话问答(口语CoQA)数据集,其中包含超过12万个问答对。实验表明,我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic Expressiveness in Multi-Talker Audio-Video Generation
Shanghai University(上海大学);Beijing Institute of Technology(北京理工大学);Shanghai Film Academy(上海电影学院);Tsinghua University(清华大学);Hefei University of Technology(合肥工业大学);Inkeverse Group Limited(Inkeverse集团有限公司);The University of Adelaide(阿德莱德大学);Beijing University of Technology(北京工业大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);OpenNLP Lab(OpenNLP实验室)
针对多说话人音视频生成中电影表现力评估不足的问题,提出MTAVG-Bench 2.0基准,通过构建涵盖表演、叙事、氛围和视听语言的高层次失败分类体系及超过1万个问答实例,系统评估全模态大语言模型诊断复杂视听失败的能力。
2026-05-27 cs.AI cs.MM cs.SD
MoLT: Mixture of Layer-Wise Tokens for Efficient Audio-Visual Learning
KAIST(韩国科学技术院);Sejong University(世宗大学)
MoLT通过层级令牌融合提升音频视觉学习效率,采用轻量适应策略和正交正则化,优于现有方法。
2025-11-27 cs.CV cs.MM cs.SD
Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan(台湾大学通讯工程研究所);Artificial Intelligence Center of Research Excellence (AI-CoRE), National Taiwan University, Taiwan(台湾大学人工智能卓越研究中心)
本文研究了音频感知大语言模型的不确定性估计,通过多种方法对比发现语义层面方法在通用音频推理中表现更优,且在可靠性导向任务中效果依赖模型和基准。
2026-04-28 cs.AI cs.CL cs.LG
LEAP: Learned Block-wise Evidence Retrieval for Long Audio-Video Perception
Northeastern University(东北大学);Futurewei Technologies(未来网络技术公司)
LEAP通过分块检索和双LoRA训练,在长音视频问答中实现与时长无关的上下文,显著提升多个基准的性能。
2026-10-16 cs.AI cs.CL cs.CV
MOSS-Audio Technical Report
OpenMOSS Team(开放MOSS团队)
提出统一音频-语言模型 MOSS-Audio,通过 DeepStack 跨层特征注入和时间标记实现语音、环境声和音乐的理解,在音频字幕、时间感知问答、时间戳转录和音频推理任务上取得强性能。
2026-06-05 cs.AI cs.SD
MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio
Centific Global Solutions Inc.(Centific全球解决方案公司);University of Maryland, College Park, MD, USA(马里兰大学学院市分校)
为解决医学音频数据稀缺和现有基准不足的问题,提出MedMosaic数据集,包含多种医学音频类型和46701个问答对,用于评估语言和音频推理模型,实验表明推理仍具挑战性。
2026-05-28 cs.AI cs.CL cs.SD
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan(密歇根大学);AWS AI Labs(AWS AI实验室)
本文提出SpeechRAG框架,通过微调语音编码器对齐文本与语音嵌入空间,实现无需ASR的直接语音检索,并利用语音语言模型以音频片段为条件进行生成,在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
KoALa-Bench: Evaluating Large Audio Language Models on Korean Speech Understanding and Faithfulness
Department of Artificial Intelligence, Chung-Ang University(Chung-Ang 大学人工智能系);Upstage AI
本文提出KoALa-Bench,一个用于评估大型音频语言模型在韩语语音理解和忠实性方面的基准,包含六个任务,涵盖语音识别、翻译、问答和指令跟随等核心能力,并包含韩国特定知识内容。
2026-09-01 cs.AI cs.CL cs.SD
AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs
Meta AI;University of Cambridge(剑桥大学)
本研究提出AudioChatLlama模型,在Llama-2基础上扩展端到端通用语音能力,无需配对数据,支持跨模态多任务,在语音问答上表现优于或持平级联系统,可利用对话上下文提升效果。
2024-04-12 cs.AI cs.CL