基于大语言模型的语音对话代理
Spoken Conversational Agents with Large Language Models
AI总结：
本文探讨了如何通过大语言模型构建语音对话代理，涵盖从级联到端到端系统的路径，以及跨模态对齐和联合训练等关键技术，同时讨论了隐私、安全和评估中的开放问题。
摘要：
语音对话代理正朝着原生语音的LLM发展。本教程梳理了从级联的ASR/NLU到端到端、检索和视觉 grounded 系统的路径。我们框架了将文本LLM适应到音频、跨模态对齐以及语音-文本联合训练；审查了数据集、指标和在不同口音中的鲁棒性，并比较了设计选择（级联 vs. 端到端、ASR后校正、流式处理）。我们将工业助手与当前的开放域和任务导向代理联系起来，突出了可复现的基准，并概述了隐私、安全和评估中的开放问题。参与者将获得实用的配方和清晰的系统级路线图。
英文摘要：
Spoken conversational agents are converging toward voice-native LLMs. This tutorial distills the path from cascaded ASR/NLU to end-to-end, retrieval-and vision-grounded systems. We frame adaptation of text LLMs to audio, cross-modal alignment, and joint speech-text training; review datasets, metrics, and robustness across accents and compare design choices (cascaded vs. E2E, post-ASR correction, streaming). We link industrial assistants to current open-domain and task-oriented agents, highlight reproducible baselines, and outline open problems in privacy, safety, and evaluation. Attendees leave with practical recipes and a clear systems-level roadmap.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
