How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue
LLMs在说话时应该如何倾听?对全双工语音对话中用户流路由的探讨
机构 * The Chinese University of Hong Kong(香港中文大学) ; SenseTime Research(商汤科技研究院) ; Tsinghua University(清华大学)
AI总结 研究探讨了全双工语音对话中用户流路由对LLM的影响,通过对比通道融合与交叉注意力路由策略,发现通道融合在语义接地和问答性能上更优,但易受上下文干扰;交叉注意力路由更稳健,但问答表现较差。