多模态大模型

Enabling Conversational Behavior Reasoning Capabilities in Full-Duplex Speech

实现全双工语音中对话行为推理能力

Shuchang Pan, Siddharth Banerjee, Dhruv Hebbar, Siddhant Patel, Akshaj Gupta, Kan Jen Cheng, Hanjo Kim, Zeyi Austin Li, Martin Q. Ma, Tingle Li, Gopala Anumanchipalli, Jiachen Lian

机构 * Zhejiang University（浙江大学） ； University of California, Berkeley（加州大学伯克利分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于图的思维框架，通过建模对话行为的因果推断，实现全双工语音交互中的行为推理与可解释性。

Broadband tunable microwave photonic radar for simultaneous detection of human respiration, heartbeat, and speech with deep learning-based speech recognition

宽带可调微波光子雷达用于同时检测人体呼吸、心跳和语音的系统，结合深度学习语音识别

Lei Gao, Dingding Liang, Jiawei Gao, Chulun Lin, Zhiqiang Huang, Taixia Shi, Yang Chen

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本研究提出一种宽带可调微波光子雷达系统，结合深度学习实现对呼吸、心跳和语音的同步检测，实验验证其高精度语音识别和多模态生命体征监测能力。

Comments 40 pages, 14 figures, 3 tables