多模态大模型

What Do Audio-Visual Synchronization Metrics Actually Measure?

视听同步指标究竟测量什么？

Jai Kumar Sharma, Peeyush Tapadiya

机构 * Virginia Tech（弗吉尼亚理工大学） ； Accenture（埃森哲公司） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.MM

AI总结 该研究审计了AV-Align等4种视听同步指标，发现它们在不同任务上各有优劣且一致性差，建议以含置信区间的指标类别细分形式报告视听同步结果。

Comments Accepted at the ECCV 2026 Workshop on Generative AI for Audio-Visual Content Creation (Gen4AVC), poster presentation; non-archival workshop. 7 pages (4-page main text + references + 2-page appendix), 3 figures, 8 tables. Project page: this https URL (https://jaishrm07.github.io/avsync-reliability-card/)

HEDGE: A Calibrated Ensemble for A/H Recognition

用于矛盾/犹豫识别的校准多模态集成：系统描述与私密测试提交策略

Josep Cabacas-Maso, Ismael Benito-Altamirano, Carles Ventura

机构 * eHealth Center, Faculty of Computer Science, Multimedia and Telecommunicactions, Universitat Oberta de Catalunya（加泰罗尼亚开放大学计算机科学、多媒体与电信学院电子健康中心） ； MIND/IN2UB, Department of Electronic and Biomedical Engineeering, Universitat de Barcelona（巴塞罗那大学电子与生物医学工程系MIND/IN2UB） ； Institute of Semiconductor Technology (IHT) & Laboratory for Emerging Nanometrology (LENA), Technische Universität Braunschweig（布伦瑞克工业大学半导体技术研究所（IHT）和新兴纳米计量实验室（LENA）） 纠错

专题命中 音频语音多模态 ：multimodal(title)；分类 cs.CV

AI总结 该研究针对BAH数据集上的ABAW A/H挑战，提出校准多模态集成系统，由三个融合模型组成。在公共测试集上宏F1达0.7358，介绍五次私密测试提交的配置等，首次提交在私密测试中宏F1为0.7361，验证系统能推广到未见参与者。

Comments 8 pages, 1 figure, ECCV workshops

Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans

超级明星：面向数字人的流式实时交互智能体

Wentao Jiang, Youchen Xie, Haidi Fan, Yajing Chen, Xin Wang, Ye Shi, Jingya Wang

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文针对交互式数字人提出流式实时同步言语手势生成任务，构建耦合流式语音响应与在线手势生成的框架，经实验验证其在延迟-质量权衡等方面优于现有基线。

Comments Accepted by ACM Multimedia 2026. Project Page: \url{ this https URL (https://super-star-2026.github.io/) }