多模态大模型

SyncLipMAE: Contrastive Masked Pretraining for Audio-Visual Talking-Face Representation

SyncLipMAE：用于音频视觉谈话面部表示的对比掩码预训练

Zeyu Ling, Xiaodong Gu, Jiangnan Tang, Changqing Zou

机构 * State Key Laboratory of CAD&CG（CAD与CG国家重点实验室） ； ByteDance（字节跳动） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.AI、cs.MM

AI总结 SyncLipMAE通过对比掩码预训练实现音频视觉谈话面部的同步感知表示，适用于多下游任务。

LTX-2: Efficient Joint Audio-Visual Foundation Model

LTX-2：高效的音频-视觉联合基础模型

Yoav HaCohen, Benny Brazowski, Nisan Chiprut, Yaki Bitterman, Andrew Kvochko, Avishai Berkowitz, Daniel Shalem, Daphna Lifschitz, Dudu Moshe, Eitan Porat, Eitan Richardson, Guy Shiran, Itay Chachy, Jonathan Chetboun, Michael Finkelson, Michael Kupchick, Nir Zabari, Nitzan Guetta, Noa Kotler, Ofir Bibi, Ori Gordon, Poriya Panet, Roi Benita, Shahar Armon, Victor Kulikov, Yaron Inger, Yonatan Shiftan, Zeev Melumian, Zeev Farbman

机构 * Lightricks（利光科技） 纠错

专题命中 音频语音多模态 ：audio-visual(title)；分类 cs.CV

AI总结 LTX-2是一种高效的音频-视觉联合基础模型，通过统一的双流变压器架构生成高质量的音频视觉内容，支持多语言提示和模态感知的可控生成。

Vclip: Face-based Speaker Generation by Face-voice Association Learning

基于面部的语音生成：通过面部-语音关联学习

Yao Shi, Yunfei Xu, Hongbin Suo, Yulong Wan, Haifeng Liu

专题命中 音频语音多模态 ：cross-modal(abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 Vclip通过面部-语音关联学习实现基于面部的语音生成，利用CLIP编码器和检索策略提升语音合成质量。

Comments work done in 2023

EgoLog: Ego-Centric Fine-Grained Daily Log with Ubiquitous Wearables

EgoLog：基于普及式可穿戴设备的以自我为中心的细粒度日常日志

Lixing He, Bufang Yang, Di Duan, Zhenyu Yan, Guoliang Xing

专题命中 音频语音多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 EgoLog通过融合音频与IMU数据及LLM推理，实现了基于普及式可穿戴设备的细粒度日常日志识别，提升了场景和活动识别的准确性。