多模态大模型

Art2Mus: Artwork-to-Music Generation via Visual Conditioning and Large-Scale Cross-Modal Alignment

Art2Mus: 通过视觉条件和大规模跨模态对齐进行艺术品到音乐生成

Ivan Rinaldi, Matteo Mendula, Nicola Fanelli, Florence Levé, Matteo Testi, Giovanna Castellano, Gennaro Vessio

机构 * University of Bari Aldo Moro（巴里大学阿尔多·莫罗大学） ； Catalonia's Telecommunications Technology Centre（加泰罗尼亚电信技术中心） ； University of Picardie Jules Verne（皮卡第大学朱利·瓦内大学） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 ArtToMus通过直接视觉条件生成音乐，无需图像到文本转换，实现艺术品到音乐的跨模态对齐。