arXiv 2309.160582023-09-27cs.LGcs.CLcs.CV

AnyMAL：高效且可扩展的任意模态增强语言模型

AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model

FAIR, Meta（元宇宙公司基础人工智能研究院）；Meta Reality Labs（元宇宙公司现实实验室）

Seungwhan Moon, Andrea Madotto, Zhaojiang Lin, Tushar Nagarajan, Matt Smith, Shashank Jain, Chun-Fu Yeh, Prakash Murugesan, Peyman Heidari, Yue Liu, Kavya Srine… 展开作者

Seungwhan Moon, Andrea Madotto, Zhaojiang Lin, Tushar Nagarajan, Matt Smith, Shashank Jain, Chun-Fu Yeh, Prakash Murugesan, Peyman Heidari, Yue Liu, Kavya Srinet, Babak Damavandi, Anuj Kumar

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出统一的任意模态增强语言模型 AnyMAL，通过预训练对齐器将图像、视频、音频、IMU 等信号映射到 LLM 文本空间，并结合多模态指令微调，在多项任务上达到最先进性能。

摘要：

我们提出了任意模态增强语言模型（Any-Modality Augmented Language Model，AnyMAL），这是一个统一模型，能够对多种输入模态信号（即文本、图像、视频、音频和 IMU 运动传感器）进行推理，并生成文本响应。AnyMAL 继承了包括 LLaMA-2（70B）在内的最先进 LLM 强大的文本推理能力，并通过预训练的对齐器模块将特定模态信号转换到联合文本空间。为进一步增强多模态 LLM 的能力，我们使用人工收集的多模态指令集对模型进行微调，该指令集涵盖简单问答之外的多样主题和任务。我们开展了包含人工评估和自动评估的综合实证分析，并证明其在各类多模态任务上取得最先进性能。

英文摘要：

We present Any-Modality Augmented Language Model (AnyMAL), a unified model that reasons over diverse input modality signals (i.e. text, image, video, audio, IMU motion sensor), and generates textual responses. AnyMAL inherits the powerful text-based reasoning abilities of the state-of-the-art LLMs including LLaMA-2 (70B), and converts modality-specific signals to the joint textual space through a pre-trained aligner module. To further strengthen the multimodal LLM's capabilities, we fine-tune the model with a multimodal instruction set manually collected to cover diverse topics and tasks beyond simple QAs. We conduct comprehensive empirical analysis comprising both human and automatic evaluations, and demonstrate state-of-the-art performance on various multimodal tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。