SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models
Shanghai AI Laboratory（上海人工智能实验室）；CUHK（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Rutgers University（罗格斯大学）；Centre for Perceptual and Interactive Intelligence (CPII)（感知与交互智能中心（CPII））
我们提出SPHINX-X，这是基于SPHINX开发的一个规模庞大的多模态大语言模型（Multimodality Large Language Model, MLLM）系列。为提升架构与训练效率，我们对SPHINX框架进行了修改：移除冗余视觉编码器、通过跳跃令牌跳过全填充子图像，并将多阶段训练简化为单阶段一体化范式。为充分释放MLLM的潜力，我们构建了一个全面的多领域多模态数据集，涵盖语言、视觉及视觉-语言任务的公开可用资源；我们还通过自行整理的OCR密集型数据集和Set-of-Mark数据集进一步丰富该集合，拓展了多样性与通用性。通过在TinyLlama1.1B、InternLM2-7B、LLaMA2-13B和Mixtral8x7B等不同基础大语言模型上训练，我们得到了一系列参数规模和多语言能力各异的MLLM。综合基准测试表明，多模态性能与数据规模、参数规模之间存在强相关性。代码与模型已发布于https://github.com/Alpha-VLLM/LLaMA2-Accessory。
英文摘要：
We propose SPHINX-X, an extensive Multimodality Large Language Model (MLLM) series developed upon SPHINX. To improve the architecture and training efficiency, we modify the SPHINX framework by removing redundant visual encoders, bypassing fully-padded sub-images with skip tokens, and simplifying multi-stage training into a one-stage all-in-one paradigm. To fully unleash the potential of MLLMs, we assemble a comprehensive multi-domain and multimodal dataset covering publicly available resources in language, vision, and vision-language tasks. We further enrich this collection with our curated OCR intensive and Set-of-Mark datasets, extending the diversity and generality. By training over different base LLMs including TinyLlama1.1B, InternLM2-7B, LLaMA2-13B, and Mixtral8x7B, we obtain a spectrum of MLLMs that vary in parameter size and multilingual capabilities. Comprehensive benchmarking reveals a strong correlation between the multi-modal performance with the data and parameter scales. Code and models are released at https://github.com/Alpha-VLLM/LLaMA2-Accessory
OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院）；Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室）；University of Limerick（利默里克大学）；CUHK, Shenzhen（香港中文大学（深圳））
Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition
University of Oulu（奥卢大学）；Macau University of Science and Technology（澳门科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Westlake University（西湖大学）
Hausa Visual Genome: A Dataset for Multi-Modal English to Hausa Machine Translation
Ahmadu Bello University（艾哈迈杜·贝罗大学）；KIIT University（KIIT大学）；Silo AI；INESC TEC；University of Porto（波尔图大学）；Bayero University（巴耶罗大学）；City University of New York（纽约城市大学）；Charles University（查理大学）
Hyperbolic Multimodal Continual Learning: A Closest-Admissible Solution
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Yale University（耶鲁大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
TrustGeoGen: Formal-Verified Data Engine for Trustworthy Multi-modal Geometric Problem Solving
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
MDENet: Multi-modal Dual-embedding Networks for Malware Open-set Recognition
The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；University of Electronic Science and Technology of China（电子科技大学）；Beijing Institute of Technology（北京理工大学）；Jinan University（暨南大学）
FLARE: Fully Integration of Vision-Language Representations for Deep Cross-Modal Understanding
Peking University Shanghai AI Laboratory（北京大学上海人工智能实验室）；Nanjing University（南京大学）；Peking University（北京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Zhongguancun Academy Beijing Key Laboratory of Data Intelligence and Security（中关村北京数据智能与安全重点实验室）
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）
激光雷达和摄像头是关键的传感器，可为自动驾驶中的3D检测提供补充信息。虽然流行的多模态方法简单地用相机特征装饰原始激光雷达点云，并将其直接馈送到现有的3D检测模型，但我们的研究表明，将相机特征与深度激光雷达特征而不是原始点融合可以带来更好的性能。然而，由于这些特征经常被增强和聚合，融合中的一个关键挑战是如何有效地对齐来自两种模态的变换特征。在本文中，我们提出了两种新的技术：InverseAug，它可以反转几何相关的增强，例如，旋转，以实现激光雷达点和图像像素之间的精确几何对齐，以及LearnableAlign，利用交叉注意力在融合过程中动态捕获图像和激光雷达要素之间的相关性。基于InverseAug和LearnableAlign，我们开发了一系列名为DeepFusion的通用多模态3D检测模型，它比以前的方法更准确。例如，DeepFusion分别为6.7、8.9和6.2 LEVEL_2 APH改进了PointPillars、CenterPoint和3D-MAN行人检测基线。值得注意的是，我们的模型在Waymo Open Dataset上实现了最先进的性能，并显示出对输入损坏和分布外数据的强大模型鲁棒性。代码将在https://github.com/tensorflow/lingvo/tree/master/lingvo/上公开。
HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models
ADAPT Centre Dublin City University, Ireland（爱尔兰都柏林城市大学ADAPT中心）；University of East Anglia Norwich, UK（英国东英吉利大学）；Queen’s University Belfast Belfast, UK（英国贝尔法斯特女王大学）；University of Science Vietnam National University Ho Chi Minh City, Vietnam（越南胡志明市国家大学理科大学）
