在这项工作中，我们构建了最大的中文多模态预训练数据集，其中包括超过1.9TB的图像和292 GB的文本，涵盖了广泛的领域。我们提出了一种称为M6的跨模态预训练方法，参考Multi-Modality to Multi-Modality Multi-Task Mega-transformer，用于对单模态和多模态数据进行统一的预训练。我们将模型规模扩展到100亿和1000亿参数，并在中文中构建最大的预训练模型。我们将该模型应用到一系列下游应用中，并与强基线相比展示了其出色的性能。此外，我们专门设计了一个文本引导图像生成的下游任务，并表明微调的M6可以创建具有高分辨率和丰富细节的高质量图像。
英文摘要：
In this work, we construct the largest dataset for multimodal pretraining in Chinese, which consists of over 1.9TB images and 292GB texts that cover a wide range of domains. We propose a cross-modal pretraining method called M6, referring to Multi-Modality to Multi-Modality Multitask Mega-transformer, for unified pretraining on the data of single modality and multiple modalities. We scale the model size up to 10 billion and 100 billion parameters, and build the largest pretrained model in Chinese. We apply the model to a series of downstream applications, and demonstrate its outstanding performance in comparison with strong baselines. Furthermore, we specifically design a downstream task of text-guided image generation, and show that the finetuned M6 can create high-quality images with high resolution and abundant details.
CMM-Math: A Chinese Multimodal Math Dataset To Evaluate and Enhance the Mathematics Reasoning of Large Multimodal Models
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；East China Normal University（华东师范大学）；Lab of Artificial Intelligence for Education, East China Normal University（华东师范大学教育人工智能实验室）
CFMS: Towards Explainable and Fine-Grained Chinese Multimodal Sarcasm Detection Benchmark
National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；Peking University School of Computer Science（北京大学计算机科学学院）；Peking University School of Software and Microelectronics（北京大学软件与微电子学院）
EmoMeta: A Multimodal Dataset for Fine-grained Emotion Classification in Chinese Metaphors
School of Software（软件学院）；Dalian University of Technology（大连理工大学）；School of Foreign Languages and School of Software（外语学院和软件学院）；Faculty of Business Administration（商学院）；University of Macau（澳门大学）；School of Computing Technologies（计算技术学院）；RMIT University（皇家墨尔本理工大学）
MMSciBench: Benchmarking Language Models on Chinese Multimodal Scientific Problems
Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Department of Computer Science, Brown University（布朗大学计算机科学系）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory of Data Science（上海数据科学关键实验室）；Datawiz LLC
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（教育部计算语言学重点实验室）
InterBERT: Vision-and-Language Interaction for Multi-modal Pretraining
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
用于学习高级多模态表示的多模态预训练是迈向深度学习和人工智能的又一步。在这项工作中，我们提出了一个新的模型，即InterBERT（BERT for Interaction），这是我们的多模态预训练方法M6（MultiModality-to-MultiModality Multitask Mega-transformer）系列的第一个模型。该模型具有很强的建模能力，不同模态的信息流之间的相互作用。单流交互模块能够有效地处理多模态的信息，而上层的双流交互模块保持了各模态的独立性，避免了单模态任务的性能下降。我们使用三个预训练任务对模型进行预训练，包括掩蔽段建模（MSM）、掩蔽区域建模（MRM）和图像-文本匹配（ITM）;并在一系列视觉和语言下游任务上对模型进行微调。实验结果表明，InterBERT的性能优于一系列强基线，包括最新的多模态预训练方法，分析表明MSM和MRM是有效的预训练方法，我们的方法在单模态任务中可以达到与BERT相当的性能。此外，我们提出了一个大规模的数据集，用于中文多模态预训练，我们开发了中文InterBERT，这是第一个中文多模态预训练模型。我们在我们提出的来自中国最大的电子商务平台手机淘宝的310万图像-文本对数据集上预训练了中文InterBERT。我们微调的模型，基于文本的图像检索，最近，我们部署了基于主题的推荐模型在线。
LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院）；College of Literature and Journalism, Sichuan University（四川大学文学与新闻学院）
CulMind: Benchmarking Multimodal Understanding and Reasoning in Chinese Cultural Heritage
University of International Relations（国际关系学院）；Kedge Business School（凯致商学院）；Peking University（北京大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Capital Normal University（首都师范大学）
MedBench v4: A Robust and Scalable Benchmark for Evaluating Chinese Medical Language Models, Multimodal Models, and Intelligent Agents
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Institute of Infectious Disease and Biosecurity, Fudan University（复旦大学上海传染病与生物安全研究院）；Shanghai Health Development Research Center (Shanghai Medical Information Center)（上海市卫生和健康发展研究中心（上海市医学科学技术情报研究所））；Imperial College London（伦敦帝国理工学院）
FoodieQA: A Multimodal Dataset for Fine-Grained Understanding of Chinese Food Culture
University of Copenhagen（哥本哈根大学）；University of Waterloo（滑铁卢大学）；Comcast AI Technologies（康卡斯特人工智能技术公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Amsterdam（阿姆斯特丹大学）
Towards Multimodal Metaphor Understanding: A Chinese Dataset and Model for Metaphor Mapping Identification
Dalian University of Technology（大连理工大学）；School of Foreign Languages（外国语学院）；School of Software（软件学院）；University of Macau（澳门大学）；Faculty of Business Administration（工商管理学院）；Kansai University（关西大学）；Faculty of Business and Commerce（商学部）；University of New South Wales（新南威尔士大学）；School of Minerals and Energy Resources Engineering（矿产与能源资源工程学院）；RMIT University（皇家墨尔本理工大学）；Centre for Educational Innovation and Quality（教育创新与质量中心）；School of Computing Technologies（计算技术学院）
CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark
Multimodal Art Projection Research Community（多模态艺术投影研究共同体）；Hong Kong University of Science and Technology（香港科技大学）；University of Waterloo（滑铁卢大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）；Waseda University（早稻田大学）；University of Manchester（曼彻斯特大学）
Enhancing Multimodal Large Language Models for Ancient Chinese Character Evolution Analysis via Glyph-Driven Fine-Tuning
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院）；Key Laboratory of Ancient Chinese Script, Culture Relics and Artificial Intelligence, Jilin University, China（吉林大学古文字、文物与人工智能重点实验室）；School of Artificial Intelligence, Jilin University, China（吉林大学人工智能学院）；School of Archaeology, Jilin University, China（吉林大学考古学院）
ShizhenGPT: Towards Multimodal LLMs for Traditional Chinese Medicine
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Freedom AI；National Health Data Institute, Shenzhen（深圳国家健康数据研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Guangdong University of Technology（广东工业大学）
CNSL-bench: Benchmarking the Sign Language Understanding Capabilities of MLLMs on Chinese National Sign Language
School of Informatics, Xiamen University, China（厦门大学信息学院）；Key Lab of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian-Taiwan (XMU), Ministry of Culture and Tourism, China（福建省-台湾非物质文化遗产数字化保护与智能处理重点实验室（XMU），文化和旅游部，中国）；National Language Resources Monitoring and Research Center for Education and Teaching Media, Xiamen University, China（教育与教学媒体语言资源监测与研究中心，厦门大学，中国）
TCM-Ladder: A Benchmark for Multimodal Question Answering on Traditional Chinese Medicine
Department of Electrical Engineering and Computer Science, University of Missouri（密苏里大学电气工程与计算机科学系）；Christopher S. Bond Life Sciences Center, University of Missouri（密苏里大学克里斯托弗·S·邦德生命科学中心）；Department of Computer Science, Northwestern University（西北大学计算机科学系）；Department of Computer Science and Mathematics, Truman State University（特拉华州立大学计算机科学与数学系）；Marquette High School（马基特高中）；Community Health Service Center, Shanghai Pudong New Area（上海浦东新区社区卫生服务中心）；School of Engineering and Applied Science, University of Pennsylvania（宾夕法尼亚大学工程与应用科学学院）；Department of Endocrinology, Seventh People’s Hospital of Shanghai University of Traditional Chinese Medicine（上海中医药大学第七人民医院内分泌科）；School of Acupuncture-Moxibustion and Tuina, Shanghai University of Traditional Chinese Medicine（上海中医药大学针灸推拿学院）
A Structured Framework for Evaluating and Enhancing Interpretive Capabilities of Multimodal LLMs in Culturally Situated Tasks
DJCAD, University of Dundee, United Kingdom（邓迪大学DJCAD部门）；ARG-tech, SSEN, University of Dundee, United Kingdom（邓迪大学）；School of Computer Science, University of Birmingham, United Kingdom（伯明翰大学计算机科学学院）
BenCao: An Instruction-Tuned Large Language Model for Traditional Chinese Medicine
Community Health Service Center Shanghai Pudong New Area（上海浦东新区社区卫生服务中心）；School of Acupuncture-Moxibustion and Tuina, Shanghai University of Traditional Chinese Medicine（上海中医药大学针灸推拿学院）
本文提出基于 ChatGPT 的中医药多模态助手 BenCao，通过自然语言指令微调、知识库、思维链模拟、专家反馈及外部 API 整合，提升诊断、药材识别与体质分类性能并实现部署。
Hanfu-Bench: A Multimodal Benchmark on Cross-Temporal Cultural Understanding and Transcreation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Chengdu Technological University（成都理工大学）；University of Copenhagen（哥本哈根大学）
Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages
Tsinghua University（清华大学）；Zhihu Inc.（知乎公司）；ModelBest Inc.（模贝斯特公司）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Renmin University of China（中国人民大学）
WordCraft: Scaffolding the Keyword Method for L2 Vocabulary Learning with Multimodal LLMs
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；School of Creativity and Art, ShanghaiTech University（创意与艺术学院，上海科技大学）；Shanghai Fengxian Dai Wen Middle School（上海奉贤戴文中学）
