多模态大模型

Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification

具有语义空间对齐的层次多模态大语言模型用于增强的时间序列分类

Xiaoyu Tao, Tingyue Pan, Mingyue Cheng, Yucong Luo, Qi Liu, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 HiTime通过层次多模态大语言模型和语义空间对齐，提升时间序列分类的性能。

Learning When to Look: A Disentangled Curriculum for Strategic Perception in Multimodal Reasoning

学习何时观察：一种解耦的课程学习框架，用于多模态推理中的战略感知

Siqi Yang, Zilve Gao, Haibo Qiu, Fanfan Liu, Peng Shi, Zhixiong Zeng, Qingmin Liao, Lin Ma

机构 * Meituan（美团） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种解耦课程学习框架，通过分阶段训练提升多模态推理中的抽象推理与战略视觉感知能力。

Multimodal Representation Learning and Fusion

多模态表示学习与融合

Qihang Jin, Enze Ge, Yuhang Xie, Hongying Luo, Junhao Song, Ziqian Bi, Chia Xin Liang, Jibin Guan, Joe Yeong, Xinyuan Song, Junfeng Hao

机构 * AI Agent Lab, Vokram Group, United Kingdom（AI代理实验室，Vokram集团，英国） ； University of Bologna, Italy（博洛尼亚大学，意大利） ； University of Minnesota, United States（明尼苏达大学，美国） ； Singapore General Hospital, Singapore（新加坡中央医院，新加坡） ； Emory University, United States（埃默里大学，美国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；分类 cs.MM

AI总结 多模态学习通过融合多种数据模态提升AI系统的理解和决策能力，旨在解决数据格式差异、输入缺失及对抗攻击等问题，推动计算机视觉、自然语言处理等领域的发展。