多模态大模型

Dual-Encoder Transformer-Based Multimodal Learning for Ischemic Stroke Lesion Segmentation Using Diffusion MRI

基于双编码变压器的多模态学习用于扩散磁共振成像的缺血性中风病变分割

Muhammad Usman, Azka Rehman, Muhammad Mutti Ur Rehman, Abd Ur Rehman, Muhammad Umar Farooq

机构 * Department of Anesthesiology, Perioperative and Pain Medicine, Stanford University（麻醉学、围术期与疼痛医学系，斯坦福大学） ； Department of Biomedical Sciences, Seoul National University（生物医学科学系，首尔国立大学） ； Department of Computer Engineering, National University of Sciences and Technology (NUST)（计算机工程系，国立科学与技术大学（NUST）） ； Department of Computer Science, The University of Alabama（计算机科学系，阿拉巴马大学） ； Department of Computer Science, Hanyang University（计算机科学系，翰阳大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出双编码变压器架构，利用多模态扩散MRI实现缺血性中风病变分割，达到85.4%的Dice分数。

IGDMRec: Behavior Conditioned Item Graph Diffusion for Multimodal Recommendation

IGDMRec: 基于行为的物品图扩散用于多模态推荐

Ziyuan Guo, Jie Guo, Zhenghao Chen, Bin Song, Fei Richard Yu

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 IGDMRec通过行为条件图扩散和条件去噪网络，利用用户行为信息去噪多模态推荐的语义物品图，提升推荐性能。

Comments 12 pages, 6 figures. This paper has been accepted for publication in IEEE Transactions on Multimedia. The final published version will be available via IEEE Xplore

LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer

LAMIC：基于多模态扩散变换器可扩展性的布局感知多图像合成

Yuzhuo Chen, Zehua Ma, Jianhua Wang, Kai Kang, Shunyu Yao, Weiming Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Onestory Team（Onestory团队） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 LAMIC通过无训练方式实现多参考图像合成，提升布局控制与背景一致性。

Comments 8 pages, 5 figures, 3 tables

UTDesign: A Unified Framework for Stylized Text Editing and Generation in Graphic Design Images

UTDesign: 一种统一框架，用于图形设计图像中的风格化文本编辑与生成

Yiming Zhao, Yuanpeng Gao, Yuxuan Luo, Jiwei Duan, Shisong Lin, Longfei Xiong, Zhouhui Lian

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 UTDesign提出了一种统一框架，实现高精度风格化文本编辑与生成，支持中英文文本，通过多模态编码器和DiT模型提升设计图像中的文本生成与编辑能力。

Comments 22 pages, 25 figures, SIGGRAPH Asia 2025, Conference Paper

Reinforcement Learning for Large Model: A Survey

为大模型设计强化学习：综述

Weijia Wu, Chen Gao, Joya Chen, Kevin Qinghong Lin, Qingwei Meng, Yiming Zhang, Yuke Qiu, Hong Zhou, Mike Zheng Shou

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文综述了视觉强化学习领域，探讨了多模态大语言模型、视觉生成等四个主题，分析了算法设计、奖励工程及评估协议，并指出了样本效率、泛化能力等开放挑战。

Comments 22 pages