多模态大模型

Aligned Novel View Image and Geometry Synthesis via Cross-modal Attention Instillation

通过跨模态注意力安装实现对齐的新视角图像和几何合成

Min-Seop Kwak, Junho Kim, Sangdoo Yun, Dongyoon Han, Taekyung Kim, Seungryong Kim, Jin-Hwa Kim

机构 * NAVER AI Lab（NAVER AI实验室） ； KAIST AI（韩国科学技术院人工智能学院） ； SNU AIIS（首尔国立大学人工智能研究所） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种基于扩散的框架，通过跨模态注意力蒸馏实现新视角图像和几何的对齐生成，提升几何鲁棒性和重建质量。

Comments Project page at https://cvlab-kaist.github.io/MoAI

M3: High-fidelity Text-to-Image Generation via Multi-Modal, Multi-Agent and Multi-Round Visual Reasoning

M3：通过多模态、多智能体和多轮视觉推理实现高保真的文本到图像生成

Bangji Yang, Ruihan Guo, Jiajun Fan, Chaoran Cheng, Ge Liu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 M3通过多智能体和多轮视觉推理提升开源模型的文本到图像生成能力，超越商业系统并实现最先进的性能。

DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters

DiTS：多模态扩散变换器是时间序列预测器

Haoran Zhang, Haixuan Liu, Yong Liu, Yunzhong Qiu, Yuxuan Wang, Jianmin Wang, Mingsheng Long

机构 * School of Software, BNRist, Tsinghua University（软件学院、BNRist、清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 DiTS通过双流Transformer块处理时间序列的内生和外生变量依赖，实现高效生成预测。

DreamHome-Pano: Design-Aware and Conflict-Free Panoramic Interior Generation

DreamHome-Pano: 基于设计意识和无冲突的全景室内生成

Lulu Chen, Yijiang Hu, Yuanqing Liu, Yulong Li, Yue Yang

机构 * Beike（贝克） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 DreamHome-Pano通过引入Prompt-LLM和无冲突控制架构，实现了高保真的全景室内生成，平衡了美学质量和结构一致性。

Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors

通过几何查询的语义先验学习人类在3D表面上的视觉注意

Soham Pahari, Sandeep C. Kumain

机构 * UPES Dehradun（德里敦大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SemGeo-AttentionNet，通过几何查询语义先验，有效建模人类在3D表面的视觉注意，实现了显著性检测与扫描路径生成的改进。