视觉大模型 / VLM

SOWing Information: Cultivating Contextual Coherence with MLLMs in Image Generation

信息播种：利用大规模语言模型在图像生成中培养上下文一致性

Yuhan Pei, Ruoyu Wang, Yongqi Yang, Ye Zhu, Olga Russakovsky, Yu Wu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SOW方法，通过多模态大语言模型实现文本-视觉到图像生成，提升图像像素级条件保真度和视觉语义一致性。

Comments Project page: https://pyh-129.github.io/SOW/

Plug-and-play Class-aware Knowledge Injection for Prompt Learning with Visual-Language Model

即插即用的类感知知识注入用于具有视觉-语言模型的提示学习

Junhui Yin, Nan Pu, Xinyu Zhang, Lingfeng Yang, Lin Wu, Xiaojie Wang, Zhun Zhong

机构 * University of Science and Technology Beijing（北京科技大学） ； Hefei University of Technology（合肥工业大学） ； University of Auckland（奥克兰大学） ； Nanjing University of Science and Technology（南京理工大学） ； Swansea University（斯旺西大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出CAKI框架，通过类特定提示生成和查询-键提示匹配，补充现有方法中的类特定知识，提升基类和新类的性能。

Comments Accepted by International Journal of Computer Vision

DexSim2Real: Foundation Model-Guided Sim-to-Real Transfer for Generalizable Dexterous Manipulation

DexSim2Real: 基于基础模型的仿真到现实迁移用于通用的灵巧操作

Zijian Zeng, Fei Ding, Huiming Yang, Xianwei Li, Yuhao Liao

机构 * Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） ； Bengbu University（Bengbu大学） ； UCSI University（UCSI大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.LG

AI总结 本文提出DexSim2Real框架，结合基础模型引导的域随机化、触觉视觉交叉注意力策略和渐进技能课程，提升灵巧操作的仿真到现实迁移性能，实验表明其在现实世界中的成功率达到78.2%。

Comments 13 pages, 2 figures, 5 tables