多模态大模型

Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space

分析扩散模型和自回归视觉语言模型在多模态嵌入空间中的表现

Zihang Wang, Siyue Zhang, Yilun Zhao, Jingyi Yang, Tingyu Song, Anh Tuan Luu, Chen Zhao

机构 * Nanyang Technological University（南洋理工大学） ； Yale University（耶鲁大学） ； NYU Shanghai（纽约大学上海分校） ； Alibaba-NTU Singapore Joint Research Institute（阿里-国立新加坡大学联合研究机构） ； University of the Chinese Academy of Sciences（中国科学院大学） ； Center for Data Science（数据科学中心） ； New York University（纽约大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文研究了多模态扩散模型在多模态嵌入任务中的表现，发现其在分类、VQA和检索任务中均逊于自回归VLM。

Multimodal Generative Retrieval Model with Staged Pretraining for Food Delivery on Meituan

具有分阶段预训练的多模态生成检索模型用于美团外卖

Boyu Chen, Tai Guo, Weiyu Cui, Yuqing Li, Xingxing Wang, Chuan Shi, Cheng Yang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种具有分阶段预训练的多模态生成检索模型，通过分阶段任务优化和语义ID利用，提升美团外卖检索性能与商业收益。

Same Answer, Different Representations: Hidden instability in VLMs

相同答案，不同表示：VLMs中的隐藏不稳定性

Farooq Ahmad Wani, Alessandro Suglia, Rohit Saxena, Aryo Pradipta Gema, Wai-Chung Kwan, Fazl Barez, Maria Sofia Bucarelli, Fabrizio Silvestri, Pasquale Minervini

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； CNRS（法国国家科学研究中心） ； University of Edinburgh（爱丁堡大学） ； University of Oxford（牛津大学） ； i3S（i3S研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究揭示了视觉语言模型中隐藏的不稳定性，通过引入新的评估框架发现模型在内部表示漂移、鲁棒性与决策边界等方面存在显著问题。

Adventures in Demand Analysis Using AI

利用人工智能进行需求分析的冒险

Philipp Bach, Victor Chernozhukov, Sven Klaassen, Martin Spindler, Jan Teichert-Kluge, Suhas Vijaykumar

机构 * Freie Universität Berlin（柏林自由大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Hamburg（汉堡大学） ； UC San Diego（圣地亚哥大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文利用AI生成多模态产品表示，提升需求分析的预测准确性与因果推断的可信度。

Comments 35 pages, 8 figures