多模态大模型

See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch

见、计划、快照：评估Scratch中的多模态GUI代理

Xingyi Zhang, Yulei Ye, Kaifeng Huang, Wenhao Li, Xiangfeng Wang

机构 * Tongji University（同济大学） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出ScratchWorld基准，用于评估多模态GUI代理在Scratch中的程序构建能力，揭示了推理与执行之间的显著差距。

Divide, Harmonize, Then Conquer It: Shooting Multi-Commodity Flow Problems with Multimodal Language Models

分割、调和、然后征服：利用多模态语言模型解决多商品流问题

Xinyu Yuan, Yan Qiao, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； Hefei University of Technology（合肥工业大学） ； Co-corresponding authors（共同通讯作者） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 Pram利用多模态语言模型解决多商品流问题，通过分解和调和子问题实现高效优化，性能接近线性规划求解器且运行时间显著降低。

Comments Published as a conference paper at ICLR 2026

Generative Muscle Stimulation: Providing Users with Physical Assistance by Constraining Multimodal-AI with Embodied Knowledge

生成性肌肉刺激：通过将多模态AI与具身知识相结合，为用户提供物理帮助

Yun Ho, Romain Nith, Peili Jiang, Steven He, Bruno Felalaga, Shan-Yuan Teng, Rhea Seeralan, Pedro Lopes

专题命中 多模态Agent ：multimodal(title)

AI总结 本研究提出通过结合多模态AI与具身知识生成肌肉刺激指令，实现更通用的物理辅助系统。

Comments 22 pages, 29 figures

Journal ref Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26)