多模态大模型

Norm$\times$Direction: Restoring the Missing Query Norm in Vision Linear Attention

Norm×Direction：恢复视觉线性注意力中缺失的查询范数

Weikang Meng, Yadan Luo, Liangyu Huo, Yingjian Li, Yaowei Wang, Xin Li, Zheng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory, China（鹏城实验室） ； The University of Queensland, Australia（昆士兰大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 针对线性注意力中查询范数丢失和非负性导致信息损失的问题，提出基于范数-方向分解的NaLaFormer，通过注入查询范数恢复注意力分布尖峰性，并采用余弦相似度保证非负性，在多项任务上达到线性注意力新标杆。

Unlocking Multidimensional Integration with Quantum Adaptive Importance Sampling

用量子自适应重要性采样解锁多维积分

Konstantinos Pyretzidis, Jorge J. Martínez de Lejarza, Germán Rodrigo

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出混合量子-经典算法QAIS，利用参数化量子电路编码非可分概率密度函数，高效评估多维积分，在尖峰圈费曼积分和多峰基准积分上实现高精度。

Comments 26 pages , 10 figures , Final version to be published in Communications Physics

B.O.D.Y.: Beyond-Overlay Deterministic topologY -- A Layer-2 Declarative Ground Truth for AIOps Pipelines under Fragmented Administrative Boundaries

B.O.D.Y.: 超越覆盖的确定性拓扑——面向碎片化管理边界的AIOps管道的第二层声明式地面真相

Matheus Marques, Carlos Alberto Malcher, Cledson de Sousa

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出B.O.D.Y.方法，通过多模态数据融合管道解决跨校区异构网络中的拓扑漂移和未管理物理段问题，为AIOps提供确定性的物理层地面真相。

Can Graph-Based Microservice Performance Detection Be Used for Microservice Intrusion Detection?

基于图的微服务性能检测能否用于微服务入侵检测？

Yunjian Ma

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文研究基于图的微服务性能检测方法是否适用于入侵检测，通过构建请求级调用图并使用图卷积网络进行分类，实验表明当前浅层图模型在工程特征集上不如强扁平基线方法。

Comments Preprint. 9 pages, 5 figures

LLMs and Childhood Safety: Identifying Risks and Proposing a Protection Framework for Safe Child-LLM Interaction

大语言模型与儿童安全：识别风险并提出安全的儿童-大语言模型交互保护框架

Junfeng Jiao, Saleh Afroogh, Kevin Chen, Abhejay Murali, David Atkinson, Amit Dhurandhar

专题命中 多模态评测 ：multimodal(abstract)

AI总结 通过系统文献综述识别儿童与大语言模型交互的风险，并基于不同证据流比较提出包含内容安全、发展敏感性和对抗性滥用控制的保护框架。

Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks

Agent-X：评估视觉中心智能体任务中的深度多模态推理

Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； University of Central Florida（中央佛罗里达大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出Agent-X基准，通过828个真实视觉任务和细粒度步骤评估框架，揭示当前模型在多步视觉推理中全链成功率低于50%的瓶颈。

Comments Accepted in International Conference of Learning Representations (ICLR 2026)

Parameter Efficient Multi-Class Intelligent Scheduling for Multimodal Online Distributed Industrial Anomaly Detection

面向多模态在线分布式工业异常检测的参数高效多类智能调度

Heqiang Wang, Weihong Yang, Zheyuan Yang, Jia Zhou, Xiaoxiong Zhong, Fangming Liu, Weizhe Zhang

机构 * Pengcheng Laboratory（鹏城实验室） ； Shenzhen International Graduate School（深圳国际研究生院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对工业异常检测中分布式、持续生成数据的特点，提出多模态在线分布式工业异常检测框架，通过多类智能调度问题和序列边际增益贪婪算法协调模型更新，并采用资源高效类级低秩适应策略降低系统开销，在MVTec 3D-AD和Eyecandies数据集上取得优越性能。

MMUEChange: A Generalized LLM Agent Framework for Intelligent Multi-Modal Urban Environment Change Analysis

MMUEChange：面向智能多模态城市环境变化分析的通用LLM智能体框架

Zixuan Xiao, Jun Ma, Siwei Zhang

机构 * Department of Urban Planning and Design, The University of Hong Kong（香港大学城市规划与设计系） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 提出MMUEChange多模态智能体框架，通过模块化工具包和模态控制器实现异构城市数据灵活集成与跨模态对齐，在三个城市案例中任务成功率提升46.7%并有效缓解幻觉。

Journal ref Applied Soft Computing 190 (2026) 114576

AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions

AgentHijack：基准测试计算机使用智能体对常见环境干扰的鲁棒性

Jingwei Sun, Jianing Zhu, Yuanyi Li, Tongliang Liu, Xia HU, Bo Han

机构 * TMLR Group, Hong Kong Baptist University（香港 Baptist 大学 TMLR 团体） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Sydney AI Centre, The University of Sydney（悉尼大学 AI 中心） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出AgentHijack基准，通过9种可配置的常见环境干扰评估多模态大语言模型驱动的计算机使用智能体的鲁棒性，并设计AgentHijack-Agent框架提升其抗干扰能力。

Comments accepted by ICML 2026

AgentGrounder: Zero-Shot 3D Visual Pointcloud Grounding using Multimodal Language Models

AgentGrounder：使用多模态语言模型的零样本3D视觉点云定位

Cuong Huynh, Maxim Popov, Denis Gridusov, Sergey Kolyubin

机构 * Biomechatronics and Energy-Efficient Robotics (BE2R) Lab, ITMO University（生物机械与高效能机器人实验室，ITMO大学） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV

AI总结 提出AgentGrounder框架，通过两阶段设计（离线构建对象查找表和在线工具驱动代理）实现零样本3D视觉定位，在ScanRefer和Nr3D上分别提升2.5%和6.3%的准确率。

Comments Code: https://github.com/be2rlab/AgentGrounder

Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses

具身人工智能的安全性：风险、攻击与防御综述

Xiao Li, Xiang Zheng, Yifeng Gao, Xinyu Xia, Yixu Wang, Xin Wang, Ye Sun, Yunhan Zhao, Ming Wen, Jiayu Li, Zixing Chen, Xun Gong, Yi Liu, Yige Li, Yutao Wu, Cong Wang, Jun Sun, Yixin Cao, Zhineng Chen, Jingjing Chen, Tao Gui, Qi Zhang, Zuxuan Wu, Xipeng Qiu, Xuanjing Huang, Tiehua Zhang, Zhipeng Wei, Kun Wang, Xinfeng Li, Hanxun Huang, Sarah Erfani, James Bailey, Jianping Wang, Chaowei Xiao, Ran He, Bo Li, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； City University of Hong Kong（香港城市大学） ； Jilin University（吉林大学） ； Singapore Management University（新加坡管理大学） ； Deakin University（德肯大学） ； Tongji University（同济大学） ； Nanyang Technological University（南洋理工大学） ； Chinese Academy of Sciences（中国科学院） ； The University of Melbourne（墨尔本大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了具身AI在感知、认知、规划、行动及交互全流程中的安全风险、攻击与防御方法，提出了多层次分类体系，并指出了多模态感知融合脆弱性、规划不稳定及人机交互可信度等关键挑战。

Comments Survey paper; 75 pages, 4 figures, 18 tables; v2 expands embodied-specific coverage of agentic threats, World Action Model threats, and contextual risk mitigation, with over 100 new references added. Project page: https://x-zheng16.github.io/Awesome-Embodied-AI-Safety/

Towards Reliable Fetal Ultrasound Interpretation with Multi-Agent Collaboration

面向可靠胎儿超声解读的多智能体协作

Xiaotian Hu, Mingxuan Liu, Junwei Huang, Kasidit Anmahapong, Yifei Chen, Yiming Huang, Xuguang Bai, Zihan Li, Hongjia Yang, Yingqi Hao, Hong Xu, Yu Jiang, Tian Tian, Yi Liao, Haibo Qu, Qiyuan Tian

机构 * Tsinghua University（清华大学） ； University of California San Diego（加州大学圣地亚哥分校） ； West China Second University Hospital, Sichuan University（四川大学西昌医学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出FetUSAgents多智能体系统，通过协作LLM代理和双路径证据仲裁（DPEA）整合视觉工具与临床推理，在胎儿超声VQA、报告生成等任务上超越最强基线25%以上。

ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop

ESI-Bench: 迈向闭环感知-动作的具身空间智能

Yining Hong, Jiageng Liu, Han Yin, Manling Li, Leonidas Guibas, Li Fei-Fei, Jiajun Wu, Yejin Choi

机构 * Stanford University（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Northwestern University（西北大学） 纠错

专题命中 多模态Agent ：MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出ESI-BENCH基准，通过主动探索（感知、移动、操作）在OmniGibson环境中评估具身空间智能，发现主动探索显著优于被动方法，失败主因是动作盲视而非感知弱，且模型存在元认知差距。

Comments https://esi-bench.github.io/

Why We Need World Models for AGI: Where LLMs Fail and How World Models May Outperform

为什么我们需要世界模型来实现通用人工智能：大语言模型失败之处以及世界模型如何可能超越

Feisal Alaswad, Batoul Aljaddouh, Maher Alrahhal, Poovammal E, Talal Bonny

机构 * Department of Computing Technologies（计算技术系） ； SRM Institute of Science and Technology（SRM科学与技术学院） ； Bio-Sensing and Bio-Sensors Group（生物传感与生物传感器组） ； Smart Automation and Communication Technologies Research Institute of Sciences and Engineering（科学与工程智能自动化与通信技术研究所） ； University of Sharjah, UAE（阿联酋沙迦大学） ； Department of Computer Engineering（计算机工程系） ； College of Computing and Informatics（计算与信息学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过提出潜在动态推理（LDI）概念和Flux环境案例研究，论证了大语言模型在因果推理、状态跟踪和长程规划上的局限性，并展示基于显式状态空间的强化学习智能体在长程游戏中显著优于纯文本LLM。

Comments 19 pages, 5 figures

Agent-Centric Social Trajectory Prediction: A Free Energy Principle Perspective

以智能体为中心的社交轨迹预测：自由能原理视角

Yanping Wu, Ji Zhang, Hao Chen, Edmond S. L. Ho, Chongfeng Wei

机构 * University of Glasgow（格拉斯哥大学） ； Southwest Jiaotong University（西南交通大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有轨迹预测方法依赖全局状态、部分可观测下信念推理不足及缺乏认知行为约束的问题，提出基于自由能原理的智能体中心轨迹预测框架FEP-Diff，通过双分支时空编码器、目标条件信念学习器和残差扩散轨迹生成器，在受限可观测条件下实现认知合理的预测。

Comments 10 pages, 4 figures

ScrapMem: A Bio-inspired Framework for On-device Personalized Agent Memory via Optical Forgetting

ScrapMem: 一种基于生物启发的光学遗忘机制用于设备端个性化智能体记忆

Jiale Chang, Yuxiang Ren

机构 * Nanjing Agricultural University（南京农业大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出ScrapMem框架，通过光学遗忘机制压缩旧记忆并构建情节记忆图，在资源受限设备上实现高效多模态长期记忆，在ATM-Bench上取得51.0% Joint@10新最优，存储降低93%，召回率提升至70.3%。

Comments 10 pages, 4 figures

SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?

SaaS-Bench：计算机使用代理能否利用真实世界SaaS解决专业工作流程？

Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

机构 * UniPat AI ； PKU（北京大学） ； HKU（香港大学） ； G Labs（0G实验室） ； Pipeline Lab（Pipeline实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出SaaS-Bench基准，包含23个可部署SaaS系统和106个真实工作场景任务，评估计算机使用代理在长期规划、跨应用协调等能力上的表现，发现最强模型端到端任务完成率不足4%。

Comments 24 pages, 11 figures

Hide-and-Shill: A Reinforcement Learning Framework for Market Manipulation Detection in Symphony-a Decentralized Multi-Agent System

Hide-and-Shill：面向交响乐系统中市场操纵检测的强化学习框架——一个去中心化多智能体系统

Ronghua Shi, Yiou Liu, Yuchun Feng, Lynn Ai, Bill Shi, Zhuang Liu

机构 * Department of Information Systems, City University of Hong Kong（香港城市大学信息系统系） ； Business School, University of New South Wales（新南威尔士大学商学院） ； Division of Engineering Science, University of Toronto（多伦多大学工程科学系） ； ProphetAI Data Technology Co., Ltd.（ProphetAI数据技术有限公司） ； Gradient, 3 FRASER STREET DUO TOWER, SINGAPORE（Gradient新加坡办公室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 提出一个多智能体强化学习框架，通过动态对抗博弈建模操纵者与检测者的交互，利用延迟代币价格反应识别可疑模式，并集成GRPO、理论奖励函数和多模态智能体管道，在去中心化交响乐系统中实现无需中心化预言机的鲁棒操纵检测。

Harnessing AtomisticSkills for Agentic Atomistic Research

利用原子技能实现代理原子研究

Bowen Deng, Bohan Li, Matthew Cox, Hoje Chun, Juno Nam, Artur Lyssenko, Sathya Edamadaka, Jurgis Ruza, Xiaochen Du, Nofit Segal, Jesus Diaz Sanchez, Mingrou Xie, Ty Perez, Yu Yao, Miguel Steiner, Sauradeep Majumdar, Charles B. Musgrave, Anirban Chandra, Abhirup Patra, Detlef Hohl, Connor W. Coley, Ju Li, Rafael Gómez-Bombarelli

机构 * Department of Materials Science ； Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA ； Department of Chemical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA ； Department of Chemistry, Kookmin University, Seoul 02707, Republic of Korea ； Harvard University, Department of Chemistry ； Department of Chemistry, Massachusetts Institute of Technology, Cambridge, MA 02139, USA ； Department of Nuclear Science ； Shell Information Technology International Inc., Texas 77082, United States ； Shell International Exploration \& Production Inc., Texas 77079, United States 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出AtomisticSkills框架，通过分层分解科学工作流为技能和工具，使通用AI编码代理能够进行原子级研究，并在多个科学任务中验证其能力。

Meta-Modal Agent: Sequential Evidence Routing for Missing-Modality Candidate Reranking

元模态智能体：面向缺失模态候选重排序的序列证据路由

Jinze Wang, Yangchen Zeng, Tiehua Zhang, Lu Zhang, Yuze Liu, Zhishu Shen, Jiong Jin, Zhu Sun

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出元模态智能体（MMA），将缺失模态问题转化为序列证据路由任务，通过基于大语言模型的候选池重排序器，结合平衡缺失任务强化学习，在冷启动场景下显著提升推荐性能。

Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance

Afford-VLA：通过内化可操作性实现动作对齐的视觉规划

Runze Wang, Yuqian Fu, Yu Li, Tao Lin, Tianwen Qian, Mohamed Elhoseiny, Bo Zhao, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue

机构 * Fudan University（复旦大学） ； KAUST（康斯坦丁·亚历山大科研大学） ； SJTU（上海交通大学） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出Afford-VLA框架，通过内化任务条件可操作性作为显式视觉规划接口，利用可学习<AFF>令牌查询交互区域并解码为紧凑嵌入以直接条件化动作生成，在多个模拟基准上取得最先进性能。

Comments 20 pages

Diverse via bounded Agreement: Geometric Regularization for Multimodal Fusion

通过有界一致性实现多样性：多模态融合的几何正则化

Zixuan Xia, Hao Wang, Pengcheng Weng, Yanyu Qian, Yangxin Xu, William Dan, Fei Wang

机构 * Department of Informatics University of Bern（伯尔尼大学信息学院） ； College of Computing and Data Science Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； School of Software Engineering Xi’an Jiaotong University（西安交通大学软件工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；audio-visual(abstract)

AI总结 提出一种轻量级即插即用的几何正则化框架，通过有界一致性原则在保持模态特异多样性的同时约束跨模态漂移，提升多模态融合性能。

Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning

Prism：面向可扩展多模态持续指令微调的插件式可复现基础设施

Jun-Tao Tang, Yu-Cheng Shi, Zhen-Hao Xie, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL

AI总结 针对多模态持续指令微调中工程瓶颈问题，提出Prism插件式代码库，通过轻量级插件注册机制分离算法开发与骨干实现，支持大规模训练流水线，实现可复现、可扩展的实验。

Comments Code is available at https://github.com/LAMDA-CL/Prism

Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

填补GAP：多模态大语言模型中视觉推理的粒度对齐范式

Yanting Miao, Yutao Sun, Dexin Wang, Mengyu Zhou, Pascal Poupart, Lei Lv, Qi Zhao, Li Wang, Hao Li, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里云大模型应用团队） ； Alibaba University of Waterloo（阿里大学水力学院） ； Vector Institute（向量研究所） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出GAP（粒度对齐范式），通过特征级、上下文级和能力引导级对齐，解决多模态大语言模型中视觉潜在推理的特征空间不匹配问题，提升感知与推理性能。

MultiPUFFIN: A Multimodal Domain-Constrained Foundation Model for Molecular Property Prediction of Small Molecules

MultiPUFFIN：用于小分子性质预测的多模态领域约束基础模型

Idelfonso B. R. Nogueira, Carine M. Rebello, Mumin Enis Leblebici, Erick Giovani Sperandio Nascimento

机构 * Department of Chemical Engineering, Norwegian University of Science and Technology (NTNU)（挪威科学与技术大学化学工程系） ； Faculty of Industrial Engineering, KU Leuven（鲁文大学工业工程学院） ； University of Surrey（萨里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 提出多模态基础模型MultiPUFFIN，融合SMILES、2D图、3D构象及实验条件，通过条件感知精炼和热力学约束头，在小样本下优于ChemBERTa-2，预测小分子热物理性质。

RecGOAT: Graph Optimal Adaptive Transport for LLM-Enhanced Multimodal Recommendation with Dual Semantic Alignment

RecGOAT: 用于LLM增强多模态推荐的图最优自适应传输与双语义对齐

Yuecheng Li, Hengwei Ju, Zeyu Song, Wei Yang, Chi Lu, Peng Jiang, Kun Gai

机构 * Fudan University（复旦大学） ； University of Southern California（南加州大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对生成式语言模型表示与ID协同信号之间的语义异质性，提出基于图神经网络和最优传输理论的双粒度语义对齐框架RecGOAT，通过实例级和分布级对齐实现统一特征空间，理论证明其表示误差更低，实验达到最优性能。

Comments Under Review

PID-Guided Partial Alignment for Multimodal Decentralized Federated Learning

PID引导的多模态去中心化联邦学习部分对齐

Yanhang Shi, Xiaoyu Wang, Houwei Cao, Jian Li, Yong Liu

机构 * Department of Electrical and Computer Engineering, Stony Brook University（石溪大学电气与计算机工程系） ； Department of Applied Mathematics and Statistics and the Department of Computer Science, Stony Brook University（石溪大学应用数学与统计系和计算机科学系） ； Department of Electrical and Computer Engineering, New York University（纽约大学电气与计算机工程系） ； Department of Computer Science, New York Institute of Technology（纽约理工学院计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对多模态去中心化联邦学习中异构代理间更新不兼容的问题，提出基于部分信息分解的PARSE框架，通过特征分裂和部分对齐实现高效通信与协作。

Do Understanding and Generation Fight? A Diagnostic Study of DPO for Unified Multimodal Models

理解与生成相冲突吗？统一多模态模型DPO的诊断研究

Abinav Rao, Sujan Rachuri

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 通过系统实验发现，在统一多模态模型上应用DPO时，生成质量难以对齐，主要原因是理解和生成梯度近乎正交且存在11-14倍的幅度不平衡，源于VQ token数量不对称。

Comments Experiments are inconclusive: The claim that architectures such as Chameleon or Emu would exhibit stronger gradient conflict is not supported by experiments or analysis, and all experiments are conducted on Janus-Pro without evaluation on other unified multimodal architectures

A Multimodal 3D Foundation Model for Light Sheet Fluorescence Microscopy Enables Few-Shot Segmentation, Classification, and Deblurring

一种用于光片荧光显微镜的多模态3D基础模型实现少样本分割、分类和去模糊

Adina Scheinfeld, Haotan Zhang, Shang Mu, Rudolf L. M. van Herten, Lucas Stoffl, Ali Erturk, Zhuhao Wu, Johannes C. Paetzold

机构 * Tri-Institutional Program in Computational Biology \& Medicine, Weill Cornell Medicine, New York, NY, USA Department of Radiology, Weill Cornell Medicine, New York, NY, USA Helen ； Robert Appel Alzheimers Disease Research Institute, Feil Family Brain ； Mind Research Institute, Weill Cornell Medicine, New York, NY, USA Graduate Program in Physiology, Biophysics ； Systems Biology, Weill Cornell Medicine, New York, NY, USA Cornell Tech, New York, NY, USA Institute for Intelligent Biotechnologies (iBIO), Helmholtz Center Munich, Neuherberg, Germany Institute for Stroke ； Dementia Research, Klinikum der Universität München, Ludwig-Maximilians University Munich, Munich, Germany 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种基于掩码重建与图像-文本对齐联合优化的3D基础模型，在光片荧光显微镜数据上预训练，通过少样本适应显著降低标注成本并提升分割、分类和去模糊性能。

Comments 11 pages, 3 figures

MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models

MAGIC: 面向视觉语言模型的多模态对齐与接地感知指令核心集

Shristi Das Biswas, Kaushik Roy

机构 * Purdue University（普渡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出MAGIC方法，利用预训练VLM中的多模态增益、桥接相关性和技能神经元签名三种内在信号，通过无训练、前向传播的核心集选择，构建紧凑且行为保真的子集用于多模态指令微调，在20%预算下达到甚至超越全微调性能。