多模态大模型

Multi-Agentic AI for Fairness-Aware and Accelerated Multi-modal Large Model Inference in Real-world Mobile Edge Networks

多智能体AI用于现实世界移动边缘网络中公平性感知和加速的多模态大模型推理

Haiyuan Li, Hari Madhukumar, Shuangyi Yan, Yulei Wu, Dimitra Simeonidou

机构 * Smart Internet Lab, Department of Electrical and Electronic Engineering, University of Bristol（布里斯托大学电子与电气工程系智能互联网实验室） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本文提出多智能体AI框架，通过优化提示路由和模型部署，实现移动边缘网络中多模态大模型推理的低延迟与高公平性。

T2VTree: User-Centered Visual Analytics for Agent-Assisted Thought-to-Video Authoring

T2VTree: 以用户为中心的视觉分析用于代理辅助的思维到视频创作

Zhuoyun Zheng, Yu Dong, Gaorong Liang, Guan Li, Guihua Shan, Shiyu Cheng, Dong Tian, Jianlong Zhou, Jie Liang

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)；分类 cs.MM

AI总结 T2VTree通过树形可视化和可编辑代理计划，支持多场景视频创作中的可靠细化、局部比较和实用重用。

Geo-Code: A Code Framework for Reverse Code Generation from Geometric Images Based on Two-Stage Multi-Agent Evolution

Geo-Code: 一种基于双阶段多智能体演化的几何图像反向代码生成框架

Zhenyu Wu, Yanxi Long, Jian Li, Hua Huang

机构 * School of Artificial Intelligence, Beijing Normal University, Beijing, China（人工智能学院，北京师范大学，北京，中国） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 Geo-Code提出一种基于双阶段多智能体演化的几何图像反向代码生成框架，通过像素级锚定和度量驱动的代码演化提升几何重建精度和视觉一致性。

Comments ICML2026

CHAI: Command Hijacking against embodied AI

CHAI：针对具身AI的命令劫持

Luis Burbano, Diego Ortiz, Qi Sun, Siwei Yang, Haoqin Tu, Cihang Xie, Yinzhi Cao, Alvaro A Cardenas

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 CHAI是一种针对具身AI的物理环境间接提示注入攻击，通过嵌入误导性自然语言指令，利用多模态语言解释能力，有效提升了攻击性能，凸显了对传统对抗鲁棒性之外的防御需求。

Comments This work has been accepted for publication at the IEEE Conference on Secure and Trustworthy Machine Learning (SaTML). The final version will be available on IEEE Xplore

Lemon Agent Technical Report

柠檬代理技术报告

Haipeng Jiang, Kailong Ren, Zimo Yin, Zhetao Sun, Xin Gan, Guangyi Lv, Ming He, Peng Wang, Congli Yin, Hong Pan, Changwen Zhang, Shan Tong, Zhengyu Xu, Zeping Chen, Yubin Huangfu, Yanzhi Xu, Xing Su, Qin Feng, Dong An, Jianping Fan

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 柠檬代理是一种基于AgentCortex框架的多代理系统，通过自适应调度和三级上下文管理策略，优化资源利用和任务处理效率，实现复杂场景下的高准确率表现。

StreamVLA: Breaking the Reason-Act Cycle via Completion-State Gating

StreamVLA: 通过完成状态门控打破原因-行动循环

Tongqing Chen, Hang Wu, Jiasen Wang, Xiaotao Li, Lu Fang

机构 * Tsinghua University（清华大学） ； Technical University of Munich（慕尼黑技术大学） ； Shanghai University（上海大学） ； Wuhan University（武汉大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 StreamVLA通过完成状态门控机制，实现高效机器人操作，减少推理延迟并提升任务成功率。

The Dawn of Agentic EDA: A Survey of Autonomous Digital Chip Design

代理EDA的黎明：自主数字芯片设计的综述

Zelin Zang, Yuhang Song, Aili Wang, Bingo Wing-Kuen Ling, Qi Sun, Zhen Lei, Fuji Yang, Cheng Zhuo, Jiebo Luo

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出代理EDA的系统框架，通过认知堆栈分析前端和后端设计流程，强调神经符号优化和可信度提升的重要性。

Here Be Dragons: Bimodal posteriors arise from numerical integration error in longitudinal models

此处有龙：纵向模型中双峰后验分布源于数值积分误差

Tess O'Brien, Matthew T. Moores, David Warton, Daniel Falster

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文研究了纵向模型中数值积分误差导致的双峰后验分布问题，提出通过合适方法避免双峰性，对贝叶斯反演方法有重要影响。

Comments 33 pages, 7 figures, 2 tables

Embodied Intelligence for Flexible Manufacturing: A Survey

具身智能在柔性制造中的应用：综述

Kai Xu, Hang Zhao, Ruizhen Hu, Min Yang, Hao Liu, Hui Zhang, Haibin Yu

机构 * National University of Defense Technology（中国人民解放军国防科技大学） ； Wuhan University（武汉大学） ； Shenzhen University（深圳大学） ； Hunan University（湖南大学） ； Shenyang Institute of Automation Chinese Academy of Sciences（中国科学院沈阳自动化研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文综述了具身智能在柔性制造中的应用，分析了感知、控制和决策三个层面的技术挑战，并提出三阶段进化模型以指导其发展。

Comments in chinese language. ROBOT

PhysicsAgentABM: Physics-Guided Generative Agent-Based Modeling

PhysicsAgentABM: 基于物理的生成基于主体的建模

Kavana Venkatesh, Yinhan He, Jundong Li, Jiaming Cui

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 PhysicsAgentABM通过结合符号推理与神经网络，实现基于物理的生成式主体建模，提升大规模模拟的准确性和校准性。

CAF-Mamba: Mamba-Based Cross-Modal Adaptive Attention Fusion for Multimodal Depression Detection

CAF-Mamba：基于Mamba的跨模态自适应注意力融合用于多模态抑郁症检测

Bowen Zhou, Marc-André Fiedler, Ayoub Al-Hamadi

机构 * Neuro-Information Technology Group (NIT) IIKT, Otto von Guericke University Magdeburg Magdeburg, Germany（奥托·冯·格里克大学马格德堡分校神经信息技术小组（NIT）IIKT） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV

AI总结 CAF-Mamba通过基于Mamba的跨模态自适应注意力融合框架，提升多模态抑郁症检测的性能。

Comments The paper contains a total of 5 pages and 3 figures. This paper has been accepted for publication in the proceedings of 2026 IEEE ICASSP Conference

Tighnari v2: Mitigating Label Noise and Distribution Shift in Multimodal Plant Distribution Prediction via Mixture of Experts and Weakly Supervised Learning

Tighnari v2: 通过专家混合和弱监督学习缓解多模态植物分布预测中的标签噪声和分布偏移

Haixu Liu, Yufei Wang, Tianxiang Xu, Chuancheng Shi, Hongsheng Xing

机构 * The University of Sydney, Sydney, New South Wales, Australia（悉尼大学） ； The University of New South Wales, Sydney, New South Wales, Australia（新南威尔士大学） ； School of Software and Microelectronics, Peking University, Beijing, China（北京大学软件与微电子学院） ； Shandong University of Technology, Zibo, Shandong, China（山东科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Tighnari v2通过专家混合和弱监督学习缓解多模态植物分布预测中的标签噪声和分布偏移，提升预测性能。

Towards Understanding Multimodal Fine-Tuning: Spatial Features

迈向多模态微调的理解：空间特征

Lachin Naghashyar, Hunar Batra, Ashkan Khakzar, Philip Torr, Ronald Clark, Christian Schroeder de Witt, Constantin Venhoff

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文通过分阶段模型差分技术，揭示了多模态微调过程中视觉特征如何形成及空间关系编码，提升了多模态训练的可解释性。

Multimodal normative modeling in Alzheimers Disease with introspective variational autoencoders

在阿尔茨海默病中使用反思变分自编码器的多模态规范建模

Sayantan Kumar, Peijie Qiu, Aristeidis Sotiras

机构 * Washington University in St Louis（华盛顿大学圣路易斯分校） ； Washington University in St Louis School of Medicine（华盛顿大学圣路易斯医学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出mmSIVAE，通过结合MOPOE聚合提升多模态数据的规范建模效果，提高参考分布保真度和多模态整合能力，用于阿尔茨海默病的偏差分析。

Comments Conference on Health, Inference, and Learning (CHIL)

Multi-Modal Data Fusion for Moisture Content Prediction in Apple Drying

多模态数据融合用于苹果干燥中的含水率预测

Shichen Li, Chenhui Shao

机构 * Department of Mechanical Science and Engineering, University of Illinois at Urbana-Champaign, Urbana, IL 61801, USA（伊利诺伊大学厄巴纳-香槟分校机械科学与工程系） ； Department of Mechanical Engineering, University of Michigan, Ann Arbor, MI 48109, USA（密歇根大学安娜堡分校机械工程系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出多模态数据融合框架，通过融合表格数据和图像数据提高苹果干燥含水率预测的准确性，有效降低误差并增强鲁棒性。

Comments Accepted for publication in the Proceedings of the 53rd North American Manufacturing Research Conference (NAMRC 53), to appear in Manufacturing Letters

Journal ref Manufacturing Letters Volume 44, Supplement, August 2025, Pages 1316-1325

QARM V2: Quantitative Alignment Multi-Modal Recommendation for Reasoning User Sequence Modeling

QARM V2：量化对齐多模态推荐用于推理用户序列建模

Tian Xia, Jiaqi Zhang, Yueyang Liu, Hongjian Dou, Tingya Yin, Jiangxia Cao, Xulei Liang, Tianlu Xie, Lihao Liu, Xiang Chen, Shen Wang, Changxin Lao, Haixiang Gan, Jinkai Yu, Keting Cen, Lu Hao, Xu Zhang, Qiqiang Zhong, Zhongbo Sun, Yiyu Wang, Shuang Yang, Mingxin Wen, Xiangyu Wu, Shaoguo Liu, Tingting Gao, Zhaojie Liu, Han Li, Kun Gai

专题命中 多模态训练与对齐 ：multi-modal(title)

AI总结 QARM V2通过量化对齐多模态推荐方法，解决推荐系统中用户序列建模的语义理解与业务需求不匹配问题。

Comments Work in progress

Does Visual Rendering Bypass Tokenization? Investigating Script-Tokenizer Misalignment in Pixel-Based Language Models

视觉渲染能否绕过分词？探究基于像素的语言模型中脚本-分词器不一致问题

Lucky Susanto, Musa Izzanardi Wijanarko, Khumaisa Nur'aini, Farid Adilazuarda, Alham Fikri Aji, Derry Tanti Wijaya

机构 * Monash University Indonesia（墨尔本大学印尼分校） ； MBZUAI ； Boston University（波士顿大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了基于像素的语言模型中视觉渲染是否能绕过分词约束，发现重新引入文本分词器加剧了分词不一致问题，自定义分词器在性能上表现更优。

Comments Submitted to ARR January

LLMs and people both learn to form conventions -- just not with each other

大语言模型和人类都学会形成惯例——但并不是彼此之间

Cameron R. Jones, Agnese Lombardi, Kyle Mahowald, Benjamin K. Bergen

机构 * Department of Psychology, Stony Brook University（心理学系，石溪大学） ； Department of Cognitive Science, University of California San Diego（认知科学系，加州圣地亚哥大学） ； Department of Philology, Literature, and Linguistics, University of Pisa（philology、文学与语言学系，比萨大学） ； Department of Linguistics, University of Texas at Austin（语言学系，德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 研究发现人类和AI在同类型对话中能形成惯例，但人机对话效果较差，表明对话协调需要共同的解释偏见。

Comments 10 pages, 4 figures

LLM-Guided Diagnostic Evidence Alignment for Medical Vision-Language Pretraining under Limited Pairing

基于LLM的诊断证据对齐用于有限配对情况下的医学视觉-语言预训练

Huimin Yan, Liang Bai, Xian Yang, Long Chen

机构 * Institute of Intelligent Information Processing, Shanxi University（山西大学智能信息处理研究所） ； Alliance Manchester Business School, The University of Manchester（曼彻斯特大学阿利安斯商学院） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出LLM引导的诊断证据对齐方法，旨在解决有限配对数据下医学视觉-语言预训练的诊断表示学习问题，通过提取关键诊断证据提升跨模态对齐效果。

TSJNet: A Multi-modality Target and Semantic Awareness Joint-driven Image Fusion Network

TSJNet: 一种多模态目标和语义意识联合驱动的图像融合网络

Yuchan Jie, Yushen Xu, Xiaosong Li, Huafeng Li, Haishu Tan, Feiping Nie

机构 * School of Physics and Optoelectronic Engineering, Foshan University（物理与光电工程学院，佛山大学） ； School of Information Engineering and Automation, Kunming University of Science and Technology（信息工程与自动化学院，昆明理工大学） ； School of Artificial Intelligence, Optics and Electronics (i0PEN), School of Computer Science, Northwestern Polytechnical University（人工智能、光学与电子学院（i0PEN），计算机科学学院，西北工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 TSJNet通过联合驱动的多模态图像融合网络提升目标检测与语义分割的性能，实现7.97%和10.88%的精度提升。

Beyond Pooling: Matching for Robust Generalization under Data Heterogeneity

超越池化：在数据异质性下实现鲁棒泛化的匹配

Ayush Roy, Rudrasis Chakraborty, Lav Varshney, Vishnu Suresh Lokhande

机构 * SUNY Buffalo（纽约州立大学布法罗分校） ； Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室） ； SUNY Stony Brook（纽约州立大学石溪分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种匹配框架，通过自适应质心选择样本并迭代优化表示分布，以在数据异质性下实现更稳健的泛化，尤其在零样本医学异常检测中取得显著提升。

Comments AISTATS 2026

ToMigo: Interpretable Design Concept Graphs for Aligning Generative AI with Creative Intent

ToMigo：可解释的设计概念图用于对齐生成式AI与创意意图

Lena Hegemann, Xinyi Wen, Michael A. Hedderich, Tarmo Nurmi, Hariharan Subramonyam

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 ToMigo通过设计概念图实现生成式AI与创意意图的对齐，提供可解释的交互方式提升用户控制力。

Comments 18 pages, 10 figures, 2 tables

Dense Feature Learning via Linear Structure Preservation in Medical Data

通过线性结构保持实现密集特征学习：医学数据

Yuanyun Zhang, Mingxuan Zhang, Siyuan Li, Zihan Wang, Haoran Chen, Wenbo Zhou, Shi Li

机构 * Independent Researcher（独立研究者） ； The Chinese University of Hong Kong（香港中文大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出密集特征学习方法，通过线性结构保持提升医学数据表示的稳定性与可解释性，实现更优的下游性能。

Comments ICLR Workshop

Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs

MLLMs真的能看见吗：在多模态大语言模型中强化视觉注意力

Siqu Ou, Tianrui Wan, Zhiyuan Zhao, Junyu Gao, Xuelong Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SAYO通过强化学习框架引入区域级视觉注意力奖励，提升多模态大语言模型的视觉聚焦能力，从而在多种推理和感知任务中取得性能提升。

GeoFocus: Blending Efficient Global-to-Local Perception for Multimodal Geometry Problem-Solving

GeoFocus：融合高效全局到局部感知的多模态几何问题求解

Linger Deng, Yuliang Liu, Wenwen Yu, Zujia Zhang, Jianzhong Ju, Zhenbo Luo, Xiang Bai

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（人工智能与自动化学院，华中科技大学） ； MiLM Plus, Xiaomi Inc（小米公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 GeoFocus通过关键局部感知器和顶点语言提升多模态几何问题求解的准确性和效率

Multimodal Enhancement of Sequential Recommendation

多模态序列推荐增强

Bucher Sahyouni, Matthew Vowels, Liqun Chen, Simon Hadfield

机构 * University of Surrey（萨里大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 MuSTRec通过结合多模态和序列推荐范式，利用物品-物品图和频率自注意力模块提升推荐性能，实验表明其在多个数据集上取得显著提升。

A Distributed Multi-Modal Sensing Approach for Human Activity Recognition in Real-Time Human-Robot Collaboration

一种用于实时人机协作中人类活动识别的分布式多模态传感方法

Valerio Belcamino, Nhat Minh Dinh Le, Quan Khanh Luu, Alessandro Carfì, Van Anh Ho, Fulvio Mastrogiovanni

机构 * University of Genoa（热那亚大学） ； The University of Danang–University of Science and Technology（丹江-科学技术大学） ； Japan Advanced Institute of Science and Technology（日本先进科学研究院） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出一种结合数据手套和视觉触觉传感器的多模态方法，用于实时人机协作中的人类活动识别，实验显示该方法在不同场景下均表现出高精度。

Annealed Leap-Point Sampler for Multimodal Target Distributions

退火跳跃点采样器用于多模态目标分布

Nicholas G. Tawn, Matthew T. Moores, Hugo Queniat, Gareth O. Roberts

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 ALPS通过退火技术解决高维多模态分布采样问题，利用拉普拉斯近似和模式跳跃独立采样器实现高效收敛。

Zero-shot System for Automatic Body Region Detection for Volumetric CT and MR Images

零样本系统用于体积CT和MRI图像的自动身体区域检测

Farnaz Khun Jush, Grit Werner, Mark Klemens, Matthias Lenga

专题命中 其他多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出零样本系统用于体积CT和MRI图像自动身体区域检测，通过预训练模型实现无监督分割，展示了基于规则和多模态语言模型的性能对比。

Comments 8 pages, 5 figures, 5 tables

From Data Behavior to Code Analysis: A Multimodal Study on Security and Privacy Challenges in Blockchain-Based DApp

从数据行为到代码分析：关于基于区块链的DApp安全与隐私挑战的多模态研究

Haoyang Sun, Yishun Wang, Xiaoqi Li

专题命中 其他多模态 ：multimodal(title)

AI总结 本研究通过多模态分析，探讨了基于区块链的DApp在安全与隐私方面的挑战，重点分析了智能合约中的重入漏洞，并提出通过BLSTM-ATT模型进行源代码级检测，同时探讨了隐私保护的未来研究方向。