arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-08-17 至 2026-08-17 共收录 68 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态训练与对齐 11 篇

2608.13911 2026-08-17 cs.LG 新提交 50%

MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity

MedMix:模态异质性下的专业化一致联邦稀疏混合专家模型

Adiba Orzikulova, Dong Min Kim, Jaehong Yoon, Sung-Ju Lee

机构 * KAIST(韩国科学技术院) NTU Singapore(新加坡南洋理工大学)

专题命中 多模态训练与对齐 :multimodal(abstract)

AI总结 针对联邦多模态医疗AI的客户端与样本级模态异质性问题,提出MedMix框架,通过模态上下文感知路由、共识引导路由对齐与客户端自适应专家聚合,在多模态医疗数据集上取得最优平均F1值,严重异质性下提升显著。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25194 2026-08-17 cs.LG 版本更新 50%

Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和:梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS(UCAS交叉学科研究院) School of Electronic, Electrical and Communication Engineering, UCAS(UCAS电子电气与通信工程学院) State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院计算技术研究所人工智能安全国家重点实验室) Alibaba Group(阿里巴巴集团) School of Computer Science and Technology, UCAS(UCAS计算机科学与技术学院) Beijing Academy of Artificial Intelligence(北京人工智能研究院) Key Laboratory of Big Data Mining and Knowledge Management, UCAS(UCAS大数据挖掘与知识管理重点实验室)

专题命中 多模态训练与对齐 :multimodal(abstract)

AI总结 针对多模态大语言模型的视觉提示注入攻击,提出梯度令牌掩码(GTM)方法,通过梯度分析定位关键图像令牌并掩码中和,将攻击成功率降至接近零且计算开销极小。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 其他多模态 6 篇

2607.28336 2026-08-17 cs.AI 版本更新 79%

Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners

修正不可见之缺陷:多模态推理器中感知蒸馏的信用分配

Feng Xiong, Leyan Xue, Hongyu Lin

机构 * Thinking Machines Lab(思维机器实验室) DeepSeek-AI(深度求索公司)

专题命中 其他多模态 :multimodal(title,abstract);分类 cs.AI

AI总结 该研究针对多模态推理器的感知蒸馏信用分配问题,提出感知修正蒸馏(PCD)方法,经8个基准测试,可提升不同规模模型的宏平均和结果,消融实验验证其有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14297 2026-08-17 math.LO cs.LO 新提交 78%

Multimodal Logic Programming with Full Formulas

带完整公式的多模态逻辑程序设计

Kenji Tokuo

专题命中 其他多模态 :multimodal(title,abstract)

AI总结 本文提出一阶多模态逻辑程序设计系统MMLP,其支持任意公式作为程序与查询,基于带模态原理的希尔伯特系统给出声明语义,采用嵌套证明演算,合一算法控制特征参数作用域,性能优于相关系统。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18990 2026-08-17 physics.med-ph cs.NA math.NA 版本更新 78%

Quantitative Multi-Modal Optical Coherence Photoacoustic Elastography

定量多模态光学相干光声弹性成像

Ekaterina Sherina, Lisa Krainz, Wolfgang Drexler, Otmar Scherzer

专题命中 其他多模态 :multi-modal(title,abstract)

AI总结 提出结合光学相干断层扫描(OCT)和光声断层扫描(PAT)的多模态弹性成像框架,通过混合反演算法融合互补信息,在硅胶体模上实现更高信噪比和更准确的刚度估计。

Comments 10 pages, 10 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23960 2026-08-17 physics.optics 版本更新 67%

Single-Shot Realization of 10000-Mode Octave-Spanning Artificial Gauge Fields

单次实现10000模式倍频程跨度人工规范场

Lida Xu, Apurva Padhye, Supratik Sarkar, Alireza Parhizkar, Christopher J. Flower, Gregory Moille, Kartik Srinivasan, Mohammad Hafezi, Mahmoud Jalali Mehrabad

专题命中 其他多模态 :multimodal(abstract);multi-modal(abstract)

AI总结 提出超宽带多模态色散校正人工规范场理论框架,利用集成光子学实现首个光子整数量子霍尔模型的频率梳,覆盖超过10000个模式,通过克尔非线性实现单次控制。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14377 2026-08-17 cs.CL cs.CV 新提交 62%

A Survey of Large Models in Sports

体育领域的大模型综述

Yichen Xu, Jianzhe Ma, Chuhan Wang, Zhonghao Cao, Liangyu Chen, Wenxuan Wang, Qin Jin

机构 * Renmin University of China(中国人民大学) Sichuan University(四川大学) Beijing University of Posts and Telecommunications(北京邮电大学)

专题命中 其他多模态 :multimodal(abstract);分类 cs.CV、cs.CL

AI总结 该文综述体育领域大模型的任务应用、数据集基准,分析挑战与未来方向,为大模型驱动的体育智能研究与发展提供基础。

Comments 36 pages, 4 figures, 6 tables. Accepted to Findings of ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14306 2026-08-17 cs.AI cs.SY eess.SY 新提交 57%

Sensor-Driven Mission Synthesis for UAV/UGV Swarms: A TB-CSPN Coordination Architecture with Hardware-Enforced Safety

传感器驱动的无人机/无人车集群任务合成:具备硬件强制安全保障的TB-CSPN协同架构

Uwe M. Borghoff, Paolo Bottoni, Remo Pareschi

机构 * Institute for Software Technology, University of the Bundeswehr Munich(慕尼黑联邦国防军大学软件技术研究所) Department of Computer Science, Sapienza University of Rome(罗马大学计算机科学系) SofTware And Knowledge Engineering Lab(软件与知识工程实验室)

专题命中 其他多模态 :multi-modal(abstract);分类 cs.AI

AI总结 本文提出一种具备硬件强制安全保障的TB-CSPN协同架构,用于异构无人机/无人车集群,结合多模态传感器观测,通过顾问与监督智能体实现可审计的决策路径,提升对抗环境下的韧性,经沿海监视案例验证其有效性。

Comments 15 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏