arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-03-02 至 2026-03-02 共收录 67 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态训练与对齐 15 篇

2504.18579 2026-03-02 cs.LG 50%

Sparsity Forcing: Reinforcing Token Sparsity of MLLMs

稀疏性强制:强化多模态大语言模型的token稀疏性

Feng Chen, Yefei He, Lequan Lin, Chenhui Gou, Jing Liu, Bohan Zhuang, Qi Wu

机构 * AIML, University of Adelaide, Australia(AIML,澳大利亚阿德莱德大学) ZIP Lab, Zhejiang University, China(浙江工业大学ZIP实验室) University of Sydney, Australia(悉尼大学) Monash University, Australia(墨尔本大学)

专题命中 多模态训练与对齐 :multimodal(abstract)

AI总结 本文提出Sparsity Forcing方法,通过强化学习框架在多模态大语言模型中提升token稀疏性,实现75%的token减少与极小的精度损失。

Comments Accepted by ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.05629 2026-03-02 cs.LG 50%

On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification

在SFT的泛化上:从强化学习视角的奖励校正

Yongliang Wu, Yizhou Zhou, Zhou Ziheng, Yingzhe Peng, Xinyu Ye, Xinting Hu, Wenbo Zhu, Lu Qi, Ming-Hsuan Yang, Xu Yang

机构 * Southeast University(东南大学) University of California, Los Angeles(加州大学洛杉矶分校) Shanghai Jiao Tong University(上海交通大学) Nanyang Technological University(南洋理工大学) University of California, Berkeley(加州大学伯克利分校) Wuhan University(武汉大学) University of California, Merced(加州大学默塞德分校)

专题命中 多模态训练与对齐 :multi-modal(abstract)

AI总结 本文提出动态微调方法,通过奖励校正提升SFT的泛化能力,在多个任务中表现优于传统SFT。

Comments ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 其他多模态 5 篇

2602.23852 2026-03-02 cs.LG eess.SP 78%

ULW-SleepNet: An Ultra-Lightweight Network for Multimodal Sleep Stage Scoring

ULW-SleepNet: 一种超轻量级的多模态睡眠阶段评分网络

Zhaowen Wang, Dongdong Zhou, Qi Xu, Fengyu Cong, Mohammad Al-Sa'd, Jenni Raitoharju

机构 * School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院) Faculty of Information Technology, University of Jyväskylä(于韦斯屈莱大学信息科技学院) Key Laboratory of Social Computing and Cognitive Intelligence, Ministry of Education(教育部社会计算与认知智能重点实验室) School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology(大连理工大学生物医学工程学院) Department of Computing Sciences, Tampere University(塔尔库大学计算机科学系) Faculty of Medicine, University of Helsinki(赫尔辛基大学医学学院)

专题命中 其他多模态 :multimodal(title,abstract)

AI总结 ULW-SleepNet通过轻量级多模态网络实现高效睡眠阶段评分,参数减少达98.6%且保持高准确率,适用于实时睡眠监测。

Comments Accepted to ICASSP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.23977 2026-03-02 eess.SP 50%

From Signals to Causes: A Causal Signal Processing Framework for Robust and Interpretable Clinical Risk Prediction

从信号到因果:一种用于稳健且可解释的临床风险预测的因果信号处理框架

Surajit Das, Maxine Tan

专题命中 其他多模态 :multimodal(abstract)

AI总结 本文提出一种因果信号处理框架,通过整合因果建模与神经符号推理,提升临床风险预测的稳健性和可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.23507 2026-03-02 cs.LG stat.AP stat.ME 50%

Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

临床预测模型开发中的样本量计算:概述与pmsims R包

Diana Shamsutdinova, Felix Zimmer, Oyebayo Ridwan Olaniran, Sarah Markham, Daniel Stahl, Gordon Forbes, Ewan Carr

专题命中 其他多模态 :multimodal(abstract)

AI总结 本文提出了一种基于模拟的样本量计算方法,通过pmsims R包实现,提供灵活、高效且可解释的解决方案,用于临床预测模型开发。

Comments 26 pages, 4 figures, 1 table, preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.23439 2026-03-02 cond-mat.mes-hall 50%

Resonance-Enhanced Four-Wave Mixing Imaging for Mapping Defect Regions in Vanadium-Doped WS2 Monolayers

共振增强四波混频成像用于映射二硫化钨单层中钒掺杂缺陷区域

Felipe Menescal, Frederico B. Sousa Mingzu Liu, Ana P. M. Barboza, Igor F. Curvelo, Matheus J. S. Matos, Da Zhou, Bernardo R. A. Neves, Helio Chacham, Mauricio Terrones, Bruno R. Carvalho, Leandro M. Malard

专题命中 其他多模态 :multi-modal(abstract)

AI总结 本研究利用共振增强四波混频成像技术,实现对二硫化钨单层中钒掺杂缺陷区域的高分辨率成像与表征,揭示了缺陷对激子和振动特性的影响。

Comments 27 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.08087 2026-03-02 cs.LG math.DG 50%

Manifold Learning with Normalizing Flows: Towards Regularity, Expressivity and Iso-Riemannian Geometry

流形学习与规范化流:走向正则性、表达性与等距黎曼几何

Willem Diepeveen, Deanna Needell

机构 * Department of Mathematics University of California, Los Angeles(数学系 加州大学洛杉矶分校)

专题命中 其他多模态 :multi-modal(abstract)

AI总结 本文提出通过等距化黎曼结构和平衡正则性与表达性,解决多模态数据中的失真和建模误差问题,提升流形学习的性能和可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏