arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 220 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 220 篇

2607.08202 2026-07-10 cs.LG 新提交 50%

PIT-SUN: A Deployable Empirical Marginal Transform Framework with Expectation-Consistent Recovery for Regression in Recommender Systems

PIT-SUN:一种可部署的经验边际变换框架,用于推荐系统中的回归,具有期望一致恢复

Mingyu Zhao, Zhaohan Li, Zhenxiong Miao, Xu Zhang, Dewei Leng, Yanan Niu, Kun Gai

机构 * Kuaishou Technology(快手科技)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 针对推荐系统中估计原始空间条件期望的问题,提出PIT-SUN框架,通过经验边际表定义相关内容,应用乘法SUN恢复估计期望,实验表明该方法在多方面有提升且部署开销小。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06224 2026-07-08 cs.LG 新提交 50%

Canopy: A Heterograph Foundation Model for Metabolic Engineering

Canopy:用于代谢工程的异构图基础模型

Jake Bowden, Laurence Legon, Satnam Surae

机构 * an in-house laboratory information management system (LIMS)(一个内部实验室信息管理系统(LIMS))

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 代谢工程中设计高产微生物菌株有挑战,Canopy异构图基础模型集成多数据源成知识图谱,用特定模型编码特征,经自监督目标预训练,在发酵滴度预测任务中表现优于基线。

Comments Accepted at ICML GenBio Workshop 2026 https://openreview.net/forum?id=H8bvgKoT7j

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00685 2026-07-02 cs.MA 新提交 50%

M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化

Haiwen Li, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

专题命中 跨模态检索 :multimodal(abstract)

AI总结 提出M2Note,一种无需训练的持续演化框架,通过将失败轨迹转化为可编辑的笔记,利用多模态检索增强生成在推理时引导模型,避免重复错误,并在多个基准上提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23402 2026-06-23 cs.LG 新提交 50%

Physics-Informed Modeling for Wood Thermal Analysis and Prediction

木材热分析与预测的物理信息建模

Jingren Xie, Alex John Buckthal, Ryan Anthony O'Connor, Isak Worre Foged, Dim P. Papadopoulos

机构 * Technical University of Denmark(丹麦技术大学) Pioneer Centre for AI(人工智能先锋中心) The Royal Danish Academy(丹麦皇家艺术学院)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 提出物理信息深度学习框架,集成偏微分方程预测木材像素级热响应,通过软惩罚和硬编码两种方式嵌入物理知识,在三种真实木材数据集上优于纯数据驱动方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18959 2026-06-18 cs.RO 新提交 50%

TactSpace: Learning a Physics-enriched Shared Latent Space for Tactile Sim-to-Real Transfer

TactSpace: 学习富含物理信息的共享潜在空间以实现触觉模拟到现实的迁移

Arunim Joarder, Arjun Bhardwaj, René Zurbrügg, Mayank Mittal, Florin Püntener, Sira Bielefeldt, Cosmin Roman, Vaishakh Patil, Marco Hutter

机构 * Robotic Systems Lab, ETH Zürich(瑞士苏黎世联邦理工学院机器人系统实验室) Micro- and Nanosystems Lab, ETH Zürich(瑞士苏黎世联邦理工学院微纳系统实验室) ETH AI Center(苏黎世联邦理工学院人工智能中心) NVIDIA(NVIDIA公司)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 提出多模态表示学习框架TactSpace,通过共享潜在空间对齐异构触觉模态,实现零样本模拟到现实迁移,在力预测和形状重建任务中分别降低误差16.7%和45.8%。

Comments 9 pages, 6 figures, 4 tables, accepted into IROS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18703 2026-06-18 cs.LG q-bio.QM 新提交 50%

Contextualizing Biological Language Models across Modalities via Logit-Space Contrastive Alignment

跨模态生物学语言模型的逻辑空间对比对齐

Yanjun Shao, Yundi Chen, Yashvi Patel, Aurelien Pelissier, María Rodríguez Martínez

机构 * Biomedical Informatics and Data Science, Yale School of Medicine(耶鲁医学院生物医学信息学与数据科学)

专题命中 跨模态检索 :cross-modal(abstract)

AI总结 提出LOGICA框架,在输出逻辑空间进行对比学习,通过门控跨模态适配器保留预训练似然接口,实现跨不同词汇表模型的上下文条件预测,在蛋白质-配体结合、TCR-肽活性和药物耐药性预测任务上超越现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16388 2026-06-16 cs.LG 新提交 50%

Robust Neural Tucker Factorization with Bias Correction and Adaptive Initialization

鲁棒神经Tucker分解:偏差校正与自适应初始化

Yuchao Su, Yixin Ran

机构 * School of Computer Science and Engineering, Chongqing University of Science and Technology(重庆科技大学计算机科学与工程学院) College of Computer and Information Science, School of Software, Southwest University(西南大学计算机与信息科学学院 软件学院)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 提出KaBiN模型,结合Kaiming初始化和偏差校正,解决高维不完全张量补全中初始化不当和偏差缺失导致的优化不稳定问题。

Comments 9 pages,3 figures, 106 conferences

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15784 2026-06-16 cs.LG cs.CE 新提交 50%

Bayesian Networks with Latent Time Embedding for Stage-Aware Causal Modeling of Alzheimer's Disease Progression

具有潜在时间嵌入的贝叶斯网络用于阿尔茨海默病进展的阶段感知因果建模

Nguyen Linh Dan Le

机构 * Alzheimer's Disease Neuroimaging Initiative(阿尔茨海默病神经影像学倡议) Open Access Series of Imaging Studies(开放获取影像学研究系列)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 提出BN-LTE框架,结合贝叶斯网络与潜在时间嵌入,利用AT(N)级联约束建模AD进展,在ADNI数据上优于基线,并识别出淀粉样蛋白敏感性的中期伪时间窗口。

Comments 7 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11525 2026-06-11 cs.RO cs.LG 新提交 50%

Learning Object Manipulation from Scratch via Contrastive Interaction

通过对比交互从零开始学习物体操作

Tongle Shen, Caleb Chuck, Fan Feng, Biwei Huang

机构 * UC San Diego(加州大学圣地亚哥分校) UT Austin(德克萨斯大学奥斯汀分校)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 针对对比强化学习在交互密集操作任务中表现不佳的问题,提出交互加权重采样方法,通过保留模式边界提升多模态分段非线性可达性表示,在仿真和真实机器人空气曲棍球任务中取得显著改进。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08944 2026-06-09 cs.AR cs.PL 新提交 50%

LongRTL: Graph-Similarity-Guided LLM-driven Long Context RTL Optimization

LongRTL:基于图相似性的LLM驱动的长上下文RTL优化

Yuyang Ye, Che-Kuan Shen, Xiangfei Hu, Yuchen Liu, Shuo Yin, Xufeng Yao, Bei Yu, Tsung-Yi Ho

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 提出一种基于图相似性的LLM驱动RTL优化框架,通过分区、优化和重构三个智能体解决长上下文RTL代码的优化问题。

Comments 7 pages, 6 figures, 5 tables, conference

详情

展开后加载摘要…

URL PDF HTML 收藏