arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 3496 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 3496 篇

2608.00669 2026-08-04 cs.IR 新提交 50%

GARDRec: Decision-Level Graph Grounding for Large Language Model Recommendation

GARDRec:面向大语言模型推荐的决策级图接地方法

Yong Wang, Hongliang Sun, Jinlan Liu, Hua Zhang, Dianbo Sui, Dianhui Chu, Zhiying Tu

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文针对现有图增强型LLM推荐器排序决策受用户-物品关系约束弱的问题,提出GARDRec框架,通过图接地技术提升下一项推荐的候选排序性能,经实验验证其优于代表性基线。

Comments 18 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27077 2026-07-31 cs.LG cond-mat.dis-nn cond-mat.stat-mech 交叉投稿 50%

Equilibrium Training of Energy-Based Models with Parallel Trajectory Tempering

基于并行轨迹回火的能量基模型的均衡训练

Nicolas Béreux, Aurélien Decelle, Cyril Furtlehner, Beatriz Seoane

机构 * Université Paris-Saclay(巴黎萨克雷大学) CNRS(法国国家科学研究中心) INRIA(法国国家信息与自动化研究所) Escuela Técnica Superior de Ingenieros Industriales(工业工程师高等技术学院) Universidad Politécnica de Madrid(马德里理工大学) Universidad Complutense de Madrid(马德里康普顿斯大学)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 该研究提出基于并行轨迹回火(PTT)的 EBM 训练算法,结合水库采样与自适应优化,可稳定快速训练,性能优于现有方法,使 EBM 的均衡最大似然训练更实用高效。

Comments 11 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.10202 2026-07-30 q-bio.QM 版本更新 50%

Robust and Generalizable Atrial Fibrillation Detection from ECG Using Time-Frequency Fusion and Supervised Contrastive Learning

基于时频融合与监督对比学习的ECG心房颤动鲁棒检测方法

Hongtao Li, Jia Wei, Jia Xiao, Yuanjun Lai, Mingyang Liu, Shuzhen Lv, Xueqiang Ouyang

专题命中 跨模态检索 :cross-modal(abstract)

AI总结 本文提出一种结合时频融合与监督对比学习的ECG心房颤动检测方法,通过双向门控模块和跨模态学习策略提升模型鲁棒性和跨数据集泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25196 2026-07-29 cs.LG 新提交 50%

Rethinking CD: A Reproducibility Study and Extension on the Ineffectiveness of Contrastive Decoding at Mitigating Object Hallucinations in MLLMs

重新思考对比解码:关于多模态大语言模型中对比解码在减轻对象幻觉方面无效性的可重复性研究与扩展

Arnav Bendre, Guneesh Gupta, Kavish Grover, Chayan Aggarwal, Shreyansh Modi

机构 * Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 研究多模态大语言模型中对比解码减轻对象幻觉的有效性,通过重现和扩展相关研究,进行多实验验证其在不同数据集上效果,发现其带来的改善常是虚假的,挑战了当前策略有效性,推动更可靠方法开发。

Comments 32 pages, 9 Figures, submitted to TMLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24760 2026-07-29 cs.IR 新提交 50%

CHaystack: Benchmarking Chinese Document Retrieval and VQA

CHaystack:中文文档检索与视觉问答基准测试

Hanxi Li

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文介绍了CHaystack中文文档检索与视觉问答基准测试,涵盖四类文档。提出CDocRAG系统,用VLM相关性过滤器验证文档图像。评估开源模型发现Qwen系列在文本丰富文档表现佳,中文大规模DocumentVQA在文本编码方面有挑战,仍需改进。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23038 2026-07-28 cs.IR 新提交 50%

EGR: Embedding-Native Generative Retrieval with a Shared LLM

EGR:使用共享语言模型的嵌入原生生成式检索

Xiaodong Liu, Congfei Zhang, Hsiang-wei Chao, Siman Wang, Tong Zhao, Xiao Bai, Vincent Zhang, Jingxiao Ma, Zhe Liu, Wenfeng Zhuo, Zichu Li, Jitin Krishnan, Yunzhi Zhou, Yajun Wang, Jinchao Li, Yu Zhang

专题命中 跨模态检索 :multimodal(abstract)

AI总结 研究针对生成式检索在推荐和广告系统中的问题,提出EGR框架,利用共享语言模型在同一嵌入空间学习项目与用户表示,经联合对比训练,在多场景评估中表现出色,提升了转化率,简化了系统设计。

Comments Accepted to RecSys 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21320 2026-07-24 math.LO 新提交 50%

Post Completeness in Conditional Logic

条件逻辑中的波斯特完全性

Giuliano Rosella, Yale Weiss

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文系统研究某些基本条件逻辑的波斯特完全扩张,确定了正则和正规的此类逻辑,证明相关嵌入定理类似结论,还表明某些基本条件逻辑有不可数多个扩张,其在条件规则下闭包放宽,对条件逻辑格结构及多模态逻辑有启示。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.16360 2026-07-24 cs.DB 版本更新 50%

Fast Approximate Vector Joins via Offline-Online Co-Design

高效近似阈值向量连接的协作与卸载

Kyoungmin Kim, Lennart Roth, Liang Liang, Anastasia Ailamaki

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文提出统一框架提升向量连接效率,通过软协作复用遍历结果、构建合并索引加速图探索,并采用自适应混合搜索策略增强鲁棒性,实验显示在效率-召回率权衡上优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.16318 2026-07-24 cs.LG 版本更新 50%

Semantics at an Angle: When Cosine Similarity Works Until It Doesn't

角度语义:余弦相似度何时有效及失效

Kisung You

机构 * Baruch College, City University of New York(纽约城市大学巴克莱学院)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 研究探讨余弦相似度在信息处理等领域的应用,围绕其有用性取决于学习表示等因素展开,推导几何恒等式,区分失效机制,回顾证据并描述替代方法,得出其正尺度不变性有条件合理的结论。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17651 2026-07-21 cs.RO 新提交 50%

HCPG-Flow:Hierarchical Contact-Progress Guidance for Flow-Policy Robot Manipulation

HCPG-Flow:用于流策略机器人操作的分层接触进展引导

Guanghu Xie, Mingxu Li, Shuo Zhang, Yonglong Zhang, Yifan Yang, Yang Liu, Zongwu Xie, Baoshi Cao

机构 * State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(机器人技术与系统国家重点实验室,哈尔滨工业大学)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 研究机器人操作流策略中动作选择问题,提出HCPG-Flow方法,通过分层、以对象为中心的接触进展引导增强SAC-Flow,在模拟和物理任务中提高成功率,减少完成时间。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.05353 2026-07-21 cs.LG cs.IT math.IT 版本更新 50%

GlyRAG: Context-Aware Retrieval-Augmented Framework for Blood Glucose Forecasting

GlyRAG:用于血糖预测的上下文感知检索增强框架

Shovito Barua Soumma, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University(亚利桑那州立大学健康解决方案学院) School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 研究旨在利用连续血糖监测数据进行准确血糖预测,开发了GlyRAG框架,结合大语言模型提取上下文信息并通过检索增强预测,在OhioT1DM和AZT1D数据集上评估,显著提高长期预测的均方根误差,多数预测落在临床可接受区域。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01506 2026-07-15 cs.LG 版本更新 50%

Beyond Logit Adjustment: A Residual Decomposition Framework for Long-Tailed Reranking

超越Logit调整:一种用于长尾重排的残差分解框架

Zhanliang Wang, Hongzhuo Chen, Quan Minh Nguyen, Mian Umair Ahsan, Kai Wang

机构 * University of Pennsylvania(宾夕法尼亚大学) Children’s Hospital of Philadelphia(费城儿童医院)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文提出残差分解框架,用于解决长尾分类中频繁类与稀有类的排序问题,通过分析残差分解的类内和类间组件,提出REPAIR方法以提升重排性能。

Comments Accepted into COLM 2026

Journal ref CONFERENCE ON LANGUAGE MODELING CONFERENCE ON LANGUAGE MODELING Third Conference on Language Modeling (COLM 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09697 2026-07-14 cs.LG 新提交 50%

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

安全响应很重要:输出感知安全护栏减轻多模态大语言模型中的过度拒绝

Jiayi Li, Kun Zhan

机构 * Lanzhou University(兰州大学)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 研究多模态大语言模型安全机制权衡问题,提出输出感知安全护栏范式,通过在模型隐藏状态空间预测及多实例对比学习训练分类器,减少过度拒绝,匹配安全性能,保留模型效用与安全能力。

Comments Accepted to ECCV 2026!

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08202 2026-07-10 cs.LG 新提交 50%

PIT-SUN: A Deployable Empirical Marginal Transform Framework with Expectation-Consistent Recovery for Regression in Recommender Systems

PIT-SUN:一种可部署的经验边际变换框架,用于推荐系统中的回归,具有期望一致恢复

Mingyu Zhao, Zhaohan Li, Zhenxiong Miao, Xu Zhang, Dewei Leng, Yanan Niu, Kun Gai

机构 * Kuaishou Technology(快手科技)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 针对推荐系统中估计原始空间条件期望的问题,提出PIT-SUN框架,通过经验边际表定义相关内容,应用乘法SUN恢复估计期望,实验表明该方法在多方面有提升且部署开销小。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.22916 2026-07-10 cs.IR 版本更新 50%

GateSID: Adaptive Gating for Balancing Semantic and Collaborative Signals in Recommendation

GateSID: 语义协作对齐中的冷启动推荐自适应门控

Hai Zhu, Yantao Yu, Lei Shen, Bing Wang, Xiaoyi Zeng

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文提出GateSID框架,通过自适应门控网络动态平衡语义与协同信号,提升冷启动推荐性能,实验显示其在GMV、CTR和订单量上均有显著提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08630 2026-07-09 cs.HC 版本更新 50%

Sycamore: Characterizing Synthetic Personas for Evaluating Genomics Visualization Retrieval

Sycamore:用于评估基因组可视化检索的合成身份表征

Huyen N. Nguyen, Astrid van den Brandt, Nils Gehlenborg

专题命中 跨模态检索 :multimodal(abstract)

AI总结 Sycamore通过三种条件探针设计评估基因组可视化检索系统,探讨合成身份在真实用户反馈中的表现及影响。

Comments 8 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06224 2026-07-08 cs.LG 新提交 50%

Canopy: A Heterograph Foundation Model for Metabolic Engineering

Canopy:用于代谢工程的异构图基础模型

Jake Bowden, Laurence Legon, Satnam Surae

机构 * an in-house laboratory information management system (LIMS)(一个内部实验室信息管理系统(LIMS))

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 代谢工程中设计高产微生物菌株有挑战,Canopy异构图基础模型集成多数据源成知识图谱,用特定模型编码特征,经自监督目标预训练,在发酵滴度预测任务中表现优于基线。

Comments Accepted at ICML GenBio Workshop 2026 https://openreview.net/forum?id=H8bvgKoT7j

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08766 2026-07-03 cs.CR 版本更新 50%

Follow My Eyes: Backdoor Attacks on Goal-Directed Scanpath Prediction

跟随我的眼睛:基于VLM的扫视路径预测的后门攻击

Diana Romero, Mutahar Ali, Momin Ahmad Khan, Habiba Farrukh, Fatima Anwar, Salma Elmalaki

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文首次研究了针对基于VLM的扫视路径预测的后门攻击,通过设计两种可变输出攻击方法,展示了如何在不同触发模式下绕过检测,验证了边缘部署系统的实际威胁。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00685 2026-07-02 cs.MA 新提交 50%

M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化

Haiwen Li, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

专题命中 跨模态检索 :multimodal(abstract)

AI总结 提出M2Note,一种无需训练的持续演化框架,通过将失败轨迹转化为可编辑的笔记,利用多模态检索增强生成在推理时引导模型,避免重复错误,并在多个基准上提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28483 2026-06-30 quant-ph 50%

Quantum Fourier Generative Models Trainable at Large Scale

可大规模训练的量子傅里叶生成模型

Cenk Tüysüz, Oleksandr Kyriienko, Michele Grossi

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 提出一种基于并行傅里叶特征映射和forrelation型量子电路的量子生成模型,利用基于Parseval恒等式的对数似然损失实现大规模训练,并通过逆量子傅里叶变换构建采样电路,在超过1000量子比特上验证了有效性。

Comments 12 pages, 6 figures; supplementary material 21 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23402 2026-06-23 cs.LG 新提交 50%

Physics-Informed Modeling for Wood Thermal Analysis and Prediction

木材热分析与预测的物理信息建模

Jingren Xie, Alex John Buckthal, Ryan Anthony O'Connor, Isak Worre Foged, Dim P. Papadopoulos

机构 * Technical University of Denmark(丹麦技术大学) Pioneer Centre for AI(人工智能先锋中心) The Royal Danish Academy(丹麦皇家艺术学院)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 提出物理信息深度学习框架,集成偏微分方程预测木材像素级热响应,通过软惩罚和硬编码两种方式嵌入物理知识,在三种真实木材数据集上优于纯数据驱动方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.16689 2026-06-23 eess.SP cs.NI 版本更新 50%

Against the Monolithic Wireless World Model: Why NextG Needs Composable and Agentic Intelligence

反对单一无线世界模型:为什么NextG需要可组合和代理智能

Aladin Djuhera, Farhan Ahmed, Vlad C. Andrei, Swanand Ravindra Kadhe, Alecio Binotto, Haris Gacanin, Holger Boche

专题命中 跨模态检索 :multimodal(abstract)

AI总结 本文指出无线领域缺乏等同于LLM的数据基础,主张采用可组合和代理智能架构以实现可部署的AI原生网络。

Journal ref ICML 2026 Workshop on AI and ML for NextG

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18959 2026-06-18 cs.RO 新提交 50%

TactSpace: Learning a Physics-enriched Shared Latent Space for Tactile Sim-to-Real Transfer

TactSpace: 学习富含物理信息的共享潜在空间以实现触觉模拟到现实的迁移

Arunim Joarder, Arjun Bhardwaj, René Zurbrügg, Mayank Mittal, Florin Püntener, Sira Bielefeldt, Cosmin Roman, Vaishakh Patil, Marco Hutter

机构 * Robotic Systems Lab, ETH Zürich(瑞士苏黎世联邦理工学院机器人系统实验室) Micro- and Nanosystems Lab, ETH Zürich(瑞士苏黎世联邦理工学院微纳系统实验室) ETH AI Center(苏黎世联邦理工学院人工智能中心) NVIDIA(NVIDIA公司)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 提出多模态表示学习框架TactSpace,通过共享潜在空间对齐异构触觉模态,实现零样本模拟到现实迁移,在力预测和形状重建任务中分别降低误差16.7%和45.8%。

Comments 9 pages, 6 figures, 4 tables, accepted into IROS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18703 2026-06-18 cs.LG q-bio.QM 新提交 50%

Contextualizing Biological Language Models across Modalities via Logit-Space Contrastive Alignment

跨模态生物学语言模型的逻辑空间对比对齐

Yanjun Shao, Yundi Chen, Yashvi Patel, Aurelien Pelissier, María Rodríguez Martínez

机构 * Biomedical Informatics and Data Science, Yale School of Medicine(耶鲁医学院生物医学信息学与数据科学)

专题命中 跨模态检索 :cross-modal(abstract)

AI总结 提出LOGICA框架,在输出逻辑空间进行对比学习,通过门控跨模态适配器保留预训练似然接口,实现跨不同词汇表模型的上下文条件预测,在蛋白质-配体结合、TCR-肽活性和药物耐药性预测任务上超越现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16388 2026-06-16 cs.LG 新提交 50%

Robust Neural Tucker Factorization with Bias Correction and Adaptive Initialization

鲁棒神经Tucker分解:偏差校正与自适应初始化

Yuchao Su, Yixin Ran

机构 * School of Computer Science and Engineering, Chongqing University of Science and Technology(重庆科技大学计算机科学与工程学院) College of Computer and Information Science, School of Software, Southwest University(西南大学计算机与信息科学学院 软件学院)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 提出KaBiN模型,结合Kaiming初始化和偏差校正,解决高维不完全张量补全中初始化不当和偏差缺失导致的优化不稳定问题。

Comments 9 pages,3 figures, 106 conferences

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15784 2026-06-16 cs.LG cs.CE 新提交 50%

Bayesian Networks with Latent Time Embedding for Stage-Aware Causal Modeling of Alzheimer's Disease Progression

具有潜在时间嵌入的贝叶斯网络用于阿尔茨海默病进展的阶段感知因果建模

Nguyen Linh Dan Le

机构 * Alzheimer's Disease Neuroimaging Initiative(阿尔茨海默病神经影像学倡议) Open Access Series of Imaging Studies(开放获取影像学研究系列)

专题命中 跨模态检索 :multimodal(abstract)

AI总结 提出BN-LTE框架,结合贝叶斯网络与潜在时间嵌入,利用AT(N)级联约束建模AD进展,在ADNI数据上优于基线,并识别出淀粉样蛋白敏感性的中期伪时间窗口。

Comments 7 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11525 2026-06-11 cs.RO cs.LG 新提交 50%

Learning Object Manipulation from Scratch via Contrastive Interaction

通过对比交互从零开始学习物体操作

Tongle Shen, Caleb Chuck, Fan Feng, Biwei Huang

机构 * UC San Diego(加州大学圣地亚哥分校) UT Austin(德克萨斯大学奥斯汀分校)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 针对对比强化学习在交互密集操作任务中表现不佳的问题,提出交互加权重采样方法,通过保留模式边界提升多模态分段非线性可达性表示,在仿真和真实机器人空气曲棍球任务中取得显著改进。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08944 2026-06-09 cs.AR cs.PL 新提交 50%

LongRTL: Graph-Similarity-Guided LLM-driven Long Context RTL Optimization

LongRTL:基于图相似性的LLM驱动的长上下文RTL优化

Yuyang Ye, Che-Kuan Shen, Xiangfei Hu, Yuchen Liu, Shuo Yin, Xufeng Yao, Bei Yu, Tsung-Yi Ho

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 提出一种基于图相似性的LLM驱动RTL优化框架,通过分区、优化和重构三个智能体解决长上下文RTL代码的优化问题。

Comments 7 pages, 6 figures, 5 tables, conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.07013 2026-06-09 stat.ML cs.LG 版本更新 50%

Conditional Normalizing Flows for Forward and Backward Joint State and Parameter Estimation

条件归一化流用于前向和后向联合状态与参数估计

Luke S. Lagunowich, Guoxiang Grayson Tong, Daniele E. Schiavazzi

机构 * Department of Computer Science and Engineering University of Notre Dame(计算机科学与工程系诺特达姆大学) Department of Pediatrics Stanford University(儿科系斯坦福大学) Department of Applied and Computational Mathematics and Statistics University of Notre Dame(应用与计算数学与统计系诺特达姆大学)

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 针对非线性非高斯系统,提出基于条件归一化流的状态滤波方法,结合MLP、Transformer或Mamba-SSM生成条件嵌入,并引入最优传输动力学损失缓解过参数化,在自动驾驶和COVID-19联合估计中验证有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06429 2026-06-05 cs.HC 50%

Computational Modeling of Human Adaptation in Urban Infrastructure Management under Extreme Conditions: A Case Study of Subway Flood Scenarios

极端条件下城市基础设施管理中人类适应的计算建模:以地铁洪水情景为例

Jinfeng Lou, Zijie Liang, Pengkun Liu, Yuxin Zhang, Cleotilde Gonzalez, Pingbo Tang

专题命中 跨模态检索 :multi-modal(abstract)

AI总结 本研究通过将基于实例的学习理论(IBLT)整合到土木工程计算中,建立了一个模拟操作员决策过程的计算认知架构,揭示了人类适应中的非单调性和心理偏差,并通过地铁洪水情景的人机交互实验验证了模型的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏