arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-08-26 至 2026-08-26 共收录 11 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 11 篇

2608.23646 2026-08-26 cs.AI cs.LG 新提交 84%

MolEmb: Multimodal Large Language Models Can Be Strong Molecular Embedding Models

MolEmb:多模态大语言模型可作为强大的分子嵌入模型

Xinjian Zhao, Xiangru Jian, Yaoyao Xu, Xiaozhuang Song, Wei Pang, Lei Bai, Tianshu Yu

专题命中 跨模态检索 :multimodal(title,abstract);cross-modal(abstract);分类 cs.AI;multi-modal(comments)

AI总结 本文提出MolEmb框架,利用多模态大语言模型构建通用分子嵌入模型,在分子性质预测上具竞争力,还提出MolCAR基准验证上下文感知分子嵌入的特性。

Comments Presented at the 3rd Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences (FM4LS), ICML 2026. Non-archival workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24053 2026-08-26 cs.CV cs.CL cs.IR 新提交 81%

WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report

WeMM-Embedding:微信多模态嵌入技术报告

Junjie Zhou, Ke Mei, Lei Li, Tianyi Wang, Fengyun Rao, Jing Lyu

机构 * WeChat Vision, Tencent Inc.(腾讯微信视觉部)

专题命中 跨模态检索 :multi-modal(title);multimodal(abstract);分类 cs.CV、cs.CL

AI总结 本报告提出WeMM-Embedding多模态嵌入模型家族,含2B、4B、9B变体,经两阶段训练后在公开基准及微信应用中表现优异,已部署并开源。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.23920 2026-08-26 cs.IR cs.CL cs.CV 新提交 81%

Wontopos Tablet 2: Measuring Multilingual and Multimodal Memory Retrieval Without Lexical Matching

Wontopos Tablet 2:无需词汇匹配的多语言多模态记忆检索测量

Sunwoo Kim

专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.CV、cs.CL

AI总结 本文测量Wontopos Tablet 2的多语言多模态记忆检索性能,其无需词汇匹配,在文本、跨语言及多模态基准上表现优于BM25等方法,但存在低资源语言性能下降等问题。

Comments 42 pages, 8 figures. Harness and per-question records released

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24010 2026-08-26 cs.CV 新提交 79%

Absorbing Gradient Conflicts: Modeling Semantic Variance via Kent Distributions for Cross-Modal Hashing

吸收梯度冲突:通过 Kent 分布建模语义方差用于跨模态哈希

Hengjie Zhu, Dayan Wu, Zihao Zhang, Xinze Liu, Jingxuan Yu, Peng Fu, Zheng Lin, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所) School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院) School of Cyber Science and Engineering, Southeast University(东南大学网络空间安全学院)

专题命中 跨模态检索 :cross-modal(title,abstract);分类 cs.CV

AI总结 针对现有跨模态哈希方法因代理为静态点引发的梯度冲突问题,提出 KDPH 框架,将代理建模为 Kent 分布,结合定制损失函数,在基准数据集上性能优于现有最优方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24823 2026-08-26 cs.LG q-bio.QM 新提交 67%

BioKERN: Biological Kernel Regularization for Histology-to-Transcriptomics Neighborhood Retrieval

BioKERN:用于组织学-转录组学邻域检索的生物核正则化方法

Seungik Cho, Betul Orcan-Ekmekci

机构 * Rice University(莱斯大学)

专题命中 跨模态检索 :multimodal(abstract);cross-modal(abstract)

AI总结 该研究针对空间解析生物学的组织学-转录组学邻域检索问题,提出BioKERN框架,通过结合转录组相似性与空间邻近性构建生物核实现正则化,在相关数据集上较BLEEP提升了检索性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24467 2026-08-26 cs.AI 新提交 57%

HMGCLIP: Heterogeneous Multi-Granularity Contrastive Learning for E-commerce Representation Learning

HMGCLIP:面向电商表征学习的异构多粒度对比学习

Qiuyu Zhu, Yi Gao, Zhichao Wan, Mingyang Ma

机构 * Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团)

专题命中 跨模态检索 :multimodal(abstract);分类 cs.AI

AI总结 针对现有多模态大语言模型难以捕获电商产品细粒度属性的问题,提出异构多粒度对比学习框架HMGCLIP,构建异构超图对齐多粒度语义,发布细粒度电商数据集,在多基准上性能优于对比方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24176 2026-08-26 cs.IR cs.AI 新提交 57%

Tlow: Flow-based Item Tokenizer for Recommendation

Tlow:用于推荐的基于流的物品分词器

Nian Li, Chonggang Song, Jingtao Ding, Lingling Yi, Yong Li, Qingmin Liao

专题命中 跨模态检索 :multi-modal(abstract);分类 cs.AI

AI总结 该研究提出基于流的物品分词器Tlow,解决传统推荐模型的参数过多与冷启动问题,经实验验证其能提升推荐性能,在微信多模态检索任务中使全局用户CTR提升10.32%、新物品提升11.64%。

Comments CIKM'26 Applied Research

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24132 2026-08-26 cs.LG cs.AI 新提交 57%

From Gradient-Boosted Trees to Deep Recommenders: Practical Lessons from Migrating a Production Customer Support Recommender

从梯度提升树到深度推荐器:迁移生产环境客户支持推荐器的实践经验

Sonia Sharma, Jeyendran Balakrishnan, Shreya Rajpal, Swapnil Parekh, Nagaraj Janardhana, Andrew Mattarella-Micke

机构 * Intuit(英图易公司)

专题命中 跨模态检索 :multimodal(abstract);分类 cs.AI

AI总结 本文介绍了将生产环境客户支持推荐系统从梯度提升树迁移到成对二元深度推荐器的实践,通过多种技术优化后,该方法在对话后期的推荐性能优于CatBoost基线。

Comments 10 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.22785 2026-08-26 cs.CV 版本更新 57%

OmicSync: Reliability-Aware Spatial Multi-Omics Clustering with Evidence-Constrained LLM Reasoning

OmicSync:结合证据约束大语言模型推理的可靠性感知空间多组学聚类

Rabeya Tus Sadia, Qiang Ye, Qiang Cheng

机构 * University of Kentucky(肯塔基大学)

专题命中 跨模态检索 :cross-modal(abstract);分类 cs.CV

AI总结 OmicSync是结合证据约束LLM推理的可靠性感知空间多组学聚类框架,集成KAN-GCN骨干等功能,在多组学基准测试中表现优异,OmicSync-R进一步提升了人乳腺癌的聚类性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.23688 2026-08-26 astro-ph.SR astro-ph.IM 新提交 50%

Agentic Active Learning Meets Visual Embeddings: Finding Anomalies among 370 000 Variable Stars from ASAS-SN

智能体主动学习结合视觉嵌入:从ASAS-SN的370000颗变星中发现异常天体

Milan Pesta, Yuan-Sen Ting

专题命中 跨模态检索 :multimodal(abstract)

AI总结 该研究提出结合多模态大语言模型智能体的主动学习框架,从ASAS-SN的37万余颗变星中高效发现异常天体,仅用约3小时、约40美元成本便得到含24个新异常的星表,验证了该方法的可行性。

Comments 24 pages, 12 figures, 6 tables. Submitted to ApJ

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.12295 2026-08-26 cs.IR 50%

Consistency Regularization for Complementary Clothing Recommendations

Shuiying Liao, P. Y. Mok, Li Li

专题命中 跨模态检索 :multi-modal(abstract)

Journal ref Volume 195, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏