Joint Visual-Textual Embedding for Multimodal Style Search
Amazon Lab126(亚马逊Lab126)
我们介绍了一种多模态视觉文本搜索细化方法的时尚服装。现有的搜索引擎不能实现基于特定产品的属性对检索结果的直观的、交互式的细化。我们提出了一种方法来检索相似的项目,基于查询项目的图像和文本细化属性。我们相信这种方法可以用来解决许多现实生活中的客户场景,其中需要不同颜色,图案,长度或风格的类似物品。我们采用了一种联合嵌入训练方案,其中产品图像及其目录文本元数据在共享空间中紧密映射。这种联合视觉-文本嵌入空间允许基于文本细化要求在语义上操纵目录图像。我们提出了一个新的训练目标函数,小批量匹配检索,并证明了它的优越性比常用的三重损失。此外,我们还演示了添加属性提取模块的可行性,该模块在相同的目录数据上进行训练,并演示了如何将其集成到多模态搜索中以提高其性能。我们介绍了一个评估协议与相关的基准,并比较几种方法。
2019-06-15 cs.CV cs.IR cs.LG
Embedding Multimodal Relational Data for Knowledge Base Completion
University of California(加利福尼亚大学)
在嵌入空间中表示实体和关系是关系数据上的机器学习的一种经过充分研究的方法。然而,现有的方法主要集中在有限实体集之间的简单链接结构上,忽略了知识库中经常使用的各种数据类型,例如文本、图像和数值。在本文中,我们提出了多模态知识库嵌入(MKBE),使用不同的神经编码器的各种观察到的数据,并将它们与现有的关系模型学习嵌入的实体和多模态数据。此外,使用这些学习的嵌入和不同的神经解码器,我们引入了一种新的多模态插补模型,从知识库中的信息中生成缺失的多模态值,如文本和图像。我们丰富现有的关系数据集,创建两个新的基准,包含额外的信息,如文本描述和原始实体的图像。我们证明,我们的模型有效地利用这些额外的信息,以提供更准确的链接预测,实现国家的最先进的结果与现有的方法有相当大的差距5-7%。此外,我们通过用户研究来评估我们生成的多模态值的质量。我们在https://github.com/pouyapez/mkbe上发布了数据集和模型的开源实现
2018-09-07 cs.AI cs.CL stat.ML
Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion
College of Computer Science, VCIP, DISSec, Nankai University(计算机学院、VCIP、DISSec、南开大学);School of Software, Tiangong University(软件学院、天津工业大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院、南洋理工大学)
针对多模态知识图谱分散问题,提出FedMKGC任务及MMFeD3-HidE框架,客户端内用超模态插补扩散嵌入模型,客户端间用多模态联邦双蒸馏传输知识,通过FedMKGC基准验证了该框架的有效性、语义一致性和收敛鲁棒性。
2026-07-14 cs.LG cs.MM
Training and Evaluating Multimodal Word Embeddings with Large-scale Web Annotated Images
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Pinterest Inc.(Pinterest公司);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们专注于训练和评估有效的词嵌入与文本和视觉信息。更具体地说,我们引入了一个大规模的数据集,其中包含3亿个句子,描述了从Pinterest上公开可用的Pins(即用户上传的带有句子描述的图像)中抓取和下载的4000多万张图像。这个数据集比MS COCO大200倍以上,MS COCO是一个标准的大规模图像数据集,带有句子描述。此外,我们构建了一个评估数据集,直接评估词嵌入在查找语义相似或相关的单词和短语方面的有效性。该评价数据集中的词/短语对是从图像搜索系统中数百万用户的点击数据中收集的,因此包含了丰富的语义关系。基于这些数据集,我们提出并比较了几种基于递归神经网络(RNN)的多模态(文本和图像)模型。实验表明,我们的模型的好处,将视觉信息到词嵌入,和权重共享策略是至关重要的学习这样的多模态嵌入。项目页面:http://www.stat.ucla.edu/~junhua.mao/multimodal_embedding.html
2016-11-24 cs.CL cs.CV cs.LG
Clinical Concept Embeddings Learned from Massive Sources of Multimodal Medical Data
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Harvard Medical School(哈佛医学院);University of North Carolina School of Medicine(北卡罗来纳大学医学院)
词嵌入是一种流行的无监督学习词关系的方法,广泛用于自然语言处理。在这篇文章中,我们提出了一套新的嵌入医学概念的学习使用一个非常大的集合的多模态医疗数据。依靠最近的理论见解,我们展示了如何将一个拥有6000万成员的保险索赔数据库,2000万临床笔记的集合和170万篇全文生物医学期刊文章结合起来,将概念嵌入到一个公共空间中,从而产生了有史以来最大的108,477个医学概念的嵌入集。为了评估我们的方法,我们提出了一个新的基准方法,专门设计用于测试嵌入的医学概念的统计功率的基础上。我们的方法称为cui2vec,在大多数情况下相对于以前的方法具有最先进的性能。最后,我们提供了一组可下载的预训练嵌入供其他研究人员使用,以及一个在线工具,用于交互式探索cui2vec嵌入
2019-08-20 cs.AI cs.CL stat.ML
Geo-Embed: Towards Unified Multimodal Embeddings for Urban Understanding
本文针对现有多模态嵌入模型难以支持异构地理空间任务的问题,提出GeoMEB基准与Geo-Embed模型,在GeoMEB上实现15.3%的相对性能提升,为地理空间嵌入器发展提供方向。
2026-08-05 cs.CV cs.LG
Multimodal Deep Network Embedding with Integrated Structure and Attribute Information
Shanghai Jiao Tong University(上海交通大学)
网络嵌入是学习网络中节点的低维表示,同时保留节点特征的过程。现有的研究仅利用网络结构信息,并侧重于保留结构特征。然而,现实网络中的节点通常具有丰富的属性集,提供额外的语义信息。它已被证明,结构和属性功能是重要的网络分析任务。为了保持这两个功能,我们研究的问题,整合结构和属性信息进行网络嵌入,并提出了多模式深度网络嵌入(MDNE)的方法。MDNE使用由多层非线性函数组成的深度模型来捕获非线性网络结构以及结构和属性之间的复杂交互。由于结构和属性是两种不同类型的信息,采用多模态学习方法对它们进行预处理,帮助模型更好地捕捉节点结构和属性信息之间的相关性。在损失函数中采用结构邻近和属性邻近来保持各自的特征,并通过最小化损失函数来获得表示。在四个真实数据集上的实验结果表明,该方法在各种任务上的性能都明显优于基线,证明了该方法的有效性和通用性。
2019-03-28 cs.LG stat.ML
MMLongEmbed: Benchmarking Multimodal Embedding Models in Long-Context Scenarios
Soochow University(苏州大学);Ant Group(蚂蚁集团)
针对多模态嵌入模型在长上下文场景中缺乏系统评估的问题,提出首个综合基准MMLongEmbed,涵盖文本、文档和视频模态的检索任务,揭示模型依赖浅层特征匹配、难以捕捉深层语义依赖等瓶颈。
2026-09-01 cs.AI cs.CV
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Curai(Curai公司)
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征,部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入,而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语,我们假设可以通过学习(隐藏)从文本和音频的外积(我们称之为基于文本的音频)和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型,交互典型相关网络(ICCN),学习这样的多模态嵌入。ICCN通过深度典型相关分析(DCCA)学习所有三种模式之间的相关性,然后在几个基准数据集上测试所提出的嵌入,并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
ConsistentID: Portrait Generation with Multimodal Fine-Grained Identity Preserving
Lenovo Research Group(联想研究院);College of Information Technology, United Arab Emirates University(阿拉伯联合酋长国大学信息技术学院)
ConsistentID 提出一种仅用单张参考图像、结合多模态面部提示生成器和面部注意力定位策略的细粒度身份保持人像生成方法,并构建了超过50万张图像的 FGID 数据集,在 MyStyle 数据集上超越现有方法且保持快速推理。
2024-12-28 cs.AI cs.CV
Recall: Empowering Multimodal Embedding for Edge Devices
本文提出 RECALL,一种专为资源受限移动环境优化的设备端多模态嵌入系统,通过生成粗粒度嵌入并结合基于查询的过滤实现高吞吐量、高准确度的检索,在最小内存和能耗下提供高质量嵌入。
2024-09-09 cs.AI cs.IR cs.LG
Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
Westcliff University(韦克利夫大学)
本研究在Flickr30k数据集上对比Gemini Embedding 2等原生多模态嵌入与GPT-4.1、Claude Sonnet 4.6等前沿LLM的难负例文本到图像检索性能,发现二者表现相当,且多模态嵌入更适配低延迟应用
2026-08-13 cs.AI cs.CV cs.IR
From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model
Department of Artificial Intelligence(人工智能系)
本文提出一种高效框架,通过构建零样本判别嵌入模型,利用多模态大语言模型的固有能力,提升多模态表示空间的鲁棒性和零样本嵌入能力。
2026-08-05 cs.AI cs.IR cs.LG
From Raw Features to Effective Embeddings: A Three-Stage Approach for Multimodal Recipe Recommendation
KAIST(韩国科学技术院)
本文提出TESMR三阶段框架,通过内容、关系和学习增强多模态特征,提升食谱推荐性能,实验表明其在Recall@10上比现有方法高7-15%。
2026-04-22 cs.IR cs.LG
UME-R1: Exploring Reasoning-Driven Generative Multimodal Embeddings
School of Informatics, Xiamen University, China(厦门大学信息学院);WeChat AI, Tencent Inc, China(腾讯公司微信AI部门);Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China(福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室)
UME-R1通过生成嵌入和强化学习提升多模态嵌入性能,实现判别与生成嵌入的互补,展现生成嵌入在推理和下游任务中的优势。
2026-03-01 cs.AI cs.LG
ID Embedding as Subtle Features of Content and Structure for Multimodal Recommendation
Northeastern University(东北大学);Chinese Academy of Sciences(中国科学院)
本文重新审视ID嵌入在多模态推荐中的价值,将其视为内容与结构的细微特征,提出结合层次注意力、对比学习和轻量级图卷积网络的模型,在三个数据集上超越现有方法。
2024-05-22 cs.IR cs.LG
Aligning Brain Signals with Multimodal Speech and Vision Embeddings
Carnegie Mellon University(卡内基梅隆大学)
本文研究预训练模型不同层级的语音和视觉嵌入与自然语音感知EEG信号的对齐,发现结合多模态、层级感知表征有助于更深入解码大脑对语言的经验性理解。
2025-11-10 cs.AI cs.LG
A Multimodal Single-Branch Embedding Network for Recommendation in Cold-Start and Missing Modality Scenarios
Institute of Computational Perception, Johannes Kepler University Linz(约翰开普勒林茨大学计算感知研究所);Human-centered AI Group, AI Lab, Linz Institute of Technology(林茨理工大学人工智能实验室以人为中心的人工智能组)
本文提出多模态单分支嵌入网络SiBraR,通过权重共享编码交互数据与多模态辅助信息,有效解决冷启动与缺失模态场景下的推荐问题,显著优于现有方法。
2024-09-26 cs.AI cs.IR cs.LG
Sparsely Multimodal Data Fusion
Syntensor, Inc.(森腾公司)
本文比较了MCA、Zorro和EAO三种多模态嵌入技术在稀疏多模态数据上的表现,发现MCA通过融合所有模态组合并保持嵌入均匀性,在多数任务上优于其他方法。
2025-01-02 cs.AI cs.LG
Reconstructing Content with Collaborative Attention for Universal Multimodal Representation Learning
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司)
提出CoCoA预训练范式,通过重构注意力流和基于EOS的重建任务,利用协同注意力优化多模态嵌入,使模型将输入语义压缩到<EOS>令牌中,从而提升嵌入质量。
2026-06-02 cs.IR cs.LG
Multimodal Embeddings from Language Models
University of Southern California(南加州大学)
诸如ELMo之类的词嵌入最近被证明可以通过在大规模语言语料库上进行上下文化学习来更有效地对词语义进行建模,从而在许多自然语言任务中显著改善了最新技术水平。在这项工作中,我们整合声学信息到上下文的词汇嵌入,通过添加多模态输入到一个预先训练的双向语言模型。所述语言模型在包括文本和音频模态的口语上训练。从这个模型中得到的表示是多模态的,并包含非语言信息,可以修改词义和提供情感信息。我们表明,这些多模态嵌入可用于改善CMU-MOSEI数据集上的情感识别中的多模态模型。
2019-09-10 cs.CL cs.LG
Multimodal Deep Learning for Low-Resource Settings: A Vector Embedding Alignment Approach for Healthcare Applications
Massachusetts Institute of Technology(麻省理工学院);Universidad del Cauca(考卡大学);University of Michigan(密歇根大学);Harvard University(哈佛大学);University College Dublin(都柏林大学学院);São Paulo Federal University(圣保罗联邦大学);Harvard TH Chan School of Public Health(哈佛陈曾熙公共卫生学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心)
针对LMICs等低资源地区计算与数据受限问题,本文提出利用单模态基础模型与多模态VLMs的向量嵌入进行高效多模态深度学习,并设计推理时图像-文本嵌入对齐方法,在保持模型性能的同时显著降低计算需求,促进医疗AI的普及与可持续发展。
2024-06-02 cs.AI cs.LG
FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal Federated Learning
Kyung Hee University(庆熙大学);The University of Danang—Vietnam-Korea University of Information and Communication Technology(岘港大学—越南韩国信息与通信技术大学)
针对现有联邦学习多模态利用不足、依赖客户端标注数据的问题,提出基于蒸馏的多模态嵌入知识迁移框架FedMEKT,通过三阶段学习迭代优化全局编码器,在三个活动识别数据集上实现更优性能且通信成本更低。
2023-11-07 cs.AI cs.LG
Multimodal Cancer Modeling in the Age of Foundation Model Embeddings
Center for Translational Data Science(转化数据科学中心);Department of Computer Science(计算机科学系);University of Chicago(芝加哥大学);Medical Scientist Training Program(医学科学家培训计划);Brown University(布朗大学);Section of Biomedical Data Science(生物医学数据科学部门);Department of Medicine(医学系)
本文探讨了利用基础模型嵌入进行多模态癌症建模的可能性,展示了多模态融合的优势,并评估了病理报告文本和文本摘要对模型性能的影响。
2026-01-24 cs.AI cs.LG
Trustworthy Privacy-Preserving Multimodal Federated Learning for Personalised Breast Cancer Prediction
NTU(南洋理工大学)
研究探讨联邦学习能否兼顾四个关键支柱,支持乳腺癌患者肿瘤进展预测模型开发。通过多模态数据评估联邦学习框架,与集中式模型比较性能,并研究相关策略,结果助于理解隐私保护多模态预测建模可行性及支持未来应用。
2026-07-23 cs.AI cs.LG
Decomposing multimodal embedding spaces with group-sparse autoencoders
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院);Dolby Laboratories(杜比实验室)
本文提出基于组稀疏正则化的多模态嵌入分解方法,通过跨模态随机遮蔽提升多模态对齐,减少死神经元并增强语义性。
2026-01-27 cs.LG
MolEmb: Multimodal Large Language Models Can Be Strong Molecular Embedding Models
本文提出MolEmb框架,利用多模态大语言模型构建通用分子嵌入模型,在分子性质预测上具竞争力,还提出MolCAR基准验证上下文感知分子嵌入的特性。
2026-08-26 cs.AI cs.LG
Leveraging OpenFlamingo for Multimodal Embedding Analysis of C2C Car Parts Data
Baylor University(贝勒大学)
本研究利用OpenFlamingo模型提取超120万条C2C汽车配件帖子的多模态嵌入,经k-means聚类发现多数聚类存在模式,验证了该模型的大规模数据模式挖掘能力,同时指出需根据数据集调整模型架构。
2025-03-20 cs.AI cs.LG
M3-JEPA: Multimodal Alignment via Multi-gate MoE based on the Joint-Embedding Predictive Architecture
Geely AI Lab(Geely人工智能实验室);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院);Peking University(北京大学)
针对多模态学习中的模态坍缩问题,提出基于JEPA和MMoE的M3-JEPA框架,在潜在空间对齐模态,实现最先进性能并高效泛化。
2025-06-18 cs.AI cs.LG
Approximate Fiber Product: A Preliminary Algebraic-Geometric Perspective on Multimodal Embedding Alignment
University of Washington(华盛顿大学)
本文用离散环多项式与近似纤维积刻画图文嵌入对齐,并提出共享/模态特有正交子空间分解,从代数几何角度揭示鲁棒性、维度与结构的关系。
2024-11-30 cs.AI cs.LG math.AG
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
A Deep Multimodal Approach for Cold-start Music Recommendation
Universitat Pompeu Fabra(庞培法布拉大学);Pandora Media, Inc.(潘多拉媒体公司)
每天都有越来越多的数字音乐被发布。音乐流媒体服务通常会摄取所有可用的音乐,但这带来了一个挑战:如何推荐缺乏先验知识的新艺术家?在这项工作中,我们的目标是通过使用深度网络架构将文本和音频信息与用户反馈数据相结合来解决这个所谓的冷启动问题。我们的方法分为三个步骤。首先,通过结合语义、文本特征和聚合使用数据,从传记中学习艺术家嵌入。第二,从音频信号和可用的反馈数据学习轨道嵌入。最后,艺术家和轨道嵌入在一个多模态网络相结合。结果表明,在特征级别之间分割推荐问题(即,艺术家元数据和音轨),并且在多模式方法中合并特征嵌入提高了推荐的准确性。
2017-07-24 cs.IR cs.LG
Ovis: Structural Embedding Alignment for Multimodal Large Language Model
AI Business, Alibaba Group(阿里巴巴集团AI业务部);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文提出 Ovis 架构,通过可学习视觉嵌入表和多次索引的概率组合,使视觉嵌入与文本嵌入结构化对齐,并在多基准上取得同规模领先表现。
2024-06-17 cs.AI cs.CL cs.CV
CIM-Embed: Learning Instruction-Conditioned Multimodal Embeddings for Clustering
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Alibaba International Digital Commerce(阿里巴巴国际数字商业)
本文提出CIM-Embed框架,通过监督对比学习学习指令条件多模态嵌入,结合HDBSCAN在ProductMIC基准上实现指令条件聚类,性能优于通用嵌入基线。
2026-10-16 cs.AI cs.LG
Learning Social Image Embedding with Deep Multimodal Attention Networks
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心)
基于深度模型的社交媒体数据嵌入学习已经引起了广泛的研究兴趣,并在链接预测、分类、跨模态搜索等方面得到了广泛的应用。然而,对于包含链接信息和多模态内容两者的社交图像(例如,文本描述和视觉内容),简单地采用从网络结构或数据内容学习的嵌入导致次优的社交图像表示。在本文中,我们提出了一种新的社交图像嵌入方法,称为深度多模态注意力网络(DMAN),它采用深度模型来联合嵌入多模态内容和链接信息。具体来说,为了有效地捕捉多模态内容之间的相关性,我们提出了一个多模态注意力网络来编码图像区域和文本单词之间的细粒度关系。为了利用网络结构进行嵌入学习,提出了一种新的Siamese-Triplet神经网络来建模图像之间的链接。利用联合深度模型,学习的嵌入可以捕获多模态内容和非线性网络信息。大量的实验进行了调查,我们的方法在多标签分类和跨模态搜索的应用程序的有效性。与最先进的图像嵌入相比,我们提出的DMAN在多标签分类和跨模态搜索任务方面取得了显着的改进。
2017-10-18 cs.LG cs.MM stat.ML
Multimodal Representation Learning Conditioned on Semantic Relations
Emory University(埃默里大学)
本文提出RCML框架,通过将语义关系作为显式条件,使多模态表示学习能根据不同的关系上下文生成不同表示,提升检索和分类任务的性能。
2026-10-05 cs.AI cs.LG
Multimodal Data Curation Through Ranked Retrieval
NVIDIA
本文提出通过优化训练对和嵌入模型来提升多模态检索对齐,利用对称核子采样和专家嵌入引擎减少模态驱动的分离,有效缩小模态差距。
2026-05-01 cs.IR cs.LG
Strong and Simple Baselines for Multimodal Utterance Embeddings
Carnegie Mellon University(卡内基梅隆大学)
人类语言是一个丰富的多模态信号,包括口语,面部表情,身体姿势和语音语调。由于存在多个异构的信息源,这些口语的学习表示是一个复杂的研究问题。多模态学习的最新进展遵循了建立更复杂的模型的总趋势,这些模型利用了各种注意力、记忆力和循环成分。在本文中,我们提出了两个简单但强大的基线来学习多模态话语的嵌入。第一基线假设将话语条件分解为单峰因子。每个单峰因子使用通过嵌入的线性变换获得的似然函数的简单形式来建模。我们表明,最佳的嵌入可以得出封闭的形式,通过采取加权平均的单峰特征。为了捕获更丰富的表示,我们的第二个基线扩展了第一个通过分解成单峰,双峰和三峰因素,同时保持简单性和效率在学习和推理。从两个任务的一组实验中,我们在监督和半监督多模态预测方面表现出了很强的性能,并且在推理过程中比神经模型有显著的(10倍)加速。总的来说,我们相信我们强大的基线模型为未来的多模态学习研究提供了新的基准选择。
2020-02-28 cs.AI cs.CL cs.LG
MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings
ByteDance Seed(字节跳动种子)
MMCORE通过预训练视觉-语言模型生成语义视觉嵌入,结合扩散模型实现多模态图像生成与编辑,提升生成质量并降低计算开销。
2026-04-21 cs.AI cs.CV cs.LG
Complementarity-Preserving Generative Theory for Multimodal ECG Synthesis: A Quantum-Inspired Approach
Morgan State University(摩根州立大学)
本文提出保持互补性的生成理论,通过量子启发框架Q-CFD-GAN生成多模态ECG数据,减少潜在嵌入方差并恢复三领域互补性,提升临床应用的生理意义。
2026-03-16 cs.AI cs.LG eess.IV
Do Recommender Systems Really Leverage Multimodal Content? A Comprehensive Analysis on Multimodal Representations for Recommendation
Sapienza University of Rome(罗马大学)
本研究通过分析多模态嵌入的语义信息量,提出利用大型视觉-语言模型生成无需融合的语义对齐表示,实验证明其能提升推荐性能并支持可解释性。
2025-08-06 cs.CL cs.IR cs.LG
Enhancing Protein-Protein Interaction Prediction with Hierarchical Motif-based Multimodal Protein Embedding
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校)
提出MMM-PPI模型,通过层次化基序的多模态编码(微观、中观、宏观三尺度)整合序列、结构和功能信息,提升蛋白质-蛋白质相互作用预测性能。
2026-05-30 cs.AI cs.LG q-bio.QM
Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models
University of Toronto(多伦多大学);Canadian Institute for Advanced Research(加拿大高等研究院)
受多模态学习和机器翻译最新进展的启发,我们引入了一个编码器-解码器管道,它学习(a):一个具有图像和文本的多模态联合嵌入空间和(b):一个新的语言模型,用于从我们的空间解码分布式表示。我们的管道有效地统一了联合图像-文本嵌入模型与多模态神经语言模型。我们介绍了结构-内容神经语言模型,该模型将句子的结构与其内容分开,以编码器产生的表示为条件。编码器允许对图像和句子进行排序,而解码器可以从头开始生成新颖的描述。使用LSTM对句子进行编码,我们在不使用目标检测的情况下,在Flickr 8 K和Flickr 30 K上匹配了最先进的性能。我们还在使用19层牛津卷积网络时设置了新的最佳结果。此外,我们表明,使用线性编码器,学习的嵌入空间在向量空间算术方面捕获多模态图像,例如 * 蓝色汽车的图像 * -“蓝色”+“红色”是红色汽车的近图像。为800幅图像生成的示例字幕可供比较。
2014-11-10 cs.CL cs.CV cs.LG
FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens
Tübingen AI Center University of Tübingen(图宾根人工智能中心大学);EPFL(瑞士联邦理工学院)
本研究提出FuseLIP架构,通过文本与图像令牌的统一词汇表实现早期融合,收集新数据集并设计挑战性任务,在多模态及单模态嵌入任务中优于后期融合方法。
2026-08-18 cs.CV cs.LG
CEMTM: Contextual Embedding-based Multimodal Topic Modeling
本研究提出上下文增强的多模态主题模型CEMTM,利用微调LVLMs的上下文嵌入与分布注意力机制,通过重构目标对齐跨模态语义,无需重复编码处理多图,在六个基准上优于基线,在少样本检索和复杂领域语义捕捉上表现出色。
2025-10-05 cs.CL cs.LG
Multimodal Latent Reasoning via Predictive Embeddings
本文提出Pearl框架,通过学习专家工具使用轨迹在潜在空间中进行多模态推理,无需显式调用工具,优于传统重建方法。
2026-04-09 cs.LG
UniGraph2: Learning a Unified Embedding Space to Bind Multimodal Graphs
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
针对现有基础模型忽略多模态图结构的问题,提出跨域图基础模型UniGraph2,结合模态编码器、GNN与混合专家组件学习统一嵌入空间,在多模态图表示学习、迁移学习及生成任务上显著优于现有模型。
2025-04-25 cs.LG
Probing Multimodal Embeddings for Linguistic Properties: the Visual-Semantic Case
Umeå University(于默奥大学)
语义嵌入已经推进了无数自然语言处理任务的技术水平,并且已经提出了对多模态域的各种扩展,例如视觉语义嵌入。虽然视觉语义嵌入的力量来自于通过机器学习对信息的提炼和丰富,但人们对它们的内部工作原理知之甚少,而且缺乏分析工具。为了解决这个问题,我们将探测任务的概念推广到视觉语义的情况下。为此,我们(一)讨论了探测任务的形式化嵌入的图像字幕对,(二)在我们的一般框架内定义三个具体的探测任务,(三)训练分类器探测这些属性,(四)比较各种国家的最先进的嵌入镜头下提出的探测任务。我们的实验显示,与相应的单峰嵌入相比,视觉语义嵌入的准确性提高了12%,这表明前者所表示的文本和图像维度确实相互补充。
2021-02-22 cs.CL cs.CV cs.LG
TICL: Text-Embedding KNN For Speech In-Context Learning Unlocks Speech Recognition Abilities of Large Multimodal Models
本文提出TICL方法,利用文本嵌入KNN为语音上下文学习选择有效示例,无需微调即可增强大型多模态模型的语音识别能力,在多项挑战性任务中相对WER最高降低84.7%。
2025-09-16 cs.AI cs.CL cs.LG
Platform for Representation and Integration of multimodal Molecular Embeddings
针对现有分子嵌入方法局限于特定任务或模态的问题,本研究提出基于自动编码器的机器学习工作流PRISME,通过整合组学、文本和知识图等多源异构嵌入构建统一的多模态表示,在多项基准任务中表现优异并提升了缺失值插补性能。
2025-07-10 cs.LG q-bio.BM
Temporal Cross-Attention for Dynamic Embedding and Tokenization of Multimodal Electronic Health Records
University of Florida(佛罗里达大学)
本文提出一种结合时序交叉注意力的多模态临床时间序列动态嵌入与标记化框架,并在超过12万例手术数据上验证其预测九种术后并发症优于基线方法。
2024-04-01 cs.LG
Robobarista: Learning to Manipulate Novel Objects via Deep Multimodal Embedding
Cornell University(康奈尔大学);Stanford University(斯坦福大学);Brain of Things, Inc.(Brain of Things公司)
在人类环境中有大量的物体和设备,如炉灶、咖啡机、榨汁机等,对于机器人专家来说,为这些物体类型和它们的实例化编程是一个挑战。在这项工作中,我们提出了一种新的方法来操纵规划的基础上的想法,许多家庭的对象共享类似的操作对象的部分。我们制定的操作规划作为一个结构化的预测问题,并学习通过嵌入点云,自然语言,和操纵轨迹数据到一个共享的嵌入空间,使用深度神经网络跨不同的对象传输操作策略。为了在整个网络中学习语义上有意义的空间,我们引入了一种用于预训练其低层以进行多模态特征嵌入的方法,以及一种使用基于损失的余量来微调该嵌入空间的方法。为了收集大量不同对象的操作演示,我们开发了一个新的众包平台Robobarista。我们在我们的数据集上测试了我们的模型,该数据集由116个对象和设备组成,其中包括249个部件以及250个语言指令,其中有1225个众包操作演示。我们进一步表明,我们的机器人与我们的模型,甚至可以准备一杯拿铁与电器,它从来没有见过。
2016-01-12 cs.AI cs.LG cs.RO
Do We Trust What They Say or What They Do? A Multimodal User Embedding Provides Personalized Explanations
University of Washington(华盛顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出贡献感知多模态用户嵌入框架CAMUE,通过自动权衡文本与图结构信息,为社交网络用户提供个性化可解释预测,并验证图结构信息对多数用户更可信。
2024-09-04 cs.IR cs.LG cs.SI
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);NAVER Corporation(NAVER公司)
多模态关系数据分析近年来变得越来越重要,用于探索不同领域的数据,诸如从社交网络服务(例如,Flickr)。已经开发了各种数据分析方法用于可视化;举一个例子,t-随机邻居嵌入(t-SNE)计算低维特征向量,以便它们的相似性保持观察到的数据向量。然而,t-SNE是专为一个单一的数据域,但不是多模态数据,本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE,本文提出了多模态关系随机邻居嵌入(MR-SNE),即(1)首先计算增强关系,其中我们观察跨域的关系,并通过观察到的数据向量计算每个域内的关系,以及(2)将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集,建议MR-SNE与其他基于图嵌入的方法进行了比较,MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC