Everything is Connected: Graph Neural Networks
DeepMind（深度思维）；University of Cambridge（剑桥大学）
本文是一篇简短综述，旨在介绍图神经网络的核心概念，说明图作为数据模态的普遍性及其在多个领域的应用，并帮助读者理解图表示学习与相关领域的关系。
2023-01-19 cs.AI cs.LG cs.SI
Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）
学习不同模态的联合嵌入空间对于多模态融合至关重要。主流的模态融合方法无法实现这一目标，从而留下了严重影响跨模态融合的模态缺口。在本文中，我们提出了一种新的对抗编码器-解码器-分类器框架来学习模态不变的嵌入空间。由于各种模态的分布在本质上是不同的，为了减少模态差距，我们使用对抗训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外，我们施加额外的约束嵌入空间，通过引入重建损失和分类损失。然后，我们融合的编码表示使用层次图神经网络，明确探索单峰，双峰和三峰的相互作用，在多个阶段。我们的方法在多个数据集上实现了最先进的性能。学习的嵌入的可视化表明，通过我们的方法学习的联合嵌入空间是有区别的。代码可从以下网址获得：\url{https://github.com/TmacMai/ARGF_multimodal_fusion}
2020-12-10 cs.CV cs.LG cs.MM
Learning Missing Modal Electronic Health Records with Unified Multi-modal Data Embedding and Modality-Aware Attention
AITRICS Inc.（AITRICS公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Sungkyunkwan University (SKKU)（成均馆大学（SKKU））
针对多模态电子健康记录学习中的数据嵌入与模态缺失问题，提出统一多模态集合嵌入和带跳跃瓶颈的模态感知注意力方法，在MIMIC-IV数据集的多项预测任务上性能优于基线模型。
2023-05-04 cs.LG
Robust Beam Prediction for V2X Networks with Multi-Modal Sensing
University of Technology Sydney（悉尼科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对V2X网络波束预测依赖射频感知不可靠的问题，提出基于Transformer的多模态融合框架BeamTransFuser，融合摄像头、激光雷达、雷达和GPS数据，并引入生成模块处理模态缺失，实验验证其优于基线且更具鲁棒性。
2026-09-10 cs.LG
Learning Multi-Modal Nonlinear Embeddings: Performance Bounds and an Algorithm
METU（中东技术大学）
虽然文献中存在许多方法来学习多模态数据汇集的低维表示，但多模态非线性嵌入对以前未见过的数据的可推广性是一个相当被忽视的主题。在这项工作中，我们首先提出了一个理论分析学习多模态非线性嵌入在监督设置。我们的性能界限表明，对于多模态分类和检索问题的成功推广，将嵌入扩展到整个数据空间的插值函数的规律性与类间分离和跨模态对齐标准一样重要。然后，我们提出了一个多模态的非线性表示学习算法，是由这些理论研究结果的动机，其中的嵌入的训练样本进行了优化与Lipschitz正则性的插值器。与最近的多模态和单模态学习算法的实验比较表明，所提出的方法在多模态图像分类和跨模态图像-文本检索应用中产生有前途的性能。
2020-12-24 cs.CV cs.IR cs.LG
Cross-modal Zero-shot Hashing by Label Attributes Embedding
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
跨模态哈希算法是跨模态近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设训练集和测试集的标签是相同的。然而，该假设经常被违反，导致zero-shot CMH问题。最近的努力，以解决这个问题的重点是转移知识从可见的类看不见的标签属性。然而，属性是孤立的多模态数据的特征。为了减少信息差距，我们引入了一种方法，称为LAEH（标签属性嵌入zero-shot跨模态哈希）。LAEH首先通过word2vec模型得到标签的初始语义属性向量，然后使用一个转换网络将它们转换到一个公共子空间中。接下来，它利用哈希向量和特征相似性矩阵来指导不同模态的特征提取网络。同时，利用属性相似度作为标签相似度的补充，对标签嵌入和公共子空间进行修正。实验表明，LAEH算法优于相关的代表性的zero-shot和跨模态散列方法。
2021-11-07 cs.AI cs.CV cs.LG
Breaking the Illusion: Consensus-Based Generative Mitigation of Adversarial Illusions in Multi-Modal Embeddings
Lund University（隆德大学）；Google DeepMind（谷歌DeepMind）
本文提出一种任务无关的缓解机制，利用生成模型恢复多模态嵌入的自然对齐，通过生成采样策略和共识聚合方案提升防御效果，实验显示其显著降低对抗性幻觉攻击成功率。
2026-04-21 cs.LG
Adversarial Illusions in Multi-Modal Embeddings
Cornell University（康奈尔大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Cornell Tech（康奈尔科技）
本文提出“对抗性幻觉”攻击，可通过扰动使多模态嵌入与另一模态中任意目标对齐，利用嵌入邻近性破坏多任务，验证了在ImageBind、AudioCLIP及亚马逊Titan嵌入上的有效性并研究对策。
2025-08-24 cs.AI cs.CR cs.LG
Sparsely Multimodal Data Fusion
Syntensor, Inc.（森腾公司）
本文比较了MCA、Zorro和EAO三种多模态嵌入技术在稀疏多模态数据上的表现，发现MCA通过融合所有模态组合并保持嵌入均匀性，在多数任务上优于其他方法。
2025-01-02 cs.AI cs.LG
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon（亚马逊）；University of Freiburg（弗莱堡大学）
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近，该原理也被用于学习视频和文本的跨模态嵌入，但没有充分利用其潜力。特别是，之前的丢失没有考虑模态内的相似性，这会导致嵌入效率低下，因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink，我们提出了一个解决这个问题的对比损失。此外，我们根据输入嵌入定义了高度相关的样本集，并将其从阴性样本中排除，以避免假阴性问题。我们表明，这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
Multi-modal embeddings using multi-task learning for emotion recognition
像word 2 vec、GloVe和ELMo这样的通用嵌入在自然语言任务中取得了很大的成功。嵌入通常是从基于一般任务（如skip-gram模型和自然语言生成）构建的模型中提取的。在本文中，我们将工作从自然语言理解扩展到使用音频，视觉和文本信息进行机器学习任务的多模态架构。我们网络中的嵌入是使用多任务训练的Transformer模型的编码器提取的。在嵌入生成框架中，我们使用了人物识别和自动语音识别作为任务。我们调整和评估了情感识别下游任务的嵌入，并证明了在CMU-MOSEI数据集上，嵌入可以用来改善以前的最先进的结果。
2020-09-10 cs.CL cs.LG
Generalized Multi-view Embedding for Visual Recognition and Cross-modal Retrieval
在本文中，从不同的视觉线索和模态的多视图嵌入的问题被认为是。我们提出了一个统一的解决方案，子空间学习方法使用瑞利商，这是可扩展的多视图，监督学习，和非线性嵌入。许多方法，包括典型相关分析，偏最小二乘回归和线性判别分析研究使用特定的内在和惩罚图在同一框架内。基于核和（深）神经网络的非线性扩展的推导，实现了更好的性能比线性的。在此基础上，提出了一种新的多视角模块化判别分析方法（MvMDA）。我们证明了所提出的多视图嵌入方法在视觉对象识别和跨模态图像检索上的有效性，并且与相关方法相比，在这两个应用中获得了优异的结果。
2017-08-31 cs.CV cs.LG
A Multi-Modal Simulation Framework to Enable Digital Twin-based V2X Communications in Dynamic Environments
本文提出一种多模态仿真框架，结合数字孪生与射线追踪，生成真实传感器数据和毫米波信道，用于动态V2X场景中的阻塞切换与链路恢复。
2024-07-17 cs.LG cs.NI eess.SP
Efficient Feature Representations for Cricket Data Analysis using Deep Learning based Multi-Modal Fusion Model
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
数据分析已成为现代板球运动的必需品。从有效的团队管理到比赛获胜预测，一切都使用某种形式的分析。有意义的数据表示对于有效的数据分析是必要的。在这项研究中，我们研究了使用自适应（可学习）嵌入来表示相互关联的功能（如球员，球队等）。用于本研究的数据是从经典的T20锦标赛IPL（印度超级联赛）收集的。为了自然地促进学习有意义的特征表示以进行准确的数据分析，我们制定了一个深度表示学习框架，该框架通过最小化对比损失来联合学习一组自定义的嵌入（代表我们感兴趣的特征）。我们的目标是基于一组类作为层次聚类的结果，一局的整体运行率。据评估，该框架确保了更大的通用性，在获得的嵌入，在此之上的任务为基础的分析，整体运行率预测进行了评估，以显示该框架的可靠性。
2021-08-16 cs.AI cs.LG
Multi-Modal Contrastive Learning for Implicit Earth Embeddings via Location Tying
Computational Methods Lab, HafenCity University Hamburg（汉堡港城大学计算方法实验室）；Dept. of Operations & Technology, Technical University of Munich（慕尼黑工业大学运营与技术系；海尔布隆数据科学中心；慕尼黑数据科学研究所）；Heilbronn Data Science Center（波恩大学大地测量与地理信息研究所）；Munich Data Science Institute；Institute of Geodesy and Geoinformation, University of Bonn
提出两种多模态对比学习架构MELT和SALT，通过位置绑定整合未配对地理数据，在四个下游任务中匹配最强双模态基线SATCLIP，但增加模态数未持续提升性能，表明位置编码器是主要瓶颈。
2026-06-19 cs.LG
A Multimodal Single-Branch Embedding Network for Recommendation in Cold-Start and Missing Modality Scenarios
Institute of Computational Perception, Johannes Kepler University Linz（约翰开普勒林茨大学计算感知研究所）；Human-centered AI Group, AI Lab, Linz Institute of Technology（林茨理工大学人工智能实验室以人为中心的人工智能组）
本文提出多模态单分支嵌入网络SiBraR，通过权重共享编码交互数据与多模态辅助信息，有效解决冷启动与缺失模态场景下的推荐问题，显著优于现有方法。
2024-09-26 cs.AI cs.IR cs.LG
UniMat: Unifying Materials Embeddings through Multi-modal Learning
针对材料科学数据异构性问题，本研究评估多模态对齐与融合技术，统一原子结构、XRD和成分模态，证明融合实验数据可创建更稳健的联合嵌入，为材料设计奠定基础。
2024-11-13 cond-mat.mtrl-sci cs.LG
Conditional generation of multi-modal data using constrained embedding space mapping
IBM Research-Tokyo（IBM东京研究院）
我们提出了一个条件生成模型，映射到一个共同的潜在空间，从而提取它们之间的语义关系的低维嵌入的多种形式的数据。首先提取特定于模态的嵌入，随后执行约束优化过程以将两个嵌入空间投影到公共流形。个体嵌入是从这个公共潜在空间中生成的。然而，为了实现独立的条件推理，用于从公共潜在空间表示中单独提取对应的嵌入，我们部署了代理变量技巧-其中，单个共享潜在空间被每个模态的相应单独潜在空间替换。我们设计了一个目标函数，使得在训练过程中，我们可以通过最小化它们的概率分布函数之间的距离来迫使这些独立的空间彼此靠近。实验结果表明，学习的联合模型可以推广到学习的概念，双MNIST数字与颜色的附加属性，从文本和语音输入。
2017-07-26 cs.AI cs.CV cs.LG
ImageBind: One Embedding Space To Bind Them All
Meta AI；FAIR（脸书人工智能研究院）
ImageBind提出仅用图像配对数据即可将图像、文本、音频、深度、热成像和IMU六种模态绑定到同一嵌入空间，实现跨模态检索、组合、检测与生成等零样本能力，并在多模态识别任务上超越专用监督模型。
2023-05-31 cs.AI cs.CV cs.LG
Domain Specific Data Distillation and Multi-modal Embedding Generation
Amazon Web Services Inc.（亚马逊网络服务公司）
针对领域结构化数据稀缺、传统单模态嵌入效果受限的问题，本文提出在 HCF 框架中用结构化数据蒸馏非结构化数据并微调实体表示，实验显示其在云计算领域属性预测上显著优于 AutoEncoder。
2024-10-27 cs.LG cs.SI
COBRA: Contrastive Bi-Modal Representation Algorithm
IIIT-Delhi（德里印度信息技术学院）；NUS（新加坡国立大学）
多模态数据有着广泛的应用，例如跨模态检索、视觉问答和图像描述。这种应用主要依赖于不同组成模态的对齐分布。现有的方法生成潜在的嵌入，为每一种形式在一个共同的流形表示它们在一个联合的方式。然而，这些联合嵌入空间未能充分减少模态间隙，这影响了下游任务的性能。我们假设这些嵌入保留了类内关系，但无法保留类间动态。在本文中，我们提出了一种新的框架COBRA，旨在训练两种形式（图像和文本）的联合方式的启发，对比预测编码（CPC）和噪声对比估计（NCE）的范例，保持类间和类内的关系。我们的经验表明，该框架减少了模态差距显着，并产生一个强大的和任务不可知的联合嵌入空间。我们在跨越七个基准跨模态数据集的四个不同下游任务上的表现优于现有工作。
2020-05-24 cs.LG stat.ML
Cross-Modal Fine-Tuning: Align then Refine
Carnegie Mellon University（卡内基梅隆大学）；Hewlett Packard Enterprise（慧与公司）
对大规模预训练模型的微调已经在视觉和NLP等研究充分的模式方面取得了巨大进展。然而，由于缺乏相关的预训练模型，在许多其他模式中没有观察到类似的收益。在这项工作中，我们提出了ORCA，这是一个通用的跨模态微调框架，可以将单个大规模预训练模型的适用性扩展到多种模态。ORCA通过一个先搜索再细化的工作流程来适应目标任务：给定目标输入，ORCA首先学习一个嵌入网络，将嵌入的特征分布与预训练模态对齐。然后，预训练的模型在嵌入的数据上进行微调，以利用跨模态共享的知识。通过大量的实验，我们证明了ORCA在3个基准测试中获得了最先进的结果，其中包含来自12种模式的60多个数据集，优于各种手工设计，AutoML，通用和特定任务的方法。我们通过一系列消融研究强调了数据对齐的重要性，并证明了ORCA在数据有限的情况下的实用性。
2023-03-18 cs.LG
ES-Merging: Biological MLLM Merging via Embedding Space Signals
KAIST（韩国科学技术院）；DeepAuto.ai
提出ES-Merging框架，利用嵌入空间信号估计合并系数，实现生物多模态大模型的高效合并，提升跨模态推理和单模态知识保留能力。
2026-11-04 cs.AI cs.LG
Aligning Multilingual Word Embeddings for Cross-Modal Retrieval Task
IDIAP Research Inst.（IDIAP研究所）；EPFL（洛桑联邦理工学院）
在本文中，我们提出了一种新的方法来学习多模态多语言嵌入匹配图像及其相关的字幕在两种语言。我们结合了两个现有的目标函数，使图像和字幕在一个联合嵌入空间中接近，同时在我们的模型中调整现有语言之间的词嵌入的对齐。我们表明，我们的方法可以更好地推广，实现最先进的性能，在文本到图像和图像到文本检索任务，以及标题-标题相似性任务。两个多模态多语言数据集用于评估：Multi 30 k与德语和英语字幕和Microsoft-COCO与英语和日语字幕。
2019-10-08 cs.CL cs.IR cs.LG
AKRMap: Adaptive Kernel Regression for Trustworthy Visualization of Cross-Modal Embeddings
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
AKRMap是一种新的降维技术，通过在投影空间中学习度量景观的自适应核回归，支持交互式探索，生成比传统方法更准确可信的跨模态嵌入可视化。
2025-05-28 cs.AI cs.CV cs.HC
An Analysis of Semantically-Aligned Speech-Text Embeddings
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）
嵌入在多模态语言处理问题的端到端解决方案中起着重要作用。虽然已经有一些努力来理解单模态嵌入空间的属性，特别是文本的属性，但它们的跨模态对应物却很少被理解。在这项工作中，我们研究了联合语音文本嵌入空间的一些内在属性，该空间是通过最小化教师-学生模型设置中配对话语和转录输入之间的距离来构建的，这些属性对于几个突出的用例来说是有用的。我们发现，通过预训练和多任务场景结合自动语音识别可以显著帮助语义对齐，从而产生更紧密耦合的嵌入。为了分析跨模态嵌入，我们利用定量检索准确性度量的语义对齐，zero-shot分类的概括性，和探测的编码器，以观察知识转移的程度从一个模态到另一个。
2023-01-19 cs.CL cs.LG eess.AS
Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders
发现视觉-语言模型中同一概念在不同模态下的特征方向不一致（跨模态特征异质性），并提出训练模态特定稀疏自编码器后对齐对应特征的方法，提升重建保真度和跨模态检索与概念引导性能。
2026-06-29 cs.CV cs.LG
Multi-modal Sentiment Analysis using Deep Canonical Correlation Analysis
UW-Madison（威斯康星大学麦迪逊分校）；Texas Tech University（得克萨斯理工大学）
本文从数据的文本、音频和视频视图/模式中学习多模态嵌入，以改进下游情感分类。实验框架还允许调查的相对贡献的个人意见，在最终的多模态嵌入。使用深度典型相关分析（DCCA）以两种方式将从三个视图导出的各个特征组合成多模态嵌入：i）一步DCCA和ii）两步DCCA。本文使用BERT学习文本嵌入，这是当前文本编码器的最新技术。我们认为这种高度优化的算法在其他视图的贡献上占主导地位，尽管每个视图都对最终结果有贡献。分类任务在两个基准数据集和一个新的辩论情感数据集上进行，这些都表明一步DCCA在学习多模态嵌入方面优于当前最先进的技术。
2019-07-15 cs.CL cs.IR cs.LG
MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning
FAIR at Meta（Meta AI研究实验室）；New York University（纽约大学）
提出MJEPA，使用统一编码器和单一预测目标进行跨模态预测，在音频分类任务上超越先前方法，并减少视频数据需求。
2026-06-25 cs.CV cs.LG
Improve Multi-Modal Embedding Learning via Explicit Hard Negative Gradient Amplifying
Tencent（腾讯）
本文通过分析info-NCE损失梯度，提出显式放大难负样本梯度的多模态嵌入学习方法，基于LLaVA-OneVision-7B在MMEB上取得最优性能，并与自研QQMM集成后登顶排行榜。
2025-05-28 cs.CV cs.LG
Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations
Samsung AI Centre Toronto（多伦多三星人工智能中心）；York University（约克大学）；University of Toronto（多伦多大学）
概率嵌入已被证明对于捕获多义词含义以及图像匹配中的歧义是有用的。在本文中，我们研究了概率嵌入在跨模态设置（即，文本和图像），并提出了一种简单的方法，取代标准的矢量点嵌入在现有的图像-文本匹配模型与概率分布，参数学习。我们的指导假设是，概率嵌入中编码的不确定性捕获了输入实例中的跨模态模糊性，并且通过捕获这种不确定性，概率模型可以在下游任务中表现得更好，例如图像到文本或文本到图像检索。通过对标准和新基准的广泛实验，我们在跨模态检索中展示了概率表示的一致优势，并验证了我们的嵌入捕获不确定性的能力。
2022-04-20 cs.CL cs.CV cs.IR
Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP
Hasso Plattner Institute（哈索·普拉特纳研究所）
针对CLIP嵌入空间存在的模态差距问题，设计AlignCLIP探究参数共享、模态内分离对差距的影响及下游性能变化，证实其可提升跨模态对齐并优化下游表现。
2024-09-16 cs.AI cs.CL cs.CV
Is the Modality Gap a Bug or a Feature? A Robustness Perspective
Hebrew University（希伯来大学）；IBM Research（IBM研究院）
本文从鲁棒性角度探讨模态间隙的存在原因，发现减少间隙可提升模型鲁棒性而不影响清洁准确率。
2026-04-27 cs.CV cs.LG
TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding
Central South University（中南大学）
TempoGPT通过白盒系统分析构建复杂时间序列推理数据，并利用码本量化时间嵌入实现时序与文本表示一致，从而提升多模态时间序列语言模型的推理性能。
2025-03-07 cs.AI cs.LG
Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
人脸微表情识别是近年来研究的热点。微表情具有持续时间短、强度低的特点，现有的微表情数量有限，很难训练出高性能的分类器。因此，识别微表情是一项具有挑战性的任务。提出了一种基于属性信息嵌入和跨模态对比学习的微表情识别方法。在人脸动作编码系统中，采用三维CNN提取微表情序列的RGB特征和FLOW特征并进行融合，采用BERT网络提取文本信息。通过跨模态对比损失，将属性信息嵌入到视觉网络中，从而提高了在样本有限情况下微表情识别的表征能力。在CASME II和MMEW数据库上进行了大量的实验，准确率分别为77.82%和71.04%。对比实验表明，该方法在微表情识别中具有较好的识别效果。
2022-05-29 cs.AI cs.CV cs.LG
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法，以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
DGEM: A New Dual-modal Graph Embedding Method in Recommendation System
Graduate School at Shenzhen, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）
在当前基于深度学习的推荐系统中，一般采用嵌入的方法来完成从高维稀疏特征向量到低维稠密特征向量的转换。然而，由于嵌入层的输入向量的维数太大，嵌入层的增加显著减慢了整个神经网络的收敛速度，这在现实场景中是不可接受的。此外，随着用户与项目之间的交互增加，项目之间的关系变得更加复杂，针对序列数据提出的嵌入方法不再适用于当前现实环境中的图形数据。因此，在本文中，我们提出了双模态图嵌入方法（DGEM）来解决这些问题。DGEM包括静态和动态两种模式。我们首先构造项目图来提取图的结构，并使用不等概率的随机游走来捕获项目之间的高阶邻近度。然后我们通过Skip-Gram模型生成图嵌入向量，最后反馈给下游深度神经网络进行推荐任务。实验结果表明，DGEM能够挖掘项目间的高阶相似度，增强推荐模型的表达能力。同时，它还利用项目之间的时间依赖关系，提高了推荐性能。
2021-08-09 cs.IR cs.LG
PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest
Pinterest Inc.（Pinterest公司）
潜在用户表示在技术行业中被广泛采用，用于为个性化推荐系统提供动力。大多数先前的工作推断出一个单一的高维嵌入来表示用户，这是一个很好的起点，但在提供用户的兴趣的充分理解不足。在这项工作中，我们介绍PinnerSage，一个端到端的推荐系统，通过多模态嵌入代表每个用户，并利用这种丰富的用户表示提供高质量的个性化推荐。PinnerSage通过层次聚类方法（Ward）将用户的行为聚类为概念上连贯的聚类来实现这一点，并通过代表性引脚（Medoids）总结聚类以提高效率和可解释性。PinnerSage已部署在Pinterest的生产中，我们概述了使其在非常大的规模上无缝运行的几个设计决策。我们进行了几个离线和在线A/B实验，以表明我们的方法显着优于单一的嵌入方法。
2020-07-07 cs.IR cs.LG cs.SI
Learning Modality-Invariant Representations for Speech and Images
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨了无监督学习的语义嵌入空间的共同出现的感觉输入。具体来说，我们专注于使用TIDIGITS和MNIST数据集学习口语和手写数字的语义向量空间的任务。当前技术将图像和音频/文本输入直接编码为语义嵌入。相比之下，我们的技术将输入映射到对角高斯的均值和对数方差向量，从中提取样本语义嵌入。除了鼓励同现输入之间的语义相似性之外，我们的损失函数还包括从变分自编码器（VAE）借用的正则化项，该正则化项驱动嵌入的后验分布为单位高斯。我们可以使用这个正则化项来过滤掉模态信息，同时保留语义信息。我们推测这种技术可能更广泛地适用于跨模态/域信息检索和迁移学习的其他领域。
2017-12-11 cs.CL cs.CV cs.LG
ModEFormer: Modality-Preserving Embedding for Audio-Video Synchronization using Transformers
Amazon Studios（亚马逊工作室）
缺乏音频-视频同步是电视广播和视频会议期间的常见问题，导致不令人满意的观看体验。一个被广泛接受的范例是创建一个错误检测机制，该机制识别音频领先或滞后的情况。我们提出了ModEFormer，它独立地提取音频和视频嵌入使用特定的模态Transformers。与其他基于transformer的方法不同，ModEFormer保留了输入流的模态，这允许我们使用更大的批量大小和更多的负音频样本进行对比学习。此外，我们提出了一个权衡负样本的数量和数量的独特的样本在一批显着超过以前的方法的性能。实验结果表明，ModEFormer实现了最先进的性能，94.5%的LRS 2和90.9%的LRS 3。最后，我们演示了如何ModEFormer可以用于偏移检测测试剪辑。
2023-03-21 cs.CV cs.LG cs.SD
COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Centre for Vision, Speech, and Signal Processing (CVSSP), University of Surrey（Surrey 大学视觉、语音和信号处理中心）
提出COMET框架，通过PLS-SVD分解揭示CLAP模型中模态间隙主要由少数共享概念轴贡献，并基于谱截断方法无训练地缓解间隙，实现零样本音频字幕接近全监督性能。
2026-05-28 cs.AI cs.CL cs.LG
Multi-modal Embedding Fusion-based Recommender
Synerise S.A.（Synerise股份公司）；Warsaw University of Technology（华沙理工大学）
推荐系统最近在全球范围内流行，主要用于在线交互系统，主要集中在电子商务平台上。我们已经开发了一个基于机器学习的推荐平台，它可以很容易地应用于几乎任何项目和/或动作域。与现有的推荐系统相反，我们的平台支持多种类型的交互数据和多种元数据形式。这是通过各种数据表示的多模态融合来实现的。我们将该平台部署到多个不同类型的电子商务商店，例如食品和饮料，鞋类，时尚用品，电信运营商。在这里，我们介绍我们的系统，它的灵活性和性能。我们还展示了开放数据集上的基准测试结果，这些结果显着优于最先进的现有工作。
2020-05-14 cs.CV cs.IR cs.LG
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart（斯图加特大学）
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据，但是整个系统遭受错误传播。在本文中，我们提出了一种新的训练方法，使预训练的上下文嵌入处理声学特征。特别是，我们扩展它与编码器的预训练语音识别系统，以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架，跨越语音和文本形式，对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明，我们的系统达到了与流水线架构相当的性能，而不使用任何训练数据，并在三个基准测试中的两个上进行了每类十个示例的微调后，性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
On the Language Encoder of Contrastive Cross-modal Models
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文评估了句子嵌入训练对CLIP和CLAP等对比跨模态模型语言编码器的影响，发现其能提升VL任务性能与文本空间均匀性，但在AL任务中因数据量有限获益较少。
2023-10-20 cs.CL cs.CV cs.LG
A Multi-Modal Feature Embedding Approach to Diagnose Alzheimer Disease from Spoken Language
简介：阿尔茨海默病是一种痴呆症，早期诊断对治疗质量起着重要作用。在阿尔茨海默病诊断的新工作中，有许多人从声学上、句法上或两者兼而有之地分析语音流。执行这些分析的最常用工具通常包括机器学习技术。目的：设计一个基于机器学习的自动诊断系统，以帮助早期发现。此外，使用非侵入性数据的系统是优选的。方法：采用口语分类法.我们使用三种（统计和神经）方法将口语中的音频信号分为两类痴呆症和对照。结果：本工作设计了一个多模态特征嵌入的口语音频信号使用三种方法; N-gram，i-vector，和x-vector。在PittCorpusDementia数据库的曲奇饼图片描述任务上，系统的正确率为83：6
2019-10-01 cs.CL cs.LG eess.AS
