Dual-View Distilled BERT for Sentence Embedding
Ant Group(蚂蚁集团)
最近,BERT通过词级跨句注意实现了句子匹配的重大进展。然而,性能显着下降时,使用siamese BERT网络来获得两个句子嵌入,这是不够的,在捕捉全局语义,因为两个句子之间的词级注意是缺席。本文提出了一种双视图提取的BERT~(Dv BERT)算法,用于句子嵌入的句子匹配。我们的方法从两个不同的角度处理一个句子对,即,Siamese View和Interaction View。连体视图是生成句子嵌入的主干。交互观将跨句交互整合为多个教师,以提高句子嵌入的表征能力。六个STS任务的实验表明,我们的方法优于国家的最先进的句子嵌入方法显着。
2021-04-18 cs.AI cs.CL
Memotion Analysis through the Lens of Joint Embedding
IIIT Sri City(印度信息技术学院斯里城分校);UCLA(加州大学洛杉矶分校);Wipro AI Labs(威普罗人工智能实验室);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
联合嵌入(JE)是一种将多模态数据编码到向量空间中的方法,其中文本仍然作为基础键,其他模态(如图像)将与此类键锚定。模因是一种典型的带有嵌入文本的图像。虽然模因通常用于娱乐,但它们也可以用于传播仇恨和虚假信息。随着它在几个社交平台上越来越普遍,对模因的自动分析已经成为一个广泛的研究课题。在本文中,我们报告了我们的初步实验Memotion分析问题,通过联合嵌入。结果是勉强产生SOTA。
2021-12-03 cs.AI cs.CL cs.CV
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Intapp Inc.(Intapp公司)
我们提出了一个架构,共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比,我们的方法不需要将标签嵌入作为输入的一部分,因此可以很好地适用于各种模型架构。此外,我们的架构计算单词和标签之间的上下文距离,以避免添加上下文窗口,从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法,并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Linking Theories and Methods in Cognitive Sciences via Joint Embedding of the Scientific Literature: The Example of Cognitive Control
University of Luxembourg(卢森堡大学);University of Minnesota, Twin Cities(明尼苏达大学双城分校)
传统上,认知控制的理论和实践是通过人类领域专家的文献综述联系起来的。然而,这种方法不足以跟踪不断增长的文献。它也可能是有偏见的,并产生冗余和混乱。在这里,我们提出了一种替代方法。我们对大量科学文本进行了自动文本分析,以创建任务和结构的联合表示。更具体地说,385,705科学摘要首先使用基于transformers的语言模型映射到嵌入空间。然后使用文档嵌入来识别任务-构造图嵌入,该任务-构造图嵌入将构造基于任务,并通过利用图中的受约束随机游走来支持构造的细微差别的含义。这种联合任务-构造图嵌入,可以被查询以生成针对特定构造的任务电池,可以揭示文献中的知识空白,并激发新的任务和新的假设。
2022-05-11 cs.AI cs.CL cs.IR
Cross-lingual Entity Alignment via Joint Attribute-Preserving Embedding
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Department of Computer Science and Engineering, University of Texas at Arlington(德克萨斯大学阿灵顿分校计算机科学与工程系)
实体对齐是在两个知识库(KB)中找到表示相同现实世界对象的实体的任务。当面对不同自然语言的知识库时,传统的跨语言实体对齐方法依赖于机器翻译来消除语言障碍。这些方法往往受到不同语言之间翻译质量参差不齐的影响。虽然最近的基于嵌入的技术在KB中编码实体和关系,并且不需要机器翻译来进行跨语言实体对齐,但是大量的属性仍然在很大程度上未被探索。在本文中,我们提出了一个跨语言实体对齐的联合属性保持嵌入模型。它将两个知识库的结构联合嵌入到一个统一的向量空间中,并通过利用知识库中的属性相关性对其进行进一步细化。我们在真实世界数据集上的实验结果表明,这种方法显着优于最先进的跨语言实体对齐嵌入方法,并可以与基于机器翻译的方法进行补充。
2017-09-26 cs.AI cs.CL cs.DB
GraphERE: Jointly Multiple Event-Event Relation Extraction via Graph-Enhanced Event Embeddings
Peking University(北京大学)
本文提出基于图增强事件嵌入的联合多事件关系抽取框架GraphERE,利用静态AMR和IE图丰富事件论元及结构特征,并通过Node Transformer构建动态事件图联合抽取多种关系,显著优于现有方法。
2024-03-19 cs.AI cs.CL
Contextual Joint Factor Acoustic Embeddings
University of Sheffield(谢菲尔德大学)
将声学信息嵌入到固定长度表示中对于语音和音频技术中的整个范围的应用是感兴趣的。提出了两种新的无监督的方法来生成声学嵌入的声学上下文建模。第一种方法是上下文联合因子合成编码器,其中编码器/解码器框架中的编码器被训练为从周围音频帧提取联合因子以最佳地生成目标输出。第二种方法是上下文联合因子分析编码器,其中编码器被训练为分析来自与相邻音频最佳相关的源信号的联合因子。为了评估我们的方法的有效性相比,以前的工作,两个任务进行-电话分类和说话人识别-和测试不同的TIMIT数据集。实验结果表明,所提出的方法优于电话分类基线,产生74.1%的分类准确率。当使用额外的域外数据进行训练时,对于电话分类和说话人识别任务,可以获得额外的3%的改进。
2021-02-05 cs.AI cs.CL cs.LG
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
词嵌入是文本文档中单个词在向量空间中的表示,它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA(Supervised Word Embeddings for情感分析)。SWESA利用文档标签信息,通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题,从适度的文本文档语料库中学习词的向量表示。分析表明,SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明,SWESA具有优越的性能相比,以前建议的方法,词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University(埃默里大学)
近年来,自然语言处理(NLP)已成为人类生活中最重要的领域之一,并有着广泛的应用。作为最基本的任务,词嵌入领域还需要更多的关注和研究。目前,关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中,我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架,我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现,通过将不同的词嵌入映射到联合组件中,可以大大提高性能较低的原始词嵌入的情感性能。此外,我们发现,通过将不同的组件连接在一起,同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路,也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Joint Learning of Context and Feedback Embeddings in Spoken Dialogue
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出使用对比学习目标将简短对话上下文与反馈回应嵌入同一表示空间,该方法在美式英语对话的反馈排序任务中优于人类,且学到的嵌入包含了会话功能信息。
2024-06-11 cs.AI cs.CL cs.LG
Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
提出了一种从自然语言生成彩色三维图形的方法。为此,我们首先学习自由形式的文本描述和彩色3D形状的联合嵌入。我们的模型结合并扩展了关联学习和度量学习方法,以学习隐式跨模态连接,并产生一个联合表示,该表示捕获了语言与3D形状的物理属性(如颜色和形状)之间的多对多关系。为了评估我们的方法,我们在ShapeNet数据集中收集了一个大型的物理3D对象的自然语言描述数据集。通过这种学习联合嵌入,我们证明了文本到形状检索优于基线方法。使用我们的嵌入与一个新的条件Wasserstein GAN框架,我们从文本生成彩色3D形状。我们的方法是第一个连接自然语言文本与现实的3D对象表现出丰富的变化,颜色,纹理和形状的细节。观看视频https://youtu.be/zraPvRdl13Q
2018-03-22 cs.AI cs.CV cs.GR
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University(卡内基梅隆大学)
由于缺乏结构化的知识应用于学习的分布式表示的类别,现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架,嵌入实体和类别到一个语义空间,通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念,在概念分类上具有优越的性能,并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
An Embedding-based Joint Sentiment-Topic Model for Short Texts
Optum Global Advantage (OGA)(奥普姆全球优势(OGA));IIIT-Delhi(德里印度信息技术学院)
短文本是在社交媒体、电子商务平台等上分享反馈、意见和评论的流行途径。许多公司需要从这些短文本中提取有意义的信息(可能包括主题内容以及语义极性),以了解用户的行为。然而,获得高质量的情感相关的和人类可解释的主题仍然是一个挑战短文本。在本文中,我们开发了ELJST,嵌入增强生成联合情感主题模型,可以发现更多的连贯性和多样性的主题从短文本。它使用马尔可夫随机场正则化器,可以被视为基于跳跃图的模型的概括。此外,它可以利用出现在词嵌入中的高阶语义信息,例如图形模型中的自我注意权重。我们的研究结果显示,与基线相比,主题一致性平均提高了10%,主题多样化平均提高了5%。最后,ELJST有助于在更细的层次上理解用户的行为,这是可以解释的。所有这些都可以为经常与客户打交道的服务和医疗保健行业带来重大价值。
2021-03-26 cs.AI cs.CL
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH(DRIMCo有限责任公司);CIS, University of Munich (LMU)(慕尼黑大学计算语言学中心)
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架,使用多视图嵌入空间:(1)预训练的主题嵌入,(2)预训练的词嵌入(Glove的上下文不敏感和BERT模型的上下文敏感)联合从一个或多个来源,以提高主题质量和更好地处理多义词。在这样做时,我们首先构建相应的预训练主题池(即,TopicPool)和词嵌入(即,WordPool)。然后,我们识别一个或多个相关的源域,并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中,我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集,通过泛化(困惑)、可解释性(主题连贯性)和信息检索(IR)来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时,我们使用6个源(高资源)和5个目标(低资源)语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
ER-JEPA: Experience Replay Improves Joint-Embedding Predictive Learning in Language Models
针对LLM-JEPA强对齐但预测不稳定的问题,提出ER-JEPA,通过情节回放存储并检索训练对提供额外监督,在多个数据集上稳定优于LLM-JEPA。
2026-09-30 cs.AI cs.CL
Universal Representation Learning of Knowledge Bases by Jointly Embedding Instances and Ontological Concepts
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
许多大规模的知识库同时表示知识图谱(KG)的两个视图:抽象和常识概念的本体视图,以及从本体概念实例化的特定实体的实例视图。然而,现有的KG嵌入模型仅仅关注于表示两个视图中的一个。在本文中,我们提出了一种新的双视图KG嵌入模型,JOIE,其目标是产生更好的知识嵌入,并实现依赖于多视图知识的新应用程序。JOIE采用跨视图和视图内建模,在知识库的多个方面进行学习。跨视图关联模型被学习以桥接本体概念及其对应的实例视图实体的嵌入。视图内模型被训练以捕获在单独的嵌入空间中的实例和本体视图的结构化知识,其中针对具有层次结构的本体启用层次结构感知编码技术。我们探讨了两个模型组件的多种表示技术,并与九个变种的JOIE调查。我们的模型是在大规模的知识库上训练的,这些知识库由大量的实例及其相应的本体概念组成,这些概念通过一组(小的)跨视图链接连接。在公共数据集上的实验结果表明,JOIE的最佳变体在实例视图三重预测任务和本体视图KG上的本体种群上的性能明显优于以前的模型。此外,我们的模型成功地将KG嵌入的使用扩展到实体类型,具有良好的性能。
2021-03-15 cs.AI cs.DB cs.IR
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
Deep Contrastive Multiview Network Embedding
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
多视图网络嵌入的目的是将网络中的节点投影到低维向量上,同时保留它们的多重关系和属性信息。对比学习方法在这项任务中表现出了良好的性能。然而,他们忽略了融合和视图表示之间的语义一致性,并且难以建模不同视图之间的互补信息。针对这些不足,本文提出了一种新的多视图网络嵌入对比学习框架(CREME)。在我们的工作中,不同的视图可以根据节点之间的各种关系。然后,我们通过适当的视图编码器生成视图嵌入,并利用一个细心的多视图聚合器来融合这些表示。特别地,我们设计了两个协作对比目标,视图融合InfoMax和视图间InfoMin,以自监督的方式对模型进行训练。前一个目标从不同视图生成的嵌入中提取信息,而后者捕获视图之间的互补信息,以促进独特的视图嵌入。我们还表明,这两个目标可以统一为一个目标的模型训练。在三个真实世界数据集上的广泛实验表明,我们提出的CREME能够始终优于最先进的方法。
2022-08-17 cs.AI cs.LG
Generative Retrieval for E-commerce: Jointly Learning Embedding and Codebook with Same Product Cluster
Alibaba Group(阿里巴巴集团)
该研究针对电商生成式检索的级联训练误差累积与交互建模不足问题,提出联合训练嵌入模型和码本并引入产品聚类监督的方法,有效提升了检索性能。
2026-09-01 cs.AI cs.IR
Multi-View Dynamic Heterogeneous Information Network Embedding
Xidian University(西安电子科技大学)
现有的异构信息网络(HIN)嵌入方法大多集中于静态环境,而忽略了现实网络的演化特性。虽然已经提出了几种动态嵌入方法,但它们仅针对同构网络设计,不能直接应用于异构环境。为了解决上述挑战,我们提出了一种新的框架,将时间信息到HIN嵌入,表示为多视图动态HIN嵌入(MDHNE),它可以有效地保持隐式关系的演化模式,从不同的视图更新节点表示随着时间的推移。我们首先将HIN转换为一系列对应于不同视图的同构网络。然后,我们提出的MDHNE应用递归神经网络(RNN)将复杂网络结构的演化模式和节点之间的语义关系纳入潜在嵌入空间,从而可以在HIN随时间演化时学习和更新来自多个视图的节点表示。此外,我们提出了一个基于注意力的融合机制,它可以自动推断权的潜在表示对应于不同的意见,通过最小化特定于不同的挖掘任务的目标函数。大量的实验清楚地表明,我们的MDHNE模型优于国家的最先进的基线上的三个现实世界的动态数据集不同的网络挖掘任务。
2020-11-12 cs.AI cs.LG cs.SI
Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics?
Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系);Northwestern University(西北大学)
本文评估MS-CLAP等联合语言-音频嵌入模型捕捉感知音色语义的能力,发现LAION-CLAP对齐表现较强但整体有限,混响诱导音色语义的编码一致性优于均衡诱导。
2026-08-26 cs.AI cs.SD eess.AS
Scalable attribute-aware network embedding with locality
University of Electronic Science and Technology of China(电子科技大学);IBM T.J.Watson Research Center(IBM T.J.沃森研究中心)
将节点属性加入到网络嵌入中有助于提高学习的联合表示同时从拓扑和属性描述特征的能力。最近的研究联合嵌入已经表现出了很好的性能在各种任务,通过联合嵌入两个空间。然而,由于不可或缺的需求,全球性的信息,现有的方法包含的可扩展性的缺陷。在这里,我们提出了\emph{SANE},一个可扩展的属性感知的网络嵌入算法的局部性,学习从拓扑和属性的联合表示。通过在拓扑和属性空间中强制每个节点与其K-最近邻居之间的局部线性关系的对齐,与单独来自拓扑或属性的单个表示相比,联合嵌入表示具有更多的信息。我们认为\emph{SANE}中的局部性是大规模学习联合表示的关键。通过使用来自不同领域的几个真实世界的网络,我们证明了\emph{SANE}的性能和可扩展性方面的有效性。总的来说,对于标签分类的性能,SANE在大多数数据集上成功地达到了最高的F1分数,与其他最先进的联合表示算法相比,甚至更接近需要标签信息作为额外输入的基线方法。与基于单一拓扑结构的算法相比,\emph{SANE}的性能提高了71.4%.对于可扩展性,我们已经证明了线性时间复杂度的\emph{SANE}。此外,我们直观地观察到,当网络规模扩展到10万个节点时,\emph{SANE}的“学习联合嵌入”步骤只需要$\approx10$秒。
2018-04-30 cs.AI cs.IR cs.LG
mvn2vec: Preservation and Collaboration in Multi-View Network Embedding
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Snap Inc.(Snap公司)
多视图网络广泛存在于现实世界的应用中。与此同时,网络嵌入已经成为一种有效的网络数据表示学习方法。因此,我们有动机研究多视图网络嵌入的问题,重点是嵌入这种类型的网络的具体和重要的优化目标。在我们嵌入真实世界多视图网络的实践中,我们明确确定了两个这样的目标,我们称之为保存和协作。这两个目标的深入分析是整个本文讨论。此外,mvn2vec算法被提出来(i)研究不同程度的保存和协作如何影响嵌入学习,以及(ii)探索通过同时对它们进行建模来实现更好的嵌入质量的可行性。通过对一系列合成数据集、一个大规模的内部Snapchat数据集和两个公共数据集的实验,我们证实了保存和协作作为多视图网络嵌入的两个目标的有效性和重要性。这些实验进一步证明,可以通过同时对两个目标进行建模来获得更好的嵌入,同时不会使模型过于复杂或需要额外的监督。代码和处理后的数据集可在http://yushi2.web.engr.illinois.edu/上获得。
2019-11-03 cs.AI cs.LG cs.NE
Analysis of Twitter Users' Lifestyle Choices using Joint Embedding Model
Purdue University(普渡大学)
本文提出一种结合社交和文本信息的联合嵌入模型,用于学习情境化用户表示,以分析Twitter用户在瑜伽和生酮饮食等活动中的生活方式选择及动机,实验证明该模型在两个领域均提升了性能。
2021-05-04 cs.AI cs.CL cs.CY
Intrinsic-Energy Joint Embedding Predictive Architectures Induce Quasimetric Spaces
Ubisoft La Forge;Inria Scool
本文研究了内在能量联合嵌入预测架构与准度量空间的关系,揭示了内在能量在目标控制中的作用及JEPAs与QRL的联系。
2026-02-12 cs.AI cs.LG
Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models
Graduate School of Data Science, Seoul National University(首尔大学数据科学研究生院)
针对多模态学习中模态缺失问题,提出融合单模态预训练模型参数高效微调与自监督联合嵌入的框架,通过提示微调预测缺失模态嵌入,在多个基准数据集上验证了有效性与鲁棒性。
2024-07-17 cs.AI cs.CV
Video Representation Learning with Joint-Embedding Predictive Architectures
Center for Data Science(数据科学中心);New York University(纽约大学);Courant Institute(库朗研究所);Meta FAIR
本文提出带方差-协方差正则化的VJ-VCR联合嵌入预测架构,用于自监督视频表示学习,避免表示坍缩,其隐藏表示在下游动态理解任务上优于生成式基线,并探索了潜变量以处理未来不确定性。
2024-12-14 cs.AI cs.CV
LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels
Mila & Université de Montréal(Mila与蒙特利尔大学);New York University(纽约大学);Samsung SAIL(三星SAIL);Brown University(布朗大学)
本文提出LeWorldModel,一种通过仅使用两个损失项从原始像素稳定端到端训练的联合嵌入预测架构,显著减少了可调损失超参数,并在多种2D和3D控制任务中表现出色,同时在物理结构编码和物理不合理的事件检测方面展示了其能力。
2026-06-03 cs.AI cs.LG
Scene-centric Joint Parsing of Cross-view Videos
University of California, Los Angeles (UCLA)(加州大学洛杉矶分校);NC State University(北卡罗来纳州立大学)
跨视角视频理解是计算机视觉中一个重要而又未被充分研究的领域。在本文中,我们介绍了一个联合解析框架,集成视图为中心的建议到场景为中心的解析图,代表一个连贯的场景为中心的理解跨视图场景。我们的主要意见是,重叠的视野嵌入丰富的外观和几何相关性和知识片段对应的个人视觉任务的一致性约束,在常识知识。建议的联合解析框架表示这种相关性和约束明确,并生成语义场景为中心的解析图。定量实验表明,场景为中心的预测分析图优于视图为中心的预测。
2018-02-05 cs.AI cs.CV
JointSplat: Probabilistic Joint Flow-Depth Optimization for Sparse-View Gaussian Splatting
Faculty of Engineering and Information Technology University of Technology Sydney(工程与信息技术学院,悉尼科技大学)
JointSplat提出基于光流匹配概率的像素级概率优化机制与多视角深度一致性损失,融合光流和深度互补信息,在稀疏视角三维重建中超越现有SOTA方法。
2025-06-04 cs.AI cs.CV
Joint Embeddings Go Temporal
KTH Stockholm(瑞典斯德哥尔摩皇家理工学院);New York University(纽约大学);Flatiron Institute(Flatiron研究所)
本文提出面向时间序列表示学习的 TS-JEPA,在潜在空间进行自监督学习,并在分类与预测任务上匹敌或超越现有基线,为时间序列基础模型奠定基础。
2025-09-29 cs.AI cs.LG
Audio-JEPA: Joint-Embedding Predictive Architecture for Audio Representation Learning
IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立理工学院);Queen Mary University of London(伦敦玛丽女王大学)
本文提出Audio-JEPA,将联合嵌入预测架构应用于音频,通过Vision Transformer预测被掩蔽频谱图补丁的潜在表示,在仅用不到五分之一训练数据且无超参数调优的情况下,在X-ARES基准上取得与wav2vec 2.0和data2vec相当的性能。
2026-09-29 cs.AI cs.LG cs.SD
MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning
University of Oxford(牛津大学)
MA-JEPA提出一种基于JEPA的随机世界模型,通过预测目标表征替代观测重建,实现多智能体强化学习的集中训练与分散执行,在SMAC上表现优异。
2026-10-09 cs.AI cs.LG cs.MA
AM^2-EmoJE: Adaptive Missing-Modality Emotion Recognition in Conversation via Joint Embedding Learning
The State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出AM^2-EmoJE模型,通过查询自适应融合和多模态联合嵌入学习模块处理测试时的模态缺失问题,在加权F1分数上提升2-5%,并利用肢体语言增强隐私保护。
2024-01-26 cs.AI cs.CV cs.LG
Does Joint-Embedding Predictive Architecture Pretraining Help Time Series Forecasting?
本研究大规模评估JEPA预训练在九种骨干网络和十一个基准上的效果,发现其收益因架构而异,既有增益也有退化,表明该变异性是普遍属性,选择骨干网络时需考虑。
2026-09-29 cs.AI cs.LG stat.ML
From Video to EEG: Adapting Joint Embedding Predictive Architecture to Uncover Saptiotemporal Dynamics in Brain Signal Analysis
本文提出EEG-VJEPA,通过将EEG视为视频序列,利用联合嵌入和自适应掩码学习空间时间表示,提升分类准确率并提供可解释的嵌入,适用于实际临床场景。
2026-03-12 cs.AI cs.CV cs.LG
Appearance Codes using Joint Embedding Learning of Multiple Modalities
Princeton University(普林斯顿大学)
针对外观编码需为每个场景重新训练的限制,提出通过对比损失学习多模态联合嵌入空间的框架,在RADIANT数据集上无需额外优化即可生成相似质量的新视角渲染。
2023-11-19 cs.AI cs.CV
Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室(巴黎));Sony AI(索尼人工智能)
本文提出基于联合嵌入预测架构的新方法,通过条件化预测器实现零样本音乐分轨检索,并在MUSDB18和MoisesDB数据集上显著优于基线,同时验证了嵌入保留时间结构。
2025-02-24 cs.AI cs.SD eess.AS
LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting
WAIR, Amsterdam(阿姆斯特丹WAIR公司)
LaT-PFN 结合 PFN 与 JEPA 框架,在潜在空间进行上下文学习,利用相关序列和归一化时间轴实现零样本时间序列预测,优于基线并产生信息丰富的嵌入。
2024-05-22 cs.AI cs.LG stat.ML
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI;Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Courant Institute, New York University(纽约大学柯朗研究所);Center for Data Science, New York University(纽约大学数据科学中心)
提出MC-JEPA联合嵌入预测架构,通过共享编码器联合学习光流与内容特征,实现两类任务性能比肩现有方法,得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning
CMU(卡内基梅隆大学);NYU(纽约大学)
针对I-JEPA的完全坍缩与均值学习不足问题,本文提出融合VICReg的C-JEPA框架,并在ImageNet-1K上验证其表征稳定性、质量及收敛性能提升。
2024-10-25 cs.AI cs.CV cs.LG