Kernel spectral joint embeddings for high-dimensional noisy datasets using duo-landmark integral operators
Department of Statistics, University of California, Davis(统计系,加州大学戴维斯分校);Department of Biostatistics, T.H. Chan School of Public Health, Harvard University(生物统计系,哈佛大学T.H. Chan公共卫生学院);Department of Data Science, Dana-Farber Cancer Institute(数据科学系,达纳-法伯癌症研究所);Broad Institute of MIT and Harvard(哈佛大学和MIT Broad研究所)
本文提出基于双地标积分算子的核谱联合嵌入方法,用于高维噪声数据集的整合分析,通过捕捉共享低维结构提升嵌入质量并增强下游任务性能。
2026-02-27 cs.LG stat.ML
Joint Dimensionality Reduction for Separable Embedding Estimation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nanyang Technological University(南洋理工大学)
针对不同数据源的低维嵌入在多模态机器学习、多媒体信息检索和生物信息学中起着关键作用。在本文中,我们提出了一种监督降维方法,学习线性嵌入联合两个特征向量表示数据的不同形式或数据从不同类型的实体。我们还提出了一个有效的特征选择方法,补充,并可以应用之前,我们的联合降维方法。假设这些特征存在真实的线性嵌入,我们对学习的线性嵌入中的误差的分析提供了理论保证,即当满足某些技术条件并且样本数量足够大时,降维方法可以准确地估计真实嵌入。衍生的样本复杂性的结果是呼应的数值实验。我们将所提出的降维方法应用于基因-疾病关联,并在降维后的特征向量上使用核回归来预测未知关联。我们的方法与其他降维方法以及最先进的双线性回归预测基因-疾病关联的方法相比毫不逊色。
2021-01-14 cs.LG
High-order joint embedding for multi-level link prediction
University of California, Irvine(加州大学尔湾分校)
链接预测是从观测到的网络中推断出潜在的链接,是网络分析中的基本问题之一。与传统的图表示模型只预测双向成对关系不同,本文提出了一种新的基于张量的联合网络嵌入方法,将成对链接和超链接同时编码到一个潜在空间中,该方法在推断潜在的不可观察超链接时捕获了成对链接和多路链接之间的依赖关系.所提出的嵌入过程的主要优点是,它结合了节点之间的成对关系和子组结构,以捕获更丰富的网络信息。此外,该方法引入了链接之间的层次依赖关系来推断潜在的超链接,并导致更好的链接预测。在理论上,我们建立了所提出的嵌入方法的估计一致性,并提供了一个更快的收敛速度相比,链接预测利用成对链接或超链接。仿真环境和Facebook自我网络的数值研究表明,所提出的方法提高了超链接和成对链接预测的准确性相比,现有的链接预测算法。
2021-11-07 cs.LG cs.SI stat.ML
Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们考虑的问题,多标签分类的标签位于一个层次结构。然而,与大多数现有的作品在分层多标签分类,我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功,这让我们受到鼓舞,我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势:i)分类器更好地泛化,因为它利用了标签上存在层次结构的先验知识,以及ii)除了标签同现信息之外,标签嵌入还可以受益于输入数据点的流形结构,从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明,联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外,建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习,并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
Joint Embedding of Meta-Path and Meta-Graph for Heterogeneous Information Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Cornell University(康奈尔大学);The University of Hong Kong(香港大学);Facebook(脸书)
元图是目前异构信息网络相似性搜索最有效的工具,元图是一组元路径的组合,它捕捉了复杂的结构信息。然而,目前基于元图的相关性计算只考虑了复杂的结构信息,而忽略了其嵌入的元路径信息。为了解决这个问题,我们提出了基于MEta-GrAph的网络嵌入模型,分别称为MEGA和MEGA++。MEGA模型同时使用从元图及其嵌入的节点之间的元路径导出的归一化相关性或相似性度量,然后利用张量分解方法执行节点嵌入。MEGA++进一步利用耦合张量矩阵分解方法获得节点的联合嵌入,同时考虑了元图所有Meta信息的隐藏关系,在两个真实数据集上的大量实验表明MEGA和MEGA++比现有方法更有效.
2018-09-11 cs.LG cs.SI stat.ML
A Framework for Joint Unsupervised Learning of Cluster-Aware Embedding for Heterogeneous Networks
Technical University of Munich(慕尼黑工业大学);Mercateo AG(Mercateo公司)
异构信息网络(HIN)嵌入是指保持HIN结构和语义的HIN节点的低维投影。HIN嵌入已经成为网络分析的一个有前途的研究领域,因为它可以实现聚类和节点分类等下游任务。在这项工作中,我们提出了\ours集群嵌入以及集群感知HIN嵌入的联合学习。我们假设连接的节点很有可能落在同一个集群,并采用变分的方法来保持信息的成对关系在集群感知的方式。此外,我们部署对比模块,同时利用多个元路径中的信息,从而缓解元路径选择问题-许多著名的HIN嵌入方法所面临的挑战。HIN嵌入,从而学习,不仅提高了聚类性能,但也保留了成对的接近度以及高阶HIN结构。我们通过将其与三个真实数据集上的聚类和下游节点分类的许多竞争基线进行比较,展示了我们方法的有效性。
2021-08-09 cs.LG
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
词嵌入是文本文档中单个词在向量空间中的表示,它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA(Supervised Word Embeddings for情感分析)。SWESA利用文档标签信息,通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题,从适度的文本文档语料库中学习词的向量表示。分析表明,SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明,SWESA具有优越的性能相比,以前建议的方法,词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
Scalable attribute-aware network embedding with locality
University of Electronic Science and Technology of China(电子科技大学);IBM T.J.Watson Research Center(IBM T.J.沃森研究中心)
将节点属性加入到网络嵌入中有助于提高学习的联合表示同时从拓扑和属性描述特征的能力。最近的研究联合嵌入已经表现出了很好的性能在各种任务,通过联合嵌入两个空间。然而,由于不可或缺的需求,全球性的信息,现有的方法包含的可扩展性的缺陷。在这里,我们提出了\emph{SANE},一个可扩展的属性感知的网络嵌入算法的局部性,学习从拓扑和属性的联合表示。通过在拓扑和属性空间中强制每个节点与其K-最近邻居之间的局部线性关系的对齐,与单独来自拓扑或属性的单个表示相比,联合嵌入表示具有更多的信息。我们认为\emph{SANE}中的局部性是大规模学习联合表示的关键。通过使用来自不同领域的几个真实世界的网络,我们证明了\emph{SANE}的性能和可扩展性方面的有效性。总的来说,对于标签分类的性能,SANE在大多数数据集上成功地达到了最高的F1分数,与其他最先进的联合表示算法相比,甚至更接近需要标签信息作为额外输入的基线方法。与基于单一拓扑结构的算法相比,\emph{SANE}的性能提高了71.4%.对于可扩展性,我们已经证明了线性时间复杂度的\emph{SANE}。此外,我们直观地观察到,当网络规模扩展到10万个节点时,\emph{SANE}的“学习联合嵌入”步骤只需要$\approx10$秒。
2018-04-30 cs.AI cs.IR cs.LG
Learning State-Space Models of Dynamic Systems from Arbitrary Data using Joint Embedding Predictive Architectures
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出一种利用联合嵌入预测架构和神经常微分方程从任意观测数据创建连续时间动态世界模型的新技术,通过强制收缩嵌入和Lipschitz常数的损失函数构建潜在状态空间,并在单摆图像数据上验证了有效性。
2025-08-14 cs.LG
Does Joint-Embedding Predictive Architecture Pretraining Help Time Series Forecasting?
本研究大规模评估JEPA预训练在九种骨干网络和十一个基准上的效果,发现其收益因架构而异,既有增益也有退化,表明该变异性是普遍属性,选择骨干网络时需考虑。
2026-09-29 cs.AI cs.LG stat.ML
Community-preserving Graph Convolutions for Structural and Functional Joint Embedding of Brain Networks
Tongji University(同济大学);Google Research(谷歌研究院);Intel Labs(英特尔实验室);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);The University of Chicago(芝加哥大学);Northwestern University(西北大学)
由于脑网络对于理解人脑组织、研究神经系统疾病和临床诊断应用的重要意义,脑网络受到了相当大的关注。结构脑网络(如DTI)和功能脑网络(如fMRI)是主要的感兴趣的网络。现有的脑网络分析大多集中在结构或功能连接上,不能充分利用彼此之间的互补信息。虽然已经提出了多视图学习方法来从两个网络(或视图)学习,但这些方法旨在在多个视图之间达成共识,因此可以忽略每个视图的不同内在属性。如何从结构和功能脑网络中联合学习表征,同时保持其固有特性是一个关键问题。本文提出了一种Siamese社区保持图卷积网络(SCP-GCN)框架,用于学习脑网络的结构和功能联合嵌入。具体来说,我们使用图卷积来学习结构和功能联合嵌入,其中图结构是用结构连通性定义的,节点特征来自功能连通性。此外,我们建议通过考虑学习过程中的社区内和社区间属性来保持图卷积中大脑网络的社区结构。此外,我们使用Siamese架构,该架构对成对相似性学习进行建模,以指导学习过程。为了评估所提出的方法,我们在两个真实的大脑网络数据集上进行了广泛的实验。实验结果表明,该方法在神经系统疾病分析的结构和功能关节嵌入方面具有优越的性能,表明其具有良好的临床应用价值。
2019-11-08 cs.LG eess.IV stat.ML
BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning
BiJEPA通过双向联合嵌入预测架构解决对称预测中的表示爆炸问题,实现稳定收敛并提升对混沌系统的语义表征能力。
2026-02-10 cs.LG
Joint Visual-Textual Embedding for Multimodal Style Search
Amazon Lab126(亚马逊Lab126)
我们介绍了一种多模态视觉文本搜索细化方法的时尚服装。现有的搜索引擎不能实现基于特定产品的属性对检索结果的直观的、交互式的细化。我们提出了一种方法来检索相似的项目,基于查询项目的图像和文本细化属性。我们相信这种方法可以用来解决许多现实生活中的客户场景,其中需要不同颜色,图案,长度或风格的类似物品。我们采用了一种联合嵌入训练方案,其中产品图像及其目录文本元数据在共享空间中紧密映射。这种联合视觉-文本嵌入空间允许基于文本细化要求在语义上操纵目录图像。我们提出了一个新的训练目标函数,小批量匹配检索,并证明了它的优越性比常用的三重损失。此外,我们还演示了添加属性提取模块的可行性,该模块在相同的目录数据上进行训练,并演示了如何将其集成到多模态搜索中以提高其性能。我们介绍了一个评估协议与相关的基准,并比较几种方法。
2019-06-15 cs.CV cs.IR cs.LG
LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting
WAIR, Amsterdam(阿姆斯特丹WAIR公司)
LaT-PFN 结合 PFN 与 JEPA 框架,在潜在空间进行上下文学习,利用相关序列和归一化时间轴实现零样本时间序列预测,优于基线并产生信息丰富的嵌入。
2024-05-22 cs.AI cs.LG stat.ML
Joint Embedding of Words and Labels for Text Classification
Duke University(杜克大学)
词嵌入是在学习文本序列表示时捕捉词间语义重叠的有效中间表示。我们建议将文本分类视为标签-词联合嵌入问题:每个标签与词向量嵌入在同一空间中。我们引入了一个注意力框架,衡量文本序列和标签之间的嵌入的兼容性。注意力是在标记样本的训练集上学习的,以确保在给定文本序列的情况下,相关单词的权重高于不相关单词。我们的方法保持了词嵌入的可解释性,并且除了输入文本序列之外,还具有利用替代信息源的内置能力。在几个大型文本数据集上的广泛结果表明,所提出的框架在准确性和速度方面都大大优于最先进的方法。
2018-05-10 cs.CL cs.LG
Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
针对谱聚类中嵌入与聚类分离及高维数据维度灾难问题,提出深度谱聚类(DSC),通过深度网络和幂迭代学习嵌入,并用贪心策略优化Kmeans,端到端联合训练,在七个数据集上达到最优性能。
2024-12-15 cs.CV cs.LG
TabEmb: Joint Semantic-Structure Embedding for Table Annotation
School of Computing Science(计算科学学院);Simon Fraser University(西蒙弗雷泽大学)
本文提出TabEmb,通过解耦语义编码与结构建模,改进表格标注任务。模型利用LLM生成列语义嵌入,并通过图模块注入列间关系,提升语义与结构联合表示的性能。
2026-04-21 cs.LG
Joint Metric Space Embedding by Unbalanced OT with Gromov-Wasserstein Marginal Penalization
针对无对应异构数据的无监督对齐,提出带 Gromov-Wasserstein 边缘惩罚的非平衡最优传输联合嵌入方法,证明极小元存在性与极限收敛性,并给出可块坐标下降求解的松弛及数值验证。
2025-05-13 cs.LG
Memotion Analysis through the Lens of Joint Embedding
IIIT Sri City(印度信息技术学院斯里城分校);UCLA(加州大学洛杉矶分校);Wipro AI Labs(威普罗人工智能实验室);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
联合嵌入(JE)是一种将多模态数据编码到向量空间中的方法,其中文本仍然作为基础键,其他模态(如图像)将与此类键锚定。模因是一种典型的带有嵌入文本的图像。虽然模因通常用于娱乐,但它们也可以用于传播仇恨和虚假信息。随着它在几个社交平台上越来越普遍,对模因的自动分析已经成为一个广泛的研究课题。在本文中,我们报告了我们的初步实验Memotion分析问题,通过联合嵌入。结果是勉强产生SOTA。
2021-12-03 cs.AI cs.CL cs.CV
Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
提出了一种从自然语言生成彩色三维图形的方法。为此,我们首先学习自由形式的文本描述和彩色3D形状的联合嵌入。我们的模型结合并扩展了关联学习和度量学习方法,以学习隐式跨模态连接,并产生一个联合表示,该表示捕获了语言与3D形状的物理属性(如颜色和形状)之间的多对多关系。为了评估我们的方法,我们在ShapeNet数据集中收集了一个大型的物理3D对象的自然语言描述数据集。通过这种学习联合嵌入,我们证明了文本到形状检索优于基线方法。使用我们的嵌入与一个新的条件Wasserstein GAN框架,我们从文本生成彩色3D形状。我们的方法是第一个连接自然语言文本与现实的3D对象表现出丰富的变化,颜色,纹理和形状的细节。观看视频https://youtu.be/zraPvRdl13Q
2018-03-22 cs.AI cs.CV cs.GR
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Intapp Inc.(Intapp公司)
我们提出了一个架构,共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比,我们的方法不需要将标签嵌入作为输入的一部分,因此可以很好地适用于各种模型架构。此外,我们的架构计算单词和标签之间的上下文距离,以避免添加上下文窗口,从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法,并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Optimizing the Induced Correlation in Omnibus Joint Graph Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学);Indiana University(印第安纳大学);Rosalind Franklin University of Medicine and Science(罗莎琳德·富兰克林医科大学);Deus Ex Machina
本文针对Omnibus联合图嵌入中的算法诱导相关性问题,提出corr2Omni算法自动估计广义Omnibus权重以诱导最优相关性,并证明经典Omnibus构造诱导最大平坦相关性,实验表明所提算法优于经典构造。
2024-09-30 cs.LG math.ST stat.ME
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
针对聚合物标注数据集稀缺问题,研究在聚合物分子图上应用JEPA进行自监督预训练,证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
Joint Wasserstein Autoencoders for Aligning Multimodal Embeddings
TU Darmstadt(达姆施塔特工业大学)
学习多模态(例如图像和文本)的联合嵌入的关键挑战之一是确保跨数据集推广的连贯的跨模态语义。我们建议通过联合高斯正则化的潜在表示来解决这个问题。基于Wasserstein自编码器(WAE)对每个域中的输入进行编码,我们将潜在嵌入强制为类似于两个域之间共享的高斯先验,确保图像和文本的编码语义表示的兼容连续性。语义对齐是通过匹配的图像-文本对的监督来实现的。为了展示我们的半监督表示的好处,我们将其应用于跨模态检索和短语本地化。由于潜在空间的语义连续性,我们不仅实现了最先进的准确性,而且在数据集之间具有更好的泛化能力。
2019-09-14 cs.CL cs.CV cs.LG
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Contextual Joint Factor Acoustic Embeddings
University of Sheffield(谢菲尔德大学)
将声学信息嵌入到固定长度表示中对于语音和音频技术中的整个范围的应用是感兴趣的。提出了两种新的无监督的方法来生成声学嵌入的声学上下文建模。第一种方法是上下文联合因子合成编码器,其中编码器/解码器框架中的编码器被训练为从周围音频帧提取联合因子以最佳地生成目标输出。第二种方法是上下文联合因子分析编码器,其中编码器被训练为分析来自与相邻音频最佳相关的源信号的联合因子。为了评估我们的方法的有效性相比,以前的工作,两个任务进行-电话分类和说话人识别-和测试不同的TIMIT数据集。实验结果表明,所提出的方法优于电话分类基线,产生74.1%的分类准确率。当使用额外的域外数据进行训练时,对于电话分类和说话人识别任务,可以获得额外的3%的改进。
2021-02-05 cs.AI cs.CL cs.LG
Multi-Agent Model-Based Reinforcement Learning with Joint State-Action Learned Embeddings
McGill University(麦吉尔大学)
本文提出了一种基于联合状态-动作学习嵌入的多智能体模型驱动强化学习框架,通过统一表示学习与想象式回放,提升智能体在动态环境中协调能力与长期规划效率。
2026-02-13 cs.LG cs.MA
Gaussian Joint Embeddings For Self-Supervised Representation Learning
本文提出基于生成联合建模的高斯联合嵌入(GJE)和其多模态扩展GMJE,通过联合密度建模替代黑盒预测,实现对潜在空间几何的控制,并解决传统方法在多模态逆问题中的局限性。
2026-03-26 cs.LG
JEFL: Joint Embedding of Formal Proof Libraries
University of Innsbruck(因斯布鲁克大学);University of Warsaw(华沙大学)
在不同的交互式证明助手库中使用的逻辑基础的异质性使得在它们之间发现相似的数学概念变得困难。在本文中,我们比较了以前提出的算法,我们的无监督嵌入方法,可以帮助我们检索类似的概念,跨库匹配的概念。我们的方法是基于Word2Vec的快速文本实现,在此之上添加了一个树遍历模块,以适应我们的数据导出管道的表示格式的算法。我们比较的可解释性,可定制性和在线服务的方法,并认为神经嵌入方法有更多的潜力被集成到一个互动的证明助手。
2021-07-21 cs.CL cs.LG cs.LO
Intrinsic-Energy Joint Embedding Predictive Architectures Induce Quasimetric Spaces
Ubisoft La Forge;Inria Scool
本文研究了内在能量联合嵌入预测架构与准度量空间的关系,揭示了内在能量在目标控制中的作用及JEPAs与QRL的联系。
2026-02-12 cs.AI cs.LG
OntoEA: Ontology-guided Entity Alignment via Joint Knowledge Graph Embedding
Tencent Jarvis Lab(腾讯天衍实验室);Tencent(腾讯);University of Oxford(牛津大学)
语义嵌入已被广泛研究用于对齐知识图谱(KG)实体。目前的方法已经探索和利用了图结构,实体名称和属性,但忽略了本体(或本体模式),其中包含关键的Meta信息,如类和它们与实体的成员关系。在本文中,我们提出了一个本体指导的实体对齐方法命名为OntoEA,其中两个KG和它们的本体联合嵌入,类层次结构和类不相交性,以避免错误的映射。在七个公共和工业基准上的广泛实验证明了OntoEA的最新性能和本体的有效性。
2021-05-24 cs.AI cs.CL cs.LG
Entropic Optimal Transport Eigenmaps for Nonlinear Alignment and Joint Embedding of High-Dimensional Datasets
Department of Electrical and Computer Engineering, Yale University(耶鲁大学电气与计算机工程系);Department of Biostatistics, Harvard University(哈佛大学生物统计学系);Program in Applied Mathematics, Yale University(耶鲁大学应用数学项目);Interdepartmental Program in Computational Biology and Bioinformatics, Yale University(耶鲁大学计算生物学与生物信息学跨学科项目);Department of Pathology, Yale University School of Medicine(耶鲁大学医学院病理学系)
提出熵最优传输特征映射方法,通过EOT计划矩阵的奇异向量对齐和联合嵌入两个数据集,具有理论保证,在生成模型下证明其收敛性,并在模拟和真实生物数据中展示优势。
2026-06-07 cs.LG math.ST stat.ML
Joint Embedding Predictive Architectures Focus on Slow Features
New York University(纽约大学);Meta AI;Prescient Design Genentech(基因泰克Prescient Design部门);CIFAR(加拿大高等研究院)
用于学习用于基于像素的环境的世界模型的许多常见方法使用用像素级重构目标训练的生成架构。最近提出的联合嵌入预测架构(JEPA)提供了一种免重建的替代方案。在这项工作中,我们分析了在完全离线设置中使用VICReg和Simplified目标训练的JEPA的性能,而无需获得奖励,并将结果与生成架构的性能进行比较。我们在一个简单的环境中测试的方法与移动的点与各种背景干扰,并探测学到的表示点的位置。我们发现,JEPA方法执行的标准或优于重建时,干扰噪声的变化,每一个时间步,但失败时,噪声是固定的。此外,我们提供了一个理论解释的JEPA为基础的方法与固定噪声的性能不佳,突出了一个重要的限制。
2022-11-20 cs.LG
S-JEA: Stacked Joint Embedding Architectures for Self-Supervised Visual Representation Learning
University of Aberdeen(阿伯丁大学)
针对自监督学习难以学习可分离分层语义表示的问题,提出堆叠联合嵌入架构(S-JEA),通过堆叠JEA使高层输入低层表示,学习可分离的语义层次,并在参数相当下达到传统JEA性能,可视化验证层次结构。
2024-11-04 cs.CV cs.LG
Incorporating Joint Embeddings into Goal-Oriented Dialogues with Multi-Task Learning
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫应用信息技术研究所)
基于注意力的编码解码器神经网络模型最近在面向目标的对话系统中显示出了有希望的结果。然而,这些模型在保留其端到端文本生成功能的同时,很难推理和合并状态完整的知识。由于这些模型可以极大地受益于用户意图和知识图谱集成,在本文中,我们提出了一种基于RNN的端到端编码器-解码器架构,该架构使用知识图谱和语料库的联合嵌入作为输入进行训练。该模型提供了用户意图与文本生成的额外集成,使用多任务学习范式以及额外的正则化技术进行训练,以惩罚生成错误的实体作为输出。该模型还在推理期间结合了知识图谱实体查找,以保证基于所提供的本地知识图谱生成的输出是状态完整的。最后,我们使用BLEU分数对模型进行了评估,实证评估表明,我们提出的架构可以帮助改善面向任务的对话系统的性能。
2020-01-28 cs.CL cs.LG cs.NE
Joint Learning of Context and Feedback Embeddings in Spoken Dialogue
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出使用对比学习目标将简短对话上下文与反馈回应嵌入同一表示空间,该方法在美式英语对话的反馈排序任务中优于人类,且学到的嵌入包含了会话功能信息。
2024-06-11 cs.AI cs.CL cs.LG
Universal Joint Approximation of Manifolds and Densities by Simple Injective Flows
Rice University(莱斯大学);University of Helsinki(赫尔辛基大学);University of Basel(巴塞尔大学)
研究了嵌入在$\mathbb{R}^m$中的$n$维流形上的概率测度的内射流逼近问题--由可逆流和内射层组成的神经网络.我们表明,在一般情况下,$\mathbb{R}^n$和$\mathbb{R}^m$之间的内射流普遍近似的措施,支持图像的可扩展嵌入,这是一个子集的标准嵌入:当嵌入维数m是小的,拓扑障碍可能会排除某些流形作为容许的目标。当嵌入维数足够大时,$m \ge 3n+1$,我们使用代数拓扑学中的一个参数,称为干净的技巧,证明拓扑障碍消失,内射流普遍逼近任何可微嵌入。一路上,我们表明,所研究的内射流承认有效的投影范围内,他们的最优性可以建立“在相反的”,解决了一个猜想,在Bubermer和Cranmer 2020。
2022-06-27 cs.LG
Improved Speech Separation with Time-and-Frequency Cross-domain Joint Embedding and Clustering
National Taiwan University(台湾大学)
语音分离在深度学习技术方面非常成功。基于频谱图的方法已经报道了大量的努力,频谱图是众所周知的语音信号的标准时间和频率跨域表示。它与语音的语音结构高度相关,或者当被人类感知时“语音听起来如何”,但主要是承载时间行为的频域特征。最近有报道说,在时域上实现语音分离的工作非常令人印象深刻,这可能是因为时域中的波形可以以比谱图更精确的方式描述语音的不同实现。在本文中,我们提出了一个框架,适当地结合上述两个方向,希望达到这两个目的。我们通过连接一维卷积编码特征图(时域)和频谱图(频域)来构建时间和频率特征图,然后通过嵌入网络和聚类方法进行处理,这些方法与时域和频域先前的工作非常相似。通过这种方式,在嵌入和聚类过程中可以联合考虑时域和频域中的信息以及它们之间的相互作用。在初步实验中,使用WSJ 0 - 2 mix数据集获得了非常令人鼓舞的结果(据我们所知是最先进的)。
2019-04-16 cs.LG cs.SD eess.AS
Joint Embedding Learning of Educational Knowledge Graphs
本文针对教育知识图谱中结构关系价值有限、字面信息更重要的特点,提出一种联合学习结构信息和字面信息的嵌入模型,并在真实教育知识图谱及基准图上验证了其有效性和优越性。
2019-12-23 cs.AI cs.CL cs.LG
LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels
Mila & Université de Montréal(Mila与蒙特利尔大学);New York University(纽约大学);Samsung SAIL(三星SAIL);Brown University(布朗大学)
本文提出LeWorldModel,一种通过仅使用两个损失项从原始像素稳定端到端训练的联合嵌入预测架构,显著减少了可调损失超参数,并在多种2D和3D控制任务中表现出色,同时在物理结构编码和物理不合理的事件检测方面展示了其能力。
2026-06-03 cs.AI cs.LG
Graph-level Representation Learning with Joint-Embedding Predictive Architectures
Bocconi University(博科尼大学);Michigan State University(密歇根州立大学);University of Verona(维罗纳大学)
本文提出Graph-JEPA,一种基于联合嵌入预测架构的图级自监督表示学习方法,通过掩码建模预测子图表示,并在单位双曲线上预测坐标以捕获层次结构,实验证明其在图分类、回归和区分非同构图任务上表现优异。
2025-01-18 cs.LG
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于情感分析的评论文本的情感分析对于以细粒度的方式理解用户反馈具有重要价值。它通常有两个子任务:(i)从每个评论中提取方面,以及(ii)根据情感极性对基于方面的评论进行分类。在本文中,我们提出了一个弱监督的方法,基于方面的情感分析,它只使用几个关键字描述每个方面/情感,而不使用任何标记的例子。现有的方法要么只为其中一个子任务而设计,忽略了耦合两者的好处,要么基于可能包含重叠概念的主题模型。我们建议首先通过实施正则化来鼓励主题独特性,从而在词嵌入空间中学习<sentiment,aspect>联合主题嵌入,然后使用神经模型通过使用基于嵌入的预测预训练分类器并在未标记的数据上进行自我训练来概括词级判别信息。我们的综合性能分析表明,我们的方法生成高质量的联合主题,并在基准数据集上显著优于基线(方面和情感分类的平均F1得分分别增加7.4%和5.1%)。我们的代码和数据可在https://github.com/teapot123/JASen上获得。
2020-10-13 cs.CL cs.IR cs.LG
Joint Text Embedding for Personalized Content-based Recommendation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Etsy Inc.(Etsy公司);Yahoo! Research(雅虎研究院);Facebook(脸书)
学习良好的文本表示是许多推荐应用程序的关键。示例包括新闻推荐,其中每天不断地发布要推荐的文本。然而,大多数现有的推荐技术,如基于矩阵分解的方法,主要依赖于交互历史来学习项目的表示。虽然可以从用户交互数据中有效地学习项目的潜在因素,但在许多情况下,这样的数据是不可用的,特别是对于新出现的项目。在这项工作中,我们的目标是解决这个问题的个性化推荐完全新的项目与文本信息。我们铸造的问题作为一个个性化的文本排名问题,并提出了一个通用的框架,结合文本嵌入与个性化推荐。用户和文本内容被嵌入到潜在的特征空间。文本嵌入功能可以通过预测用户与项目的交互来端到端学习。为了减轻交互数据的稀疏性,并利用大量的文本数据,很少或没有用户交互,我们进一步提出了一个联合文本嵌入模型,该模型将无监督文本嵌入与组合模块相结合。实验结果表明,我们的模型可以显着提高推荐系统的有效性在现实世界的数据集。
2017-06-23 cs.CL cs.IR cs.LG
Learning Joint Acoustic-Phonetic Word Embeddings
Voicea(Voicea公司)
大多数语音识别任务都涉及到跨两种模态映射单词:声学模态和拼写模态。在这项工作中,我们建议学习编码器,将表示单词的可变长度,声学或语音序列映射到共享潜在空间中的固定维向量中;这样两个单词向量之间的距离就表示两个单词听起来有多接近。我们没有直接学习词向量之间的距离,而是采用弱监督并对二元分类任务进行建模,以预测两个输入(每个模态之一)是否代表给定距离阈值的同一个词。我们探索了各种深度学习模型,双峰对比损失,以及挖掘困难的负面例子的技术,如自我标记的半监督技术。我们最好的模型实现了二进制分类任务的$F_1$得分为0.95。
2019-08-01 cs.CL cs.LG cs.SD
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh(匹兹堡大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Xidian University(西安电子科技大学);University of Sydney(悉尼大学)
图像聚类是计算机视觉最重要的应用之一,在文献中得到了广泛的研究。然而,现有的聚类方法在处理大规模、高维数据时,大多缺乏效率和可扩展性。在本文中,我们提出了一个新的聚类模型,称为DEeP嵌入正则化的聚类(DEPICT),它有效地将数据映射到一个有区别的嵌入子空间,并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数,使用相对熵(KL发散)最小化,正则化的集群分配的频率之前。一个交替的策略,然后推导出优化的目标,通过更新参数和估计集群分配。此外,我们在自动编码器中使用重建损失函数作为数据相关的正则化项,以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性,我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数,并同时训练所有网络层。实验结果表明,DEPICT的优越性和更快的运行时间在现实世界的聚类任务,其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
Joint Embeddings Go Temporal
KTH Stockholm(瑞典斯德哥尔摩皇家理工学院);New York University(纽约大学);Flatiron Institute(Flatiron研究所)
本文提出面向时间序列表示学习的 TS-JEPA,在潜在空间进行自监督学习,并在分类与预测任务上匹敌或超越现有基线,为时间序列基础模型奠定基础。
2025-09-29 cs.AI cs.LG
Denoising with a Joint-Embedding Predictive Architecture
Meituan(美团);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出D-JEPA,将联合嵌入预测架构与扩散损失或流匹配损失结合用于生成建模,在ImageNet条件生成上以更少训练轮数超越以往模型,并适用于视频和音频等连续数据建模。
2025-02-04 cs.CV cs.LG
MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning
FAIR at Meta(Meta AI研究实验室);New York University(纽约大学)
提出MJEPA,使用统一编码器和单一预测目标进行跨模态预测,在音频分类任务上超越先前方法,并减少视频数据需求。
2026-06-25 cs.CV cs.LG
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题,一些研究已经应用到策略,利用层次结构的问题,大量的类别。目前,层次文本分类(HTC)受到了广泛的关注,具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中,我们提出了一种基于分层微调有序神经元LSTM(HFT-ONLSTM)的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明,我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Optimizing CLIP Models for Image Retrieval with Maintained Joint-Embedding Alignment
HTW Berlin(柏林工程应用科学大学)
本文针对CLIP模型在图像检索中难以区分视觉不同但标题相似的图像的问题,提出顺序微调和伪标题对齐两种优化方法,在保持文本-图像对齐的同时提升图像检索、k-NN分类和零样本分类性能,并简化多模态检索系统基础设施。
2024-09-03 cs.CV cs.LG
MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning
University of Oxford(牛津大学)
MA-JEPA提出一种基于JEPA的随机世界模型,通过预测目标表征替代观测重建,实现多智能体强化学习的集中训练与分散执行,在SMAC上表现优异。
2026-10-09 cs.AI cs.LG cs.MA
AM^2-EmoJE: Adaptive Missing-Modality Emotion Recognition in Conversation via Joint Embedding Learning
The State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出AM^2-EmoJE模型,通过查询自适应融合和多模态联合嵌入学习模块处理测试时的模态缺失问题,在加权F1分数上提升2-5%,并利用肢体语言增强隐私保护。
2024-01-26 cs.AI cs.CV cs.LG
Scalable and Efficient Joint Spiking Embedding Predictive Architecture for Large-Scale Dynamic Graphs
Sun Yat-sen University(中山大学)
针对现实世界动态图标记数据稀缺问题,提出SG-JEPA架构,通过沿时间维度划分节点并利用脉冲神经元编码,学习相互预测的嵌入,在节点分类任务中性能优于判别基线,且训练效率和内存可扩展性高。
2026-07-22 cs.LG cs.NE