Joint Embedding Learning of Educational Knowledge Graphs
本文针对教育知识图谱中结构关系价值有限、字面信息更重要的特点,提出一种联合学习结构信息和字面信息的嵌入模型,并在真实教育知识图谱及基准图上验证了其有效性和优越性。
2019-12-23 cs.AI cs.CL cs.LG
FUSE: Fast Semi-Supervised Node Embedding Learning via Structural and Label-Aware Optimization
School of Data Science, IISER Thiruvananthapuram, India(数据科学学院,印度泰米尔纳德邦IISER)
针对真实图中节点缺乏特征向量的问题,提出FUSE快速半监督节点嵌入框架,联合优化结构保留、监督正则化和半监督传播三个目标,在标准基准上实现与SOTA相当或更优的分类准确率且计算成本更低。
2025-10-13 cs.LG
Learning protein sequence embeddings using information from structure
Massachusetts Institute of Technology(麻省理工学院)
从蛋白质的氨基酸序列推断其结构特性是生物学中一个具有挑战性的重要问题。绝大多数蛋白质序列的结构是未知的,但结构对于理解功能至关重要。现有的从序列中检测蛋白质之间结构相似性的方法无法识别和利用结构模式,当序列偏离太远时,限制了我们在结构相关蛋白质之间转移知识的能力。我们通过表示学习的视角来处理这个问题。我们介绍一个框架,映射任何蛋白质序列的载体嵌入序列-每个氨基酸位置-编码的结构信息。我们在蛋白质序列上训练双向长短期记忆(LSTM)模型,该模型具有两部分反馈机制,该机制包含来自(i)蛋白质之间的全局结构相似性和(ii)单个蛋白质的成对残基接触图的信息。为了能够从结构相似性信息中学习,我们定义了一种新的相似性度量,基于它们之间的软对称对齐(SSA)的任意长度的向量嵌入序列之间。我们的方法是能够学习有用的位置特定的嵌入,尽管缺乏序列之间的位置级对应的直接观察。我们的经验表明,我们的多任务框架优于其他基于序列的方法,甚至在预测结构相似性时,我们的目标是最好的基于结构的比对方法。最后,我们证明了我们学习的嵌入可以转移到其他蛋白质序列问题,提高跨膜结构域预测的最新水平。
2019-10-16 cs.LG q-bio.BM stat.ML
Structural Hierarchy and Geometry in Molecular Representation Learning
Delft University of Technology(代尔夫特理工大学)
该研究探讨显式编码Bemis-Murcko骨架并以其监督分子嵌入的效果,对比欧氏与洛伦兹对比目标,发现骨架监督可塑造分子嵌入空间组织,且对分子属性预测有增益,效果因任务和几何类型而异。
2026-09-01 cs.LG q-bio.BM
Classic Graph Structural Features Outperform Factorization-Based Graph Embedding Methods on Community Labeling
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google(谷歌)
图表示学习(也称为图嵌入)是一种将网络结构整合到机器学习模型中的流行技术。无监督图嵌入方法旨在通过学习每个节点的低维向量表示(嵌入)来捕获图结构。尽管这些嵌入被广泛用于各种下游转导机器学习任务,但很少有对这种方法在常见任务中的有效性进行原则性分析。在这项工作中,我们提供了一个经验和理论分析的一类嵌入对成对社区标记的共同任务的性能。这是经典社区发现问题的二进制变体,该问题寻求构建分类器以确定一对顶点是否参与社区。根据我们的基础理解目标,我们专注于一类流行的无监督嵌入技术,这些技术学习顶点邻近矩阵的低秩因子分解(该类包括GraRep,DeepWalk,node2vec,NetMF等方法)。我们进行了详细的实证分析,在各种真实的和合成的图形与地面真理的社区标签。在我们研究的所有情况下,从嵌入特征训练的模型在社区标记上表现不佳。在组播中,具有经典图结构特征的简单逻辑模型轻松地优于嵌入模型。对于一个更原则性的理解,我们提供了一个理论分析,这些嵌入在捕捉社区结构的有效性。我们正式证明了流行的低维分解方法要么不能产生社区结构,要么只能产生"不稳定”社区。这些社区在小扰动下本质上是不稳定的。
2022-01-20 cs.AI cs.DS cs.SI
Contrastive Joint-Embedding Prediction for Representation Learning in Structural MRI
Technical University of Denmark(丹麦技术大学);Department of Applied Mathematics and Computer Science(应用数学与计算机科学系)
针对医学成像中标记数据稀缺问题,提出COJEPA自监督框架,结合联合嵌入预测架构与对比损失,用于体积脑MRI。通过特定技术扩展到3D,在多任务中评估,取得了如最佳同卵双胞胎召回率等成果,证明组合目标能产生优质表示。
2026-07-15 cs.CV cs.LG
Contrastive Learning of Asset Embeddings from Financial Time Series
School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院)
本文提出一种基于假设检验统计采样的对比学习框架,利用资产在子窗口的收益相似性生成正负样本,从金融时间序列中学习资产嵌入,在行业分类与投资组合优化任务上显著优于基线。
2024-07-26 cs.LG q-fin.ST
Terminal Dimension Reduction for Time Series with Applications
TU Dortmund(图宾根大学);EPFL(苏黎世联邦理工学院);CNRS & Université Paris Cité, IRIF(国家科学研究中心及巴黎cité大学,IRIF);Aarhus University(奥胡斯大学)
研究针对时间序列聚类等复杂结构降维问题,将终端嵌入推广到仿射线段,利用保线终端嵌入结合约翰逊 - 林登施特劳斯嵌入获得无维核心集,实验表明其在时间序列降维上表现良好且有独特优势。
2026-07-13 cs.CG cs.DS cs.LG
Continuous-Time Linear Positional Embedding for Irregular Time Series Forecasting
School of Computing, KAIST(韩国科学技术院计算机学院)
本文提出CTLPE方法,通过连续时间线性位置嵌入解决不规则时间序列预测中观测模式不一致和时间间隔不规则的问题,并在多个数据集上验证其优于现有技术。
2024-09-30 cs.AI cs.LG
Toward Physics-guided Time Series Embedding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Squirrel Ai Learning(松鼠AI学习)
该研究提出嵌入对偶理论,依托物理先验跳过参数化嵌入层,直接用物理重构技术获取时间序列嵌入,实现参数量大减、速度提升及多任务性能显著提升,并封装为即插即用模块。
2024-10-09 cs.AI cs.LG
Twitch Gamers: a Dataset for Evaluating Proximity Preserving and Structural Role-based Node Embeddings
The University of Edinburgh(爱丁堡大学)
邻近保持和基于角色的结构化节点嵌入已经成为应用图挖掘的主要工作。新的节点嵌入技术通常在一组有限的基准数据集上进行测试。在本文中,我们提出了一个新的多样化的社交网络数据集,称为Twitch Gamers,具有多个潜在的目标属性。我们对社交网络和节点分类实验的分析表明,Twitch Gamers适用于评估新型邻近保持和基于结构角色的节点嵌入算法的预测性能。
2021-02-16 cs.AI cs.LG cs.SI
TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding
Central South University(中南大学)
TempoGPT通过白盒系统分析构建复杂时间序列推理数据,并利用码本量化时间嵌入实现时序与文本表示一致,从而提升多模态时间序列语言模型的推理性能。
2025-03-07 cs.AI cs.LG
Inter- and Intra-Series Embeddings Fusion Network for Epidemiological Forecasting
National University of Defense Technology(国防科技大学)
传染病疫情的准确预报是有效控制一个地区疫情的关键。大多数现有的方法忽略了潜在的动态区域之间的依赖关系或时间依赖关系的重要性和预测区域之间的相互依赖性。在本文中,我们提出了一个系列间和系列内嵌入融合网络(SEFNet),以提高流行病预测性能。SEFNet由两个并行模块组成,分别命名为系列间嵌入模块和系列内嵌入模块。在序列间嵌入模块中,提出了一种多尺度统一卷积组件,称为区域感知卷积,它与自注意力合作,捕获从多个区域获得的时间序列之间的动态依赖关系。序列内嵌入模块使用长短期记忆来捕获每个时间序列内的时间关系。随后,我们学习两个嵌入的影响程度,并融合它们的参数矩阵融合方法。为了进一步提高鲁棒性,SEFNet还将传统的自回归组件与非线性神经网络并行集成。在四个真实世界中与地震相关的数据集上的实验表明,SEFNet是有效的,并且优于最先进的基线。
2022-08-23 cs.AI cs.LG q-bio.QM
QuITE: Query-Based Irregular Time Series Embedding
SK Shieldus
提出一种即插即用的嵌入模块QuITE,通过可学习查询令牌聚合不规则观测值,无需插值或修改架构,显著提升多变量时间序列模型的预测和分类性能。
2026-06-02 cs.AI cs.LG
LightSAE: Parameter-Efficient and Heterogeneity-Aware Embedding for IoT Multivariate Time Series Forecasting
Department of Electrical Engineering, Tsinghua University(清华大学电子工程系)
针对IoT多元时间序列预测中共享嵌入掩盖通道特定信息的问题,提出LightSAE模块,通过低秩分解与共享门控组件池实现参数高效的异构感知嵌入,在多数据集和架构上以极低参数开销显著提升预测精度。
2025-10-12 cs.AI cs.LG
QKCV Attention: Enhancing Time Series Forecasting with Static Categorical Embeddings for Both Lightweight and Pre-trained Foundation Models
Independent Researcher(独立研究者);Key Laboratory of Brain-Machine Intelligence for Information Behavior (Ministry of Education and Shanghai)(信息行为脑机智能关键实验室);School of Business and Management(商学院)
本文提出QKCV注意力机制,通过引入静态类别嵌入C扩展QKV框架,作为即插即用模块提升多种注意力模型的预测精度,并能在微调基础模型时仅更新嵌入以降低计算成本。
2025-10-21 cs.AI cs.LG
On the Regularization of Learnable Embeddings for Time Series Forecasting
Università della Svizzera Italiana(瑞士意大利语区大学);IDSIA(IDSIA研究院);University of Liverpool(利物浦大学);Politecnico di Milano(米兰理工大学)
针对多时间序列预测中局部可学习嵌入易成序列标识符、限制模型迁移性的问题,本文首次广泛实证研究正则化方法,发现嵌入扰动类方法可提升架构性能,为理解局部与全局参数相互作用、开发时间序列基础模型提供关键贡献。
2025-02-13 cs.AI cs.LG
struc2gauss: Structural Role Preserving Network Embedding via Gaussian Embedding
Eindhoven University of Technology(埃因霍温理工大学);National Digital Switching System Engineering Technology R&D Center(国家数字交换系统工程技术研究中心)
网络嵌入(NE)由于能够将节点映射为有效的低维嵌入向量,在网络挖掘中发挥着重要作用。然而,两个主要的限制存在于国家的最先进的NE方法:角色保存和不确定性建模。几乎所有先前的方法都将节点表示为空间中的点并且关注局部结构信息,即,邻里信息然而,邻域信息不能捕获全局结构信息,点矢量表示无法对节点表示的不确定性进行建模。在本文中,我们提出了一个新的NE框架,struct2gauss,学习节点表示在高斯分布的空间,并执行网络嵌入的基础上的全球结构信息。struc2gauss首先使用给定的节点相似性度量来度量全局结构信息,然后为节点生成结构上下文,最后通过高斯嵌入来学习节点表示。研究了网络的不同结构相似性度量和高斯嵌入的能量函数。在真实网络上进行的实验表明,struct2gauss有效地捕捉全局结构信息,而最先进的网络嵌入方法失败,优于其他方法的基于结构的聚类和分类任务,并提供更多的信息,节点表示的不确定性。
2020-09-30 cs.LG cs.SI
Combining Embeddings and Fuzzy Time Series for High-Dimensional Time Series Forecasting in Internet of Energy Applications
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);Federal Institute of Education Science and Technology of Northern Minas Gerais(北米纳斯吉拉斯联邦教育科学技术学院)
住宅用电量的预测对于帮助智能电网管理和保存能源以确保有效使用至关重要。在客户层面进行准确的能源预测将直接反映在整个电网系统的效率提高中,然而,由于气象和占用模式等许多影响因素,预测建筑物能源使用是一项复杂的任务。此外,由于多传感器环境的出现以及能源消费者和智能电网之间的双向通信,高维时间序列越来越多地出现在能源互联网(IoE)中。因此,能够计算高维时间序列的方法在智能建筑和万物互联应用中具有重要价值。模糊时间序列(FTS)模型作为数据驱动的非参数模型,具有易于实现和高精度的特点。不幸的是,现有的FTS模型可能是不可行的,如果所有的功能都用于训练模型。我们提出了一种新的方法来处理高维时间序列,通过将原始高维数据投影到一个低维嵌入空间,并在这个低维表示中使用多变量FTS方法。将这些技术结合起来,可以更好地表示多变量时间序列的复杂内容,并进行更准确的预测。
2021-12-03 cs.AI cs.LG
Temporal Dynamic Embedding for Irregularly Sampled Time Series
Anonymous Institution(匿名机构)
本文提出时间动态嵌入(TDE),将不规则采样时间序列变量建模为随时间演化的嵌入向量,通过选择性聚合观测子集表示患者状态,在三个临床数据集上以更短训练时间取得竞争性或更优性能。
2025-04-08 cs.AI cs.LG
ALER-TI: Aligned Latent Embedding Retrieval for Time Series Imputation
School of Computer Science, Hanoi University of Science and Technology(河内科学技术大学计算机科学学院);Department of Computer Science, Aalborg University(奥尔堡大学计算机科学系)
针对时间序列插补问题,提出检索增强框架ALER-TI,利用历史模式补充局部上下文。核心是潜在嵌入对齐,通过事后掩码减轻表示不匹配。该方法与模型无关,经实验验证能改进基线模型,增强不同插补设置下的鲁棒性。
2026-07-09 cs.AI cs.LG
D2Vformer: A Flexible Time Series Prediction Model Based on Time Position Embedding
Shenzhen University(深圳大学);Shenzhen Technology University(深圳科技大学);City University of Hong Kong(香港城市大学)
D2Vformer通过时间位置嵌入和注意力机制,实现了对非相邻和动态长度时间序列的高效预测。
2024-09-17 cs.AI cs.LG
Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation
University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德河谷分校);University of Maryland(马里兰大学);University of Pittsburgh(匹兹堡大学);Texas A&M University - Corpus Christi(德克萨斯农工大学科珀斯克里斯蒂分校);Emory University(埃默里大学);Lehigh University(利哈伊大学);University of Illinois at Chicago(芝加哥伊利诺伊大学);University of Southern California(南加州大学)
本研究提出STE-ODE框架,利用常微分方程和有向节点嵌入捕捉脑结构-效应网络的动态相互作用,并在HCP和OASIS数据集上验证了其在临床表型预测中的优势。
2024-05-21 cs.AI cs.LG
On Proximity and Structural Role-based Embeddings in Networks: Misconceptions, Techniques, and Applications
Adobe Research(Adobe 研究院);University of Michigan(密歇根大学);Intel Labs(英特尔研究院);Worcester Polytechnic Institute(伍斯特理工学院)
结构角色定义了一组结构相似的节点,这些节点与集合内部的节点比外部的节点更相似,而社区定义了一组节点,这些节点在集合内部的连接比外部的连接更多。基于结构相似性的角色和基于邻近性的社区是根本不同但重要的互补概念。最近,结构角色的概念变得越来越重要,并且由于从保留角色概念的图中学习表示(节点/边嵌入)的工作的激增而获得了很多关注。不幸的是,最近的工作有时混淆了结构角色和社区(基于邻近性)的概念,导致对网络嵌入方法能力的误导或不正确的说法。因此,本文试图澄清结构角色和社区之间的误解和关键区别,并正式确定一般机制(例如,随机游走、特征扩散),从而产生基于社区或角色的结构嵌入。我们从理论上证明,嵌入方法的基础上,这些机制的结果,无论是社区或基于角色的结构嵌入。这些机制通常很容易识别,可以帮助研究人员快速确定一种方法是否保留了社区或基于角色的嵌入。此外,它们还可以作为开发社区或基于角色的结构嵌入的新方法和改进方法的基础。最后,我们分析并讨论了社区或基于角色的嵌入最适合的应用程序和数据特征。
2020-09-21 cs.LG cs.SI
A Time-Series Foundation Model by Universal Delay Embedding
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Ocean University of China(中国海洋大学);South China University of Technology(华南理工大学)
本研究提出预训练基础模型 UDE,通过整合延迟嵌入表示与 Koopman 算子预测实现时间序列预测,在多个基准上均方误差平均降低超20%,兼具卓越泛化性与可解释性。
2025-09-15 cs.AI cs.LG
Boosted Embeddings for Time Series Forecasting
PALO ALTO NETWORKS(帕洛阿尔托网络公司);ADVANCED APPLIED AI RESEARCH(高级应用人工智能研究院)
时间序列预测是各种数据驱动应用中出现的一项基本任务。许多先进的自回归方法,如ARIMA被用来建立预测模型。最近,基于深度学习的方法,如DeepAr,NeuralProphet,Seq2Seq已经被探索用于时间序列预测问题。本文提出了一种新的时间序列预测模型DeepGB。我们制定并实现了梯度提升的变体,其中弱学习者是DNN,其权重在迭代中以贪婪的方式递增。特别是,我们开发了一种新的嵌入架构,使用梯度提升变体提高了许多深度学习模型在时间序列上的性能。我们证明,我们的模型优于现有的可比国家的最先进的模型,使用真实世界的传感器数据和公共数据集。
2021-07-11 cs.AI cs.LG stat.ML
Temporal Knowledge Graph Embedding Model based on Additive Time Series Decomposition
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
知识图谱(KG)嵌入是近年来研究的热点。大多数KG嵌入模型从时间未知的三元组学习。然而,在三元组旁边包含时间信息将进一步提高KGE模型的性能。在这方面,我们提出ATiSE,时间KG嵌入模型,将时间信息到实体/关系表示使用加法时间序列分解。此外,考虑到实体/关系表示随时间演变过程中的时间不确定性,我们将时间KG的表示映射到多维高斯分布空间中。每个实体/关系在一个时间步嵌入的平均值显示了当前的预期位置,而其协方差(时间上是平稳的)表示其时间不确定性。实验结果表明,ATiSE在四个时间KG上的链接预测方面处于领先地位。
2020-10-28 cs.AI cs.LG stat.ML
RiWalk: Fast Structural Node Embedding via Role Identification
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Jilin University(吉林大学)
在网络中执行不同功能的节点具有不同的角色,并且这些角色可以从网络的结构中收集。学习节点角色的潜在表示有助于理解网络并在网络之间传递知识。然而,大多数现有的结构嵌入方法遭受高计算和空间成本或依赖于启发式特征工程。在这里,我们提出RiWalk,一个灵活的范例学习结构节点表示。它将结构嵌入问题分解为角色识别过程和网络嵌入过程。通过角色识别,建立了保持结构依赖的根核,以更好地集成网络嵌入方法。为了证明RiWalk的有效性,我们分别开发了两种不同的角色识别方法RiWalk-SP和RiWalk-WL,并采用基于随机游走的网络嵌入方法。网络内分类任务的实验表明,我们提出的算法实现了与其他基线相当的性能,同时是一个数量级更有效。此外,我们还进行跨网络的角色分类任务。研究结果显示了结构嵌入在迁移学习中的潜力。RiWalk还具有可扩展性,使其能够捕获大型网络中的结构角色。
2019-10-15 cs.LG cs.SI
Unsupervised Framework for Evaluating and Explaining Structural Node Embeddings of Graphs
Toronto Metropolitan University(多伦多都会大学);SGH Warsaw School of Economics(华沙经济学院);Patagona Technologies(帕塔戈纳科技公司);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
本文提出一种无监督框架,用于对图的结构化节点嵌入进行排序和解释,通过评估嵌入对预定义节点特征的学习效果及维度对应关系,提升黑盒算法的可解释性。
2023-06-19 cs.LG cs.SI
On the Equivalence between Positional Node Embeddings and Structural Graph Representations
Purdue University(普渡大学)
这项工作提供了第一个统一的理论框架,节点(位置)嵌入和结构图表示,桥接方法,如矩阵分解和图神经网络。使用不变理论,我们表明,结构表示和节点嵌入之间的关系是类似的分布和它的样本。我们证明,所有的任务,可以执行的节点嵌入也可以执行的结构表示,反之亦然。我们还表明,转导和归纳学习的概念是无关的节点嵌入和图形表示,清除文献中的另一个混乱的来源。最后,我们介绍了新的实用指南来生成和使用节点嵌入,它修复了当今使用的标准操作程序的重大缺陷。
2020-09-22 cs.LG stat.ML
Embedding Node Structural Role Identity Using Stress Majorization
Dartmouth College(达特茅斯学院);Millennium Management, LLC(千禧管理有限责任公司);Stony Brook Univeristy(石溪大学)
网络中的节点可以具有确定它们在系统中的角色的一个或多个功能。与捕获节点的本地上下文的本地邻近度相反,角色标识捕获节点在网络中扮演的功能性“角色”,例如作为组的中心或两个组之间的桥梁。这意味着网络中相距遥远的节点可以具有相似的结构角色身份。最近的几项工作已经探索了在网络中嵌入节点角色的方法。然而,这些方法都依赖于近似或间接建模的结构等效。在本文中,我们提出了一个新的和灵活的框架,使用应力优化,转换网络中的高维角色身份直接(没有近似或间接建模)到一个低维嵌入空间。我们的方法也是灵活的,因为它不依赖于特定的结构相似性定义。我们使用三个真实世界和五个合成网络对节点分类,聚类和可视化任务进行了评估。我们的实验表明,我们的框架在学习节点角色表示方面取得了优于现有方法的结果。
2021-09-14 cs.AI cs.LG cs.SI
Enhancing Channel-Independent Time Series Forecasting via Cross-Variate Patch Embedding
Humanity Unleashed;University of Virginia(弗吉尼亚大学);OpenAI
提出跨变量补丁嵌入(CVPE)轻量模块,通过修改补丁嵌入过程注入跨变量上下文,增强通道独立预测模型Time-LLM,在七个数据集上超越基线。
2025-05-22 cs.AI cs.LG
An Improved Time Series Anomaly Detection by Applying Structural Similarity
School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北航,北京,中国);School of Software, Beihang University, Beijing, China(软件学院,北航,北京,中国)
针对基于重构的时间序列异常检测忽略结构特征的问题,提出结构增强方法StrAD,在优化目标中融入趋势、季节性和形状,提升对逐点和模式级异常的检测性能。
2025-09-24 cs.AI cs.LG
Node Proximity Is All You Need: Unified Structural and Positional Node and Graph Embedding
University of Michigan(密歇根大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
虽然大多数网络嵌入技术对网络中节点的相对位置进行建模,但最近人们对结构嵌入产生了极大的兴趣,该结构嵌入对节点角色等效进行建模,而不管它们到任何特定节点的距离。我们提出了PhUSION,一个基于邻近度的统一框架,用于计算结构和位置节点嵌入,它利用了成熟的方法来计算节点邻近度分数。澄清文献中的一个争论点,我们展示了PhUSION的哪一步产生了不同种类的嵌入,以及哪些步骤可以被两者使用。此外,通过聚合PhUSION节点嵌入,我们获得了图级特征,这些特征对以前的图特征学习和核方法所丢失的信息进行了建模。在一项包含10多个数据集、4个任务和35种方法的综合实证研究中,我们系统地揭示了具有嵌入的节点和图级机器学习的成功设计选择。
2021-02-26 cs.LG cs.SI
Ovis: Structural Embedding Alignment for Multimodal Large Language Model
AI Business, Alibaba Group(阿里巴巴集团AI业务部);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文提出 Ovis 架构,通过可学习视觉嵌入表和多次索引的概率组合,使视觉嵌入与文本嵌入结构化对齐,并在多基准上取得同规模领先表现。
2024-06-17 cs.AI cs.CL cs.CV
Embedding Node Structural Role Identity into Hyperbolic Space
Dartmouth College(达特茅斯学院);Stony Brook University(石溪大学);Jefferies Financial Group LLC(杰富瑞金融集团有限责任公司)
最近,人们对在双曲空间中嵌入网络很感兴趣,因为双曲空间已经被证明在捕获图/网络结构方面工作得很好,因为它可以自然地反映复杂网络的一些属性。然而,双曲空间中网络嵌入的研究主要集中在微观节点嵌入上。在这项工作中,我们是第一个提出了一个框架,嵌入到双曲空间节点的结构角色。我们的框架扩展了struct 2 vec,一个著名的结构角色保持嵌入方法,将其移动到一个双曲面模型。我们在四个真实世界和一个合成网络上评估了我们的方法。我们的研究结果表明,双曲空间是更有效的学习比欧几里得空间的节点的结构作用的潜在表示。
2020-11-03 cs.LG cs.SI
LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting
WAIR, Amsterdam(阿姆斯特丹WAIR公司)
LaT-PFN 结合 PFN 与 JEPA 框架,在潜在空间进行上下文学习,利用相关序列和归一化时间轴实现零样本时间序列预测,优于基线并产生信息丰富的嵌入。
2024-05-22 cs.AI cs.LG stat.ML
TimeKit: A Time-series Forecasting-based Upgrade Kit for Collaborative Filtering
Yonsei University(延世大学);Kakao Corporation(Kakao公司)
推荐系统是数据采掘和机器学习领域的一个长期研究课题。当新的用户-项交互日志到达时,它们本质上是增量的。在实际应用中,我们需要定期训练协同过滤算法来提取用户/项目嵌入向量,因此,可以自然地定义嵌入向量的时间序列。我们提出了一个基于时间序列预测的升级工具包(TimeKit),它的工作方式如下:i)首先确定一个基本的协同过滤算法,ii)使用基本算法从用户-项目交互日志中增量地提取用户/项目嵌入向量,例如,每个月,iii)用提取的嵌入向量的时间序列训练我们的时间序列预测模型,然后iv)预测未来的嵌入向量并由于最近在处理复杂的时间序列数据方面的突破而用它们的点积分数进行推荐,即,神经控制微分方程(NCDE)我们的实验与四个真实世界的基准数据集表明,所提出的时间序列预测为基础的升级工具包可以显着提高现有流行的协同过滤算法。
2022-11-08 cs.AI cs.IR cs.LG
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题,提出变分混合图自编码器(VMGAE),利用图结构优势捕捉数据关系并生成高斯混合嵌入,实验表明其显著优于现有技术,在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
Cross-device Zero-shot Label Transfer via Alignment of Time Series Foundation Model Embeddings
Independent Researcher(独立研究者)
本文提出一种利用时间序列基础模型嵌入的对抗性对齐框架,实现从临床活动记录仪到消费级可穿戴设备的零样本标签迁移,无需配对数据。
2025-08-22 cs.AI cs.LG eess.SP
Time Series Embedding Methods for Classification Tasks: A Review
Department of Computer Science(计算机科学系);Texas State University(德克萨斯州立大学);San Marcos, TX 78666
本综述系统分类并定量评估了时间序列嵌入方法,发现其性能因数据集和分类算法而异,并提供开源代码库以指导实际应用。
2025-05-25 cs.LG
TPM: Transition Probability Matrix -- Graph Structural Feature based Embedding
University of Kirkuk(基尔库克大学);Ankara University(安卡拉大学)
在这项工作中,转移概率矩阵(TPM)提出了一种新的方法来提取图中的节点的特征。所提出的方法使用随机游走来捕获节点的近邻的连接结构。通过将随机游动得到的信息转化为匿名游动,提取节点的拓扑特征。在节点的嵌入过程中,使用匿名游动,因为它们比随机游动更好地捕捉连接的拓扑相似性。因此,所获得的嵌入向量具有关于底层连接结构的更丰富的信息。该方法应用于节点分类和链接预测任务。所提出的算法的性能优于国家的最先进的算法在最近的文献。此外,所提取的关于相似网络的连通性结构的信息被用于针对全新图的链接预测和节点分类任务。
2023-03-03 cs.AI cs.LG cs.SI
Unified Embeddings of Structural and Functional Connectome via a Function-Constrained Structural Graph Variational Auto-Encoder
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Pittsburgh(匹兹堡大学)
图论分析已经成为大脑功能和解剖连接建模的标准工具。随着连接组学的出现,感兴趣的主要图形或网络是结构连接组(来自DTI纤维束成像)和功能连接组(来自静息状态fMRI)。然而,大多数已发表的连接体研究都集中在结构或功能连接体上,但当它们之间的互补信息在同一数据集中可用时,可以共同利用来提高我们对大脑的理解。为此,我们提出了一个功能约束的结构图变分自动编码器(FCS-GVAE)能够将信息从功能和结构连接体在一个无监督的方式。这导致了一个联合低维嵌入,建立了一个统一的空间坐标系,用于比较不同的主题。我们使用公开的OASIS-3阿尔茨海默病(AD)数据集评估我们的方法,并表明变分制剂是必要的,以最佳编码功能性脑动力学。此外,所提出的联合嵌入方法可以比不使用互补连接体信息的方法更准确地区分不同的患者亚群。
2022-07-05 cs.LG q-bio.NC
Geodesic Properties of a Generalized Wasserstein Embedding for Time Series Analysis
基于传输的度量和相关的嵌入(变换)最近已被用来模拟信号类,其中存在非线性结构或变化。本文研究了具有广义Wasserstein度量的时间序列数据的测地线性质及其符号累积分布变换在嵌入空间中的几何关系。此外,我们展示了如何理解这样的几何特征可以提供额外的解释某些时间序列分类器,并为更强大的分类器的灵感。
2022-06-12 cs.LG eess.SP math.GT
Digraphwave: Scalable Extraction of Structural Node Embeddings via Diffusion on Directed Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);SEB Group(SEB集团)
结构节点嵌入,即捕获图中每个节点的局部连通性信息的向量,在数据采掘和机器学习中有许多应用,例如,网络对齐和节点分类、聚类和异常检测。对于有向图的分析,例如,在事务图、通信网络和社交网络中,捕获结构节点嵌入中的方向信息的能力是非常期望的,嵌入提取方法的可扩展性也是如此。然而,大多数现有的方法仅针对无向图设计。因此,我们提出了一个可扩展的算法,用于提取有向图上的结构节点嵌入。的Digraphwave嵌入由压缩的扩散模式签名,这是两次增强,以增加其辨别能力。通过证明扩散初始化节点局部附近所含热量的下限,建立了理论上合理的扩散时间尺度值,并且只剩下两个易于解释的超参数:嵌入维数和邻域分辨率指定符。在我们的实验中,两个嵌入增强,命名为转置和聚合,显示出导致分类自守身份的宏F1得分显着增加,其中Digraphwave优于所有其他结构嵌入基线。此外,Digraphwave在真实图数据集上的性能优于或匹配所有基线的性能,在网络对齐任务中显示出特别大的性能增益,同时还可扩展到具有数百万个节点和边的图形,运行速度比以前的基于扩散模式的方法快30倍,并且内存消耗很小。
2022-07-20 cs.LG cs.SI
Are Data Embeddings effective in time series forecasting?
Kansas State University(堪萨斯州立大学)
本研究通过消融实验发现,移除数据嵌入层不会损害时间序列预测性能,反而常提升准确性和效率,质疑了数据嵌入的必要性。
2025-05-27 cs.LG
Non-Stationarity in the Embedding Space of Time Series Foundation Models
Auton Lab(自动化实验室);Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
研究时间序列基础模型嵌入空间中非平稳性的检测方法,分析不同分布非平稳性和时间非平稳性对模型检测能力的影响。
2026-04-06 cs.AI cs.LG stat.ML
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings
College of Computing and Informatics Drexel University(德雷塞尔大学计算机与信息学院);Drexel University(德雷塞尔大学)
句子嵌入将自然语言句子编码为低维稠密向量。大量的努力已经投入到使用句子嵌入来改善几个重要的自然语言处理任务。关系抽取就是这样一种NLP任务,其目的是从非结构化文本中识别知识库中定义的结构化关系。一个有前途的和更有效的方法将是嵌入文本和结构化的知识在低维空间,并发现它们之间的语义对齐或映射。虽然在文献中已经提出了一些技术嵌入句子和知识图谱,很少有人知道这些嵌入空间的结构和语义属性的关系抽取。在本文中,我们调查上述属性评估的程度进行类似的意义上的句子被嵌入在接近的子空间,如果我们可以利用该结构对齐句子的知识图谱。我们提出了一组实验,使用广泛使用的大规模数据集的关系抽取,并专注于一组关键的句子嵌入方法。我们还在https://github.com/akalino/semantic-structural-sentences上提供了复制这些实验的代码。这些嵌入方法涵盖了各种各样的技术,从简单的词嵌入组合到基于transformer的BERT风格模型。我们的实验结果表明,不同的嵌入空间有不同程度的强度的结构和语义属性。这些结果为开发基于嵌入的关系抽取方法提供了有用的信息。
2020-09-23 cs.CL cs.LG
Does Joint-Embedding Predictive Architecture Pretraining Help Time Series Forecasting?
本研究大规模评估JEPA预训练在九种骨干网络和十一个基准上的效果,发现其收益因架构而异,既有增益也有退化,表明该变异性是普遍属性,选择骨干网络时需考虑。
2026-09-29 cs.AI cs.LG stat.ML
Unifying Structural Proximity and Equivalence for Enhanced Dynamic Network Embedding
Institute of Data and Information, Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院数据与信息研究所)
本文提出一种统一动态网络嵌入方法,同时保留结构邻近性与等价性,利用动态图元和时间-结构随机游走,在五个真实网络上优于基准方法。
2025-03-14 cs.LG cs.SI
Machine Learning of Time Series Using Time-delay Embedding and Precision Annealing
University of California, San Diego(加州大学圣地亚哥分校);Universität Potsdam(波茨坦大学);Scripps Institution of Oceanography(斯克里普斯海洋学研究所)
指派机器学习来预测时间序列的片段需要估计具有来自时间序列的输入/输出对的ML模型的参数。利用统计数据同化和监督机器学习之间的等价性,我们重新审视了这一任务。机器的训练方法利用精确退火方法来识别动作的全局最小值(-log[P])。通过这种方式,我们能够确定为时间序列产生良好的泛化(预测)所需的训练对的数量。我们从一个标量时间序列$s(t_n); t_n = t_0 + n Δt$,并使用非线性时间序列分析的方法,展示了如何产生一个$D_E > 1$维时间延迟嵌入空间中的时间序列没有假邻居观察到的$s(t_n)$时间序列。在该$D_E$维空间中,我们探索使用前馈多层感知器作为在$D_E$维输入上操作并产生$D_E$维输出的网络模型。
2019-06-14 cs.LG
TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Aalborg University(奥尔堡大学);Peking University(北京大学);HKUST (Guangzhou)(香港科技大学(广州));University of Cologne(科隆大学);SenseTime Research(商汤科技研究院)
TimeCMA通过跨模态对齐融合时间序列与文本提示,提取解纠缠且鲁棒的嵌入,在八个真实数据集上超越现有方法,实现高效多变量时间序列预测。
2025-03-29 cs.AI cs.CL cs.LG
$k$-Graph: A Graph Embedding for Interpretable Time Series Clustering
本文提出无监督图嵌入方法 $k$-Graph,通过多长度子序列图表示支持变长时间序列聚类,在准确率上超过现有先进算法并增强结果可解释性。
2025-02-18 cs.LG
Derivative Delay Embedding: Online Modeling of Streaming Time Series
University of Tenneessee(田纳西大学)
来自现实世界的惊人数量的流时间序列需要更高效和有效的在线建模解决方案。对于时间序列建模,大多数现有的工作做了一些不切实际的假设,如输入数据是固定的长度或对齐,这需要额外的努力分割或规范化的原始流数据。虽然一些文献声称他们的方法是不变的数据长度和错位,他们太耗时的流时间序列建模在线的方式。我们提出了一种新的和更实用的在线建模和分类方案,DDE-MGM,它不对时间序列做任何假设,同时保持高效率和最先进的性能。微分延迟嵌入(DDE)的发展,以增量方式将时间序列的嵌入空间,其中的数据的固有特性被保存为递归模式,而不管流的长度和错位。然后,提出了一种非参数马尔可夫地理模型(MGM)的模型和分类的模式在网上的方式。实验结果表明,所提出的DDE-MGM的有效性和优越的分类精度在在线设置相比,国家的最先进的。
2016-09-24 cs.LG