Embedding Symbolic Temporal Knowledge into Deep Sequential Models
National University of Singapore（新加坡国立大学）
序列和时间序列经常出现在机器人任务中，例如，活动识别和模仿学习。近年来，深度神经网络（DNN）已经成为一种有效的数据驱动方法，用于在给定足够的训练数据和计算资源的情况下处理序列。然而，当数据有限时，更简单的模型（如基于逻辑/规则的方法）工作得非常好，特别是当相关的先验知识应用于其构建时。然而，与DNN不同的是，这些“结构化”模型可能难以扩展，并且不能很好地处理原始的非结构化数据。在这项工作中，我们试图学习灵活的DNN，但在可用时利用先验时间知识。我们的方法是嵌入表示为线性时序逻辑（LTL）的符号知识，并使用这些嵌入来指导深度模型的训练。具体来说，我们通过图神经网络构造基于语义的LTL公式自动机的嵌入。实验表明，这些学习嵌入可以导致下游机器人任务，如顺序动作识别和模仿学习的改进。
2021-01-28 cs.AI cs.LG cs.RO
Graph-Level Embedding for Time-Evolving Graphs
Dartmouth College（达特茅斯学院）；Millennium Management, LLC（千禧管理有限责任公司）；Georgia Institute of Technology（佐治亚理工学院）
针对动态网络缺乏低维图级表示方法的问题，提出结合多层图、时间回溯随机游走和文档级语言模型的时序图级嵌入方法，并在五个数据集上验证其优于基线。
2023-06-01 cs.AI cs.LG cs.SI
WalkingTime: Dynamic Graph Embedding Using Temporal-Topological Flows
Carnegie Mellon University（卡内基梅隆大学）
在过去的四年中，人们越来越关注动态网络嵌入。现有的动态嵌入方法，但是，考虑的问题仅限于一系列的全球性，离散状态的拓扑结构的演变。我们提出了一种新的嵌入算法，WalkingTime，基于一个根本不同的处理时间，允许本地考虑连续发生的现象;而其他人认为全球时间步长是一阶公民的动态环境，我们持有的流组成的时间和拓扑局部相互作用作为我们的原语，没有任何离散化或对齐的时间相关的属性是必要的。保留字：动态网络，表示学习，动态图嵌入，时间相关路径，时间拓扑流，时间随机游走，时间网络，实属性知识图谱，流图，在线网络，异步图，异步网络，图形算法，深度学习，网络分析，数据挖掘，网络科学
2021-11-22 cs.LG cs.SI
TME-BNA: Temporal Motif-Preserving Network Embedding with Bicomponent Neighbor Aggregation
Zhejiang University（浙江大学）
演化的时间网络是许多现实动态系统的抽象，例如，社交网络和电子商务。时间网络嵌入的目的是将每个节点映射到用于下游任务的时间演进低维向量，例如，链接预测和节点分类。时态网络嵌入的难点在于如何联合利用拓扑和时间信息来捕捉时态网络的演化。针对这一挑战，我们提出了一种基于双组分邻域聚合的时间基元保持网络嵌入方法，称为TME-BNA。考虑到时间模体对于理解时间网络的拓扑规律和功能特性至关重要，TME-BNA基于时间模体构造额外的边特征，以显式地利用具有时间信息的复杂拓扑结构.为了捕捉节点的拓扑动态，TME-BNA利用图神经网络（GNNs）根据连接边的时间戳分别聚合历史和当前邻居。在三个公共时态网络数据集上进行了实验，结果表明了TME-BNA的有效性。
2021-10-26 cs.LG cs.SI
Leveraging Static Models for Link Prediction in Temporal Knowledge Graphs
Utrecht University（乌得勒支大学）
在知识图谱嵌入（KGE）中包含事实的时间范围为改进所得到的嵌入提供了重要的机会，并且因此为下游应用中的提高的性能提供了重要的机会。然而，很少有研究工作集中在这一领域，许多研究报告显示，与没有时间范围训练的模型（静态模型）相比，结果只略有改善。此外，而不是利用现有的静态模型的工作，他们介绍了特定的时间知识图谱的新模型。我们提出了一个新的视角，利用现有的静态嵌入模型的力量，集中精力操纵数据，而不是。我们的方法SpiMe从信号处理领域和图嵌入的早期工作中汲取灵感。我们表明，SpliMe竞争或优于目前的最先进的时间KGE。此外，我们发现目前用于评估静态模型在时间图上的性能的过程中存在的问题，并介绍了两种方法来抵消它们。
2021-06-29 cs.AI cs.CL cs.LG
Time-aware Graph Embedding: A temporal smoothness and task-oriented approach
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Victoria University（维多利亚大学）；Simon Fraser University（西蒙弗雷泽大学）；South China University of Technology（华南理工大学）
知识图谱嵌入是近年来研究的热点之一，其目的是学习实体和关系的低维表示。然而，大多数知识图谱的嵌入方法只关注固定三元组中的结构关系，而忽略了时态信息。目前，已有的时间感知图嵌入方法只关注事实的可扩展性，而忽略了时间平滑性。时间平滑性是描述事实与其上下文之间交互的模型，因此能够捕获细粒度的时间关系。这导致嵌入相关应用程序的性能有限。为了解决这个问题，本文提出了一种鲁棒的时间感知图嵌入（RTGE）方法，结合时间平滑。本文的两个主要创新点在这里。首先，RTGE在时间感知图嵌入的学习过程中集成了时间平滑性的度量。通过提出的附加平滑因子，RTGE可以保持给定图的结构信息和演化模式。其次，RTGE提供了一个通用的面向任务的负采样策略与时间感知的信息，这进一步提高了所提出的算法的自适应能力，并在各种任务中获得优异的性能发挥了至关重要的作用。在多个基准任务上进行的大量实验表明，RTGE可以提高实体/关系/时间范围预测任务的性能。
2020-07-22 cs.LG stat.ML
Towards Spatio-Temporal Cross-Platform Graph Embedding Fusion for Urban Traffic Flow Prediction
University of Connecticut（康涅狄格大学）
本文提出了一种新的时空跨平台图嵌入融合方法STC-GEF，用于城市交通流预测。设计了一种基于图卷积网络（GCN）的空间嵌入模块来提取交通流数据中复杂的空间特征。此外，为了捕捉不同时间间隔的交通流数据之间的时间依赖性，我们设计了一个基于递归神经网络的时间嵌入模块。基于不同运输平台行程数据（例如，出租车、Uber和Lyft）可以相互关联，我们设计了一种有效的融合机制，该机制将来自不同交通平台的行程数据组合起来，并进一步将它们用于跨平台交通流预测（例如，整合出租车和共乘平台，用于出租车交通流量预测）。我们基于纽约市黄色出租车和拼车（Lyft）的真实出行数据进行了广泛的真实世界实验研究，并验证了STC-GEF融合不同交通平台数据和预测交通流的准确性和有效性。
2022-08-21 cs.LG
Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Duke University（杜克大学）
我们介绍了一种非线性方法，直接嵌入大型，稀疏，随机图到低维空间，而不需要顶点特征驻留在，或被转换成，度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外，直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE，因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上，t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$，一个高性能的软件，2D，3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术，可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
ChronoR: Rotation Based Temporal Knowledge Graph Embedding
University of Florida（佛罗里达大学）；Texas A&M University（德克萨斯A&M大学）
尽管时态知识图谱的重要性和丰富性，目前的研究主要集中在静态图上的推理。本文研究时态知识图谱上的推理问题。特别是时间链接预测的任务。一般来说，这是一个困难的任务，由于数据的非平稳性，数据异构性，及其复杂的时间依赖性。我们提出了时序旋转嵌入（ChronoR），这是一种用于学习实体，关系和时间表示的新模型。学习密集表示经常被用作在知识图谱上执行推理的有效且通用的方法。所提出的模型学习由关系和时间参数化的k维旋转变换，使得在使用旋转变换每个事实的头部实体之后，它落在其对应的尾部实体附近。通过使用高维旋转作为其变换算子，ChronoR捕获了时态知识图谱的时态和多关系特征之间的丰富交互。实验表明，ChronoR能够在时间知识图谱链接预测的基准数据集上胜过许多最先进的方法。
2021-03-18 cs.LG cs.SC
TempNodeEmb:Temporal Node Embedding considering temporal edge influence matrix
School of Computer Science, Zhoukou Normal University（周口师范学院计算机科学学院）；School of Engineering and IT, University of New South Wales（新南威尔士大学工程与信息技术学院）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；Huayin Institute of Technology（淮阴工学院）
理解现实世界中复杂系统的进化模式，如人类相互作用、交通网络、生物相互作用和计算机网络，对我们的日常生活有着重要的意义。预测这种网络中节点之间的未来联系揭示了时间网络演化的一个重要方面。为了分析网络，它们被映射到邻接矩阵，然而，单个邻接矩阵不能表示复杂的关系（例如时间模式），因此，一些方法考虑时间网络的简化表示，但在高维和一般稀疏矩阵中。因此，邻接矩阵不能被机器学习模型直接用于进行网络或节点级预测。为了克服这个问题，提出了用于学习节点或边的低维向量的自动化框架，作为预测网络中的时间模式（诸如链接预测）的最新技术。然而，这些模型未能考虑网络的时间维度。这一差距促使我们在这项研究中提出了一种新的节点嵌入技术，该技术利用了网络的进化性质，在每个时间步考虑一个简单的三层图神经网络，并通过给定的角度方法提取节点方向。为了证明我们提出的算法的效率，我们评估了我们提出的算法对六个国家的最先进的基准网络嵌入模型的效率，在四个真实的时态网络数据，结果表明，我们的模型优于其他方法在预测未来的链接时态网络。
2020-08-16 cs.LG cs.SI
Temporal Link Prediction Using Graph Embedding Dynamics
Michigan State University（密歇根州立大学）
本文提出将节点视为牛顿物体并引入速度概念，通过计算每个节点的具体动态来改进时序链接预测，在PubMed合著数据上使下游模型AUROC提升17.34%，同时增强了可解释性。
2024-01-15 cs.LG cs.SI
TIGER: Temporal Interaction Graph Embedding with Restarts
Fudan University（复旦大学）；Tencent Weixin Group（腾讯微信事业群）
时间交互图（TIG），由时间戳的交互事件序列组成，在电子商务和社交网络等领域非常流行。为了更好地学习随时间变化的动态节点嵌入，研究人员提出了一系列用于TIG的时间图神经网络。然而，由于纠缠的时间和结构依赖性，现有的方法必须按时间顺序和连续地处理事件序列，以确保节点表示是最新的。这阻止了现有模型的并行化，并降低了它们在工业应用中的灵活性。为了解决上述挑战，在本文中，我们提出了TIGER，一个TIG嵌入模型，可以在任何时间戳重新启动。我们引入了一个restarter模块，生成代理表示作为节点表示的热初始化。通过同时从多个时间戳重新启动，我们将序列划分为多个块，自然地实现了模型的并行化。此外，与以前的模型，利用一个单一的内存单元，我们引入了一个双内存模块，以更好地利用邻域信息，减轻陈旧的问题。在四个公共数据集和一个工业数据集上进行了大量的实验，结果验证了我们工作的有效性和效率。
2023-02-16 cs.LG cs.SI
Learning event representations for temporal segmentation of image sequences by dynamic graph embedding
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人与信息研究所（CSIC-UPC））；Institut de Recherche en Informatique de Toulouse, CNRS, University of Toulouse（图卢兹计算机研究所，法国国家科学研究中心，图卢兹大学）
最近，自监督学习已被证明是有效的学习表示的事件，适合于时间分割的图像序列，其中事件被理解为一组时间上相邻的图像，语义感知为一个整体。然而，尽管这种方法不需要昂贵的手动注释，但是它是数据饥饿的并且遭受领域自适应问题。作为替代方案，在这项工作中，我们提出了一种新的方法来学习事件表示命名为动态图嵌入（DGE）。我们的模型的假设是，图像序列可以表示为一个图，编码语义和时间的相似性。DGE的主要创新之处在于联合学习图及其图嵌入。在其核心，DGE通过迭代两个步骤来工作：1）基于当前数据表示来更新表示数据的语义和时间相似性的图，以及2）更新数据表示以考虑当前数据图结构。与最先进的自监督方法相比，DGE的主要优势在于它不需要任何训练集，而是从数据本身迭代学习反映其时间和语义相似性的低维嵌入。在两个基准数据集上的实验结果表明，所提出的DGE导致有效的时间分割的事件表示。特别是，它实现了强大的时间分割的EDUBSeg和EDUBSeg-Desc基准数据集，优于最先进的状态。另外两个人体运动分割基准数据集上的实验证明了所提出的DGE的泛化能力。
2020-12-10 cs.CV cs.LG stat.ML
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；NAVER Corporation（NAVER公司）
多模态关系数据分析近年来变得越来越重要，用于探索不同领域的数据，诸如从社交网络服务（例如，Flickr）。已经开发了各种数据分析方法用于可视化;举一个例子，t-随机邻居嵌入（t-SNE）计算低维特征向量，以便它们的相似性保持观察到的数据向量。然而，t-SNE是专为一个单一的数据域，但不是多模态数据，本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE，本文提出了多模态关系随机邻居嵌入（MR-SNE），即（1）首先计算增强关系，其中我们观察跨域的关系，并通过观察到的数据向量计算每个域内的关系，以及（2）将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集，建议MR-SNE与其他基于图嵌入的方法进行了比较，MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
Self-Aware Vector Embeddings for Retrieval-Augmented Generation: A Neuroscience-Inspired Framework for Temporal, Confidence-Weighted, and Relational Knowledge
Principal Consultant, CMC APAC（CMC APAC 主任顾问）
本文提出SmartVector框架，通过引入时间意识、置信度衰减和关系意识，改进检索增强生成系统，提升准确性与鲁棒性。
2026-04-22 cs.CL cs.DB cs.IR
Diachronic Embedding for Temporal Knowledge Graph Completion
Borealis AI（博雷亚斯人工智能研究院）
知识图谱（KG）通常包含指示不同时间的实体之间的关系的时间事实。由于它们的不完整性，已经提出了几种方法来推断新的事实KG的基础上，现有的一个问题被称为KG完成。KG嵌入方法已被证明是有效的KG完成，但是，他们已经开发的静态KG。开发时态KG嵌入模型是一个越来越重要的问题。在本文中，我们建立了新的模型，通过配备静态模型与历时实体嵌入功能，提供了在任何时间点的实体的特点，时间KG完成。这与仅提供静态实体特征的现有时间KG嵌入方法形成对比。所提出的嵌入函数是模型不可知的，并且可以潜在地与任何静态模型相结合。我们证明，结合它与简单，最近的静态KG嵌入模型，结果在一个完全表达的模型时间KG完成。我们的实验表明，我们的建议相比，现有的基线的优越性。
2019-07-06 cs.AI cs.LG stat.ML
TIGER-MARL: Enhancing Multi-Agent Reinforcement Learning with Temporal Information through Graph-based Embeddings and Representations
University of Southern California（美国南加州大学）；DEVCOM Army Research Office（国防部陆军研究办公室）
针对MARL方法忽略智能体交互时间演化的问题，本文提出TIGER框架，通过构建动态时间图并结合时间注意力编码器生成时间感知嵌入，在协调基准上持续优于基线，且经消融验证结构与时间因素的协同作用。
2025-11-11 cs.AI cs.LG
Dynamic Node Embeddings from Edge Streams
WPI（伍斯特理工学院）；Adobe Research（奥多比研究院）；Intel Labs（英特尔实验室）
网络随着时间的推移不断发展，增加，删除和改变链接和节点。这种时间网络（或边缘流）由一系列带时间戳的边缘组成，似乎无处不在。尽管准确建模的时间信息的重要性，大多数嵌入方法完全忽略它或近似的时间网络使用一系列的静态快照图。在这项工作中，我们提出使用时间行走的概念来学习来自时间网络的动态嵌入。时间行走捕获时间上有效的交互（例如，信息流、疾病传播）在动态网络中以无损的方式进行。基于时间行走的概念，我们描述了一个一般类的嵌入称为连续时间动态网络嵌入（CTDNEs），完全避免的问题和问题时，出现近似的时间网络作为一个序列的静态快照图。与以前的工作不同，CTDNE直接从时间网络中以最细的时间粒度学习动态节点嵌入，因此只使用时间有效的信息。因此，CTDNE自然支持以流实时方式对节点嵌入的在线学习。最后，实验证明了这类嵌入方法的有效性，这些方法利用了时间遍历，因为它在所有方法和图形中实现了11.9%的AUC平均增益。
2020-07-17 cs.AI cs.LG cs.SI
Next Embedding Prediction Makes World Models Stronger
NE-Dreamer通过时间转换器预测下一步嵌入，无需解码器即可在复杂环境中提升基于模型的强化学习性能。
2026-03-03 cs.AI cs.LG
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple（苹果公司）
本文提出一种自监督时间嵌入方法，将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示，用于地理空间多模态语义分割，并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
Learning temporal embeddings from electronic health records of chronic kidney disease patients
Intelligent Embedded Systems Lab University of Freiburg（智能嵌入式系统实验室 柏林洪堡大学）
本文研究了基于纵向电子健康记录训练的时间嵌入模型能否在不牺牲预测性能的情况下学习具有临床意义的表示，并探讨了架构选择对嵌入质量的影响。通过MIMIC-IV数据集比较了三种循环架构，发现T-LSTM在嵌入质量和分类准确性上优于其他模型。
2026-04-16 cs.AI cs.LG
TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding
Central South University（中南大学）
TempoGPT通过白盒系统分析构建复杂时间序列推理数据，并利用码本量化时间嵌入实现时序与文本表示一致，从而提升多模态时间序列语言模型的推理性能。
2025-03-07 cs.AI cs.LG
Temporal Network Embedding via Tensor Factorization
Emory University（埃默里大学）；Xidian University（西安电子科技大学）
静态图结构数据的表示学习在许多实际应用中表现出了显著的影响。然而，很少有人注意到时间网络的演化性质，其中的边缘往往随着时间的推移而变化。这种时间网络的嵌入应该编码图结构信息和时间演变模式。现有的方法在学习时间演化网络表示未能捕捉时间的相互依赖性。在本文中，我们提出了太妃糖，一种新的方法的时间网络表示学习的基础上张量分解。我们的方法利用张量-张量积算子对跨时间信息进行编码，从而可以捕获演化网络中的周期性变化。实验结果表明，Toffee优于现有的方法在多个真实世界的时间网络生成有效的嵌入链接预测任务。
2021-08-22 cs.LG
DyERNIE: Dynamic Evolution of Riemannian Manifold Embeddings for Temporal Knowledge Graph Completion
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
最近有越来越多的兴趣在学习表示的时间知识图谱（KG），它记录了实体之间的动态关系，随着时间的推移。时间KG通常表现出多个同时的非欧结构，如层次结构和循环结构。然而，现有的时间KG嵌入方法通常学习实体表示及其在欧几里得空间中的动态演化，这可能无法很好地捕捉这种内在结构。为此，我们提出了Dy-ERNIE，一种非欧几里德嵌入方法，它可以学习黎曼流形乘积中的演化实体表示，其中组合空间是从底层数据的截面曲率估计的。产品流形使我们的方法，以更好地反映各种各样的几何结构的时间KG。此外，为了捕捉时间KG的演化动力学，我们让实体表示根据在每个时间戳的切空间中定义的速度向量来演化。我们详细分析了几何空间的贡献表示学习的时间KG和评估我们的模型上的时间知识图谱完成任务。在三个真实世界数据集上进行的大量实验表明，性能得到了显着提高，这表明多关系图数据的动态可以通过黎曼流形上嵌入的演变来更好地建模。
2020-12-02 cs.AI cs.CL cs.LG
Multi-Relation Aware Temporal Interaction Network Embedding
Zhejiang University（浙江大学）
时间交互网络在许多领域中形成，例如，电子商务、在线教育和社交网络服务。时态交互网络嵌入可以有效地挖掘时态交互网络中的信息，对上述领域具有重要意义。通常，交互的发生不仅影响直接参与交互的节点（交互节点），而且影响交互节点的邻居节点。然而，现有的时态交互网络嵌入方法只利用历史交互关系挖掘邻居节点，忽略了其他关系类型。本文提出了一种多关系感知的时态交互网络嵌入方法（MRATE）。MRATE基于历史交互，挖掘历史交互关系、共同交互关系和交互序列相似关系，得到交互节点的邻居嵌入。MRATE中的层次多关系感知聚集方法首先利用图注意力网络（GATs）聚集通过同一关系类型传播的交互影响，然后通过自注意机制将聚集的多关系类型的交互影响合并。在三个公开的时态交互网络数据集上进行了实验，实验结果表明了MRATE的有效性。
2021-10-09 cs.LG
From Static to Dynamic Node Embeddings
University of Michigan（密歇根大学）；Adobe Research（Adobe研究（Adobe Research））
我们介绍了一个通用的框架，利用图形流数据的时间预测为基础的应用程序。我们提出的框架包括新的方法来学习一个适当的图形时间序列表示，建模和加权的时间依赖关系，并推广现有的嵌入方法，这样的数据。虽然先前关于动态建模和嵌入的工作集中于使用基于特定时间尺度的图形的时间序列来表示带时间戳的边缘流（例如，1个月），我们提出了一个$ε$图的时间序列，每个图使用一个固定数量的边缘的概念，并显示其优越性，在以前的工作中使用的时间尺度表示。此外，我们提出了一些新的时间模型的概念的基础上的时间可达图和加权时间摘要图。这些时间模型，然后使用现有的基础（静态）嵌入方法，使他们能够纳入和适当的模型在数据中的时间依赖性。从调查的6个时间网络模型（对于7个基本嵌入方法中的每一个），我们发现前3个时间模型总是那些利用新的$ε$图时间序列表示。此外，该框架的动态嵌入方法几乎总是比专门为这种时间预测任务开发的现有最先进的动态节点嵌入方法实现更好的预测性能。最后，本文的研究结果对于设计更好的动态嵌入方法具有一定的参考价值。
2020-09-21 cs.AI cs.LG cs.SI
Interpretable Topic Extraction and Word Embedding Learning using row-stochastic DEDICOM
Fraunhofer IAIS（弗劳恩霍夫研究所）；University of Bonn（波恩大学）
提出行随机 DEDICOM 变体，在语料库 PMI 矩阵上同时完成可解释主题簇识别与词嵌入学习，并给出高效约束训练方法和定性评估。
2025-07-22 cs.AI cs.CL cs.LG
TFLEX: Temporal Feature-Logic Embedding Framework for Complex Reasoning over Temporal Knowledge Graph
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Bonn（波恩大学）；National University of Defense Technology（国防科技大学）
针对时序知识图谱的复杂推理，提出TFLEX框架，结合向量逻辑与时间算子，支持一阶逻辑操作，实验验证其有效性。
2023-10-15 cs.LG
ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Technical University of Darmstadt（达姆施塔特工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有文本增强方法无法适配时序知识图谱的问题，提出融合上下文化语言表示的ECOLA方法，通过时间感知的文本注入增强时序知识嵌入，在三个新数据集的链接预测任务上最高实现287%的Hits@1相对提升。
2023-05-04 cs.CL cs.LG
STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting
Southern University of Science and Technology（南方科技大学）；The University of Tokyo（东京大学）；University of Technology Sydney（悉尼科技大学）
针对交通预测中捕捉复杂时空模式的难题，本研究提出时空自适应嵌入组件，搭配普通Transformer构建的STAEformer在5个真实数据集上达SOTA，验证了该嵌入在捕捉时空关联与时序信息上的关键作用。
2023-10-08 cs.LG
Runtime Monitoring of Perception-Based Autonomous Systems via Embedding Temporal Logic
Software and Societal Systems Department（软件与社会系统部门）；Carnegie Mellon University（卡内基梅隆大学）；General Robotics（通用机器人）；Aeronautics and Astronautics Department（航空与航天系）；University of Washington（华盛顿大学）
本文提出嵌入时序逻辑（ETL），在学习的嵌入空间中直接进行监控，通过观测嵌入与目标嵌入的距离定义谓词，能够捕捉高阶感知概念，如视觉目标相似性或避免语义区域，通过时序运算符表达时间扩展和序列行为。
2026-05-14 cs.LG
Demand Forecasting from Spatiotemporal Data with Graph Networks and Temporal-Guided Embedding
POSTECH（浦项科技大学）；Statice GmbH（Statice有限公司）；Kakao Brain；Kakao Mobility
短期需求预测模型通常结合卷积层和递归层来提取数据中复杂的时空模式。长期历史也被用来考虑作为时间序列数据的周期性和季节性模式。在本研究中，我们提出了一种高效的架构，即时间引导网络（TGNet），它利用图网络和时间引导嵌入。图网络将不变特征提取到相邻区域的排列中，而不是卷积层。时间引导的嵌入从训练数据中显式地学习时间上下文，并替换来自数天/数周前的长期历史的输入。TGNet学习自回归模型，该模型以时间引导嵌入的预测目标的时间背景为条件。最后，我们的模型在来自现实世界的三个时空需求数据集上实现了与其他基线竞争的性能，但可训练参数的数量比最先进的基线小约20倍。我们还表明，时间引导嵌入学习时间上下文的预期和TGNet具有强大的预测性能，即使是非典型事件的情况。
2019-10-07 cs.LG stat.ML
DR-SNE: Density-Regularized Stochastic Neighbor Embedding
DR-SNE是SNE的简单扩展，通过加入对齐归一化逆邻域尺度轮廓的正则项，在保留相对局部浓度的同时改善邻域保真度，适用于需关注局部浓度相对变化的降维场景。
2026-08-25 cs.LG
Node Embedding over Temporal Graphs
Technion, Israel Institute of Technology（以色列理工学院）；eBay Research（易贝研究院）
在这项工作中，我们提出了一种方法，在时间图的节点嵌入。我们提出了一种算法，学习时间图的节点和边随着时间的推移的演变，并将这种动态的时间节点嵌入框架中的不同的图形预测任务。我们提出了一个联合损失函数，该函数通过学习组合节点的历史时间嵌入来创建节点的时间嵌入，使得它针对给定任务进行优化（例如，链接预测）。该算法使用静态节点嵌入进行初始化，然后在不同时间点对节点的表示进行对齐，并最终在联合优化中适应给定的任务。我们评估了我们的方法的有效性，在各种时间图的时间链接预测和多标签节点分类的两个基本任务，比较有竞争力的基线和算法的替代品。我们的算法在许多数据集和基线上都显示出了性能上的改进，并且对于内聚性较低、聚类系数较低的图特别有效。
2021-05-19 cs.LG cs.SI stat.ML
Multi-Aspect Temporal Network Embedding: A Mixture of Hawkes Process View
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data and Brain Computing（大数据与脑计算北京高等创新中心）；Beijing Key Laboratory of Emergency Support Simulation Technologies for City Operations（城市运行应急保障模拟技术北京市重点实验室）
近年来，网络嵌入引起了人们极大的研究兴趣。现有的工作已经采取的关键信息，以揭示网络结构的内在动力学的邻居形成，并建议编码的时间边缘形成序列，以捕捉邻居的历史影响。然而，在本文中，我们认为，边缘的形成可以归因于各种驱动因素，包括时间的影响，这是更好地称为多个方面。事实上，不同的节点方面可以驱动不同邻居的形成，从而产生与时间范围相关但超出时间范围的多方面嵌入。沿着这条脉络，我们提出了一个混合的基于Hawks的时态网络嵌入（MHNE）模型来捕捉方面驱动的邻域形成的网络。在MHNE中，我们将多方面嵌入编码到Hawkes过程的混合物中，以获得建模激发效应和潜在方面的优势。具体而言，使用图注意力机制来分配不同的权重以考虑历史事件的激励效应，同时插入Gumbel-Softmax以导出各个方面的分布。在8个不同的时间网络上进行的大量实验表明，与现有的方法相比，MHNE获得的多方面嵌入具有很好的性能。
2021-05-18 cs.LG
Supervised Stochastic Neighbor Embedding Using Contrastive Learning
University of Geneva（日内瓦大学）
本研究将自监督对比学习扩展至全监督设置，提出一种有监督随机近邻嵌入方法，通过在低维空间中拉近同类样本、推开异类样本，有效利用标签信息以优化数据可视化。
2023-09-15 cs.LG
Doubly Stochastic Neighbor Embedding on Spheres
Aalto University（阿尔托大学）；Australian National University（澳大利亚国立大学）；University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）；Norwegian University of Science and Technology（挪威科技大学）
随机邻域嵌入（SNE）方法最小化了高维数据集的相似性矩阵与低维嵌入的相似性矩阵之间的差异，从而导致广泛应用的数据可视化工具。尽管他们的流行，目前SNE方法遇到拥挤的问题时，数据包括高度不平衡的相似性。这意味着具有更高总相似性的数据点倾向于在显示中心周围变得拥挤。为了解决这个问题，我们引入了一个快速的归一化方法，并规范化的相似性矩阵是双重随机的，使所有的数据点有相等的总相似度。此外，我们的经验和理论表明，双随机约束往往会导致嵌入近似球形。这意味着用球面代替平面空间作为嵌入空间。球面嵌入消除了可视化过程中中心和边缘的不一致性，有效地解决了拥挤问题。我们比较了所提出的方法（DOSNES）与最先进的SNE方法在三个真实世界的数据集，结果清楚地表明，我们的方法是更有利的可视化质量。
2018-09-11 cs.LG
Stochastic Shared Embeddings: Data-driven Regularization of Embedding Layers
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
在深度神经网络中，较低级别的嵌入层占参数总数的很大一部分。Tikhonov正则化、基于图的正则化和硬参数共享是在训练中引入显式偏差以降低统计复杂性的方法。或者，我们提出了随机共享嵌入（SSE），这是一种数据驱动的正则化嵌入层的方法，它在随机梯度下降（SGD）过程中随机转换嵌入之间的转换。由于SSE与现有的SGD算法无缝集成，因此在训练大规模神经网络时只需进行较小的修改即可使用。我们开发了两个版本的SSE：SSE-图使用知识图谱的嵌入; SSE-SE使用没有先验信息。我们为我们的方法提供了理论保证，并在6个不同的任务上显示了其经验有效性，从推荐系统中具有一个隐藏层的简单神经网络，到自然语言中的Transformer和BERT。我们发现，当与广泛使用的正则化方法（如权重衰减和dropout）一起使用时，我们提出的SSE可以进一步减少过拟合，这通常会导致更有利的泛化结果。
2020-10-03 cs.LG stat.ML
PixelSNE: Visualizing Fast with Just Enough Precision via Pixel-Aligned Stochastic Neighbor Embedding
Korea University（高丽大学）；University of Michigan（密歇根大学）；Georgia Tech（佐治亚理工学院）
在二维空间中嵌入和可视化大规模高维数据是一个重要的问题，因为这种可视化可以揭示复杂数据的深刻见解。然而，大多数现有的嵌入方法，运行在一个过高的精度，忽略了这样一个事实，即在最后，嵌入输出被转换成粗粒度的离散像素坐标在屏幕空间。出于这样的观察和直接考虑像素坐标的嵌入优化过程中，我们加速Barnes-Hut树为基础的t分布随机邻居嵌入（BH-SNE），被称为最先进的2D嵌入方法，并提出了一种新的方法称为PixelSNE，一个高效的，屏幕分辨率驱动的2D嵌入方法与线性计算复杂性的数据项的数量。我们的实验结果表明，PixelSNE的运行时间明显快于BH-SNE，同时保持嵌入质量的最小退化。最后，我们的方法的源代码可以在www.example.com上公开获得
2017-03-03 cs.LG
Evaluating KGR10 Polish word embeddings in the recognition of temporal expressions using BiLSTM-CRF
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
本文介绍了一组新的波兰语词嵌入，使用KGR 10语料库，其中包含超过40亿个单词。这些嵌入评估的时间表达式（时间）的波兰语言的识别问题。我们描述了KGR 10语料库的创建过程和一种新的识别方法，使用双向长短期记忆（BiLSTM）网络与额外的CRF层，其中特定的嵌入是必不可少的。我们介绍了实验和从中得出的结论。
2019-04-03 cs.CL cs.LG stat.ML
Stochastic Cluster Embedding
Norwegian University of Science and Technology（挪威科技大学）；Aalto University（阿尔托大学）；Finnish Geospatial Research Institute（芬兰地理空间研究所）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（威康桑格研究所）；University of Helsinki（赫尔辛基大学）
邻域嵌入（NE）旨在保持数据项之间的成对相似性，并已被证明是数据可视化的有效原则。然而，即使是现有的最好的NE方法，如随机邻居嵌入（SNE），也可能隐藏大规模的模式，例如集群，尽管数据中存在强信号。为了解决这个问题，我们提出了一个新的集群可视化方法的基础上的邻居嵌入原则。首先，我们提出了一个家庭的邻居嵌入方法，通过使用非归一化的Kullback-Leibler散度与尺度参数，概括SNE。在这个系列中，更好的聚类可视化通常会出现与SNE对应的参数值不同的参数值。我们还开发了一个高效的软件，采用异步随机块坐标下降优化新的家庭的目标函数。我们的实验结果表明，该方法一致，并大大提高了可视化的数据集群相比，国家的最先进的NE方法。
2021-09-14 cs.LG
Parametric t-Distributed Stochastic Exemplar-centered Embedding
NEC Labs America（美国NEC实验室）；National Research Council Canada（加拿大国家研究委员会）；Duke University（杜克大学）
诸如参数t-SNE（pt-SNE）的参数嵌入方法已被广泛用于数据可视化和样本外数据嵌入，而无需进一步的计算上昂贵的优化或近似。然而，pt-SNE的性能是高度敏感的超参数批量大小，由于冲突的优化目标，并经常产生显着不同的嵌入与用户定义的困惑的不同选择。为了有效地解决这些问题，我们提出了参数t分布随机样本为中心的嵌入方法。我们的策略通过将给定的数据与预先计算的样本进行比较来学习嵌入参数，从而产生具有线性计算和内存复杂度的成本函数，并通过噪声对比样本进一步降低成本函数。此外，我们提出了一种具有高阶特征交互的浅嵌入网络用于数据可视化，该网络更容易调整，但与pt-SNE采用的深度神经网络相比，其性能相当。我们经验证明，使用几个基准数据集，我们提出的方法显着优于pt-SNE的鲁棒性，视觉效果和定量评估。
2018-04-20 cs.LG
ConTIG: Continuous Representation Learning on Temporal Interaction Graphs
Xiamen University（厦门大学）；University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）
时间交互图（TIG）上的表示学习是对复杂网络进行建模，其中交互的动态演化出现在广泛的问题中。现有的TIG动态嵌入方法仅在交互发生时离散地更新节点嵌入。它们未能捕捉到节点嵌入轨迹的连续动态演化。在本文中，我们提出了一个两模块的框架命名为ConTIG，连续表示方法，捕捉节点嵌入轨迹的连续动态演变。我们的模型有两个基本模块，利用动态网络中的三重因素，包括最新的交互，邻居特征和固有特征。在第一个更新模块中，我们采用连续推理块来学习节点的状态轨迹，通过使用常微分方程从节点对之间的时间相邻的交互模式中学习。在第二个转换模块中，我们引入了一个自我注意力机制，通过聚集历史时间交互信息来预测未来的节点嵌入。实验结果表明，ConTIG算法在时间链接预测、时间节点推荐和动态节点分类等任务上优于一系列现有的算法，特别是在长时间间隔交互预测方面。
2021-09-27 cs.AI cs.LG cs.SI
weg2vec: Event embedding for temporal networks
ISI Foundation（ISI基金会）；Alma Mater Studiorum University of Bologna（博洛尼亚大学）；Central European University（中欧大学）；Univ de Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IXXI（里昂复杂系统研究所）
网络嵌入技术是强大的，以捕捉网络中的结构化的，并确定其本地结构之间的相似性。然而，传统的网络嵌入模型是针对静态结构开发的，通常只考虑节点，当网络随时间变化时，它们受到严重挑战。时间网络在描述真实系统方面可能具有优势，但它们编码的是更复杂的信息，到目前为止，只有少数几种方法才能有效地表示这些信息。在这里，我们提出了一种新的时间网络的事件嵌入方法，称为weg2vec，它建立在事件的时间和结构相似性上，以学习时间网络的低维表示。这种投影成功地捕捉到了涉及不同时间不同节点的事件之间的潜在结构和相似性，并提供了预测在时间结构上展开的传播过程的最终结果的方法。
2019-11-06 cs.LG cs.SI physics.soc-ph
Temporal Graph Network Embedding with Causal Anonymous Walks Representations
HSE University（高等经济大学）；University of Ljubljana（卢布尔雅那大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Sber AI Lab（Sber人工智能实验室）
图机器学习中的许多任务，例如链接预测和节点分类，通常通过使用表示学习来解决，其中网络中的每个节点或边通过嵌入进行编码。虽然静态图中存在大量的网络嵌入，但当分析动态（即时态）网络时，任务变得更加复杂。本文提出了一种新的基于时态图网络的动态网络表示学习方法，该方法通过提取因果匿名路径，使用高度自定义的消息生成函数。为了评估，我们提供了一个基准管道的时间网络嵌入的评估。这项工作为涉及节点分类和链接预测的图机器学习问题的每个可用设置中的时态网络表示学习提供了第一个全面的比较框架。所提出的模型优于国家的最先进的基线模型。这项工作还证明了它们之间的差异的基础上评估在各种转导/感应边缘/节点分类任务。此外，我们展示了我们的模型在现实世界的下游图机器学习任务中的适用性和优越性能，该任务由欧洲顶级银行之一提供，涉及基于交易数据的信用评分。
2021-08-24 cs.LG
Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs（英特尔研究院）
对于随机块模型生成的图，邻接谱嵌入是渐近一致的。此外，由普遍一致的分类器组成的邻接谱嵌入是普遍一致的，以实现贝叶斯错误。然而，当图包含私有或敏感信息时，将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明，我们提出的方法可以估计的潜在位置接近，在Frobenius范数，通过邻接谱嵌入的潜在位置，并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
TempoQR: Temporal Question Reasoning over Knowledge Graphs
Amazon Web Services（亚马逊云科技）；Intel（英特尔）
知识图谱问答（KGQA）涉及使用自然语言查询从知识图谱（KG）检索事实。KG是一组由关系链接的实体组成的精选事实。某些事实还包括形成时间KG（TKG）的时间信息。虽然许多自然问题涉及明确或隐含的时间限制，问答（QA）在TKG一直是一个相对未开发的领域。现有的解决方案主要是针对简单的时间问题而设计的，这些问题可以通过单个TKG事实直接回答。本文提出了一个全面的嵌入式框架，回答复杂的问题，在TKG。我们的方法称为时间问题推理（TempoQR）利用TKG嵌入地面的问题，它所指的特定实体和时间范围。它通过采用三个专门的模块来增强问题嵌入的上下文，实体和时间感知信息。第一个计算给定问题的文本表示，第二个将其与问题中涉及的实体的实体嵌入相结合，第三个生成特定于问题的时间嵌入。最后，基于变换的编码器学习将生成的时间信息与用于答案预测的问题表示融合。大量的实验表明，TempoQR在复杂的时间问题上比最先进的方法提高了25- 45个百分点的准确率，并且更好地推广了看不见的问题类型。
2021-12-10 cs.AI cs.CL cs.LG
A unified view on Self-Organizing Maps (SOMs) and Stochastic Neighbor Embedding (SNE)
NeoInstinct S.A.（NeoInstinct股份有限公司）
我们提出了一个统一的观点，两个广泛使用的数据可视化技术：自组织映射（SOM）和随机邻居嵌入（SNE）。我们表明，它们都可以来自一个共同的数学框架。利用这个公式，我们建议比较SOM和SNE定量两个数据集，并讨论未来工作的可能途径，以利用这两种方法。
2022-05-03 cs.LG cs.NE stat.ML
Temporal Network Embedding with Micro- and Macro-dynamics
Beijing University of Posts and Communications（北京邮电大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Case Western Reserve University（凯斯西储大学）
网络嵌入的目的是将节点嵌入到一个低维空间中，同时捕捉网络的结构和性质。虽然已经提出了不少有前途的网络嵌入方法，但大多数都集中在静态网络上。事实上，时间网络，通常随着时间的推移在微观和宏观动力学方面的演变，是无处不在的。微观动力学详细描述了网络结构的形成过程，宏观动力学则是网络规模的演化模式。微观动力学和宏观动力学都是网络演化的关键因素，然而，如何优雅地捕捉它们的时间网络嵌入，特别是宏观动力学，尚未得到很好的研究。在本文中，我们提出了一种新的时间网络嵌入方法与微观和宏观动力学，命名为$\rm{M^2DNE}$。具体而言，对于微观动力学，我们认为边的建立作为时序事件的发生，并提出了一个时间注意点过程来捕捉网络结构的形成过程中的细粒度的方式。对于宏观动力学，我们定义了一个一般的动力学方程参数与网络嵌入捕捉内在的演化模式，并施加约束，在更高的结构水平上的网络嵌入。时间网络中微观和宏观动态的相互演化交替影响学习节点嵌入的过程。在三个真实世界的时间网络上进行的大量实验表明，$\rm{M^2DNE}$不仅在传统任务中，网络重建，而且在时间趋势相关的任务中，例如，规模预测
2019-09-10 cs.LG cs.SI stat.ML
SQuadMDS: a lean Stochastic Quartet MDS improving global structure preservation in neighbor embedding like t-SNE and UMAP
MIT Media Lab（麻省理工学院媒体实验室）；UCLouvain（鲁汶天主教大学）；IREC（鲁汶天主教大学临床与实验研究所）
多维缩放是一种统计过程，旨在将高维数据嵌入到低维空间中;该过程通常用于数据可视化。常见的多维尺度算法往往具有较高的计算复杂性，使得它们不适用于大型数据集。这项工作介绍了一种随机的，力导向的方法，多维缩放的时间和空间复杂度为O（N），N个数据点。该方法可以与相邻嵌入家族的力定向布局（如t-SNE）相结合，以产生保留数据的全局和局部结构的嵌入。实验评估质量的嵌入产生的独立版本和其混合扩展定量和定性，表现出竞争力的结果优于国家的最先进的方法。代码可在https://github.com/PierreLambert3/SQuaD-MDS-and-FItSNE-hybrid上获得。
2022-02-24 cs.LG
Temporal Self-Attention Network for Medical Concept Embedding
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）
在纵向电子健康记录（EHR）中，患者的事件记录分布在很长一段时间内，事件之间的时间关系反映了足够的领域知识，以利于预测任务，如住院死亡率。医学概念嵌入作为一种特征提取方法，将一组具有特定时间戳的医学概念转换为向量，该向量将被馈送到监督学习算法中。嵌入的质量显著地决定了对医学数据的学习性能。在本文中，我们提出了一种基于应用自我注意力机制来表示每个医学概念的医学概念嵌入方法。我们提出了一种新的注意力机制，它捕获的上下文信息和医学概念之间的时间关系。一个轻量级的神经网络，“时间自我注意力网络（TeSAN）"，然后提出学习医学概念嵌入的基础上提出的注意力机制。为了测试我们提出的方法的有效性，我们对两个公共EHRs数据集进行了聚类和预测任务，将TeSAN与五种最先进的嵌入方法进行了比较。实验结果表明，所提出的TeSAN模型优于所有比较方法。据我们所知，这项工作是第一次利用时间的自我注意的关系之间的医疗事件。
2019-09-15 cs.CL cs.LG
Stochastic Separability of Embedding Manifolds
School of Computer Science（计算机学院）；Shanghai Jiao Tong University（上海交通大学）
本文针对两类对象嵌入流形，提出并证明了随机可分性定理，通过投影测度集中分析技术，揭示了对象嵌入流形的几何与统计特性，为深度网络表示学习提供新机制。
2026-08-25 cs.CV cs.LG
A Kernel Mean Embedding Approach to Reducing Conservativeness in Stochastic Programming and Control
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Freiburg（弗莱堡大学）
我们将核均值嵌入方法应用于基于样本的随机最优化和控制。具体来说，我们使用缩减集扩展方法作为丢弃采样场景的一种方式。这种约束去除的效果是提高最优性和降低保守性。这是通过求解分布距离正则化最优化问题来实现的。我们证明了这种优化配方是动机良好的理论，计算上易于处理和有效的数值算法。
2020-04-22 cs.LG cs.SY eess.SY
Significance of Speaker Embeddings and Temporal Context for Depression Detection
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；Nova Scotia Health（新斯科舍省卫生局）
近年来，从语音中检测抑郁症引起了人们的广泛关注。然而，说话人特定信息在抑郁症检测中的意义尚未得到探讨。在这项工作中，我们分析了说话人嵌入的抑郁症检测任务的语音的意义。实验结果表明，说话人嵌入提供了重要的线索，以实现国家的最先进的性能在抑郁症检测。我们还表明，结合传统的OpenSMILE和COVAREP功能，携带互补信息，与扬声器嵌入进一步提高了抑郁症检测性能。本文还分析了时间背景在用于抑郁检测的深度学习模型训练中的重要性。
2021-07-24 cs.CY cs.LG cs.SD
