TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations
Emory University（埃默里大学）
本文提出TAGA框架，通过图-文本相互转换构建多视图对齐，实现文本属性图的自监督学习，在零样本和少样本场景中表现优异。
2024-05-27 cs.AI cs.LG
Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知国家重点实验室，中国科学技术大学）；Alibaba Group（阿里巴巴集团）
针对大规模属性图上分别训练节点编码器与图神经网络导致的学习偏差问题，本文提出标签反卷积（LD）技术，通过可扩展的GNN逆映射近似实现与联合训练等价的目标函数，并在OGB数据集上显著超越现有方法。
2025-06-03 cs.AI cs.LG
HypperSteer: Hypothetical Steering and Data Perturbation in Sequence Prediction with Deep Learning
University of California, Davis（加州大学戴维斯分校）
深度递归神经网络（RNN）继续在时间事件序列的预测决策方面取得成功。最近的研究表明，可视化分析在解释现实世界应用的深度学习模型方面具有重要性和实用性。然而，非常有限的工作使得能够与深度学习模型进行交互，并指导从业者形成对期望的预测结果的假设，特别是对于序列预测。具体而言，没有现有的工作已经解决了假设分析和值扰动沿着不同的时间步长序列结果预测。我们提出了一个模型不可知的可视化分析工具，HypperSteer，引导假设的测试，并允许用户扰动数据的序列预测交互式。我们展示了HypperSteer如何帮助引导患者数据以实现预期的治疗结果，并讨论了HypperSteer如何作为其他实际场景的综合解决方案。
2020-11-20 cs.AI cs.HC cs.LG
k-Nearest Neighbors by Means of Sequence to Sequence Deep Neural Networks and Memory Networks
Northwestern University（西北大学）
k-最近邻是最基本但最有效的分类模型之一。在本文中，我们提出了两个系列的模型建立在一个序列到序列模型和记忆网络模型来模仿k-最近邻模型，产生一个序列的标签，一个序列的样本外的特征向量和分类的最终标签，因此他们也可以作为过采样器。我们还提出了我们的模型的“核心外”版本，假设只有一小部分数据可以加载到内存中。计算实验表明，我们的模型在结构化数据集上的性能优于k-最近邻，前馈神经网络，XGBoost，lightGBM，随机森林和记忆网络，因为我们的模型必须产生额外的输出，而不仅仅是标签。在图像和文本数据集上，我们模型的性能接近许多最先进的深度模型。作为不平衡数据集上的过采样器，序列到序列kNN模型往往优于合成少数过采样技术和自适应合成采样。
2019-11-27 cs.AI cs.LG stat.ML
MLAS: Metric Learning on Attributed Sequences
Worcester Polytechnic Institute（伍斯特理工学院）；Amadeus（艾玛迪斯）
距离度量学习近年来引起了人们的广泛关注，其目标是基于用户反馈来学习距离度量。传统的度量学习方法主要集中在学习数据属性上的马氏距离度量。最近关于度量学习的研究已经扩展到序列数据，其中我们只有序列中的结构信息，但没有属性可用。然而，现实世界的应用通常涉及属性序列数据（例如，点击流），其中每个实例不仅包括一组属性（例如，用户会话上下文）而且是分类项的序列（例如，用户动作）。本文研究属性序列的度量学习问题。与以前的度量学习工作不同，我们现在需要在属性特征空间中超越Mahalanobis距离度量，同时还将结构信息纳入序列中。我们提出了一个深度学习框架，称为MLAS（Metric Learning on Attributed Sequences），用于学习有效测量属性序列之间差异的距离度量。真实世界数据集上的实证结果表明，所提出的MLAS框架显着提高性能的度量学习相比，国家的最先进的方法属性序列。
2020-11-08 cs.LG
DeepProtein: Deep Learning Library and Benchmark for Protein Sequence Learning
Department of Computer Science ETH Zurich（计算机科学系 雪绒花大学）；National Key Laboratory for Novel Software Technology, School of Computer Science Nanjing University（新型软件技术国家重点实验室 计算机科学学院 南京大学）
本研究推出面向蛋白质相关任务的深度学习库DeepProtein与配套基准，提出基于Prot-T5微调的DeepProt-T5系列模型，在多项蛋白质任务上取得优异性能，库易用且支持可复现。
2025-04-06 cs.AI cs.LG q-bio.QM
Attributed Sequence Embedding
Worcester Polytechnic Institute（伍斯特理工学院）；Amadeus IT Group（艾玛迪斯信息技术集团）
在连续数据（如点击流和基因序列）上的挖掘任务需要精心设计可用于学习算法的嵌入。最近的特征学习研究已经扩展到序列数据，其中每个实例由具有可变长度的异构项序列组成。然而，许多现实世界的应用程序通常涉及属性序列，其中每个实例都由一系列分类项和一组属性组成。在本文中，我们研究这个新的问题的属性序列嵌入，其目标是学习的表示属性序列在一个无监督的方式。这个问题是从用户行为分析到基因序列聚类等许多重要数据采掘任务的核心。这个问题是具有挑战性的，由于序列之间的依赖关系和它们的相关属性。我们提出了一个深度多模态学习框架，称为NAS，以生成属性序列的嵌入。嵌入是独立于任务的，可以用于各种挖掘任务的属性序列。我们在现实世界数据集的各种无监督学习任务中证明了属性序列嵌入的有效性。
2019-11-03 cs.CL cs.DB cs.LG
DeepSRGM -- Sequence Classification and Ranking in Indian Classical Music with Deep Learning
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出基于LSTM-RNN的深度学习方法DeepSRGM，通过预处理和短序列训练实现印度古典音乐的Raga识别，在CompMusic Carnatic数据集上达到88.1%和97%的准确率，并支持旋律模式检索。
2024-02-15 cs.AI cs.IR cs.LG
DeepSF: deep convolutional neural network for mapping protein sequences to folds
University of Missouri（密苏里大学）
蛋白质折叠识别是结构生物信息学中的一个重要问题。传统的折叠识别方法几乎都是通过序列（同源性）比较，根据已知结构的模板蛋白的折叠来间接预测目标蛋白的折叠，无法解释序列与折叠之间的关系。由于方法学的限制，只有少数几种方法被开发出来将蛋白质序列分类为少量的折叠，这些方法在实践中通常不实用。结果我们开发了一个深度一维卷积神经网络（DeepSF），可以直接将任意蛋白质序列分类到1195个已知折叠中的一个，这对于折叠识别和序列-结构关系的研究都是有用的。与传统的基于序列比对（比较）的方法不同，我们的方法自动地从任意长度的蛋白质序列中提取折叠相关的特征，并将其映射到折叠空间。我们在SCOP1.75的数据集上对我们的方法进行了训练和测试，分类准确率为80.4%。在SCOP2.06的独立测试数据集上，分类准确率为77.0%。我们比较了我们的方法与顶部轮廓轮廓对齐方法- HHSearch在CASP 9 -12的基于硬模板和无模板的建模目标上的折叠识别准确性。对于前1、5和10个预测折叠，我们的方法在无模板建模目标上的准确性比HHSearch高14.5%-29.1%，在基于硬模板的建模目标上高4.5%-16.7%。该方法提取的隐藏特征对序列突变、插入、删除和截短具有较强的鲁棒性，可用于蛋白质聚类、比较和排序等其他蛋白质模式识别问题。
2017-06-04 cs.LG q-bio.BM
Locality Sensitive Hashing-based Sequence Alignment Using Deep Bidirectional LSTM Models
Georgia Institute of Technology（佐治亚理工学院）
双向长短期记忆（LSTM）是一种特殊的递归神经网络（RNN）架构，旨在比RNN更精确地建模序列及其长程依赖关系。本文提出使用深度双向LSTM进行序列建模，作为执行基于局部敏感哈希（LSH）的序列比对的方法。特别是，我们使用深度双向LSTM来学习LSH的特征。然后可以利用获得的LSH进行序列比对。我们证明了使用所提出的基于LSTM的模型通过在参考基因组上比对短读查询来建模序列的可行性。除了使用Illumina测序技术生成的一组短读段之外，我们还使用人类参考基因组作为我们的训练数据集。最终目标是将查询序列与参考基因组进行比对。我们首先将参考基因组分解成多个序列。然后，这些序列被馈送到双向LSTM模型中，然后映射到固定长度的向量中。这些向量就是我们所说的训练过的LSH，然后可以用于序列比对。案例研究表明，使用引入的基于LSTM的模型，我们实现了更高的精度与历元的数量。
2020-04-05 cs.LG cs.NE stat.ML
Inverse folding for antibody sequence design using deep learning
Exscientia
本文提出一种针对抗体结构微调的逆折叠模型，在序列恢复率和结构鲁棒性上优于通用蛋白质模型，尤其改善了CDR-H3环，并探索了其在药物发现和结合剂设计中的应用。
2023-10-30 cs.AI q-bio.BM
Atmospheric Turbulence Removal with Video Sequence Deep Visual Priors
University of Bristol（布里斯托尔大学）
针对大气湍流导致的图像畸变及现有方法的运动伪影、数据依赖问题，提出基于加速DIP并融合像素混排与时间滑动窗口的自监督时空先验方法，可在无需外部数据集和真值的情况下提升原始或预处理视频序列的视觉质量。
2024-02-29 cs.AI cs.CV eess.IV
ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks
Eindhoven University of Technology（埃因霍温理工大学）；Cooperatieve Rabobank U.A.（拉博银行）
有效地检测属性网络中的异常节点对于许多实际应用的成功至关重要，例如欺诈和入侵检测。现有的方法有三个主要问题的困难：稀疏性和非线性捕获，残差建模和网络平滑。我们提出了残差图卷积网络（ResGCN），这是一种基于注意力的深度残差建模方法，可以解决这些问题：使用GCN对属性网络进行建模可以捕获稀疏性和非线性;利用深度神经网络可以直接从输入中学习残差，基于残差的注意力机制可以减少异常节点的不利影响并防止过度平滑。在几个真实世界的属性网络上进行的大量实验证明了ResGCN在检测异常方面的有效性。
2020-09-30 cs.LG stat.ML
TRACE: Transformer-based user Representations from Attributed Clickstream Event sequences
Expedia Group（亿客行集团）
提出TRACE模型，利用Transformer从多会话点击流生成用户嵌入，通过多任务学习捕获长期偏好，在旅游电商数据集上表现优于传统架构。
2024-09-02 cs.AI cs.IR cs.LG
Deep Bayesian Optimization on Attributed Graphs
Texas A&M University（德州农工大学）；Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, China（中国教育部符号计算与知识工程重点实验室）
属性图包含丰富的上下文特征，而不仅仅是网络结构，是无处不在的，并已被观察到有利于各种网络分析应用程序。图结构优化是在一定的尺度下寻找最优图的一种有效的计算工具。然而，传统的无模型方法遭受昂贵的计算成本评估图;现有的向量贝叶斯优化方法不能直接应用于属性图，并具有可扩展性问题，由于使用高斯过程（GP）。为了弥补这一差距，在本文中，我们提出了一种新的可扩展的深度图贝叶斯优化（DGBO）方法属性图。DGBO通过采用深度图神经网络来替代黑盒函数，避免了GP的立方复杂性，并且可以随着观测值的数量线性缩放。对人工和现实世界的问题进行了深入的实验，包括分子发现和城市道路网络设计，并证明了DGBO与最先进的技术相比的有效性。
2019-05-31 cs.LG stat.ML
Scalable Deep Metric Learning on Attributed Graphs
The Ohio State University（俄亥俄州立大学）；University of Georgia（佐治亚大学）；Kent State University（肯特州立大学）
本文提出基于深度度量与无偏对比学习的属性图嵌入方法，给出半监督 DMT 和无监督 DMAT-i 两种算法，首次建立 tuplet 损失与对比学习的联系，并在节点聚类、分类和链接预测任务上取得优于单一现有方法的一致性表现。
2024-11-20 cs.LG
Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding
Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文提出深度流形（变分）图自编码器DMVGAE/DMGAE，通过在预定义分布下保持原始空间与潜在空间的节点测地相似性，解决属性图嵌入中的拥挤问题，并在多个数据集上显著超越现有基线方法。
2024-01-12 cs.LG
Deep Dual Support Vector Data Description for Anomaly Detection on Attributed Networks
Zhengzhou University（郑州大学）；GRG Banking Technology Co., Ltd（广电运通金融电子股份有限公司）；Harbin University of Science and Technology（哈尔滨理工大学）；Minjiang University（闽江学院）
网络在现实世界中普遍存在，如社交网络和通信网络，网络异常检测的目标是发现其结构或属性模式与大多数参考节点显著偏离的节点。然而，传统的异常检测方法大多忽略了数据点之间的关系结构信息，因此不能有效地推广到图结构数据。在本文中，我们提出了一个端到端模型的深度双重支持向量数据描述为基础的自动编码器（Dual-SVDAE）的异常检测属性网络，它考虑了结构和属性的属性网络。具体地说，Dual-SVDAE由一个结构自动编码器和一个属性自动编码器组成，分别学习节点在结构空间和属性空间中的潜在表示。然后，一个双超球学习机制施加到他们学习两个超球的正常节点的结构和属性的角度分别。此外，为了实现网络结构和属性的联合学习，将结构嵌入和属性嵌入融合，作为特征解码器的最终输入，生成节点属性。最后，分别在隐结构空间和属性空间中，通过测量节点到每个超球面学习中心的距离来检测异常节点。在真实属性网络上的大量实验表明，Dual-SVDAE的性能始终优于现有技术，这证明了所提出的方法的有效性。
2021-09-01 cs.LG
Deep Fraud Detection on Non-attributed Graph
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；GrabTaxi Holdings Pte Ltd（GrabTaxi控股私人有限公司）
欺诈检测问题通常被公式化为图上的机器学习问题。最近，图神经网络（GNN）在欺诈检测方面表现出了良好的性能。大多数以前的方法的成功在很大程度上依赖于丰富的节点特征和高保真标签。然而，在大规模的工业问题中，标记数据是稀缺的，特别是对于欺诈检测，新的模式不时出现。同时，由于隐私等约束，节点特征也受到限制。在本文中，我们提出了两个改进：1）我们设计了一个图转换方法捕获的结构信息，以促进GNN上的非属性欺诈图。2)我们提出了一种新的图预训练策略，通过对比学习来利用更多的未标记数据。大规模工业数据集上的实验证明了该框架的有效性。
2021-10-04 cs.LG cs.SI
Attributed Graph Clustering: A Deep Attentional Embedding Approach
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）
图聚类是发现网络中社区或群体的基本任务。最近的研究主要集中在开发深度学习方法来学习紧凑的图嵌入，在此基础上应用经典的聚类方法，如k-means或谱聚类算法。这些两步框架难以操作，并且通常导致次优性能，主要是因为图嵌入不是目标导向的，即，专为特定的集群任务而设计。在本文中，我们提出了一种目标导向的深度学习方法，深度注意嵌入图聚类（简称DAEGC）。我们的方法侧重于属性图，充分探索图中的信息的两个方面。通过使用注意力网络来捕捉相邻节点对目标节点的重要性，我们的DAEGC算法将图中的拓扑结构和节点内容编码为紧凑的表示，在此基础上训练内积解码器来重建图结构。此外，从图嵌入本身产生的软标签来监督一个自训练图聚类过程，迭代地细化聚类结果。自训练过程与图嵌入在统一的框架中共同学习和优化，使两个组件互惠互利。实验结果表明，与现有的算法相比，该方法具有优越性。
2019-06-15 cs.LG stat.ML
ADSAGE: Anomaly Detection in Sequences of Attributed Graph Edges applied to insider threat detection at fine-grained level
Atos Information Technology（Atos信息技术公司）；University of Passau（帕绍大学）
以前的作品在CERT内部威胁检测的情况下，忽略了图形和文本功能，尽管它们的相关性来描述用户的行为。此外，现有系统严重依赖于特征工程和审计数据聚合来检测恶意活动。这是耗时的，需要专业知识，并防止追溯警报到精确的用户操作。为了解决这些问题，我们引入ADSAGE来检测异常的审计日志事件建模为图形边缘。我们的一般方法是第一个在边缘级别进行异常检测，同时支持边缘序列和属性，可以是数字，分类，甚至文本。我们描述了ADSAGE如何在CERT用例的不同审计日志中用于细粒度的事件级内部威胁检测。值得注意的是，没有标准的CERT问题的基准，我们使用以前提出的评估设置的基础上现实的召回为基础的指标。我们评估ADSAGE的身份验证，电子邮件流量和来自CERT内部威胁数据集的Web浏览日志，以及真实世界的身份验证事件。ADSAGE可以有效地检测身份验证中的异常，建模为用户与计算机的交互，以及电子邮件通信。简单的基线也会产生令人惊讶的强大结果。我们还报告了CERT数据集中存在的恶意场景的性能分裂：有趣的是，几个检测器是互补的，可以结合起来提高检测。总的来说，我们的研究结果表明，图特征是翔实的恶意内部活动的特征，并在细粒度级别的检测是可能的。
2020-07-14 cs.CR cs.LG stat.ML
DeepExpress: Heterogeneous and Coupled Sequence Modeling for Express Delivery Prediction
Northwestern Polytechnical University（西北工业大学）；University of Technology Sydney（悉尼科技大学）
快递配送序列的预测，即，建模和估计每日进出包裹的递送量对于在线业务、物流和积极的客户体验，特别是对于资源分配优化和促销活动安排至关重要。对消费者交付请求的精确估计必须涉及诸如购物行为、天气条件、事件、商业活动及其耦合等顺序因素。此外，传统的层序预测假设层序演化是稳定的，无法解决上述多源数据中复杂的非线性层序和各种特征效应。尽管深度网络和注意力机制展示了复杂序列建模的潜力，但现有网络忽略了特征和序列之间的异构和耦合情况，导致预测准确性较弱。为了解决这些问题，我们提出了DeepExpress -一种基于深度学习的快递序列预测模型，它扩展了经典的seq 2seq框架，以学习序列和特征之间的复杂耦合。DeepExpress利用快递seq 2seq学习，精心设计的异构特征表示，以及新颖的联合训练注意力机制来自适应地映射异构数据，并捕获序列-特征耦合以进行精确估计。实验结果表明，该方法优于浅基线和深基线模型。
2021-08-18 cs.AI cs.LG
Deep Feature Learning for Graphs
Palo Alto Research Center (Xerox PARC)（帕洛阿尔托研究中心（施乐帕克研究中心））；Intel Labs（英特尔实验室）
本文提出了一个通用的图表示学习框架DeepGL，用于从大型（属性）图中学习深度节点和边表示。特别地，DeepGL通过导出一组基本特征（例如，graphlet特征）并自动学习多层分层图表示，其中每个连续层利用来自前一层的输出来学习更高阶的特征。与以前的工作相反，DeepGL学习了跨网络泛化的关系函数（每个函数代表一个特征），因此对基于图的迁移学习任务很有用。此外，DeepGL自然地支持属性图，学习可解释的特征，并且是空间有效的（通过学习稀疏特征向量）。此外，DeepGL具有丰富的表达能力，灵活的许多可互换组件，高效的时间复杂度为$\mathcal{O}(|E|)$，并通过高效的并行实现可扩展为大型网络。与最先进的方法相比，DeepGL（1）对于跨网络迁移学习任务和属性图表示学习有效，（2）空间效率高，需要的内存少6倍，（3）运行时性能快速，加速高达182倍，（4）准确，在许多学习任务上平均提高20%或更多。
2017-10-16 cs.LG cs.SI stat.ML
Deep Multi-attributed Graph Translation with Node-Edge Co-evolution
George Mason University（乔治梅森大学）
图翻译是从图像翻译和语言翻译中推广而来的，其目的是通过在源域中调节输入图来在目标域中生成图。这个有前途的话题最近引起了越来越多的关注。现有的工作仅限于预测具有固定拓扑的图的节点属性，或者仅预测图的拓扑而不考虑节点属性，但是由于实质性的挑战而不能同时预测两者：1）难以表征交互式、迭代式以及节点和边两者的异步转换过程，以及2）难以发现和维护预测图中节点和边之间的固有一致性。这些挑战阻碍了用于联合节点和边缘属性预测的通用端到端框架，这是现实世界应用的需要，例如物联网网络中的恶意软件限制和结构到功能的网络转换。这些现实世界的应用程序高度依赖于手工制作和ad-hoc启发式模型，但不能充分利用大量的历史数据。在本文中，我们把这个通用的问题称为“多属性图翻译”，并开发了一个新的框架集成节点和边的翻译无缝。新的边平移路径是通用的，它被证明是现有拓扑平移模型的推广。然后，提出了一种基于非参数图拉普拉斯算子的谱图正则化方法，以学习和保持预测节点和边的一致性。最后，在合成数据和实际应用数据上的实验证明了该方法的有效性。
2020-06-15 cs.LG cs.SI stat.ML
DeepMath - Deep Sequence Models for Premise Selection
Google Inc.（谷歌公司）；Czech Technical University in Prague（布拉格捷克理工大学）
我们研究了自动定理证明中前提选择的神经序列模型的有效性，这是数学形式化的主要瓶颈之一。我们提出了一个两阶段的方法来完成这项任务，在Mizar语料库上的前提选择任务中取得了良好的效果，同时避免了现有最先进模型的手工设计功能。据我们所知，这是深度学习首次大规模应用于定理证明。
2017-01-26 cs.AI cs.LG cs.LO
Emergence of Spatial Representation in an Actor-Critic Agent with Hippocampus-Inspired Sequence Generator
Faculty of Biology & Bernstein Center Freiburg & BrainLinks-BrainTools Center University of Freiburg（生物学系及弗赖堡伯尔尼中心、BrainLinks-BrainTools中心、弗赖堡大学）
该研究通过海马体启发的序列生成器和Actor-Critic学习者，揭示稀疏输入与序列生成动态的协同作用，为导航任务中的强化学习提供新的归纳偏置。
2026-02-28 cs.LG q-bio.NC
AttrE2vec: Unsupervised Attributed Edge Representation Learning
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；University of Notre Dame（圣母大学）
表示学习通过（无监督）特征学习克服了通常艰苦和手动的网络特征化，因为它产生了可以应用于各种下游学习任务的嵌入。图上的表示学习的焦点主要集中在浅层（以节点为中心）或深层（基于图）学习方法上。虽然已经有方法可以在具有多类型节点和边的同构和异构网络上工作，但在学习边表示方面存在差距。本文提出了一种新的无监督归纳方法AttrE2Vec，它学习属性网络中边的低维向量表示。它系统地捕捉拓扑接近，属性的亲和力，和功能的相似性的边缘。与当前边缘嵌入研究的进展相反，我们的建议扩展了提供边缘表示的方法的主体，以归纳和无监督的方式捕获图形属性。实验结果表明，与当代方法相比，我们的方法构建了更强大的边缘向量表示，反映在下游任务中的边缘分类和边缘聚类的质量指标（AUC，准确性）更高。这也证实了通过分析低维嵌入投影。
2020-12-29 cs.LG
Semi-supervisedly Co-embedding Attributed Networks
Sun Yat-sen University（中山大学）；University of Glasgow（格拉斯哥大学）
深度生成模型（DGMs）已经取得了显着的进步。半监督变分自动编码器（SVAE）作为一种经典的DGM提供了一个有效地从小的标记数据推广到大的未标记数据的原则性框架，但它很难在多个异构实体中包含丰富的非结构化关系。针对这一问题，本文提出了一种基于广义SVAE的半监督属性网络共嵌入模型（SCAN），该模型能够半监督地协同学习部分标记属性网络的节点和属性的低维向量表示.通过SCAN以统一的方式获得的节点和属性嵌入不仅有利于捕获节点之间的邻近度，而且有利于捕获节点和属性之间的亲和力。此外，我们的模型还训练了一个判别网络来学习节点的标签预测分布。在真实网络上的实验结果表明，与最先进的基线相比，我们的模型在属性推断、用户分析和节点分类等应用中具有出色的性能。
2019-10-31 cs.LG cs.SI
Deep Learning on Attributed Graphs: A Journey from Graphs to Their Embeddings and Back
Université Paris-Est（巴黎东部大学）；Ecole des Ponts（法国国立桥路学校）；KU Leuven（鲁汶大学）；Australian National University（澳大利亚国立大学）；INRIA Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯分部）
图是表示实体对之间关系的强大概念。具有底层图结构的数据可以在许多学科中找到，并且人们自然希望更好地理解这些数据。近年来，深度学习（DL）在各种机器学习任务中取得了重大突破，特别是在数据以网格结构化的情况下，例如文本、语音或图像理解。然而，令人惊讶的是，很少有人直接探索DL在任意图形结构数据上的适用性。本论文的目标是研究图上深度学习的体系结构，并研究如何将适用于序列和图像数据的概念转移、适应或推广到这个领域。我们专注于两个重要的原语：将图或其节点嵌入到连续的向量空间表示（编码）中，反之，从这些向量生成图（解码）。为此，我们作出以下贡献。首先，我们介绍了边缘条件卷积（ECC），在空间域中执行的图上的卷积类操作，其中过滤器是基于边缘属性动态生成的。该方法适用于任意结构和变化结构的图的编码。其次，我们提出了超级点图，一个中间点云表示与丰富的边缘属性编码对象部分之间的上下文关系。在此基础上，利用椭圆曲线对大规模点云数据进行分割，而不牺牲细节。第三，我们提出了GraphVAE，一个图形生成器，使我们能够解码图形与变量，但上限的节点数量利用近似图匹配对齐的预测与其输入的自动编码器。该方法适用于分子生成的任务。
2019-01-24 cs.CV cs.LG cs.NE
Are Deep Sequence Classifiers Good at Non-Trivial Generalization?
dMetrics（dMetrics公司）
用于序列分类的深度学习模型的最新进展极大地提高了其分类准确性，特别是当大训练集可用时。然而，一些作品表明，在某些设置下，这些模型的预测校准不良。在这项工作中，我们研究二进制序列分类问题，我们从不同的角度来看模型校准，提出这样一个问题：深度学习模型是否能够学习底层目标类分布？我们专注于稀疏序列分类，即目标类很少的问题，并比较了三种深度学习序列分类模型。我们开发了一种评估方法，可以衡量分类器学习目标类分布的程度。此外，我们的评估解开了良好的性能，实现了单纯的压缩训练序列与性能实现了适当的模型泛化。我们的研究结果表明，在这种二进制设置中，深度学习模型确实能够以非平凡的方式学习底层类分布，即通过超越数据压缩的适当泛化。
2022-11-11 cs.LG
Feature versus Raw Sequence: Deep Learning Comparative Study on Predicting Pre-miRNA
SUNY Korea（韩国纽约州立大学）；Stony Brook University（石溪大学）
我们应该在深度学习框架中输入已知的基因组序列特征还是输入序列本身？随着深度学习在各种应用中越来越受欢迎，研究人员经常质疑是否要生成特征或使用原始序列进行深度学习。为了回答这个问题，我们研究了基于特征的深度信念网络和基于序列的卷积神经网络预测前体miRNA的预测精度。在六层卷积神经网络和三层深度信念网络的变体上进行测试，我们发现基于原始序列输入的卷积神经网络模型的性能与基于特征的深度信念网络相似或略好，最佳准确度分别为0.995和0.990。这两个模型都优于现有的基准模型。结果表明，如果提供足够大的数据，精心设计的基于原始序列的深度学习模型可以取代基于特征的深度学习模型。然而，构建行为良好的深度学习模型可能非常具有挑战性。在特征可以很容易地提取的情况下，基于特征的深度学习模型可能是更好的选择。
2017-10-17 cs.LG q-bio.GN
Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient
LG Electronics（LG电子）
最近，一些研究调查了主动学习（AL）的自然语言处理任务，以减轻数据依赖。然而，对于查询选择，这些研究主要依赖于基于不确定性的采样，一般不利用未标记数据的结构信息。这导致批量主动学习设置中的采样偏差，该设置一次选择多个样本。在这项工作中，我们证明了标记的训练数据的量可以减少使用主动学习时，它结合了序列标记任务的不确定性和多样性。我们通过在多个任务，数据集，模型的梯度嵌入方法中选择加权多样性来检查我们基于序列的方法的效果，并始终优于经典的基于不确定性的采样和基于多样性的采样。
2020-11-27 cs.AI cs.CL cs.LG
Deep Motif: Visualizing Genomic Sequence Classifications
University of Virginia（弗吉尼亚大学）
本文应用深度卷积/高速公路MLP框架对转录因子结合位点任务中的基因组序列进行分类。为了使模型易于理解，我们提出了一个优化驱动的策略来提取“图案”，或象征性的模式，可视化的积极类学习的网络。我们表明，我们的系统，深图案（DeMo），提取图案相似，并在某些情况下优于目前众所周知的图案。此外，我们发现，由多个卷积层和高速公路层组成的更深层次的模型可以优于以前最先进的单个卷积层和全连接层。
2016-06-02 cs.LG
Text-Attributed Graph Anomaly Detection via Multi-Scale Cross- and Uni-Modal Contrastive Learning
School of Computer Science and Technology, Xi'an Jiaotong University（西安交通大学计算机科学与技术学院）；Shaanxi Provincial Key Laboratory of Big Data Knowledge Engineering, Xi’an Jiaotong University（陕西省大数据知识工程重点实验室）；School of Distance Education, Xi’an Jiaotong University（西安交通大学继续教育学院）；University of Virginia（弗吉尼亚大学）
针对文本属性图异常检测中文本编码与检测目标脱节的问题，提出端到端范式CMUCL，通过多尺度跨模态与单模态对比学习联合训练编码器，结合不一致性挖掘估计异常分数，性能显著优于现有方法，并发布8个专用基准数据集。
2025-08-01 cs.LG
Learning Asymmetric Embedding for Attributed Networks via Convolutional Neural Network
RMIT University（皇家墨尔本理工大学）；Ahvaz Branch, Islamic Azad University（伊斯兰阿扎德大学阿瓦士分校）
近年来，网络嵌入由于其在链接预测、节点分类和节点聚类等网络计算任务中的优势而受到越来越多的关注。网络嵌入的目标是在低维向量空间中表示网络节点，同时保留尽可能多的原始网络信息，包括结构，关系和语义信息。然而，有向网络的非对称性带来了许多挑战，如如何在嵌入过程中最好地保持边缘方向。本文提出了一种基于卷积图神经网络的深度非对称属性网络嵌入模型AAGCN。其主要思想是最大限度地保持有向属性网络的非对称邻近性和非对称相似性。AAGCN引入了两种邻域特征聚合方案，分别将节点的特征与其内外邻居的特征聚合。然后，它为每个节点学习两个嵌入向量，一个源嵌入向量和一个目标嵌入向量。最终的表示是连接源和目标嵌入向量的结果。我们测试的性能AAGCN在三个现实世界的网络重建，链接预测，节点分类和可视化任务。实验结果表明，AAGCN对国家的最先进的嵌入方法的优越性。
2022-02-13 cs.LG cs.SI
End-to-End Radio Traffic Sequence Recognition with Deep Recurrent Neural Networks
Virginia Tech（弗吉尼亚理工大学）；Corgan Labs（科尔根实验室）
我们调查序列机器学习技术的原始无线电信号的时间序列数据。通过应用深度循环神经网络，我们学会了在不使用专家解调算法的情况下，在恒定包络调制的基础上区分几种应用层流量类型。我们表明，复杂的协议序列可以学习和使用这种方法的分类和生成任务。
2016-10-03 cs.LG cs.NI
Sequence to sequence deep learning models for solar irradiation forecasting
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
光伏（PV）面板的能量输出是太阳辐射和天气参数（如温度和风速等）的函数。太阳辐射的一般测量称为全球水平辐照度（GHI），通常以瓦特/米$^2$报告，是这种间歇性能源的通用指标。准确预测GHI对于可再生能源的可靠电网整合以及电力市场交易是必要的。虽然一些机器学习技术与传统的时间序列预测技术一起被很好地引入，但对于手头的任务，深度学习技术仍然很少被探索。在本文中，我们给深度学习模型适用于序列预测GHI。报告了用于短期预测$\{1-24\}$小时的深度学习模型以及最先进的技术，如梯度提升回归树（GBRT）和前馈神经网络（FFNN）。我们已经检查了时空特征，如风向，风速和邻近位置的GHI，显着提高了深度学习模型的预测精度。在各种序列到序列的编码器-解码器模型中，LSTM表现出色，处理最先进技术的短时间内。
2019-04-30 cs.LG stat.ML
Deep Sequence-to-Sequence Models for GNSS Spoofing Detection
Department of Cybernetics University of West Bohemia（控制系 西波西米亚大学）
提出一种数据生成框架模拟全球欺骗攻击，利用LSTM和Transformer架构的深度学习模型进行在线检测，最佳模型错误率仅0.16%。
2025-10-22 cs.CR cs.LG
AlphaSeq: Sequence Discovery with Deep Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
序列在许多应用和系统中起着重要的作用。发现具有所需性质的序列长期以来一直是一个有趣的智力追求。本文提出了一种新的范式AlphaSeq，使用深度强化学习（DRL）技术通过算法发现期望的序列。AlphaSeq将序列发现问题视为情节符号填充游戏，其中玩家在游戏的情节中顺序地在序列集合的空位中填充符号。每一集都以一个完全填充的序列集结束，根据序列集的可取性给出奖励。AlphaSeq将游戏建模为马尔可夫决策过程（MDP），并采用AlphaGo的DRL框架来解决MDP。随着AlphaSeq从新手开始，通过许多游戏情节学习成为专家玩家，发现的序列逐渐改进。与传统的通过数学工具构建序列相比，AlphaSeq特别适用于数学分析难以解决的复杂目标问题。我们在两个应用中展示了AlphaSeq的搜索能力：1）AlphaSeq成功地重新发现了一组理想的互补码，可以在多载波CDMA系统中零强制所有潜在的干扰。2)AlphaSeq发现了新的序列，其信号干扰比是脉冲压缩雷达系统中失配滤波器估计器的三倍-以著名的勒让德序列为基准。
2019-08-08 cs.LG
MUST-CNN: A Multilayer Shift-and-Stitch Deep Convolutional Architecture for Sequence-based Protein Structure Prediction
University of Virginia（弗吉尼亚大学）
从蛋白质的一级氨基酸序列预测蛋白质的溶剂可及性和二级结构等性质是生物信息学中的一项重要任务。最近，一些深度学习模型已经超越了传统的基于窗口的多层感知器。从图像分类领域获得灵感，我们提出了一种深度卷积神经网络架构MUST-CNN，用于预测蛋白质性质。这种架构使用了一种新的多层移位和缝合（MUST）技术，以产生完全密集的蛋白质序列的每位置预测。我们的模型比最先进的模型要简单得多，但效果更好。通过结合MUST和高效的卷积运算，我们可以考虑更多的参数，同时保持非常快的预测速度。我们在两个大型蛋白质性质预测数据集上击败了最先进的性能。
2016-05-10 cs.LG
A Deep Memory-based Architecture for Sequence-to-Sequence Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
我们提出了DEEPMEMORY，一种用于序列到序列学习的新型深度架构，它通过一系列来自输入序列的表示的非线性变换来执行任务（例如，中文句子）到最终输出序列（例如，翻译成英文）。受最近提出的神经图灵机（Graves等人，2014），我们将中间表示存储在存储器的堆叠层中，并使用存储器上的读写操作来实现表示之间的非线性变换。转换的类型是预先设计的，但参数是从数据中学习的。通过逐层转换，DEEPMEMORY可以模拟序列之间的复杂关系，这些关系对于应用程序（如遥远语言之间的机器翻译）是必要的。该架构可以在序列到序列数据上使用正常的反向传播进行训练，并且可以轻松地将学习扩展到大型语料库。DEEPMEMORY足够广泛以支持（Bahdanau等人，2015）作为其特例，同时通过其更深层次的架构显着改进了该模型。值得注意的是，纯粹基于神经网络的DEEPMEMORY可以实现与传统的基于短语的机器翻译系统Moses相当的性能，其具有小的词汇量和适度的参数大小。
2016-01-07 cs.CL cs.LG cs.NE
Attributed Network Embedding Model for Exposing COVID-19 Spread Trajectory Archetypes
Texas A&M University（德克萨斯农工大学）；Princeton University（普林斯顿大学）；Clemson University（克莱姆森大学）
COVID-19的传播表明，不同城市和社区的传播风险模式并不相同，各种异质特征可能影响传播轨迹。因此，对于预测性大流行监测，必须探索城市和社区中区分其特定大流行传播轨迹的潜在异质特征。为此，本研究创建了一个网络嵌入模型，捕获跨县的访问网络，以及异构功能，以揭示集群的县在美国的基础上，他们的流行病传播的传播轨迹。我们从2020年3月3日至6月29日（第一波）收集并计算了2，787个县的位置情报特征。其次，我们构建了一个人的访问网络，其中包括县的功能作为节点属性，县之间的访问作为网络的边缘。我们的归因网络嵌入方法整合了跨县访问网络的类型学特征，以及异质性特征。我们对属性网络嵌入进行聚类分析，以揭示对应于四个县群的四种扩散风险轨迹原型。随后，我们确定了四个特征作为原型之间独特的传播风险模式的重要特征。归因网络嵌入方法和研究结果识别并解释了预测性大流行监测的跨县非同质大流行风险轨迹。该研究还有助于数据驱动和基于深度学习的流行病分析方法，以补充流行病政策分析的标准流行病学模型。
2022-09-21 cs.CY cs.LG cs.SI
Deep Distributional Sequence Embeddings Based on a Wasserstein Loss
Leibniz Institute of Agricultural Engineering and Bioeconomy e.V.（莱布尼茨农业工程与生物经济研究所）；University of Potsdam（波茨坦大学）
深度度量学习采用深度神经网络来将实例嵌入度量空间中，使得同一类的实例之间的距离较小，而来自不同类的实例之间的距离较大。在大多数现有的深度度量学习技术中，实例的嵌入由深度神经网络产生的特征向量给出，并且欧几里得距离或余弦相似性定义这些向量之间的距离。在本文中，我们研究了序列的深度分布嵌入，其中序列的嵌入由序列中学习到的深度特征的分布给出。这具有捕获关于嵌入中的序列内的模式的分布的统计信息的优点。当嵌入是分布而不是向量时，测量嵌入之间的距离涉及比较它们各自的分布。我们提出了一个基于Wasserstein距离的距离度量和相应的损失函数的度量学习，这导致了一个新的端到端的可训练嵌入模型。我们根据经验观察到，分布式嵌入优于标准向量嵌入，并且使用建议的Wasserstein度量进行训练优于使用其他距离函数进行训练。
2019-12-04 cs.LG stat.ML
Job Shop Scheduling via Deep Reinforcement Learning: a Sequence to Sequence approach
University of Turin（都灵大学）
本文提出了一种基于序列到序列编码器-解码器模型的端到端深度强化学习方法，用于自动学习作业车间调度规则，在基准测试中优于经典优先调度方法并与最先进深度强化学习方法表现相当。
2023-08-03 cs.AI cs.LG cs.NE
Deep Generative Networks For Sequence Prediction
University of Pennsylvania（宾夕法尼亚大学）；Université de Montréal（蒙特利尔大学）
本文研究了无监督时间序列表示学习的序列预测问题，即通过将静态输入表示与递归序列表示解耦，为高维输入序列生成具有先前历史的好看的输入样本。我们介绍了三种基于生成随机网络（GSN）的无监督序列学习和预测模型。这三种模型的实验结果顺序手写数字（MNIST）数据，低分辨率弹跳球的视频，和运动捕捉数据的像素。本文的主要贡献是提供证据证明GSN是学习复杂序列输入数据的有用表示的可行框架，并提出了一个新的框架，用于深度生成模型，通过将静态输入表示与动态时间依赖表示解耦来学习复杂序列。
2018-04-18 cs.LG stat.ML
Protein sequence design with deep generative models
California Institute of Technology（加州理工学院）；Google Deepmind（谷歌DeepMind）；Microsoft Research New England（微软新英格兰研究院）
蛋白质工程旨在鉴定具有优化性质的蛋白质序列。当由机器学习引导时，蛋白质序列生成方法可以利用先验知识和实验努力来改进该过程。在这篇综述中，我们强调了机器学习在生成蛋白质序列方面的最新应用，重点关注新兴的深度生成方法领域。
2021-04-09 cs.LG q-bio.BM q-bio.QM
Conformal Prediction for Time Series with Deep Sequence Models
Georgia Institute of Technology（佐治亚理工学院）
本研究系统探索深度序列模型在时间序列保形预测中的应用，提出三种方法并给出理论保证与实验验证。
2026-10-05 cs.LG stat.ML
DeepConv-DTI: Prediction of drug-target interactions via deep learning with convolution on protein sequences
School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology（光州科学技术院电气与计算机工程学院）
药物-靶点相互作用（DTI）的识别在药物发现中起着关键作用。体外和体内实验的高成本和劳动密集型性质突出了基于计算机的DTI预测方法的重要性。在几个计算模型中，传统的蛋白质描述符被证明是不够的信息，以预测准确的DTI。因此，在这项研究中，我们采用卷积神经网络（CNN）的原始蛋白质序列捕获本地残基模式参与DTI。在蛋白质序列上使用CNN，我们的模型比以前的基于蛋白质标记的模型表现得更好。此外，我们的模型在大规模预测DTI方面的表现优于之前的深度学习模型。通过检查合并的卷积结果，我们发现我们的模型可以检测蛋白质的结合位点的DTI。总之，我们的预测模型用于检测目标蛋白的局部残基模式成功地丰富了原始蛋白质序列的蛋白质特征，产生比以前的方法更好的预测结果。
2018-11-06 cs.LG q-bio.QM
Representation Learning for Sequence Data with Deep Autoencoding Predictive Components
Cornell University（康奈尔大学）；Google（谷歌公司）；Salesforce Research（Salesforce研究院）
我们提出了深度自动编码预测组件（DAPC）-一种用于序列数据的自监督表示学习方法，基于序列数据的有用表示应该在潜在空间中呈现简单结构的直觉。我们鼓励这种潜在的结构，最大限度地提高潜在的特征序列，这是过去和未来的窗口之间的互信息在每个时间步的预测信息的估计。与对比学习常用的互信息下界不同，我们采用的预测信息估计在高斯假设下是精确的。此外，它可以在没有负采样的情况下计算。为了减少由强大的编码器提取的潜在空间的退化，并保留输入中的有用信息，我们用具有挑战性的掩码重建损失来正则化预测信息学习。我们证明，我们的方法恢复噪声动态系统的潜在空间，提取预测任务的预测功能，并提高自动语音识别时，用于预训练编码器上大量的未标记的数据。
2021-02-28 cs.LG
Identifying DNA Sequence Motifs Using Deep Learning
University of Oxford（牛津大学）；Earlham Institute（厄勒姆研究所）
提出基于注意力的深度学习模型DeepDeCode预测DNA剪接位点，结合可视化技术识别序列基序，提升了准确性与可解释性，可应用于医疗保健及基因组元件发现。
2023-11-20 cs.LG q-bio.GN q-bio.QM
A New Concept of Deep Reinforcement Learning based Augmented General Sequence Tagging System
Samsung Research America（三星美国研究院）
本文提出了一种新的基于深度强化学习的增强通用序列标注系统。新系统包含两个部分：基于深度神经网络（DNN）的序列标记模型和基于深度强化学习（DRL）的增强标记器。增强标记器通过对具有少数标记的数据进行建模来帮助提高系统性能。使用ATIS和CoNLL-2003基准数据集对新系统进行SLU和NLU序列标记任务的评估，以展示新系统在一般标记任务上的出色性能。通过F1评分，新系统在ATIS数据集和CoNLL-2003数据集上的性能分别比当前最先进的模型高1.9%和1.4%。
2018-12-26 cs.CL cs.LG stat.ML
GCL-GCN: Graphormer and Contrastive Learning Enhanced Attributed Graph Clustering Network
Stirling College, Chengdu University（成都大学斯特林学院）；Chengdu University（成都大学）
针对属性图聚类中稀疏异构图数据处理的局部依赖与复杂结构捕获难题，提出融合Graphormer模块与对比学习模块的GCL-GCN模型，在六个数据集上聚类效果优于14种先进方法。
2025-07-31 cs.LG
Discovery Radiomics via Evolutionary Deep Radiomic Sequencer Discovery for Pathologically-Proven Lung Cancer Detection
Vision and Image Processing Research Group, University of Waterloo（滑铁卢大学视觉与图像处理研究组）；Department of Medical Imaging, University of Toronto and Sunnybrook Research Institute（多伦多大学医学影像系与森尼布鲁克研究所）
虽然肺癌是男性和女性中第二大最常见的癌症形式，但足够早的诊断对患者的生存率至关重要。已经开发了基于成像或放射学驱动的检测方法来帮助诊断医生，但主要依赖于手工制作的特征，这些特征可能无法完全封装癌组织和健康组织之间的差异。最近，发现放射组学的概念被引入，其中自定义抽象特征从容易获得的成像数据中被发现。提出了一种基于进化深度智能的进化深度放射组测序方法。受患者隐私问题和操作人工智能的想法的激励，进化的深度放射组测序器发现方法有机地进化越来越高效的深度放射组测序器，其在多代中产生显著更紧凑但类似描述性的放射组序列。因此，该框架提高了操作效率，并使诊断能够在放射科医生的计算机上本地运行，同时保持检测精度。我们使用临床肺CT数据和来自LIDC-IDRI数据集的病理学证实的诊断数据，评估了通过所提出的进化深度放射组测序仪发现框架发现的进化深度放射组测序仪（EDRS）与最先进的放射组学驱动和发现放射组学方法。相对于先前的放射组学方法，进化的深度放射组学测序仪显示出提高的灵敏度（93.42%）、特异性（82.39%）和诊断准确性（88.78%）。
2017-10-20 cs.CV cs.LG cs.NE
DeepGS: Deep Representation Learning of Graphs and Sequences for Drug-Target Binding Affinity Prediction
College of Computer Science and Technology, Hunan University（湖南大学信息科学与工程学院）
在计算机上准确预测药物-靶标结合亲和力（DTA）是药物发现的关键任务。传统的差热分析预测方法大多是基于仿真的，这在很大程度上依赖于领域知识或具有目标的3D结构的假设，这往往是很难获得的。同时，传统的基于机器学习的方法应用各种特征和描述符，并且简单地依赖于药物-靶标对之间的相似性。最近，随着可用的亲和数据量的增加以及深度表示学习模型在各个领域的成功，深度学习技术已经被应用于DTA预测。然而，这些方法考虑标签/独热编码或分子的拓扑结构，而不考虑氨基酸和SMILES序列的局部化学背景。受此启发，我们提出了一种新的端到端学习框架，称为DeepGS，它使用深度神经网络从氨基酸和SMILES序列中提取局部化学背景，以及药物的分子结构。为了辅助对符号数据的操作，我们建议使用高级嵌入技术（即，Smi 2 Vec和Prot 2 Vec）编码氨基酸和SMILES序列以分布表示。同时，我们提出了一种新的分子结构建模方法，在我们的框架下工作得很好。我们已经进行了大量的实验，将我们提出的方法与最先进的模型进行了比较，包括KronRLS，SimBoost，DeepDTA和DeepCPI。大量的实验结果证明了DeepGS的优越性和竞争力。
2020-04-03 cs.LG q-bio.QM
