A topological model for partial equivariance in deep learning and data analysis
本研究提出拓扑模型编码神经网络部分等变性,引入P-GENEOs算子,研究相关空间性质并证明其良好的逼近与凸性,为深度学习与数据分析提供理论支撑。
2023-08-25 cs.LG math.AT stat.ML
Deep Learning with Topological Signatures
University of Salzburg(萨尔茨堡大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
从数据中推断拓扑和几何信息可以为机器学习问题提供另一种视角。来自拓扑数据分析的方法,例如,持续同源性使我们能够获得这样的信息,通常以拓扑特征的概括表示的形式。然而,这种拓扑签名通常具有不寻常的结构(例如,多组间隔),这对于大多数机器学习技术来说是非常不切实际的。虽然已经提出了许多策略来将这些拓扑签名映射到机器学习兼容的表示中,但是它们对于目标学习任务是不可知的。相比之下,我们提出了一种技术,使我们能够将拓扑签名输入到深度神经网络,并在训练过程中学习任务最佳表示。我们的方法是实现作为一个新的输入层具有良好的理论性能。2D对象形状和社会网络图的分类实验证明了该方法的多功能性,在后者的情况下,我们甚至比最先进的大幅度。
2018-02-16 cs.CV cs.LG math.AT
Topological Deep Learning: A Review of an Emerging Paradigm
College of Science, Australian National University(澳大利亚国立大学理学院);CSIRO(联邦科学与工业研究组织)
本文综述拓扑深度学习这一新兴范式,回顾TDA核心概念及其与深度学习的整合方式,涵盖分析现有模型的应用,并讨论挑战与未来方向。
2023-02-08 cs.AI cs.LG
Leveraging Topological Maps in Deep Reinforcement Learning for Multi-Object Navigation
Ruhr University Bochum(波鸿鲁尔大学)
本研究利用拓扑图将基本动作提升为面向对象的宏动作,使简单DQN智能体在稀疏奖励的广阔空间中成功实现多目标导航。
2023-10-16 cs.LG
Topological Parallax: A Geometric Specification for Deep Perception Models
Geometric Data Analytics, Inc.(几何数据分析公司);University of Wisconsin-Stout(威斯康星大学斯托特分校);Duke University(杜克大学)
本文提出拓扑视差这一理论与计算工具,通过比较深度模型与参考数据集的多尺度几何结构来评估模型可信性,并证明其在插值与扰动下的稳定性。
2023-10-27 cs.LG math.AT stat.ML
Deep Learning of Topological Equivalence Classes
Imperial College London(帝国理工学院);The University of Oxford(牛津大学)
该研究将深度学习应用于纯数学问题,利用语义理解架构识别黎曼曲面上有限群作用的拓扑等价,探讨代数结构对模型设计的影响及模型学习到的拓扑等价类结构属性。
2026-10-16 cs.LG math.AG
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
A Novel Method of Extracting Topological Features from Word Embeddings
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
近年来,拓扑数据分析已被广泛用于处理高维噪声数据的问题。然而文本表示往往是高维和噪声的,拓扑数据分析在自然语言处理中的应用还很少。在本文中,我们介绍了一种新的算法来提取拓扑特征的词嵌入表示的文本,可用于文本分类。拓扑数据分析以词嵌入为研究对象,可以解释嵌入的高维空间,发现不同嵌入维数之间的关系。我们将使用持久同源性,拓扑数据分析中最常用的工具,用于我们的实验。检查我们的拓扑算法长文本文档,我们将显示我们定义的拓扑功能可能优于传统的文本挖掘功能。
2020-04-19 cs.CL cs.LG math.AT
TopOC: Topological Deep Learning for Ovarian and Breast Cancer Diagnosis
U. Texas at Dallas(德克萨斯大学达拉斯分校);Harvard Medical School(哈佛医学院);MGH(麻省总医院)
本文提出整合拓扑数据分析(TDA)提取全局特征以增强组织病理学图像分析模型的准确性与鲁棒性,实验证明拓扑特征显著提升了卵巢癌与乳腺癌肿瘤类型的区分效果。
2024-10-13 cs.CV cs.LG math.AT
Do deep neural networks utilize the weight space efficiently?
İstanbul Technical University(伊斯坦布尔理工大学)
针对深度学习模型参数密集难以在资源受限场景部署的问题,本文提出利用权重矩阵行列空间的参数压缩方法,可将瓶颈层与注意力层参数量减半且性能损失微小,在ImageNet上的实验验证了其竞争力,为高效模型落地提供了新思路。
2024-01-26 cs.AI cs.LG
Deep Function Machines: Generalized Neural Networks for Topological Layer Expression
Machine Learning at Berkeley(伯克利机器学习);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种广义的深度神经网络,称为深度函数机(DFM)。DFM作用于任意(可能是无限)维的向量空间,我们证明了一族DFM对输入数据的维数是不变的;也就是说,模型的参数化并不直接取决于输入的质量(例如:高分辨率图像)。利用这一推广,我们提供了一个新的理论的泛逼近的有界非线性算子之间的函数空间。然后,我们建议DFMs提供了一个表达框架,设计新的神经网络层类型的拓扑考虑。最后,我们介绍了一种新的架构,RippLeNet,分辨率不变的计算机视觉,凭经验达到最先进的不变性。
2017-11-06 cs.CV cs.LG stat.ML
Dimensionality reduction and width of deep neural networks based on topological degree theory
School of Mathematics and Statistics, Huazhong University of Science and Technology(数学与统计学学院,华中科技大学);Hubei Key Laboratory of Engineering Modeling and Scientific Computing , Huazhong University of Science and Technology(工程建模与科学计算湖北省重点实验室,华中科技大学)
本文基于拓扑度理论建立紧致空间嵌入链接与降维可分离性的数学框架,并借此为深度神经网络的分类与逼近问题提供新见解。
2025-11-10 cs.LG math.GN
Topological Deep Learning: Going Beyond Graph Data
IBM(国际商业机器公司)
本文提出基于组合复形的统一深度学习框架,开发消息传递组合复形神经网络,并在网格形状分析与图学习任务中验证其竞争力,证明引入高阶关系的优势。
2023-05-19 cs.CV cs.LG cs.SI
Deep Clustering with a Constraint for Topological Invariance based on Symmetric InfoNCE
Tokyo Institute of Technology(东京工业大学);Fujitsu Limited(富士通有限公司);RIKEN AIP(理化学研究所人工智能研究中心)
我们考虑深度聚类的情况下,可用的先验知识是有限的。在这种情况下,很少有现有的最先进的深度聚类方法可以很好地执行非复杂拓扑和复杂拓扑数据集。为了解决这个问题,我们提出了一个约束,利用对称的InfoNCE,这有助于深度聚类方法的目标在场景中的模型训练,以便不仅是有效的非复杂的拓扑结构,但也复杂的拓扑数据集。此外,我们提供了几个理论解释的原因,约束可以提高性能的深度聚类方法。为了确认所提出的约束的有效性,我们引入了一种名为MIST的深度聚类方法,它是现有深度聚类方法和我们的约束的组合。我们通过MIST的数值实验表明,该约束是有效的。此外,对于大多数常用的十个基准数据集,MIST的性能优于其他最先进的深度聚类方法。
2023-03-06 cs.LG stat.ML
A Topological Approach to Parameterizing Deep Hedging Networks
Alok Das(独立研究者);Kiseop Lee(独立研究者)
针对深度对冲中逐路径梯度训练需大批量、耗时的问题,本文提出引入拓扑特征参数化循环对冲网络,从而显著减小批量并保持对冲性能。
2025-10-19 cs.LG q-fin.MF
Augmenting Molecular Deep Generative Models with Topological Data Analysis Representations
IBM Research, T.J. Watson Research Center(IBM研究院托马斯·J·沃森研究中心)
深度生成模型已经成为学习有用的分子表示和设计具有所需特性的新型分子的强大工具,并应用于药物发现和材料设计。然而,大多数现有的深度生成模型由于缺乏空间信息而受到限制。在这里,我们提出了增强的深度生成模型与拓扑数据分析(TDA)表示,被称为持久性图像,3D分子几何形状的鲁棒编码。我们表明,基于字符的变分自动编码器(VAE)的TDA增强在准确建模QM 9基准的结构组成方面优于最先进的生成神经网络。产生的分子是有效的,新颖的,多样的,同时表现出不同的电子性质分布,即具有小HOMO-LUMO间隙的较高的样品群体。这些结果表明,TDA特征确实为学习抽象结构提供了至关重要的几何信号,这对于在字符串、图形或3D点集上操作的现有生成模型来说是不平凡的。
2022-02-15 cs.LG math.AT physics.chem-ph
Position: Topological Deep Learning is the New Frontier for Relational Learning
The University of Manchester(曼彻斯特大学);Imperial College London(伦敦帝国学院);University of Oxford(牛津大学);Stanford University(斯坦福大学);BlueLightAI Inc(蓝光人工智能公司);University at Albany(奥尔巴尼大学);Tsinghua University(清华大学);University of San Francisco(旧金山大学);University of Salzburg(萨尔茨堡大学);University of Cambridge(剑桥大学);Sapienza University of Rome(罗马第一大学);University of Tennessee(田纳西大学);UC Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Hawaiʻi at Mānoa(夏威夷大学马诺阿分校);IBM Corporation(国际商业机器公司(IBM));Helmholtz Munich(慕尼黑亥姆霍兹中心);Technical University of Munich(慕尼黑工业大学)
本文提出TDL是关系学习新疆界的立场,梳理其在实际收益与理论基础上的开放问题,并给出研究方向以推动该领域发展。
2024-08-06 cs.LG stat.ML
Deep Learning Topological Invariants of Band Insulators
Tsinghua University(清华大学);Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院);Collaborative Innovation Center of Quantum Matter(量子物质协同创新中心)
在这项工作中,我们设计并训练深度神经网络来预测拓扑不变量为绕组数的AIII类一维四带绝缘体和拓扑不变量为陈数的A类二维两带绝缘体的拓扑不变量。给定动量空间中的哈密顿量作为输入,神经网络可以预测两类的拓扑不变量,准确率接近或高于90%,即使是不变量超出训练数据集的哈密顿量。尽管神经网络的复杂性,我们发现某些中间隐藏层的输出类似于AIII类模型的缠绕角或A类模型的立体角(Berry曲率),这表明神经网络基本上捕获了拓扑不变量的数学公式。我们的工作证明了神经网络预测复杂模型的拓扑不变量的能力,并提供了一个例子,即使是深度神经网络也是可以理解的。
2018-06-09 cond-mat.str-el cs.AI cs.LG
Topological Deep Learning
Bredesen Center(布雷德森中心);University of Tennessee(田纳西大学);Stanford University(斯坦福大学)
这项工作介绍了拓扑CNN(TCNN),其中包括几个拓扑定义的卷积方法。与自然图像空间具有重要关系的流形用于参数化图像滤波器,这些滤波器用作TCNN中的卷积权重。这些流形还参数化了TCNN的层中的切片,权重在TCNN的层中被局部化。我们证明了TCNN学习速度更快,数据更少,学习参数更少,比传统CNN具有更高的泛化能力和可解释性。我们介绍并探索图像和视频数据的TCNN层。我们提出了对3D图像和3D视频的扩展。
2021-03-04 cs.CV cs.LG
Topological, or Non-topological? A Deep Learning Based Prediction
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Princeton University(普林斯顿大学)
本文提出一种结合持久同调与图神经网络的深度学习模型,用于拓扑与非拓扑材料分类,准确率达91.4%、F1分数达88.5%,优于现有方法,可支持新型材料的高通量搜索。
2023-10-29 cond-mat.mtrl-sci cs.LG
Deep Generative Graph Distribution Learning for Synthetic Power Grids
Southern Methodist University(南卫理公会大学);Iowa State University(爱荷华州立大学)
电力系统研究需要真实世界电力网络的拓扑结构;然而,由于重要的安全问题,这些数据是保密的。因此,电网合成(PGS),即,创建模仿实际电网的真实电网已经获得了极大的关注。在这封信中,我们将PGS转换为图分布学习(GDL)问题,其中捕获节点(总线)和边缘(线)的概率分布函数(PDF)。提出了一种新的深度GDL(DeepGDL)模型来学习总线/线路的拓扑模式及其物理特征(例如,功率注入和线路阻抗)。DeepGDL具有深度非线性递归结构,可以理解复杂的非线性拓扑特性并捕获图形PDF。从获得的PDF中采样,我们能够创建一个大型的真实网络集,这些网络都类似于原始电网。仿真结果表明,我们创建的合成电网的各种拓扑指标和潮流测量的显着准确性。
2019-04-12 cs.LG cs.SI stat.ML
Leveraging The Topological Consistencies of Learning in Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院)
最近,已经开发了一些方法来准确预测深度神经网络(DNN)在特定任务上的测试性能,给出了其底层拓扑结构的统计数据。然而,由于在时间和内存方面的高计算成本,进一步利用这一新发现的见解进行实际应用是棘手的。在这项工作中,我们定义了一类新的拓扑特征,可以准确地描述学习的进展,同时在运行时快速计算。此外,我们提出的拓扑特征很容易进行反向传播,这意味着它们可以被纳入端到端训练。我们新开发的DNN的实用拓扑表征允许一组额外的应用。我们首先展示了我们可以在没有测试集和不需要高性能计算的情况下预测DNN的性能。我们还证明了DNN的拓扑特征在估计任务相似性方面是有效的。最后,我们证明了我们可以通过主动约束DNN的拓扑结构来诱导DNN的学习。这为在元学习框架中限制DNN的底层结构开辟了新的途径。
2021-11-30 cs.CV cs.LG
No Triangulation Without Representation: Generalization in Topological Deep Learning
Dept. of Informatics(信息学院);University of Fribourg(弗里堡大学);Inst. of AI for Health(人工智能与健康研究所);Dept. of Math. & Statistics(数学与统计系);Helmholtz Munich(海德堡-穆恩奇研究所);University of Bergen(卑尔根大学)
本文扩展了包含流形三角剖分的MANTRA基准数据集,展示了图神经网络和高阶消息传递方法在正确表示下才能达到基准,强调了表示的重要性,并提出新的评估协议。
2026-11-10 cs.LG math.AT
Learning Topological Representations for Deep Image Understanding
Stony Brook University(石溪大学);Oregon State University(俄勒冈州立大学)
针对深度学习方法在生物医学图像中对复杂精细拓扑结构表示不足、阻碍可扩展标注与下游分析的问题,本论文利用拓扑数据分析的数学工具,在深度学习框架中提出新颖的拓扑结构表示方法,以改进图像分割与不确定性估计,为可扩展标注提供强大工具。
2024-03-22 cs.CV cs.LG
Hybrid Topological and Deep Feature Fusion for Accurate MRI-Based Alzheimer's Disease Severity Classification
Department of Data Science and Mathematics(数据科学与数学系)
本文提出融合拓扑分析与深度学习的混合框架,用于高精度的MRI阿尔茨海默病严重程度分类。
2026-02-01 cs.CV cs.LG
Topological Deep Learning for Speech Data
Department of Mathematics, Southern University of Science and Technology, China(数学系,南方科技大学,中国)
本研究利用拓扑数据分析设计拓扑感知卷积核,通过正交群作用建立矩阵空间的纤维丛分解以生成新滤波器,提出正交特征(OF)层,在低噪声音素识别中表现优异且具跨域适应性,揭示了TDA在神经网络优化中的潜力。
2025-05-27 cs.CV cs.LG cs.SD
PI-Net: A Deep Learning Approach to Extract Topological Persistence Images
Arizona State University(亚利桑那州立大学);IBM Research(IBM研究院)
拓扑特征,如持久性图和它们的函数近似,如持久性图像(PI),已经显示出机器学习和计算机视觉应用的实质性前景。这在很大程度上归因于拓扑表示提供的鲁棒性,以对抗现实世界数据中看到的不同类型的物理干扰变量,例如视点,照明等。然而,它们大规模采用的关键瓶颈是计算支出和难以将它们纳入可区分的架构中。在本文中,我们采取了重要的一步,以减轻这些瓶颈,提出了一种新的一步的方法来生成PI直接从输入数据。我们设计了两个独立的卷积神经网络架构,一个设计为接受多变量时间序列信号作为输入,另一个接受多通道图像作为输入。我们分别将这些网络称为信号PI网络和图像PI网络。据我们所知,我们是第一个提出使用深度学习直接从数据中计算拓扑特征的人。我们探讨了两个应用程序中使用的建议PI-网络架构:人类活动识别使用三轴加速度传感器数据和图像分类。我们展示了在监督式深度学习架构中PI融合的容易性,并从数据中提取PI的速度提高了几个数量级。我们的代码可在https://github.com/anirudhsom/PI-Net上获得。
2020-05-23 cs.CV cs.LG math.AT
Deep Neural Networks as the Semi-classical Limit of Topological Quantum Neural Networks: The problem of generalisation
Laboratori Nazionali di Frascati INFN(意大利国家核物理研究院弗拉斯卡蒂国家实验室);INFN sezione Roma “Tor Vergata”(意大利国家核物理研究院罗马第二大学分部);Department of Mathematics and Statistics, Idaho State University(爱达荷州立大学数学与统计系);Department of Physics, University of Rome “La Sapienza”(罗马第一大学物理系);Department of Mechanics and Aerospace Engineering, Southern University of Science and Technology(南方科技大学力学与航空航天工程系);Allen Discovery Center, Tufts University(塔夫茨大学艾伦发现中心);College of Design and Innovation, Tongji University(同济大学设计与创新学院)
本文提出利用基于拓扑量子场论的监督学习框架理解深度神经网络的泛化问题,将深度神经网络视为拓扑量子神经网络的半经典极限,解释了过拟合行为,并在感知机范例中应用新算法实现了无需训练即达到标准网络相似结果。
2024-10-11 cs.CG cs.LG math-ph
Molecular topological deep learning for polymer property prediction
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
针对现有图分子模型忽略高阶与多尺度信息的问题,提出融合高阶相互作用和多尺度特性的Mol-TDL方法,通过多尺度单纯复形表示与单纯神经网络实现更准确的聚合物性质预测。
2024-10-07 cond-mat.mtrl-sci cs.AI cs.LG
Deep Reinforcement Learning Based Navigation with Macro Actions and Topological Maps
Institute for Neural Computation, Faculty of Computer Science, Ruhr University Bochum, Germany(神经计算研究所,计算机科学学院,博德姆鲁尔大学)
本文提出了一种基于拓扑地图和宏观动作的深度强化学习导航方法,通过简化问题复杂度实现高效的样本学习。
2025-04-25 cs.LG
Architectures of Topological Deep Learning: A Survey of Message-Passing Topological Neural Networks
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of San Francisco(旧金山大学)
本文综述了消息传递拓扑神经网络,通过统一数学与图形符号比较现有架构,梳理拓扑深度学习在关系系统中的应用、挑战与未来方向。
2024-02-21 cs.LG
Manifold Topological Deep Learning for Biomedical Data
Michigan State University(密歇根州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对拓扑深度学习难以处理流形数据的问题,本文首次提出流形拓扑深度学习(MTDL),利用Hodge理论将图像向量场分解为正交分量并输入CNN,在MedMNIST v2基准上显著优于其他方法。
2025-02-28 cs.LG eess.IV
Deep Invertible Approximation of Topologically Rich Maps between Manifolds
South Dakota State University(南达科他州立大学);University of Helsinki(赫尔辛基大学);University of Basel(巴塞尔大学);Rice University(莱斯大学)
我们怎样才能设计出神经网络,使其能够对拓扑上有趣的流形之间的映射进行稳定的通用逼近?答案是坐标投影。基于拓扑数据分析(TDA)的神经网络使用诸如持久同源性之类的工具来学习数据的拓扑签名并稳定训练,但可能不是通用近似器或具有稳定逆。其他架构普遍近似子流形上的数据分布,但仅当后者由单个图表给出时,使它们无法学习改变拓扑的地图。通过利用局部bilipschitz映射,覆盖空间和局部同胚之间的拓扑相似性,并通过使用机器学习中的通用近似参数,我们发现一种形式为$\mathcal{T} \circ p \circ \mathcal{E}$的新型网络,其中$\mathcal{E}$是内射网络,$p$是固定坐标投影,$\mathcal{T}$是双射网络,是嵌入在$\mathbb{R}^n$中的紧致光滑子流形之间的局部自同态的泛逼近器。我们强调的情况下,目标地图改变拓扑结构。此外,我们发现,通过约束投影$p$,我们的网络的多值反演可以计算而不牺牲普遍性。作为一个应用程序,我们表明,学习一个群不变函数与未知的组行动自然减少到学习局部有限群的同构的问题。我们的理论使我们能够恢复轨道的群体行动。我们还概述了我们的架构,以解决分子成像的对称性的可能的扩展。最后,我们的分析通知生成问题的拓扑表达的起始空间的选择。
2022-10-02 cs.LG math.AT
ICML 2023 Topological Deep Learning Challenge : Design and Results
本文介绍ICML 2023拓扑深度学习挑战赛的组织设计与成果,该赛要求参赛者为TopoNetX和TopoModelX贡献文献中拓扑神经网络的开源实现,共收到28份合格提交。
2024-01-18 cs.LG
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University(哈佛大学);Zhejiang University(浙江大学)
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中,我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统,它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地,具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外,如果神经网络是某个函数$f$的良好逼近,则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Copresheaf Topological Neural Networks: A Generalized Deep Learning Framework
Vinci4D;University of San Francisco(旧金山大学);Technical University of Munich(慕尼黑技术大学);Stanford University(斯坦福大学);PolyShape;Imperial College London(伦敦帝国学院);MCML
本文提出copresheaf拓扑神经网络(CTNNs),一种基于代数拓扑的统一深度学习框架,可泛化多种架构,有效解决长程依赖、过平滑等挑战,并在结构化数据基准上优于传统模型。
2025-10-26 cs.LG
PersGNN: Applying Topological Data Analysis and Geometric Deep Learning to Structure-Based Protein Function Prediction
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Berkeley(加州大学伯克利分校)
理解蛋白质结构-功能关系是计算生物学的一个关键挑战,其应用遍及生物技术和制药行业。虽然已知蛋白质结构直接影响蛋白质功能,但许多功能预测任务仅使用蛋白质序列。在这项工作中,我们分离蛋白质结构,使蛋白质数据库中的蛋白质的功能注释,以研究不同的基于结构的预测方案的表达能力。我们提出了一种端到端的可训练深度学习模型,它将图形表示学习与拓扑数据分析相结合,以捕获一组复杂的局部和全局结构特征。虽然这些技术的变化已经成功地应用于蛋白质之前,我们证明了我们的杂交方法,BIGGNN,优于任何一种方法本身以及从相同的信息学习的基线神经网络。与最好的个体模型相比,BEGGNN在精确召回曲线下面积(AUPR)上实现了9.3%的提升,并且在不同的基因本体类别中获得了较高的F1分数,表明这种方法的可移植性。
2020-10-30 cs.LG math.AT q-bio.BM
Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
通过深度神经网络(DNN)对信息结构进行定量分析可以揭示对DNN架构理论性能的新见解。定量信息结构分析的两个非常有前途的研究途径是:1)层间特征相似性(LS)策略,以及2)内在维度(ID)策略,专注于使用成对信息的逐层数据维度。受LS和ID策略的启发,定量信息结构分析,我们介绍了两种新的互补方法层间信息相似性评估的有趣的想法,研究数据样本的邻域动态,因为它穿过DNN。更具体地说,我们引入了最近邻拓扑相似性(NNTS)的概念,用于量化DNN层之间的信息拓扑相似性。此外,我们引入了最近邻拓扑持久性(NNTP)的概念,用于量化整个DNN中数据邻域关系的层间持久性。所提出的策略通过仅利用局部拓扑信息来促进有效的层间信息相似性评估,并且我们在本研究中通过对图像数据的深度卷积神经网络架构进行分析来研究可以获得的关于DNN理论性能的见解来证明其功效。
2020-12-07 cs.AI cs.LG cs.NE
Topotein: Topological Deep Learning for Protein Representation Learning
University of Cambridge(剑桥大学);Prescient Design;University of San Francisco(旧金山大学);Lawrence Berkeley National Laboratory(伯克利国家实验室)
针对现有蛋白质表示学习方法无法捕捉蛋白质结构层级组织的问题,提出融合PCC与TCPNet的Topotein拓扑深度学习框架,在四项任务上超越现有最优几何图神经网络,验证了层级拓扑特征的价值。
2025-09-04 cs.LG
Topological Measurement of Deep Neural Networks Using Persistent Homology
Waseda University(早稻田大学)
深度神经网络(DNN)的内部表示是不可破译的,这使得调整DNN模型,控制其训练过程以及解释其输出变得困难。在本文中,我们提出了一种新的方法来研究DNN的内部表示,通过拓扑数据分析(TDA)。持久同源性(PH),TDA中的杰出方法之一,用于研究训练DNN的复杂性。我们在训练的DNN上构建团复合体,并计算DNN的一维PH。PH揭示了DNN中多个神经元在不同分辨率下的组合效应,这在不使用PH的情况下很难被捕获。使用全连接网络(FCN)以及在MNIST和CIFAR-10数据集上训练的FCN和卷积神经网络(CNN)相结合的网络进行了评估。评估结果表明,DNN的PH反映了神经元的过剩和问题的难度,使PH成为研究DNN内部表示的主要方法之一。
2021-06-06 cs.AI cs.LG
Batch Before You Lift: Scalable Topological Deep Learning on Large Graphs
EPFL(洛桑联邦理工学院);Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所);University of Zagreb(萨格勒布大学);UC Santa Barbara(加利福尼亚大学圣巴巴拉分校);Capital One(第一资本金融公司)
针对大图拓扑深度学习的全局物化瓶颈,提出Cluster-TNN框架,通过局部提升生成拓扑小批量,降低峰值GPU内存83.2%,首次实现多种高阶拓扑神经网络在Reddit等大型数据集上的训练。
2026-10-09 cs.AI cs.LG
Using Topological Framework for the Design of Activation Function and Model Pruning in Deep Neural Networks
Samsung India Research Bangalore(三星印度班加罗尔研究所);International Institute of Information Technology(国际信息技术学院)
深度神经网络在计算机视觉、语音识别和自然语言处理领域的不同任务中的成功,需要了解训练过程的动态以及训练模型的工作。本文的两个独立的贡献是1)新的激活函数,以加快训练收敛2)系统修剪的过滤器的模型训练无关的激活函数。我们通过改变激活函数,分析了训练样本空间在训练过程中被每个连续层变换时的拓扑变换。针对二进制分类任务,报告了在训练过程中改变激活函数对收敛的影响。提出了一种新的激活函数,旨在加快分类任务的收敛速度。在这里,贝蒂数用于量化数据的拓扑复杂性。报告了使用MLP在具有大Betti数(>150)的流行合成二进制分类数据集上的实验结果。结果表明,所提出的激活函数的结果在更快的收敛需要更少的时期的一个因素的1.5至2,因为贝蒂数减少更快的跨层与所提出的激活函数。所提出的方法在基准图像数据集上进行了验证:时尚MNIST,CIFAR-10和猫对狗图像,使用CNN。基于经验结果,我们提出了一种新的方法来修剪训练模型。通过消除将数据转换到具有大Betti数的拓扑空间的过滤器来修剪训练模型。从每一层中去除贝蒂数大于300的所有滤波器,而不显著降低精度。这导致了更快的预测时间和减少模型的内存大小。
2021-09-03 cs.CG cs.CV cs.LG
A Topological Deep Learning Framework for Neural Spike Decoding
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Army Research Lab(陆军研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一个结合无监督单纯复形发现与单纯卷积循环神经网络的拓扑深度学习框架,用于解码头部方向与网格细胞尖峰数据,实现头部方向和轨迹预测。
2023-09-06 cs.LG cs.NE stat.ML
Topological Data Analysis for Arrhythmia Detection through Modular Neural Networks
Fujitsu(富士通);Inria(法国国家信息与自动化研究所)
本文提出了一种创新的通用深度学习方法,用于从ECG信号中监测心脏状况。我们将重点放在异常心跳(称为心律失常)的检测和分类上。在构建深度学习模型的过程中,我们强烈坚持泛化,这对新的看不见的病人是有效的。我们的方法的新颖性依赖于使用拓扑数据分析作为我们的多通道架构的基础,以减少由于个体差异造成的偏差。我们表明,我们的结构达到了最先进的心律失常检测和分类方法的性能。
2019-06-13 cs.LG eess.SP stat.ML
Topological Expressivity of ReLU Neural Networks
Technische Universität Berlin(柏林工业大学)
本文用Betti数量化ReLU网络在二分类中的拓扑简化能力,给出给定架构可实现简化的上下界,证明深度网络相较浅层具有指数级拓扑表达优势。
2024-06-10 cs.DM cs.LG math.AT
ICML Topological Deep Learning Challenge 2024: Beyond the Graph Domain
本文介绍 ICML 2024 第二届拓扑深度学习挑战赛,围绕不同离散拓扑域间的拓扑提升设计与实现,汇总 52 份合格提交的结果与发现。
2024-09-08 cs.AI cs.LG
Ordered Topological Deep Learning: a Network Modeling Case Study
UC Santa Barbara(加州大学圣巴巴拉分校);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
本研究揭示RouteNet模型与拓扑深度学习的关联,提出引入有序邻居概念的OrdGCCN框架,证明RouteNet是有序拓扑神经网络实例,实现了拓扑深度学习原理的首个现实成功应用。
2025-03-20 cs.LG cs.NI
Topology of Out-of-Distribution Examples in Deep Neural Networks
Sandia National Laboratories(桑迪亚国家实验室)
本研究利用深度神经网络潜在层嵌入的拓扑特征(地标)来表征分布外示例,发现OOD示例的持久性显著更长,表明DNN难以对其进行拓扑简化,为OOD检测提供了新思路。
2025-01-21 cs.LG
Fast Transient Stability Prediction Using Grid-informed Temporal and Topological Embedding Deep Neural Network
本文提出TTEDNN模型,利用电网信息邻接矩阵融合结构与电气参数,从早期暂态动态时序数据中提取时空和拓扑特征,实现快速准确的暂态稳定预测,并在IEEE 39和118节点系统中验证了其最优鲁棒性和迁移能力。
2022-01-23 cs.LG cs.SY eess.SY
Unsupervised Learning for Topological Classification of Transportation Networks
Sharif University of Technology(谢里夫理工大学)
本研究针对交通网络拓扑分类的空白,提出综合评估框架,结合PCA和ISOMAP降维技术与K-means和HDBSCAN聚类算法,对14个交通网络进行分类,发现PCA结合K-means方法表现最佳,轮廓系数达0.510,将网络分为五个簇。
2023-11-23 cs.LG
Minimally Supervised Topological Projections of Self-Organizing Maps for Phase of Flight Identification
Rochester Institute of Technology(罗切斯特理工学院)
针对通用航空飞行阶段识别中数据标注成本高且类别不平衡的问题,提出最小监督自组织映射(MS-SOMs)方法,利用SOM U矩阵最近邻多数投票进行类别估计,仅需每类30个标注点即可达到或超越全量标注的朴素SOM性能,且对类别不平衡更具鲁棒性。
2024-02-17 cs.LG cs.NE
Understanding Deep Learning using Topological Dynamical Systems, Index Theory, and Homology
University of Virginia(弗吉尼亚大学)
在本文中,我们使用拓扑动力系统、指数理论和计算同调来研究深度学习模型。这些数学机器最初由亨利·庞加莱在1900年左右发明,并随着时间的推移而发展,以理解形状和动力系统,其结构和行为过于复杂,无法通过分析解决,但可以通过全局关系来理解。特别是,我们展示了如何在一个神经网络中的单个神经元可以对应于单纯形复杂流形近似的决策面学习的NN,以及如何这些单纯形可以用来计算拓扑不变量从代数拓扑的决策流形与显式计算的同源群手在一个简单的情况下。我们还展示了NN学习的概率密度函数的梯度如何创建一个动态系统,该系统可以通过无数的拓扑工具进行分析,如Conley指数理论,Morse理论和稳定流形。我们解析地解决了与应用于MINST数字数据集的256个神经元的单个隐藏层相关联的训练NN的微分方程,并且近似地数值地表示,对于10个类中的每一个类,它都是吸引力的汇和盆,但是汇和强吸引流形位于与实际数字图像不对应的区域中。指数理论暗示了鞍点的存在。概率函数的水平集是783维流形,它只能在动力系统的临界点改变拓扑,这些拓扑变化可以用Morse理论来研究。
2022-07-25 cs.LG math.DS math.GT
Interpretable Low-Resource Legal Decision Making
Cornell Law School(康奈尔大学法学院)
在过去的几年里,深度学习的法律应用一直在上升。然而,与其他高风险决策领域一样,对可解释性的要求至关重要。法律从业者使用的当前模型更多地是传统的机器学习类型,其中它们本质上是可解释的,但无法利用数据驱动的深度学习模型的性能能力。在这项工作中,我们利用商标法领域的深度学习模型来阐明商标之间混淆的可能性问题。具体来说,我们引入了一个模型不可知的可解释的中间层,一种技术,证明是有效的法律文件。此外,我们通过课程学习策略利用弱监督学习,有效地展示了深度学习模型的改进性能。这与传统模式形成对比,传统模式只能利用有限数量的昂贵的法律专家手动注释样本。虽然本文提出的方法解决了商标混淆风险的问题,但将其扩展到其他法律领域,或者更广泛地说,扩展到其他类似的高风险应用场景,是很简单的。
2022-01-01 cs.AI cs.LG