Representation Topology Divergence: A Method for Comparing Neural Network Representations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);CNRS(法国国家科学研究中心);Université Paris Cité(巴黎西岱大学);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI))
本研究提出表示拓扑散度RTD,通过多尺度拓扑衡量等大点云的表示差异,适用于真实机器学习数据集,可用于分析计算机视觉与NLP领域的神经网络表示相关问题。
2022-06-28 cs.AI cs.LG math.AT
clDice -- A Novel Topology-Preserving Loss Function for Tubular Structure Segmentation
Technical University of Munich(慕尼黑工业大学);Eindhoven University of Technology(埃因霍温理工大学)
管状、网络状结构(如血管、神经元或道路)的准确分割与许多研究领域相关。对于这样的结构,拓扑结构是它们最重要的特征;特别是保持连通性:在血管网络的情况下,缺少连接的血管完全改变了血流动力学。我们引入了一种新的相似性度量称为centerlineDice(短clDice),这是计算的分割掩模和它们的(形态)的交集。我们从理论上证明,clDice保证拓扑保持同伦等价的二进制二维和三维分割。扩展这一点,我们提出了一个计算效率高,可微损失函数(软clDice)训练任意神经分割网络。我们在五个公共数据集上对soft-clDice损失进行了基准测试,包括血管,道路和神经元(2D和3D)。在soft-clDice上进行训练可以获得更准确的连通性信息、更高的图形相似性和更好的体积分数。
2022-07-15 cs.CV cs.LG eess.IV
Genetic Programming for Manifold Learning: Preserving Local Topology
Victoria University of Wellington(惠灵顿维多利亚大学)
流形学习方法是当今世界日益庞大的数据集的宝贵工具。流形学习算法可以通过非线性变换来发现高维数据集的低得多的维度表示(嵌入),这些非线性变换保留了原始数据的最重要结构。最先进的流形学习方法直接优化嵌入,而无需在原始空间和发现的嵌入空间之间进行映射。这使得可解释性-探索性数据分析的关键要求-几乎不可能。最近,遗传编程已经成为一个非常有前途的方法来流形学习,从原来的空间的功能映射到嵌入。然而,基于遗传编程的流形学习一直难以与其他方法的性能相匹配。在这项工作中,我们提出了一种新的方法,使用遗传编程流形学习,保持局部拓扑结构。预计这将显着提高本地邻域结构(拓扑结构)是至关重要的任务的性能。我们将我们提出的方法与各种基线流形学习方法进行比较,发现它往往优于其他方法,包括对以前的遗传编程方法的明显改进。这些结果是特别有前途的,考虑到潜在的可解释性和可重用性的演变映射。
2021-08-23 cs.AI cs.LG cs.NE
Topology-Preserving Deep Joint Source-Channel Coding for Semantic Communication
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Khalifa University(哈利法大学)
本文提出TopoJSCC框架,通过整合持续同调正则化提升拓扑保持能力,在低信噪比和带宽比条件下改进拓扑保护和PSNR。
2026-03-17 cs.IT cs.LG eess.IV
GloDyNE: Global Topology Preserving Dynamic Network Embedding
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学)
由于现实世界中的网络具有随时间演化的特性,在动态环境中学习网络的低维拓扑表示正引起人们的广泛关注。动态网络嵌入(DNE)的主要和共同目标是在每个时间步有效地更新节点嵌入,同时保持网络拓扑结构。大多数现有DNE方法的想法是捕获受影响最大的节点(而不是所有节点)处或周围的拓扑变化,并相应地更新节点嵌入。不幸的是,这种近似,虽然可以提高效率,不能有效地保持在每个时间步的动态网络的全局拓扑结构,由于没有考虑不活动的子网络,接收累积的拓扑变化传播通过高阶邻近。为了解决这个问题,我们提出了一种新的节点选择策略,在网络中,这是协调与一个新的增量学习范式的基于Skip-Gram的嵌入方法的代表性节点的选择。广泛的实验表明,GloDyNE,与一小部分的节点被选中,已经可以实现优越的或相当的性能w.r.t.在三个典型的下游任务中使用最先进的DNE方法。特别是,GloDyNE显着优于其他方法在图重建任务,这表明了它的全局拓扑保持能力。源代码可在https://github.com/houchengbin/GloDyNE上获得
2021-12-06 cs.LG cs.SI
TME-BNA: Temporal Motif-Preserving Network Embedding with Bicomponent Neighbor Aggregation
Zhejiang University(浙江大学)
演化的时间网络是许多现实动态系统的抽象,例如,社交网络和电子商务。时间网络嵌入的目的是将每个节点映射到用于下游任务的时间演进低维向量,例如,链接预测和节点分类。时态网络嵌入的难点在于如何联合利用拓扑和时间信息来捕捉时态网络的演化。针对这一挑战,我们提出了一种基于双组分邻域聚合的时间基元保持网络嵌入方法,称为TME-BNA。考虑到时间模体对于理解时间网络的拓扑规律和功能特性至关重要,TME-BNA基于时间模体构造额外的边特征,以显式地利用具有时间信息的复杂拓扑结构.为了捕捉节点的拓扑动态,TME-BNA利用图神经网络(GNNs)根据连接边的时间戳分别聚合历史和当前邻居。在三个公共时态网络数据集上进行了实验,结果表明了TME-BNA的有效性。
2021-10-26 cs.LG cs.SI
CellCLAT: Preserving Topology and Trimming Redundancy in Self-Supervised Cellular Contrastive Learning
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对胞元复形自监督学习中的结构约束和语义冗余问题,提出CellCLAT框架,通过参数扰动增强保留拓扑,并利用双层元学习的胞元修剪调度器移除冗余,显著优于现有方法。
2025-05-27 cs.AI cs.LG
Train to Stitch: Topology-Preserving Regularization for Interoperable Representations
InterDigital Communications Inc.(互数通信公司);Rice University(莱斯大学)
本研究提出拓扑正则化方法,对齐独立训练的自编码器潜在空间,消除训练协调需求,经多数据集重构实验验证,可大幅缩小模型间互操作性差距。
2026-10-15 cs.CV cs.LG eess.SP
Constructive Lyapunov Functions via Topology-Preserving Neural Networks
Department of Mechanical Engineering Soongsil University, Seoul, Korea Email
该研究提出保拓扑神经网络ONN,证明其在收敛速度等多方面达阶最优,实证验证性能优异,还建立其与多领域理论的关联,将Massera存在定理转化为可扩展算法,为多领域构造性稳定性分析开辟路径。
2025-10-10 cs.LG cs.SY eess.SY
Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning
University of California, Los Angeles(加州大学洛杉矶分校)
本研究提出FGLGuard,通过联邦图学习实现LLM多智能体系统的隐私保护拓扑引导安全,在三个基准上优于集中式方法,可降低攻击成功率且无数据汇集与额外成本。
2026-09-04 cs.AI cs.CR cs.LG
Topology-preserving augmentation for CNN-based segmentation of congenital heart defects from 3D paediatric CMR
Guy’s and St. Thomas’ NHS Foundation Trust(盖伊和圣托马斯国民保健服务基金会信托);King’s College London(伦敦国王学院);University of Warwick(华威大学)
先天性心脏解剖结构的患者特异性3D打印需要精确分割薄组织界面,以支持这些诊断。即使标签集与地面实况具有高度的空间重叠,这些界面的不准确描绘也会导致拓扑错误。由于缺陷的异常外观,这些损害了此类模型的临床实用性。CNN已经在分割任务中实现了最先进的性能。虽然数据增强往往发挥了重要的作用,我们表明,传统的图像重建方案,其中使用的可以引入拓扑变化的增强样本的地面真值标签。我们提出了一种新的管道来纠正这些变化,使用快速推进算法来执行其增强表示中的地面真实标签的拓扑结构。在这样做的时候,我们调用的心脏连续拓扑的想法来描述先天性心脏缺陷的任意组合,并开发一个相关的,临床上有意义的度量来衡量分割的拓扑正确性。在一系列五重交叉验证中,我们证明了该管道产生的性能增益以及拓扑考虑与先天性心脏病分割的相关性。我们推测这种方法的适用性,任何分割任务,涉及形态复杂的目标。
2019-08-23 cs.CV cs.LG eess.IV
Topograph: An efficient Graph-Based Framework for Strictly Topology Preserving Image Segmentation
School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Department of Computing, Imperial College London(帝国理工学院计算系);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute, Technical University of Munich(慕尼黑工业大学慕尼黑数据科学研究所);Weill Cornell Medicine, Cornell University(康奈尔大学威尔医学院)
针对现有图像分割方法忽略拓扑精度或存在局限的问题,提出Topograph图基框架,通过组件图编码拓扑信息,实现高效且严格拓扑保持的分割,性能领先且计算速度快五倍。
2025-04-17 cs.CV cs.LG
SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
SILSA提出滑动窗口切片潜变量与切片级拓扑监督,实现单阶段高分辨率3D生成,提升结构保真度并大幅降低计算成本。
2026-10-02 cs.AI cs.CV cs.LG
AlphaJet: Automated Conceptual Aircraft Synthesis via Disentangled Generative Priors and Topology-Preserving Evolutionary Search
Hong Kong University of Science(香港科学与技术大学)
AlphaJet通过解耦生成先验和拓扑保持进化搜索,实现自动概念飞机合成,提供可解释的形状先验和拓扑保护算法,提升飞机设计自动化水平。
2026-04-29 cs.LG
SynthPID: P&ID digitization from Topology-Preserving Synthetic Data
Indian Institute Of Technology Bombay(印度理工学院孟买学院)
本文提出SynthPID,通过从真实图纸直接种子管道拓扑生成665个合成P&ID,结合Relationformer模型,实现无需真实数据训练即可达到63.8%的边检测精度,验证了生成质量对性能的影响。
2026-04-15 cs.CV cs.LG
Maximizing Mutual Information Across Feature and Topology Views for Learning Graph Representations
Xidian University(西安电子科技大学)
最近,最大化互信息已成为无监督图表示学习的一种强有力的方法。现有的方法通常有效地从拓扑视图捕获信息,但忽略了特征视图。为了规避这个问题,我们提出了一种新的方法,利用跨功能和拓扑视图的互信息最大化。具体来说,我们首先利用多视图表示学习模块,以更好地捕捉局部和全局信息内容的功能和拓扑视图上的图形。为了对特征和拓扑空间共享的信息进行建模,我们开发了一个通用的表示学习模块,使用互信息最大化和重建损失最小化。为了明确鼓励来自同一视图的图表示之间的多样性,我们还引入了不一致正则化来扩大来自同一视图的表示之间的距离。在合成数据集和真实数据集上的实验表明了特征视图和拓扑视图集成的有效性。特别是,与以前的监督方法相比,我们提出的方法可以实现类似的,甚至更好的性能下的无监督表示和线性评价协议。
2022-10-11 cs.LG stat.ML
Self-Supervised Graph Representation Learning via Topology Transformations
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Futurewei Seattle Cloud Lab(Futurewei西雅图云实验室)
我们提出了拓扑变换等变表示学习,自监督学习的一般范式的节点表示的图形数据,使图卷积神经网络(GCNN)的广泛适用性。我们正式提出的模型从信息理论的角度来看,通过最大限度地提高互信息之间的拓扑变换和节点表示之前和之后的转换。我们得出,最大化这样的互信息可以放宽到最小化的交叉熵之间的应用拓扑变换和它的估计从节点表示。特别地,我们试图从原始图中采样节点对的子集,并翻转每个对之间的边连接以转换图拓扑。然后,我们自训练一个表示编码器,通过从原始图和变换图的特征表示重建拓扑变换来学习节点表示。在实验中,我们将所提出的模型应用于下游节点分类、图分类和链接预测任务,结果表明,所提出的方法优于现有的无监督方法。
2021-12-02 cs.LG cs.SI eess.SP
Strongly Topology-preserving GNNs for Brain Graph Super-resolution
Imperial College London(帝国理工学院)
针对脑图超分辨率任务,提出首个在高阶拓扑空间进行表示学习的STP-GSR框架,利用原始-对偶图映射实现强拓扑一致性,并在七个拓扑指标上显著超越现有方法。
2024-11-01 cs.AI cs.LG
NTopo: Mesh-free Topology Optimization using Implicit Neural Representations
Université de Montréal(蒙特利尔大学);ETH Zurich(苏黎世联邦理工学院)
隐式神经表征的最新进展在产生偏微分方程的数值解方面显示出巨大的潜力。与传统的替代方案相比,这种表示采用参数化神经网络来以无网格的方式定义高度详细、连续和完全可微的信号。在这项工作中,我们提出了一种新的机器学习方法的拓扑优化-一类重要的反问题,高维参数空间和高度非线性的目标景观。为了在无网格拓扑优化的背景下有效地利用神经表示,我们使用多层感知器来参数化密度场和位移场。我们的实验表明,我们的方法在最小化结构合规目标方面具有很强的竞争力,并且它能够对拓扑优化问题的连续解空间进行自监督学习。
2021-11-25 cs.LG
Graph Neural Networks for Transmission Grid Topology Control: Busbar Information Asymmetry and Heterogeneous Representations
Radboud University(拉德博德大学);TenneT TSO(TenneT 运营商)
针对输电网拓扑控制中同质图表示存在的母线信息不对称问题,提出异质图表示方法,实验证明异质GNN在分布内配置下表现最优,且两类GNN泛化能力均优于FCNN基线。
2025-10-03 cs.AI cs.LG stat.ML
Latent Topology Induction for Understanding Contextualized Representations
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
在这项工作中,我们研究了上下文嵌入的表示空间,并深入了解大语言模型的隐藏拓扑。我们发现,存在一个网络的潜在状态,总结语境化表示的语言特性。我们没有寻求与现有定义良好的注释的对齐,而是使用结构化的变分自编码器以完全无监督的方式推断这个潜在网络。诱导状态不仅作为表征流形拓扑结构(邻居和连通性)的锚点,而且还揭示了句子编码的内在机制。利用诱导网络,我们:(1).将表示空间分解为一系列潜在状态,这些潜在状态利用词汇、形态、句法和语义信息对细粒度的词义进行编码;(2).显示状态-状态转换编码丰富的短语结构,并作为潜在空间的骨干。把这两个放在一起,我们表明,句子表示为一个遍历的潜在网络中的状态-状态转换链编码的语法模板和状态字排放填写的内容。我们通过大量的实验和可视化来证明这些见解。
2022-06-03 cs.AI cs.CL cs.LG
Topology-Based Reconstruction Prevention for Decentralised Learning
Delft University of Technology(代尔夫特理工大学);Università di Padova(帕多瓦大学)
针对去中心化学习中连续隐私保护求和导致的数据重构风险,本文揭示弱攻击者可利用网络拓扑推断隐私数据,并提出首个基于拓扑的去中心化防护,证明无环网络可阻止精确攻击。
2024-12-02 cs.CR cs.DC cs.DM
Context-aware Modality-Topology Co-Alignment for Multimodal Attributed Graphs
University of Science and Technology of China(中国科学技术大学)
提出CoMAG框架,通过任务自适应可靠上下文学习和模态保持的跳令牌对齐,统一处理图任务和模态任务,在保持稀疏边线性复杂度的同时提升结构预测、跨模态匹配和图条件生成性能。
2026-06-15 cs.CV cs.LG
FedTopo: Topology-Informed Representation Alignment in Federated Learning under Non-I.I.D. Conditions
针对非独立同分布客户端数据下联邦学习模型性能下降问题,提出FedTopo框架,通过拓扑引导块筛选、拓扑嵌入及拓扑对齐损失实现跨客户端表示对齐,在多数据集非独立同分布场景中加快收敛并提升精度。
2025-11-16 cs.LG
Deep Regression Representation Learning with Topology
本研究针对现有表示学习多关注分类、忽略回归的问题,基于信息瓶颈原理建立回归表示拓扑与表示有效性的关联,提出适配特征与目标空间维度及拓扑的PH-Reg正则化器,实验验证了其在回归任务上的有效性。
2024-05-16 cs.CV cs.LG
GRATIS: Deep Learning Graph Representation with Task-specific Topology and Multi-dimensional Edge Features
University of Cambridge(剑桥大学);Baidu Inc(百度公司);Shenzhen University(深圳大学);Middle East Technical University(中东技术大学);University of Birmingham(伯明翰大学)
Graph对于表示各种类型的真实世界数据非常强大。图的拓扑结构(边的存在)和边的特征决定了图中顶点之间的消息传递机制。虽然大多数现有方法仅手动定义单值边来描述一对顶点之间的连接性或关联强度,但这种手动定义的拓扑和单值边特征可能会忽略任务特定的和关键的关系线索。在本文中,我们提出了第一个通用的图表示学习框架(称为GRATIS),它可以生成一个强大的图表示与任务特定的拓扑结构和任务特定的多维边缘功能,从任何任意输入。为了学习每个边的存在和多维特征,我们的框架考虑了相应的顶点对及其全局上下文信息,使生成的图表示具有针对不同下游任务的全局最优消息传递机制。对11个图和非图数据集的各种图分析任务的原则性调查结果表明,我们的GRATIS不仅可以大大增强预定义的图,而且还可以学习非图数据的强大图表示,所有任务的性能都有明显的提高。特别是,学习的拓扑结构和多维边缘特征为图形分析任务提供了与任务相关的补充线索。我们的框架是有效的,健壮的和灵活的,是一个即插即用的模块,可以与不同的骨干和图神经网络(GNN)相结合,从各种图形和非图形数据生成特定于任务的图形表示。我们的代码可在https://github.com/SSYSteve/Learning-Graph-Representation-with-Task-specific-Topology-and-Multi-dimensional-Edge-Fe…
2022-11-19 cs.LG
KeyVec: Key-semantics Preserving Document Representations
Microsoft Research(微软研究院)
先前的研究已经证明了词嵌入在各种应用中的经验成功。在本文中,我们研究的问题,学习分布式表示的文本文件,许多机器学习算法作为输入的一些NLP任务。我们提出了一个神经网络模型,KeyVec,学习文档表示的目标是保持输入文本的关键语义。它使学习到的低维向量能够保留来自文档的主题和重要信息,这些主题和信息将流向下游任务。我们的实证评估表明,在两个不同的文档理解任务的KeyVec表示的优良品质。
2017-09-27 cs.CL cs.LG cs.NE
The Topology and Geometry of Neural Representations
Columbia University(哥伦比亚大学)
本文提出拓扑表征相似性分析(tRSA),通过几何拓扑摘要统计量从拓扑层面刻画大脑表示,在模拟和fMRI数据中验证了其对噪声和个体变异性的鲁棒性及对独特表征特征的敏感性。
2024-06-03 cs.LG q-bio.NC stat.ME