FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
主成分分析(PCA)是机器学习领域的一种基本数据预处理工具。虽然PCA通常被认为是一种降维方法,但PCA的目的实际上是双重的:降维和不相关特征学习。此外,现代数据集中的维度和样本大小的一致性使得集中式PCA解决方案无法使用。在这种情况下,本文重新考虑PCA的问题时,数据样本分布在任意连接的网络中的节点。虽然存在一些分布式PCA的解决方案,但这些解决方案要么忽略了PCA的不相关特征学习方面,要么往往具有高通信开销,这使得它们效率低下和/或缺乏“精确”或“全局”收敛保证。为了克服上述问题,本文提出了一种分布式PCA算法FAST-PCA(快速和精确的分布式PCA)。该算法在通信方面是有效的,并被证明是线性和精确地收敛到主成分,导致降维以及不相关的功能。实验结果进一步支持了这些说法。
2022-02-15 cs.DC cs.LG eess.SP
Objective-Sensitive Principal Component Analysis for High-Dimensional Inverse Problems
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
提出了一种新的自适应、可微的大尺度随机场参数化方法。如果该方法与任何基于梯度的优化算法相结合,它可以应用于各种优化问题,包括历史匹配。所开发的技术是基于主成分分析(PCA),但修改一个纯粹的数据驱动的基础上考虑目标函数的行为的主成分。为了定义一个有效的编码,对模型参数敏感的PCA使用一个目标函数梯度。我们提出了计算效率的实现的技术,其中两个是基于平稳扰动理论(SPT)。最优性,正确性和低计算成本的新的编码方法进行了测试,验证和讨论。提出了三种最优参数分解算法,并将其应用于二维合成历史拟合目标。结果表明,在编码质量方面的目标函数最小化和所需字段的分布模式的改进。提出了可能的应用和扩展。
2020-06-02 cs.LG math.OC stat.ML
Dimensionality Reduction of QAOA Parameter Space with Kernel PCA for Max-Cut
Naperville North High School(纳皮尔高中);Independent Researcher(独立研究员)
针对QAOA参数优化在高电路深度下非线性增强的问题,提出使用核主成分分析(KPCA)进行非线性降维,在8层电路深度下近似比超过0.86,优于PCA的0.81-0.83,并减少93%以上的量子电路评估。
2026-06-24 cs.LG quant-ph
Spectral Phase Encoding for Quantum Kernel Methods
Department of Computer Science Technology and Computation, University of Alicante(计算机科学与计算系,阿利坎特大学)
本文提出频谱相位编码方法,通过结合DFT与对角嵌入提升量子核方法在噪声下的鲁棒性,实验表明其在不同数据集上的表现优于传统方法。
2026-02-23 cs.LG quant-ph
Differential Encoding for Improved Representation Learning over Graphs
School of Electrical and Data Engineering, Faculty of Engineering and Information Technology, University of Technology Sydney(电子与数据工程学院,工程与信息技术学院,新南威尔士大学)
针对图神经网络聚合中节点自身与邻域信息混淆导致的逐层信息丢失,本文提出差分编码并与局部或全局聚合表示结合,在七个基准数据集上提升消息传递与全局注意力模型性能。
2025-09-29 cs.CV cs.LG cs.SI
H$^3$GNNs: Harmonizing Heterophily and Homophily in GNNs via Joint Structural Node Encoding and Self-Supervised Learning
North Carolina State University(北卡罗来纳州立大学)
针对GNN在自监督设置中难以平衡异质性和同质性的问题,提出H³GNNs端到端自监督框架,通过联合结构节点编码和基于节点难度动态掩码的师生自监督学习,在异质性和同质性数据集上均取得优异性能。
2025-04-16 cs.LG cs.SI
VG-TIE: An interpretable tabular-to-image encoding method based on visibility graphs
Rey Juan Carlos University(胡安·卡洛斯国王大学);University of Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学);Yachay Tech University(亚查伊理工大学)
本文提出VG-TIE方法,利用可见性图将表格数据编码为可解释图像,通过像素强度和边关系提供特征重要性,实验证明其性能与现有方法相当且具备内在可解释性。
2026-09-25 cs.CV cs.LG
Graph Inference Representation: Learning Graph Positional Embeddings with Anchor Path Encoding
Beijing University of Posts and Telecommunications(北京邮电大学);China Telecom Research Institute(中国电信研究院)
结合图结构信息的学习节点表示有利于图上的广泛任务。大多数现有的图神经网络(GNN)在捕获给定节点的位置信息方面具有有限的能力。利用选定锚点定位节点的想法已经被利用,但主要依赖于距离信息的显式标记。在这里,我们提出了图推理表示(GIR),一个基于锚点的GNN模型编码与每个节点的预选锚点相关的路径信息。在GIR及其核心变体上,从理论和实验上研究了获得位置感知嵌入的能力。此外,GIR和典型的GNN之间的互补性被证明。我们表明,GIR在位置感知场景中表现出色,并且通过融合GIR嵌入可以提高典型GNN的性能。
2021-06-12 cs.AI cs.LG
Neighbour-level Message Interaction Encoding for Improved Representation Learning on Graphs
School of Electrical and Data Engineering, Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院工程与数据工程学院)
针对图消息传递框架中未编码邻居级消息交互导致信息损失的问题,提出通用的邻居级消息交互编码方法,可集成到图卷积网络中,在6个基准数据集的4项任务上提升了基础模型性能,刷新图表示学习SOTA。
2024-04-15 cs.CV cs.LG
Heterformer: Transformer-based Deep Node Representation Learning on Heterogeneous Text-Rich Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对异构富文本网络中节点文本缺失和多类型结构难以联合建模的问题,提出 Heterformer,在统一 Transformer 中融合文本语义与异构结构信息,并在三项任务和三个大规模数据集上持续显著超越基线。
2023-06-04 cs.CL cs.LG
Network Topology Identification using PCA and its Graph Theoretic Interpretations
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本文通过PCA估计线性关系,利用f-cut集和f-环路实现网络拓扑识别,展示了从稳态数据中识别网络结构的方法及图论意义。
2016-01-21 cs.DM cs.LG cs.SY
Universal Collaboration Strategies for Signal Detection: A Sparse Learning Approach
Syracuse University(雪城大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文研究了一个大型分布式网络中的高维信号检测问题,该网络中的节点可以与它们的一跳邻居节点协作(空间协作)。我们假设只有一小部分节点与融合中心(FC)进行通信。我们设计的最优合作策略,这是普遍的一类确定性信号。通过建立协作策略设计问题与稀疏PCA之间的等价关系,有效地解决了协作策略设计问题,并评估了协作对检测性能的影响。
2016-06-28 cs.LG stat.ML
A Probabilistic Model for Non-Contrastive Learning
Technical University of Munich(慕尼黑技术大学)
本文提出一种潜变量统计模型,统一了自监督学习中的对比与非对比方法,其最大似然估计根据数据增强信息量在PCA与非对比损失间变化,并给出理论分析与实证验证。
2025-05-26 cs.LG
Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Research(NVIDIA研究);IBM Research(IBM研究);Hon Hai (Foxconn) Quantum Computing Research Center(鸿海(富士康)量子计算研究中心)
预训练张量团网络通过降低量子机器学习中的数据编码复杂度,提升变分量子电路分类任务的效率与性能。
2026-02-10 cs.LG quant-ph
Semi-supervised mp-MRI Data Synthesis with StitchLayer and Auxiliary Distance Maximization
Huazhong University of Science and Technology(华中科技大学);Hong Kong University of Science and Technology(香港科技大学)
在本文中,我们解决了通过半监督对抗学习合成多参数磁共振成像(mp-MRI)数据的问题,即表观扩散系数(ADC)和T2加权(T2 w),包含临床显著(CS)前列腺癌(PCa)。具体来说,我们的合成器以顺序方式生成mp-MRI数据:首先从128-d潜在向量生成ADC图,然后将其转换为T2 w图像。合成器以半监督的方式训练。在监督训练过程中,提供了有限数量的成对ADC-T2 w图像和相应的ADC编码,并且合成器通过显式地最小化合成图像和真实图像之间的重建损失来学习配对关系。为了避免过拟合有限的ADC编码,在无监督训练过程中使用无限量的随机潜向量和未配对的ADC-T2 w图像来学习真实图像的边缘图像分布。为了提高合成的鲁棒性,我们将生成全尺寸图像的困难任务分解为几个简单的任务,这些任务仅生成子图像。然后采用StitchLayer以隔行扫描的方式将子图像融合在一起,形成全尺寸图像。为了强制合成图像确实包含可区分的CS PCa病变,我们建议还最大化CS和非CS图像之间的Jensen-Shannon散度(JSD)的辅助距离。实验结果表明,我们的方法可以有效地合成各种mpMRI图像,其中包含有意义的CS PCa病变,显示良好的视觉质量,并具有正确的配对关系。与最先进的合成方法相比,我们的方法在视觉和定量评价指标方面都有了显着的改进。
2018-12-17 cs.CV cs.LG stat.ML
Online Distributed Estimation of Principal Eigenspaces
University of Florida(佛罗里达大学)
主成分分析(PCA)是一种应用广泛的降维技术。本文提出了一种在线分布式主特征空间恢复算法。我们进一步建立它的收敛速度,并显示它如何涉及到分布式计算中使用的节点数,所考虑的数据矩阵的有效秩,以及底层人口协方差阵的频谱中的差距。所提出的算法说明低秩近似和$\boldsymbol{k}$均值聚类任务。数值结果表明,一个显着的计算速度比标准的分布式PCA算法,而不影响学习精度。
2019-05-17 cs.LG stat.ML
Graph Attention Neural Network for Botnet Detection: Evaluating Autoencoder, VAE and PCA-Based Dimension Reduction
School of Systems and Computing, University of New South Wales(新南威尔士大学系统与计算学院)
本文提出先降维再构图的方法,评估VAE、AE和PCA三种降维技术对图注意力网络(GAT)在物联网僵尸网络检测中的影响,以缓解大型图结构的计算开销。
2025-05-23 cs.CV cs.LG
A Generalized Mean Approach for Distributed-PCA
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Institute of Statistical Mathematics(统计数学研究所)
本文提出 β-DPCA 方法,利用矩阵 β-均值融合特征值信息以改进分布式主成分分析的局部结果聚合,并验证了其稳健性与特征向量排序稳定性。
2024-10-01 cs.LG stat.ML
Auto-encoding brain networks with applications to analyzing large-scale brain imaging datasets
Virginia Tech(弗吉尼亚理工大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Duke University(杜克大学)
人们对研究从不同成像方式推断的人脑连接体并探索它们与人类特征(如认知)的关系产生了巨大的兴趣。大脑连接体通常表示为网络,其中节点对应于不同的感兴趣区域(ROI),边缘对应于ROI之间的连接强度。由于网络的高维性和非欧几里德性质,描述其总体分布并将其与人类特征联系起来是具有挑战性的。目前的方法集中在总结网络使用预先指定的拓扑特征或主成分分析(PCA)。在本文中,基于深度学习的最新进展,我们开发了一个非线性潜在因子模型来表征脑图的总体分布,并推断大脑结构连接体与人类特征之间的关系。我们将我们的方法称为图形自动编码(GATE)。我们将GATE应用于两个大型脑成像数据集,青少年脑认知发展(ABCD)研究和成人人类连接组计划(HCP),以了解结构脑连接组及其与认知的关系。数值结果表明,GATE在预测精度、统计推断和计算效率方面比竞争对手具有巨大优势。我们发现,结构连接体与广泛的人类认知特征之间的联系比使用以前的方法明显。
2021-09-13 cs.LG q-bio.NC stat.ML
Compressed representation of brain genetic transcription
Queen Square Institute of Neurology, University College London(伦敦大学学院皇后广场神经病学研究所);Brain Connectivity and Behaviour Laboratory(脑连接与行为实验室)
针对大脑基因表达高维数据压缩的需求,对比多种线性与非线性压缩方法,发现深度自编码器在多指标多靶标域上表现最优,可作为人脑转录模式表示的参考标准。
2024-06-20 cs.LG q-bio.GN q-bio.NC
Fractal dimension predicts quantum kernel collapse in angle-encoded data
该研究提出用关联分形维数D₂作为量子核的先验量子比特预算,通过FD-ASE选择编码坐标,在多数据集和IBM Quantum上验证其可避免角度编码量子核崩溃,确定核活性上限。
2026-10-05 cs.LG quant-ph
A Hybrid Quantum Classical Pipeline for X Ray Based Fracture Diagnosis
Central Research Laboratory, BEL(中央研究实验室,BEL)
针对传统X射线骨折诊断效率低、现有深度学习方案资源需求高的问题,提出融合PCA降维与4量子比特振幅编码特征增强的混合量子-经典流水线,在公开数据集上达99%准确率,性能比肩最优迁移学习模型且特征提取时间降82%。
2025-05-19 cs.CV cs.ET cs.LG
Global Low-Rank, Local Full-Rank: The Holographic Encoding of Learned Algorithms
该研究通过多任务模块算术验证了学习算法的全息编码原则,发现groke了解决方案在学习方向空间中全局低秩,但在参数空间中局部全秩。
2026-02-20 cs.AI cs.LG
Node Embedding with Adaptive Similarities for Scalable Learning over Graphs
University of Minnesota(明尼苏达大学)
节点嵌入是在图的节点上提取信息和描述性特征的任务。节点嵌入对于图分析的重要性,以及节点分类、链接预测和社区发现等学习任务,使得人们对该问题的兴趣越来越大,并导致了一些最新的进展。与特征域中的PCA非常相似,节点嵌入是一项固有的\emph{unsupervised}任务;在缺乏用于验证的元数据的情况下,实际方法可能需要标准化并限制可调超参数的使用。最后,节点嵌入方法面临着在面对不断增加的大小的大规模现实世界的图形保持可扩展性。在目前的工作中,我们提出了一个自适应的节点嵌入框架,调整嵌入过程到一个给定的底层图,在一个完全无监督的方式。为了实现这一点,我们采用了一个可调的节点相似性矩阵的概念,分配不同长度的路径上的权重。多重长度相似性的设计确保了所得到的嵌入也继承了可解释的谱特性。所提出的模型进行了仔细研究,解释,并使用随机块模型进行数值评估。此外,提出了一种算法方案,以有效地训练模型参数,在无监督的方式。我们进行了广泛的节点分类,链接预测,和聚类实验,许多现实世界的图形从各个领域,并与国家的最先进的可扩展和无监督的节点嵌入替代品。所提出的方法在许多情况下具有优越的性能,同时还产生关于图的底层结构的可解释的信息。
2019-06-13 cs.LG stat.ML
Shape-informed cardiac mechanics surrogates in data-scarce regimes via geometric encoding and generative augmentation
MOX Laboratory, Department of Mathematics, Politecnico di Milano(米兰Politecnico大学数学系MOX实验室);Division 2.2 Process Simulation, Bundesanstalt für Materialforschung und -prüfung (BAM)(材料研究所(BAM)第2.2过程模拟部);Department of Mathematics, University of Trento(特伦托大学数学系)
本文提出了一种基于几何编码和生成增强的两步框架,用于在数据稀缺条件下实现形状感知的心脏力学替代模型,通过学习紧凑的潜在表示和神经场模型,提高跨不同解剖结构的泛化能力。
2026-02-23 cs.AI cs.LG cs.NA
Contrastive Multi-View Representation Learning on Graphs
Autodesk AI Lab(欧特克人工智能实验室);Vector Institute(向量研究所)
我们介绍了一个自我监督的方法,学习节点和图的层次表示,通过对比图的结构视图。我们发现,与视觉表示学习,增加视图的数量超过两个或对比多尺度编码并没有提高性能,最好的性能是通过对比编码从一阶邻居和图形扩散。我们在线性评估协议下的8个节点和图分类基准中的8个上实现了自监督学习的最新结果。例如,在Cora(节点)和Reddit-Binary(图)分类基准测试中,我们实现了86.8%和84.5%的准确率,比以前的最先进水平分别提高了5.5%和2.4%。与监督基线相比,我们的方法在8个基准测试中有4个优于它们。源代码发布于:www.example.com
2020-06-10 cs.LG stat.ML
Hybrid quantum-classical classifier based on tensor network and variational quantum circuit
Brookhaven National Laboratory(布鲁克海文国家实验室);National Taiwan University(台湾大学)
在有噪声的中间尺度量子(NISQ)设备上执行量子机器学习(QML)的一个关键步骤是在编码之前对输入数据进行降维。传统的主成分分析(PCA)和神经网络已被用于执行此任务;然而,经典层和量子层通常是分开训练的。因此,非常需要一个能够更好地整合这两个关键组成部分的框架。在这里,我们介绍了一种混合模型,它结合了量子启发张量网络(TN)和变分量子线路(VQC)来执行监督学习任务,这允许端到端的训练。我们表明,矩阵产品状态为基础的TN与低键维数比PCA作为一个特征提取器的MNIST数据集的二进制分类中的VQC的输入压缩数据进行更好的性能。该架构具有高度的适应性,并且可以在可用时轻松地合并额外的量子资源。
2020-11-30 cs.LG quant-ph
Comparison of Autoencoder Encodings for ECG Representation in Downstream Prediction Tasks
University of Kansas Medical Center(堪萨斯大学医学中心);University of Kansas(堪萨斯大学)
本研究针对ECG信号复杂度高、小样本下深度学习应用难的问题,提出三种新型VAE变体,其编码在信号重建与下游LVEF降低预测上表现优异,可媲美最优CNN且资源需求更低,为小样本场景提供实用方案。
2024-10-29 cs.LG eess.SP
A new node-shift encoding representation for the travelling salesman problem
University M’hamed Bougara of Boumerdes(布迈德斯穆罕默德·布格拉大学)
本文提出一种用于解决旅行商问题的新遗传算法编码表示,通过在TSPLIB的14个基准上与最先进编码进行比较,验证了该染色体结构的性能。
2023-05-16 cs.AI cs.NE math.OC
Evolutionary Giant Tour for CVRP using NSE and ML Heuristic]{Evolutionary Giant Tour approach for CVRP using Node Shift Encoding and Machine Learning repair heuristic
University M’hamed Bougara of Boumerdes(布米尔达斯穆哈迈德布加拉大学)
本文提出一种将进化过程与路线构建分离的框架,采用节点移位编码并引入无监督机器学习修复启发式,在CVRP基准测试中显著提升解质量与可行性。
2026-10-06 cs.NE
Detecting Communities in Complex Networks using an Adaptive Genetic Algorithm and node similarity-based encoding
针对现有遗传算法编码缺陷,提出基于节点相似性的MST编码及自适应遗传算法,结合相似性与模块度优化,提升社区检测的收敛速度与有效性。
2022-01-24 cs.CY cs.NE cs.SI