Learning Weighted Submanifolds with Variational Autoencoders and Riemannian Variational Autoencoders
Stanford University（斯坦福大学）
流形值数据自然出现在医学成像中。例如，在认知神经科学中，大脑连接组对不同大脑区域之间的共激活模式的分析是基于对功能性磁共振成像（fMRI）时间序列相关性的分析--这一对象因此受到结构的限制，属于对称正定矩阵的流形。自然产生的挑战之一是找到一个低维子空间来表示这种流形值数据。传统的技术，如主成分分析，不适合处理非欧几里德空间，并且可能无法实现数据的低维表示-因此可能指向缺乏数据的低维表示。然而，这些技术的限制在于：（i）它们不利用连接体属于预先指定的流形的假设，因此丢弃信息;（ii）它们只能将线性子空间拟合到数据。在本文中，我们感兴趣的变体学习潜在的高度弯曲的流形值数据的子流形。受大脑连接体例子的启发，我们研究了一个潜在变量生成模型，它具有为我们提供不确定性估计的额外好处-这是我们正在考虑的医学应用中的一个关键数量。虽然潜变量模型已经被提出来学习欧几里得数据的线性和非线性空间，或流形数据的测地线子空间，但不存在内在潜变量模型来学习流形数据的非测地线子空间。本文填补了这一空白，并制定了一个黎曼变分自动编码器与流形值数据的内在生成模型。我们通过引入加权黎曼子流形的形式来评估它在合成数据集和真实数据集上的性能。
2019-11-19 cs.LG math.DG stat.ML
Learning Instance-Adaptive Low-Rank Orthogonal Subspaces for Clothes-Changing Person Re-Identification
Dongwoo Kim（金东吾）；Tae-Kyun Kim（金泰勋）
提出Ortho-ReID方法，通过从VLM文本描述中显式建模低秩服装子空间，并利用几何约束提取服装不变特征，在多个基准数据集上取得最优性能。
2026-06-11 cs.CV cs.LG
Adaptive Attribute and Structure Subspace Clustering Network
City University of Hong Kong（香港城市大学）；Caritas Institute of Higher Education（明爱专上学院）；Southeast University（东南大学）
基于深度自表达的子空间聚类方法已经证明了其有效性。然而，现有的工作只考虑属性信息进行自我表达，这可能会限制聚类性能。本文提出了一种新的自适应属性和结构子空间聚类网络（AASSC-Net），以自适应图融合的方式同时考虑属性和结构信息。具体来说，我们首先利用一个自动编码器来表示输入数据样本的潜在特征的属性矩阵的建设。我们还构造了一个混合的有符号和对称结构矩阵来捕获数据样本的局部几何结构。然后，我们对构造的属性矩阵和结构矩阵执行自表达，以分别学习它们的亲和图。最后，我们设计了一个新的基于注意力的融合模块，自适应地利用这两个亲和图来构建一个更具鉴别力的亲和图。在常用基准数据集上进行的大量实验结果表明，我们的AASSC-Net显着优于最先进的方法。此外，我们进行全面的消融研究，讨论设计模块的有效性。该代码将在https://github.com/ZhihaoPENG-CityU上公开发布。
2022-04-22 cs.CV cs.LG
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Apple Inc.（苹果公司）
在将深度学习模型部署到设备时，传统上假设可用的计算资源（计算、内存和电源）保持静态。然而，现实世界的计算系统并不总是提供稳定的资源保证。当来自其他进程的负载高或电池电量低时，需要节省计算资源。受神经网络子空间最近工作的启发，我们提出了一种训练神经网络的“可压缩子空间”的方法，该子空间包含从高效到高精度的细粒度模型谱。我们的模型不需要再训练，因此我们的模型子空间可以完全部署在设备上，以允许在推理时进行自适应网络压缩。我们提出的结果实现任意细粒度的准确性和效率的权衡在推理时间的结构化和非结构化稀疏。在测试未压缩模型时，我们实现了与标准模型相当的精度，并且在测试压缩模型时，稀疏率保持在90%以上的高精度。我们还证明了我们的算法扩展到可变位宽的量化，实现了与单独训练的网络相当的精度。
2021-10-08 cs.CV cs.LG
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology（工程 cybernetics 系，挪威科学与技术大学）；Department of Engineering Sciences, University of Agder（工程科学系，阿格德大学）
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架，通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
AdaptiveK: Complexity-Driven Sparse Autoencoders for Interpretable Language Model Representations
Zhejiang University（浙江大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出 AdaptiveK SAE，根据输入语义复杂度动态调整稀疏度，利用线性探针引导特征分配，在重构保真度、解释方差、余弦相似度和可解释性指标上优于固定稀疏度方法。
2026-06-01 cs.LG
Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders
T-Tech
研究稀疏自编码器特征的可复现性，发现稳定特征承载主要信号，不稳定特征集中于可复现的低秩子空间，反映基歧义而非纯噪声。
2026-06-11 cs.AI cs.CL cs.LG
Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability
The Pennsylvania State University（宾夕法尼亚州立大学）
针对稀疏自编码器将特征假设为一维导致特征分裂的问题，提出子空间感知稀疏自编码器（SASA），通过学习解码器子空间、块稀疏门控和核范数正则化，在GPT-2和Mistral-7B上减少特征分裂和吸收，提高单义性和可解释性。
2026-06-04 cs.AI cs.LG
Multi-view Subspace Clustering via An Adaptive Consensus Graph Filter
Shanghai Maritime University（上海海事大学）
提出一种多视图子空间聚类方法，通过构建共识图滤波器并联合优化共识重构系数矩阵与各视图系数，提升聚类性能。
2024-01-30 cs.CV cs.LG
Streaming Adaptive Nonparametric Variational Autoencoder
Northeastern University（东北大学）
我们开发了一种数据驱动的方法来同时对流数据进行聚类和端到端特征学习，该方法可以自适应地检测新兴数据中的新簇。我们的方法，自适应非参数变分自动编码器（AdapVAE），通过贝叶斯非参数（BNP）建模框架与深度神经网络（DNN）进行特征学习来学习聚类成员。我们开发了一个联合在线变分推断算法，通过迭代优化证据下限（ELBO），同时学习特征表示和聚类分配。我们解决了灾难性的遗忘\citep{kirkpatrick2017overcoming}的挑战与流数据采用生成样本从训练的AdapVAE使用以前的数据，这避免了存储和重用过去的数据的需要。我们展示了我们的模型的优点，包括自适应新的聚类检测，而不丢弃从过去的数据，高质量的样本生成和可比的聚类性能的图像和文本语料库基准数据集上的端到端的批处理模式聚类方法学习的有用信息。
2019-10-11 cs.LG stat.ML
SoftSAE: Dynamic Top-K Selection for Adaptive Sparse Autoencoders
Jagiellonian University（雅盖隆大学）；IDEAS Research Institute（IDEAS研究所）
SoftSAE通过动态Top-K机制调整稀疏自编码器的激活特征数量，以适应不同输入复杂度，提升表示匹配度和解释长度。
2026-05-08 cs.CV cs.LG
Learning and controlling the source-filter representation of speech with a variational autoencoder
CentraleSupélec（巴黎中央理工-高等电力学院）；IETR UMR CNRS 6164（法国国家科学研究中心电子与电信研究所（UMR 6164））；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）；Inria（法国国家信息与自动化研究所）；LJK（让·昆塞曼实验室）
理解和控制深度生成模型中的潜在表示对于分析、转换和生成各种类型的数据来说是一个具有挑战性且重要的问题。在语音处理中，源滤波器模型从发声的解剖机制出发，认为语音信号是由几个独立的、有物理意义的连续潜在因素产生的，其中基频$f_0$和共振峰是最重要的。在这项工作中，我们从一个变分自编码器（VAE）在一个大的数据集上的未标记的自然语音信号的无监督的方式训练，我们表明，语音生产的源过滤器模型自然产生的VAE潜在空间的正交子空间。利用人工语音合成器产生的标记语音信号，我们提出了一种方法来识别编码$f_0$和前三个共振峰频率的潜在子空间，我们证明了这些子空间是正交的，并基于这种正交性，我们开发了一种方法来精确和独立地控制潜在子空间内的源滤波器语音因子。在不需要诸如文本或人类标记的数据之类的附加信息的情况下，这导致以$f_0$和共振峰频率为条件的语音频谱图的深度生成模型，并且该深度生成模型被应用于变换语音信号。最后，我们还提出了一个强大的$f_0$估计方法，利用投影的语音信号到学习的潜在子空间与$f_0$。
2023-03-21 cs.LG cs.SD eess.AS
MetaSAEs: Joint Training with a Decomposability Penalty Produces More Atomic Sparse Autoencoder Latents
Independent Researcher（独立研究员）；Simplex AI Safety
本文提出一种联合训练目标，通过可分解性惩罚减少稀疏自编码器潜在表示的子空间混合，提升潜在表示的原子性。实验表明，该方法在GPT-2和Gemma 2 9B模型上均取得显著效果，提高了可解释性评分。
2026-04-03 cs.AI cs.LG
Adaptive Generation of Phantom Limbs Using Visible Hierarchical Autoencoders
University of Tennessee at Chattanooga（查塔努加田纳西大学）
根据异构运动传感器测量的人体功能部位的运动行为，提出了一种自适应幻肢生成中的分层可视自动编码器。提出的可视分层自动编码器由可解释的和多相关的自动编码器管道，这是直接从森林数据结构描述的分层网络派生。根据指定的动力学脚本（例如，跳舞、跑步等）和用户的身体状况，从人体肌肉骨骼网络中提取分层网络，该网络由多个身体部件（例如，肌肉、骨骼和关节等）它们在生物机械、功能或神经上相互关联，并且大多表现出非发散的动力学行为。多层感知器（MLP）回归模型，以及几种变化的自动编码器模型，研究了顺序生成的缺失或功能障碍的肢体。幻肢的运动学行为将使用虚拟现实和增强现实（VR/AR）、致动器和潜在的假肢控制器（一种替代缺失身体部位的人造设备）来构建。所述工作旨在开发实用的创新锻炼方法，其（1）使所有年龄段的个人，包括患有慢性健康状况和/或残疾的人，参与定期的身体活动，（2）加速患者的康复，以及（3）释放用户的幻肢疼痛。在今后的工作中，将严格评估所述工作的生理和心理影响。
2019-10-02 cs.HC cs.LG
Unsupervised Feature Selection via Robust Autoencoder and Adaptive Graph Learning
Department of Sociology University of California, Davis, California, USA（加州大学戴维斯分校社会学系）
本文提出RAEUFS模型，通过深度自编码器学习非线性特征表示并提高对异常值的鲁棒性，实验表明其在清洁和异常值污染数据中均优于现有方法。
2026-03-19 cs.LG stat.ML
Adaptive Graph Convolutional Subspace Clustering
Shanghai Maritime University（上海海事大学）
针对现有谱类型子空间聚类算法约束与特征提取分离的问题，提出自适应图卷积子空间聚类方法，同步实现特征提取与系数矩阵约束，经实验验证性能优于相关方法及部分深度模型。
2023-05-05 cs.AI cs.LG
Why Linear Interpretability Works: Invariant Subspaces as a Result of Architectural Constraints
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出不变子空间必要性定理，揭示Transformer架构约束下线性可解释性方法有效的原因，统一了线性探针和稀疏自编码器。
2026-02-10 cs.CL cs.LG
An Adaptive Deep Learning Algorithm Based Autoencoder for Interference Channels
University of Sussex（萨塞克斯大学）；Quantrom Technologies LTD（Quantrom科技有限公司）；Samsung Electronics R&D Institute（三星电子研发院）
基于深度学习（DL）的自动编码器已经显示出极大的潜力来显著增强物理层性能。在本文中，我们提出了一种基于DL的自编码器的干扰信道。基于k用户高斯干扰信道的特征，根据耦合参数α将干扰分为从弱干扰到强干扰的不同等级，设计了一种基于DL神经网络（NN）的自编码器，用于训练数据集和解码接收信号。研究了在α已知或部分已知的情况下，针对不同干扰场景的DL自动编码器的性能，其中我们假设α是可预测的，但是在训练阶段α变化高达10%。结果表明，基于DL的方法具有显着的能力，以减轻由低信噪比（SNR）和高干扰噪声比（INR）引起的影响。然而，增强取决于α的知识以及干扰水平。所提出的DL方法在α高达10%偏移的情况下对于弱干扰水平表现良好。对于强干扰信道和非常强干扰信道，α的偏移量需要分别限制在5%和2%以内，以保持与已知α时相似的性能。
2019-12-17 cs.LG stat.ML
High-Dimensional Optimization in Adaptive Random Subspaces
Stanford University（斯坦福大学）
我们提出了一种新的随机最优化方法的高维问题，可以看作是一个推广的坐标下降到随机子空间。我们表明，随机子空间的自适应采样策略显着优于不经意的采样方法，这是在最近的文献中的共同选择。自适应子空间可以有效地产生相关的随机矩阵集成，其统计模拟的输入数据。我们证明了解决方案的相对误差的改善可以紧密地表征在数据矩阵的频谱方面，并提供概率上界。然后，我们用不同光谱衰减的数据矩阵来说明我们的理论的后果。大量的实验结果表明，该方法提供了显着的速度提高机器学习问题，包括逻辑斯谛回归，核分类与随机卷积层和浅层神经网络与整流线性单元。我们的分析是基于凸分析和Fenchel对偶，并建立连接到草图和随机矩阵分解。
2019-12-18 cs.LG math.OC
Adaptive Compression of the Latent Space in Variational Autoencoders
Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人学与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
本文提出一种在VAE训练中通过逐步移除神经元自动确定最优潜在空间大小的方法，在四个图像数据集上比网格搜索更快且性能相当。
2023-12-11 cs.AI cs.LG
V-Coder: Adaptive AutoEncoder for Semantic Disclosure in Knowledge Graphs
Ludwig-Maximilians-Universität（慕尼黑大学）
语义网或知识图谱（KG）成为智能系统中最重要的信息源之一。主要挑战之一是从文本数据中提取和处理明确的信息。根据人类的感知，两个命名实体之间的重叠语义联系变得清晰，这是因为我们对关系所处的上下文有常识，而当我们从机器的自动驱动过程中看待它时，情况并非如此。在这项工作中，我们感兴趣的问题，关系的解决方案的范围内的KG，即，我们正在调查的内在语义的实体之间的关系网络。我们提出了一个新的自适应AutoEncoder，称为V-编码器，以确定关系固有的连接实体从不同的领域。这些关系可以被认为是模棱两可的，是解开的候选人。与自适应学习理论（ART）类似，我们的模型通过增加竞争层中的单元来从KG中学习新模式，而不会丢弃之前观察到的模式，同时单独学习每个关系的质量。对Freebase、Yago和NELL的真实数据集的评估表明，V-Coder不仅能够从损坏的输入数据中恢复链接，而且还表明KG中关系的语义揭示显示出改善链接预测的趋势。语义评估将评估包装起来。
2022-07-22 cs.AI cs.LG
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架，用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验，替代标准正态先验，并引入潜在缩放因子控制采样方差，平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Adaptive Regime-Aware Stock Price Prediction Using Autoencoder-Gated Dual Node Transformers with Reinforcement Learning Control
School of Electrical Engineering
本文提出了一种自适应预测框架，通过自编码器识别异常市场状态，并利用门控双节点变压器和强化学习控制提升预测准确性，实验表明其在预测精度和高波动时期表现优异。
2026-04-02 cs.AI cs.LG q-fin.ST
A Novel Efficient Approach with Data-Adaptive Capability for OMP-based Sparse Subspace Clustering
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
正交匹配追踪算法在数据科学及其稀疏子空间聚类、图像处理等应用中有着重要的作用。然而，现有的基于OMP的方法缺乏数据自适应性，从而不能很好地表示数据，并可能失去准确性。本文提出了一种新的方法，以提高基于OMP的稀疏子空间聚类的数据自适应能力。在我们的方法中，参数选择过程的基础上调整的数据分布的信息表示的参数。我们的理论分析表明，参数选择过程可以有效地协调任何OMP为基础的方法，以提高聚类性能。此外，一个新的自我表达的亲和力（SEA）比率度量的定义来衡量稀疏表示转换效率的谱聚类，以获得数据分割。实验结果表明，与其他基于OMP的稀疏子空间聚类算法相比，该算法在聚类精度、SEA比和表示质量等方面均具有更好的性能，同时保持了时间效率和抗噪能力。
2019-08-30 cs.LG stat.ML
Robust Autoencoders for Collective Corruption Removal
University of Minnesota（明尼苏达大学）；University of Minnesota Duluth（明尼苏达大学德卢斯分校）
鲁棒PCA是在存在稀疏腐败或罕见离群值的情况下学习线性子空间的标准工具。如何鲁棒地学习流形，这些流形是自然数据（如图像）的更真实的模型？最近有几次尝试将鲁棒PCA推广到流形设置。在本文中，我们提出了$\ell_1$ -和缩放不变的$\ell_1/\ell_2$ -鲁棒的自动编码器，基于一个令人惊讶的紧凑公式，该公式建立在深度自动编码器执行流形学习的直觉上。我们在几个标准图像数据集上证明，在没有干净图像进行训练的情况下，所提出的方法在集体消除稀疏腐败方面显着优于所有以前的方法。此外，我们还表明，学习的流形结构可以有效地推广到看不见的数据样本。
2023-03-06 cs.AI cs.CV cs.LG
Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来，由于在大数据集上的标记任务繁重，基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法，通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性，而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明，与现有的方法相比，我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
Deep Multi-View Subspace Clustering with Anchor Graph
University of Electronic Science and Technology of China（电子科技大学）；Lehigh University（利哈伊大学）
提出基于锚图的深度多视图子空间聚类方法，通过锚图降低复杂度，利用伪标签优化嵌入，并结合对比学习增强聚类性能。
2023-05-11 cs.LG
Multi-Level Representation Learning for Deep Subspace Clustering
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一种新的深度子空间聚类方法，该方法使用卷积自编码器将输入图像转换为位于线性子空间的并集上的新表示。我们工作的第一个贡献是在编码器层和它们对应的解码器层之间插入多个全连接的线性层，以促进学习更有利的子空间聚类表示。这些连接层通过组合低级和高级信息来促进特征学习过程，以在编码器的不同级别生成多组自我表达和信息表示。此外，我们引入了一种新的损失最小化问题，利用初始聚类的样本，有效地融合多层次的表示和恢复的基础子空间更准确。然后通过迭代方案使损失函数最小化，该迭代方案交替地更新网络参数并产生样本的新聚类。四个真实世界的数据集上的实验表明，我们的方法表现出优越的性能相比，国家的最先进的方法对大多数的子空间聚类问题。
2020-01-19 cs.CV cs.LG stat.ML
Data-Adaptive Low-Rank Sparse Subspace Clustering
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
针对现有低秩稀疏子空间聚类（LRSSC）算法缺乏数据自适应性的问题，提出纳入S0/L0拟范数数据自适应替代项的LRSSC算法，提供近端算子数值解并证明全局收敛性，在三个数据集上与相关算法对比验证性能。
2025-02-14 cs.LG
Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling
ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本研究提出用变分自编码器参数化分布进行高维非参数自适应重要性采样，通过新目标函数处理加权样本，并引入可学习先验和预训练防止后验坍缩，在多模态问题上有效估计稀有事件概率。
2023-10-13 cs.LG math.ST stat.TH
Chasing Collective Variables using Autoencoders and biased trajectories
CERMICS, Ecole des Ponts（巴黎高科路桥学院 CERMICS 实验室）；MATHERIALS team-project, Inria Paris（法国国家信息与自动化研究所巴黎中心 MATHERIALS 团队）
自由能偏置方法已被证明是一种强有力的工具，可以通过修改采样措施来加速分子重要构象变化的模拟。然而，这些方法大多依赖于低维慢自由度的先验知识，即集体变量（CV）。或者，可以使用机器学习（ML）和降维算法来识别这样的CV。在这种情况下，已经提出了使用自适应偏置以迭代方式学习CV的方法：在每次迭代时，学习的CV用于执行自由能自适应偏置以生成新数据并学习新CV。在本文中，我们介绍了一种新的迭代方法，涉及CV学习与自动编码器：自由能偏置和迭代学习与自动编码器（FEBILAE）。我们的方法包括一个重新加权方案，以确保学习模型在每次迭代时优化相同的损失，并实现CV收敛。以丙氨酸二肽体系和溶剂化的chignolin微蛋白体系为例，我们提出了我们的算法的结果，使用扩展的自适应偏置力作为自由能自适应偏置方法。
2021-10-19 cs.LG physics.bio-ph physics.comp-ph
Orthogonal Subspace Clustering: Enhancing High-Dimensional Data Analysis through Adaptive Dimensionality Reduction and Efficient Clustering
本文提出正交子空间聚类(OSC)，通过自适应降维和高效聚类解决高维数据中的维度灾难问题，提升聚类效率和准确性。
2026-03-16 cs.LG
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE，通过为每个潜在维度分配自适应的隐马尔可夫先验，实现无监督盲源分离的端到端学习，学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
MASS: MoErging through Adaptive Subspace Selection
Sapienza University of Rome（罗马萨皮恩扎大学）；Paradigma；CNRS（法国国家科学研究中心）；i3s
MASS通过自适应子空间选择融合多个微调模型，保持接近最先进性能，实现低存储成本的模型合并替代集成。
2026-03-17 cs.AI cs.CV cs.LG
Adaptive and Oblivious Randomized Subspace Methods for High-Dimensional Optimization: Sharp Analysis and Lower Bounds
Stanford University（斯坦福大学）
基于变量对随机子空间的约束，提出了一种新的高维凸优化方法。我们考虑不经意和数据自适应子空间，并通过凸对偶和Fenchel共轭研究其逼近性质。可以通过对相关随机矩阵进行采样来生成合适的自适应子空间，所述相关随机矩阵的二阶统计量反映输入数据。我们说明，自适应策略可以显着优于标准的不经意采样方法，这是广泛使用的最近的文献。我们表明，随机近似的相对误差可以紧密地表征在最佳的数据矩阵的频谱和高斯宽度的对偶切锥。我们开发的下界优化和统计误差措施的基础上集中的措施和法诺不等式。然后，我们提出的后果，我们的理论与数据矩阵不同的光谱衰减曲线。实验结果表明，该方法能够显著提高各种机器学习和优化问题的速度，包括逻辑回归、随机卷积层核分类和具有整流线性单元的浅层神经网络。
2020-12-13 cs.IT cs.LG math.IT
Non-intrusive reduced order modeling of natural convection in porous media using convolutional autoencoders: comparison with linear subspace techniques
Cornell University（康奈尔大学）；Catholic University of the Sacred Heart（圣心天主教大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Sandia National Laboratories（桑迪亚国家实验室）
本研究提出基于卷积自编码器和径向基函数或人工神经网络的非侵入式降阶模型，用于多孔介质自然对流，相比线性POD方法实现最高7×10^6倍加速，且精度在均方误差0.07以内。
2021-07-29 cs.CE cs.LG cs.NA
Adaptive Path-Integral Autoencoder: Representation Learning and Planning for Dynamical Systems
KAIST（韩国科学技术院）
我们提出了一种表示学习算法，该算法从高维\textit{sequential}原始数据中学习低维潜在动力系统，例如，视频.该框架建立在摊销推理方法的最新进展，使用推理网络和细化过程，从给定的观察序列的变分分布输出样本，并利用控制和推理之间的对偶性，近似解决棘手的推理问题，使用路径积分控制方法。学习的动态模型可以用来预测和规划未来的状态，我们还提出了有效的规划方法，利用学习的低维潜在的动态。数值实验表明，所提出的基于路径积分控制的变分推理方法，导致更严格的下界在序列数据的统计模型学习。补充视频：https://youtu.be/xCp35crUoLQ
2019-01-03 cs.LG cs.RO stat.ML
Towards Adversarial Purification using Denoising AutoEncoders
Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校）
随着图像识别中深度学习模型的快速发展和越来越多的使用，安全性成为其在安全关键系统中部署的主要问题。由于深度学习模型的准确性和鲁棒性主要取决于训练样本的纯度，因此深度学习架构通常容易受到对抗攻击的影响。对抗攻击通常是通过对正常图像进行微妙的扰动来获得的，这些扰动大多是人类无法感知的，但会严重混淆最先进的机器学习模型。我们提出了一个名为APuDAE的框架，利用去噪自动编码器（DAE）通过以自适应的方式使用这些样本来净化这些样本，从而提高被攻击的目标分类器网络的分类准确性。我们还展示了如何使用DAE自适应而不是直接使用它们，进一步提高分类精度，并且对设计自适应攻击来欺骗它们的可能性更具鲁棒性。我们在MNIST，CIFAR-10，ImageNet数据集上展示了我们的结果，并展示了我们的框架（APuDAE）如何在净化对手方面提供与基线方法相当的性能，并且在大多数情况下提供更好的性能。我们还设计了专门针对净化模型的自适应攻击，并展示了我们的防御是如何强大的。
2022-08-29 cs.CR cs.LG
Adaptive Random SubSpace Learning (RSSL) Algorithm for Prediction
Rochester Institute of Technology（罗切斯特理工学院）
本文提出了一种新的自适应随机子空间学习算法（RSSL）。这个新的框架是灵活的，它可以适应任何学习技术。在本文中，我们测试了回归和分类问题的算法。此外，我们提供了各种加权方案，以增加所开发的算法的鲁棒性。这些不同的加权风味进行了评估，以及在模拟的真实世界的数据集，考虑的情况下，功能（属性）和实例（样本）之间的比例是大的，反之亦然。新算法的框架由多个阶段组成：首先，使用相关系数和F-统计量统计测量来计算数据集上所有特征的权重。其次，从数据集中随机抽取n个具有替换的样本。第三，定期进行Bootstrap抽样（装袋）。第四，不替换地绘制所选变量的指数。该决定是根据启发式子空间方案。第五，呼叫基础学习者并建立模型。第六，使用该模型对测试数据集进行预测。实验结果表明，自适应RSSL算法在大多数情况下比同义词（常规）机器学习算法具有更大的优越性。
2015-02-09 cs.LG
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得最佳嵌入子空间进行聚类，与传统的聚类方法相比，它可以更有效。在本文中，我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行潜在表示及其噪声版本的重建约束，将输入嵌入到潜在空间中进行聚类。因此，学习的潜在表示可以对噪声更鲁棒。然后，利用互信息估计来提供来自输入的更多辨别性信息。此外，一个深谱聚类方法被应用到嵌入到特征空间的潜在表示，并随后聚类它们，它可以充分利用输入之间的关系，以达到最佳的聚类结果。基准数据集上的实验结果表明，我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
SubZero+: Memory-Efficient Adaptive Zeroth-Order LLM Fine-Tuning in Random Subspaces
SubZero+是改进的SubZero框架，通过三种互补方式提升零阶优化稳定性，在1.3B至32B参数模型的SuperGLUE任务上，优于现有零阶基线，扩大稳定学习率范围，缩小与一阶方法差距且内存开销极小。
2026-09-29 cs.LG
MIC: Maximizing Informational Capacity in Adaptive Representations via Isotropic Subspace Alignment
National University of Singapore（新加坡国立大学）
针对多尺度表示中的维度冗余和谱坍缩问题，提出MIC框架，通过各向同性子空间对齐、软坍缩正则化和谱各向同性正则化，结合自蒸馏目标生成语义密集且高判别力的表示，在高压缩场景下显著优于基线。
2026-05-31 cs.CL cs.LG
Finding Belief Geometries with Sparse Autoencoders
Independent Researcher（独立研究员）；Simplex AI Safety
本文提出一种通过稀疏自编码器、k子空间聚类和AANet发现变换器表示中简单形结构子空间的管道，验证了在多部分隐藏马尔可夫模型训练的变换器中，Gemma-2-9B中存在候选简单形几何结构。
2026-04-03 cs.AI cs.LG
WALoMA: A Multitask Wireless Foundation Model via Adaptive Low-Rank Masked Autoencoders
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Southampton（南安普顿大学）
研究针对6G无线物理层架构中特定任务模型局限和标记数据稀缺问题，提出WALoMA模型，利用自适应低秩掩码自动编码器，通过自监督学习从无标签数据中学习可转移表示，在五个下游任务中表现出色，显著优于基线。
2026-07-29 cs.LG cs.NI
Domain-Adaptive Health Indicator Learning with Degradation-Stage Synchronized Sampling and Cross-Domain Autoencoder
本文提出域适应健康指标学习框架，通过退化阶段同步采样和跨域自编码器提升跨域对齐与长期监测性能。
2026-03-11 cs.AI cs.LG
Optimizing Polynomial Graph Filters: A Novel Adaptive Krylov Subspace Approach
National University of Singapore（新加坡国立大学）；OPPO Shenzhen Research Institute（OPPO深圳研究院）；Micro Connect Technology, China（中国微联通技术公司）；University of Cambridge（剑桥大学）
本研究将多项式图滤波器统一到Krylov子空间框架下，提出自适应Krylov子空间方法及AdaptKry滤波器，可适配不同异质性图，实验验证了其优异的滤波性能。
2024-05-21 cs.LG eess.SP
Cross-Modal Subspace Learning with Scheduled Adaptive Margin Constraints
NOVALINCS（NOVALINCS实验室）；Universidade NOVA de Lisboa（新里斯本大学）
跨模态嵌入，文本和视觉模态之间，旨在组织多模态实例的语义相关性。最先进的方法使用基于铰链损失的最大余量方法来强制执行恒定余量m，以将多模态实例的投影从不同类别中分离。在本文中，我们提出了一种新的计划自适应最大利润率（SAM）制定，推断特定的三元组的限制在训练过程中，因此组织实例自适应执行类别间和模态间的相关性。这是由一个预定的自适应余量函数，这是顺利激活，取代静态余量的自适应推断一个反映特定的三元组的语义相关性，同时占增量学习行为的神经网络，以执行类别集群的形成和执行。在广泛使用的数据集上的实验表明，我们的模型改进了最先进的方法，与第二好的方法相比，实现了高达12.5%的相对改进，从而证实了我们预定的自适应保证金公式的有效性。
2019-09-30 cs.LG cs.MM
Concept-SAE: A Controllable and Invertible Concept Interface for Sparse Autoencoders
The Chinese University of Hong Kong（香港中文大学）
本文提出Concept-SAE，一种通过结构化可控接口探测用户定义概念的框架，通过将激活子空间分解为概念令牌和自由令牌，实现高保真、局部化强且解耦的概念表示，优于现有方法。
2026-06-04 cs.LG
Adaptive Subspace Sampling for Class Imbalance Processing-Some clarifications, algorithm, and further investigation including applications to Brain Computer Interface
National Chiao Tung University（国立交通大学）；Indian Statistical Institute（印度统计研究所）；University of Technology Sydney（悉尼科技大学）；University of Pennsylvania（宾夕法尼亚大学）
Kohonen的自适应子空间自组织映射（ASSOM）学习数据的几个子空间，每个子空间代表数据的一些不变特征。为了处理不平衡的分类问题，早些时候，我们提出了一种方法，使用Kohonen的ASSOM过采样的少数类。这项调查扩展了这项研究，澄清了一些问题，我们以前的工作，提供了算法生成的过样本，应用该方法在几个基准数据集，并使应用程序的三个脑机接口（BCI）的应用。首先，我们使用一些基准数据集与几个国家的最先进的方法比较我们的方法的性能。最后，我们应用ASSOM为基础的技术来分析三个基于BCI的应用程序使用脑电图（EEG）数据集。这些任务是运动想象、驾驶员疲劳状态和偏头痛阶段的分类。我们的实验结果表明了基于ASSOM的方法在处理不平衡分类问题上的有效性。
2020-10-07 cs.LG eess.SP
Blind Source Separation of Single-Channel Mixtures via Multi-Encoder Autoencoders
Mellowing Factory Co. Ltd.（梅洛灵工厂有限公司）
提出多编码器自编码器及编码掩码、稀疏混合与零重建损失，实现单通道非线性混合信号的盲源分离，并在玩具数据和睡眠生物信号上验证。
2025-07-23 cs.LG eess.SP
Variational Mixture-of-Experts Autoencoders for Multi-Modal Deep Generative Models
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
学习跨越多种数据模态（如视觉和语言）的生成模型通常是出于学习更有用、更可概括的表示的愿望，这些表示忠实地捕捉模态之间的共同基础因素。在这项工作中，我们将成功学习这些模型视为满足四个标准：i）隐式潜在分解为共享和私有子空间，ii）所有模态的连贯联合生成，iii）跨单个模态的连贯交叉生成，以及iv）通过多模态集成改进单个模态的模型学习。在这里，我们提出了一个专家混合的多模态变分自动编码器（MMVAE）来学习不同模态集上的生成模型，包括具有挑战性的图像语言数据集，并证明其能够在定性和定量上满足所有四个标准。
2019-11-08 cs.LG stat.ML
When Trees Are Not Enough: Learning Mixed-Topology Feature Graphs with Adaptive Graph Sparse Autoencoders
University of Arizona（亚利桑那大学）；Iowa State University（爱荷华州立大学）；Old Dominion University（欧道明大学）
提出自适应图稀疏自编码器（AG-SAE），通过竞争完整父集学习混合拓扑特征图，以结构损失引导训练并闭环优化字典，实现比树结构更可靠的特征组织与更强因果干预。
2026-09-30 cs.CL cs.LG
PDGMM-VAE: A Variational Autoencoder with Adaptive Per-Dimension Gaussian Mixture Model Priors for Nonlinear ICA
Hong Kong Polytechnic University（香港理工大学）
本文提出PDGMM-VAE，通过为每个潜在维度分配独立的高斯混合模型先验，实现非线性ICA中的源分离。模型通过自适应学习先验参数，提升对非高斯源统计的捕捉能力，实验表明其在非线性和线性混合问题中表现优异。
2026-03-20 cs.LG stat.ML
Time-Aware Feature Selection: Adaptive Temporal Masking for Stable Sparse Autoencoder Training
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
针对稀疏自编码器训练中的特征吸收问题，提出自适应时间掩码（ATM）方法，通过动态重要性分数与概率掩码实现稳定特征选择，在Gemma-2-2b上显著降低吸收分数并保持重构质量。
2025-10-09 cs.AI cs.CL cs.LG
