Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures
University of Chicago（芝加哥大学）
本文提出一种显式建模概念语义层级的改进稀疏自编码器架构，用于大型语言模型内部表示，证明可学习语义层级并同时提升重构质量、可解释性与计算效率。
2025-06-01 cs.AI cs.CL cs.LG
Detecting AutoEncoder is Enough to Catch LDM Generated Images
St. Petersburg Federal Research Center of the Russian Academy of Sciences（俄罗斯科学院圣彼得堡联邦研究中心）
本文提出通过检测LDM自编码器引入的伪影来识别生成图像，无需训练于合成数据，降低了计算成本并提升了泛化能力，实验显示高精度与低误报率。
2024-11-10 cs.CR cs.CV cs.LG
Are Sparse Autoencoder Benchmarks Reliable?
Decode Research, MATS, UCL（Decode研究、MATS、伦敦大学学院）
该研究评估了稀疏自编码（SAE）基准测试的可靠性，发现其中两个指标在多个角度下表现不佳，其他指标也未能达到预期效果，表明需要改进SAE基准测试。
2026-05-18 cs.AI cs.LG
Interpretable and Steerable Concept Bottleneck Sparse Autoencoders
University of California, San Diego（加州大学圣迭戈分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出CB-SAE框架，通过剪枝低效神经元和增加概念瓶颈提升LVLMs和图像生成任务的可解释性和可操控性，效果提升分别为32.1%和14.5%。
2026-03-30 cs.CV cs.LG
Model-Agnostic Gender Bias Control for Text-to-Image Generation via Sparse Autoencoder
University at Buffalo, USA（美国布法罗大学）；University of Maryland, College Park, USA（马里兰大学 College Park 分校）
本文提出SAE Debias，通过稀疏自编码器在文本到图像生成中减轻性别偏见，提供可解释且模型无关的去偏方法。
2025-11-21 cs.CV cs.LG
Evaluating and Designing Sparse Autoencoders by Approximating Quasi-Orthogonality
Siebel School of Computing and Data Science University of Illinois Urbana-Champaign（计算与数据科学学院 耶鲁大学伊利诺伊分校）
本文通过理论近似准正交性，提出无需手动调参的top-AFA激活函数，用于训练稀疏自编码器，并在GPT2上验证其优于现有k-稀疏方法。
2025-08-08 cs.AI cs.LG
Improving Robustness In Sparse Autoencoders via Masked Regularization
Lawrence Livermore National Laboratory, CA, USA（劳伦斯利弗莫尔国家实验室，加利福尼亚州，美国）
本文提出掩码正则化方法，通过在训练中随机替换token以打破共现模式，提升稀疏自编码器的鲁棒性，减少特征吸收，增强可探查性能并缩小OOD差距。
2026-04-07 cs.AI cs.LG
Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines
DTU Compute（丹麦技术大学计算学院）
本文通过监督流水线选择并标注特征，证明稀疏自编码器在模型引导任务上可接近LoRA性能，并发现高稀疏性对基于可解释性的引导并非关键。
2026-05-29 cs.AI cs.CL cs.LG
SAEmnesia: Erasing Concepts in Diffusion Models with Supervised Sparse Autoencoders
University of Turin, Italy（意大利都灵大学）；Intesa Sanpaolo AI Research, Italy（意大利Intesa Sanpaolo人工智能研究院）
提出监督稀疏自编码器框架SAEmnesia，通过强制一对一概念-神经元映射实现特征集中化，从而高效、精准地擦除扩散模型中的概念。
2026-05-29 cs.AI cs.CV
Sparse Autoencoders, Again?
Fudan University（复旦大学）；Amazon Web Services（亚马逊云科技）
本文针对经典稀疏自编码器及变分自编码器在建模低维潜在结构时的不足，提出一种混合替代模型，并从理论和实验上证明其能更准确地恢复流形结构、生成更稀疏表示且不降低重构质量。
2025-06-06 cs.AI cs.LG
TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
本文提出TIDE框架，通过时间感知稀疏自编码器提取Diffusion Transformers跨时间步的稀疏可解释特征，揭示其分层语义学习能力，在保持生成质量的同时增强了可解释性与可控性，支持安全图像编辑等应用。
2025-08-12 cs.AI cs.CV cs.MM
Can sparse autoencoders be used to decompose and interpret steering vectors?
University of Oxford（牛津大学）
本文研究了直接应用稀疏自编码器（SAEs）解释导向向量时产生误导性分解的原因，指出导向向量超出SAEs设计输入分布且存在SAEs无法适应的负投影，揭示了直接使用SAEs解释导向向量的局限性。
2024-11-13 cs.AI cs.CL cs.LG
On the transferability of Sparse Autoencoders for interpreting compressed models
Department of Computer Science and Engineering（计算机科学与工程系）
本文研究稀疏自编码器在压缩模型上的可迁移性，发现原始模型训练的SAE可直接解释压缩模型，且剪枝原始SAE即可达到重新训练的效果，从而大幅降低训练成本。
2025-07-21 cs.AI cs.LG
Steering Vision-Language Models with Joint Sparse Autoencoders
yunshanai（云山AI）；HKUST(Guangzhou)（香港科技大学（广州））；Zidongtaichu（紫东太初）；University of British Columbia（不列颠哥伦比亚大学）
提出联合稀疏自编码器（JSAE），通过显式对齐约束联合分解视觉和语言激活，得到可解释的跨模态特征，并在LLaVA等模型上验证了层依赖的干预效果。
2026-06-25 cs.AI cs.CV
Graph-Regularized Sparse Autoencoders for LLM Safety Steering
ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Intesa Sanpaolo（Intesa Sanpaolo公司）；University of Southern California（南加州大学）
本文提出图正则化稀疏自编码器，通过在神经元共激活图上平滑解码器向量并应用方向库，提升安全引导效果，在多个基准测试中显著提高有害请求拒绝率。
2026-05-15 cs.AI cs.LG
Towards Interpretable and Inference-Optimal COT Reasoning with Sparse Autoencoder-Guided Generation
University of California, San Diego（加州大学圣地亚哥分校）
本研究提出用稀疏自编码器和聚类技术分析大语言模型内部token表示，构建推理轨迹图并定义奖励函数平衡利用与探索，以引导数学推理任务生成，提升大模型推理的可解释性与效果。
2025-10-02 cs.AI cs.LG
Learning Retrieval Models with Sparse Autoencoders
NAVER LABS Europe（NAVER实验室欧洲）
本文提出SPLARE方法，利用稀疏自编码器改进检索模型，实验显示其在多语言和领域外任务中优于传统方法，SPLARE-7B在多语言检索任务中表现优异。
2026-02-27 cs.AI cs.IR cs.LG
SAVE: Sparse Autoencoder-Driven Visual Information Enhancement for Mitigating Object Hallucination
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）；Daegu Gyeongbuk Institute of Science and Technology（大邱庆州科学技术院）；IPAI, AIIS, ASRI, INMC, and ISRC, Seoul National University（IPAI、AIIS、ASRI、INMC 和 ISRC，首尔国立大学）
SAVE通过引导模型沿稀疏自编码器潜在特征减少物体幻觉，提升视觉理解能力。
2025-12-11 cs.AI cs.CV
SplInterp: Improving our Understanding and Training of Sparse Autoencoders
School of Mathematics University of Birmingham（数学学院英国伯明翰大学）；Ideami Studios（Ideami工作室）；Department of Mathematics and Statistics University of Limerick（数学与统计学学院英国利默里克大学）；XRAI Inc.（XRAI公司）；Department of Computer Science Brown University（计算机科学系布朗大学）
本文基于深度学习样条理论揭示SAE的分段仿射几何与可解释性—精度权衡，并提出PAM-SGD训练算法，在MNIST和LLM实验中提升样本效率与编码稀疏性。
2025-05-17 cs.AI cs.LG
Sparse but Wrong: Incorrect L0 Leads to Incorrect Features in Sparse Autoencoders
University College London（伦敦大学学院）；MATS Research（MATS研究）
研究稀疏自编码器中L0对特征提取的影响，指出L0设置不当会致SAE无法解开潜在特征，提出代理指标指导寻找正确L0，发现多数常用SAEs的L0过低，强调正确设置L0对训练具有单语义特征SAEs的重要性。
2026-07-08 cs.AI cs.CL cs.LG
Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
Massachusetts Institute of Technology（麻省理工学院）
本研究通过四种挑战性机制下的LLM激活探测任务，检验稀疏自编码器是否优于基线，发现其虽偶有优势但无法持续超越，且简单基线即可达到类似效果，凸显了当前SAEs的局限与严格评估的必要性。
2025-02-23 cs.AI cs.LG
Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning
本文利用稀疏自编码器识别gemma-2-2b中的WMDP有害概念，并通过特征引导降低其回答有害问题的能力且保留无害任务性能，验证了基于SAE的显式知识遗忘可行性。
2025-03-14 cs.AI cs.LG
SAeUron: Interpretable Concept Unlearning in Diffusion Models with Sparse Autoencoders
Bartosz Cywiński（独立研究者）；Kamil Deja（独立研究者）
SAeUron利用稀疏自编码器学习可解释特征，实现对扩散模型生成内容的概念遗忘，在UnlearnCanvas和I2P基准上优于现有方法，并能同时移除多概念且抵抗对抗攻击。
2025-05-21 cs.AI cs.LG
Sparse Shift Autoencoders for Identifying Concepts from Large Language Model Activations
Mila-Qu\'ebec AI Institute \& Universit\'e de Montr\'eal；Technical University of M\"unich；Samsung - SAIT AI Lab, Montr\'eal
本文提出稀疏位移自编码器，通过学习嵌入差异的稀疏表示，实现对大语言模型中概念的可识别性操控，从而提升模型的可解释性和可控性。
2026-02-27 cs.AI cs.CL cs.LG
SAEdit: Token-level control for continuous image editing via Sparse AutoEncoder
Tel Aviv University（特拉维夫大学）；Google DeepMind（谷歌DeepMind）
本文提出SAEdit，利用稀疏自编码器在文本嵌入的令牌级方向上进行操纵，实现解耦且连续的图像编辑，无需修改扩散过程，适用于多种模型。
2025-10-06 cs.AI cs.CV cs.GR
MedSAE: Dissecting MedCLIP Representations with Sparse Autoencoders
University of Turin（都灵大学）；École polytechnique（巴黎-萨克勒高等理工学院）
提出MedSAE方法，通过稀疏自编码器解析MedCLIP的潜在空间，结合相关性指标、熵分析和自动神经元命名框架，在CheXpert数据集上验证了比原始MedCLIP特征更高的单语义性和可解释性。
2026-05-22 cs.AI
SparseRM: A Lightweight Preference Modeling with Sparse Autoencoder
针对有限资源下训练可靠奖励模型（RMs）的挑战，提出SparseRM，利用稀疏自编码器提取偏好相关信息构建轻量可解释奖励模型，参数不足1%却性能超主流RMs，且无缝集成下游对齐流水线。
2025-11-11 cs.AI cs.CL
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Sparse Gaussian Process Variational Autoencoders
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
在现代科学和工程中，大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型（GP-DGMs），其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似，这对于GP的计算效率是必不可少的，它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器（SGP-VAE）的发展，其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点，SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理，而无需额外的训练。SGP-VAE在各种实验中进行了评估，其中它优于替代方法，包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
学习具有稀疏和组合特征的视觉信息的生成模型一直是理论神经科学和机器学习社区的挑战。稀疏编码模型在解释具有稀疏激活潜在表征的哺乳动物初级视皮层感受野方面取得了巨大的成功。在本文中，我们专注于最近提出的模型，稀疏编码变分自编码器（SVAE）（Barello等人，2018年），并表明SVAE的端到端训练方案导致一大群解码滤波器没有完全优化噪声类感受野。我们提出了一些算法来改进SVAE的训练，并表明解码器上的单位$L_2$范数约束对于产生稀疏编码滤波器至关重要。这种正常化可以被认为是皮层中的局部侧抑制。我们在自然图像补丁和MNIST数据集上验证了这一说法，并表明将滤波器投影到单位范数上会大大增加有源滤波器的数量。我们的研究结果强调了权重归一化对从数据中学习稀疏表示的重要性，并提出了一种减少VAE学习中不活跃潜在组件数量的新方法。
2021-01-23 cs.LG q-bio.NC
VFUSE: Virulent Feature Understanding with Sparse autoEncoders
Raft Bioworks（Raft生物工场）；Independent（独立）
提出VFUSE方法，通过训练稀疏自编码器（SAE）分析扩散-Transformer模型激活，识别蛋白质设计中的危险特征，实现可解释性提升而不牺牲性能。
2026-06-08 cs.AI cs.LG q-bio.QM
Feature Hedging: Correlated Features Break Narrow Sparse Autoencoders
University College London（伦敦大学学院）；FAR AI（FAR人工智能）
本文发现稀疏自编码器在特征相关且宽度不足时会产生特征对冲，破坏单语义性，并据此提出改进的套娃SAE变体。
2025-09-26 cs.AI cs.CL cs.LG
Denoising Concept Vectors with Sparse Autoencoders for Improved Language Model Steering
New Jersey Institute of Technology（新泽西理工学院）；University of Georgia（佐治亚大学）；Wake Forest University（威克森林大学）
针对现有线性概念向量引导LLM时受数据集噪声影响鲁棒性不足的问题，提出SDCV方法，通过放大前k个判别性SAE潜变量激活分离信号与噪声，在6个概念上提升4-16%引导成功率且保持主题相关性。
2025-07-29 cs.AI cs.CL
Towards Understanding the Robustness of Sparse Autoencoders
University of Virginia（弗吉尼亚大学）；Independent Researcher（独立研究者）
研究通过在推理阶段集成预训练的稀疏自编码器，发现其能显著降低对抗攻击成功率，并揭示稀疏性与攻击成功率之间的剂量-反应关系，以及层间防御与性能的权衡。
2026-04-20 cs.AI cs.CL cs.CR
Constrain Alignment with Sparse Autoencoders
Zhejiang University（浙江大学）；Hongkong Polytechnic University（香港理工大学）；University College London（伦敦大学学院）；Westlake University（西湖大学）；King's College London（国王学院）；Southern University of Science and Technology（南方科技大学）
针对LLM对齐中的计算低效与不稳定问题，提出基于稀疏自编码器的特征级约束偏好优化（FPO），实现高效稳定对齐，胜率绝对提升5.08%。
2025-07-10 cs.AI cs.CL
Variational Autoencoders for Sparse and Overdispersed Discrete Data
Monash University（莫纳什大学）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
许多应用程序，如文本建模，高通量测序和推荐系统，需要分析稀疏，高维和过度分散的离散（计数值或二进制）数据。虽然概率矩阵分解和线性/非线性潜在因子模型在模拟这些数据方面取得了巨大的成功，但由于在计数值数据和模型错误指定中建模过度分散的能力不足，许多现有模型可能具有较差的建模性能。在本文中，我们全面研究这些问题，并提出了一个变分自编码器的框架，通过负二项分布产生离散数据。我们还研究了该模型的能力，捕捉属性，如自和交叉激发的离散数据，这是至关重要的建模过度分散。我们对离散数据分析中的三个重要问题进行了广泛的实验：文本分析，协同过滤和多标签学习。与几个国家的最先进的基线相比，所提出的模型在上述问题上取得了显着更好的性能。
2019-05-24 cs.LG stat.ML
SAFER: Probing Safety in Reward Models with Sparse Autoencoder
University of Science and Technology of China（中国科学技术大学）
SAFER通过稀疏自动编码器探索奖励模型的安全性，揭示可解释特征并改进安全性对齐。
2026-01-30 cs.AI cs.CL
Feature Starvation as Geometric Instability in Sparse Autoencoders
Imperial College London South Kensington Campus（伦敦帝国理工学院南肯辛顿校区）；Institute for Statistical Mathematics（统计数学研究所）
本文提出了一种自适应弹性净稀疏自编码器（AEN-SAEs），通过引入ℓ2结构项和自适应ℓ1重新加权，解决稀疏自编码器中的特征枯竭问题，同时保持重建能力。
2026-05-06 cs.AI cs.LG math.OC
Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders
Smule Labs（Smule实验室）；University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
针对稀疏自编码器应用于音频生成的语义掩盖、特征表征有限问题，提出将音频潜在表示映射到可解释声学概念的框架，训练SAEs并学习到声学属性的线性映射，在多类潜在空间验证有效且可扩展至视觉领域。
2025-10-27 cs.LG cs.SD
Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）；Imperial College London（帝国理工学院）
稀疏性是一种有效的归纳偏差，可以有效地学习固定维数向量中数据的有效表示，并且已经在表示学习的许多领域中进行了探索。这项工作特别感兴趣的是VAE框架内的稀疏性的研究，这在图像领域已经探索了很多，但在NLP中甚至缺乏基本的探索。此外，NLP在学习大文本单元的稀疏表示方面也落后，例如，句子.我们使用的VAE，诱导稀疏的大单位的文本的潜在表示，以解决上述缺点。首先，我们通过衡量无监督最先进（SOTA）和其他基于VAE的文本稀疏化基线的成功，并提出一个分层稀疏VAE模型来解决SOTA的稳定性问题。然后，我们研究了稀疏性对3个数据集的文本分类的影响，并强调了稀疏潜在表示在下游任务上的性能与其编码任务相关信息的能力之间的联系。
2021-04-16 cs.CL cs.LG
Calibrating Lightweight Sparse Autoencoder Feature Steering
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出ContrastiveSteer方法，通过对比特征评分和模型特定校准解决稀疏自编码器主题引导失败，显著提升对齐与分类性能，并引入污染指标检测引导状态。
2026-09-22 cs.AI cs.CL
Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders
本文通过激活相似性分析、稀疏自编码器训练和token级激活可视化，揭示了BERT微调中表征的逐层演化：早期层保留通用特征，中间层过渡，后期层专精于任务，为理解微调机制提供了关键见解。
2025-02-23 cs.AI cs.CL
SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations
Department of Computer Science, University of California, Berkeley（加州大学伯克利分校计算机科学系）；Department of Development Engineering, University of California, Berkeley（加州大学伯克利分校发展工程系）
本文提出SAE-RNA模型，通过分析RiNALMo表示并映射到人类水平的生物特征，探索稀疏自编码器在RNA语言模型表示中的可解释性及局限性。
2026-05-15 cs.AI q-bio.BM q-bio.GN
ProtSAE: Disentangling and Interpreting Protein Language Models via Semantically-Guided Sparse Autoencoders
ProtSAE通过语义引导的稀疏自编码器解构蛋白质语言模型，提升其潜在空间中生物相关特征的可解释性与重建保真度。
2026-01-19 cs.AI cs.CL q-bio.QM
Backdooring Sparse Autoencoders
Humboldt-Universität zu Berlin（柏林洪堡大学）
本研究揭示稀疏自编码器（SAE）可被植入后门，在不改动语言模型的情况下诱导特定行为，证明SAE是安全敏感组件，需防范供应链攻击。
2026-10-06 cs.AI cs.CL cs.CR
SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks
Group Research and Development, DNV（1 研究与发展组，DNV）
SALVE通过稀疏自编码和潜在向量编辑，实现神经网络的机理控制与可解释性，提升模型的可控性和鲁棒性。
2026-03-07 cs.AI cs.CV cs.LG
Analyzing Visual Aircraft Representations with Sparse Autoencoders
Jain University（耆那大学）
本文通过稀疏自编码器分解ConvNeXt模型在FGVC-Aircraft数据集上的中间表示，发现可解释的飞机结构特征，并通过消融实验验证其类别相关性。
2026-06-16 cs.CV cs.LG
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架，通过稀疏潜在特征实现头部剪枝的可解释和可控，提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
Scaling and evaluating sparse autoencoders
OpenAI
本文提出用k-稀疏自编码器直接控制稀疏性并改进死亡潜变量问题，发现了清晰的扩展规律，并在GPT-4激活上训练了1600万潜变量的大规模自编码器，同时引入多个特征质量评估指标。
2024-06-06 cs.AI cs.LG
Sparse, Geometric Autoencoder Models of V1
Harvard University（哈佛大学）；Tufts University（塔夫茨大学）
经典的稀疏编码模型将视觉刺激表示为少数学习的基函数的线性组合，这些基函数在自然图像数据上训练时是类似于Gabor的。然而，通过经典稀疏编码学习的Gabor样滤波器远远高估了调谐良好的简单细胞感受野（SCRF）配置文件。许多后续模型要么完全放弃了稀疏字典学习框架，要么尚未利用展开的神经字典学习架构的激增。这些更新中缺少的一个关键主题是更强的\emph{structured sparsity}概念。我们提出了一个自动编码器架构，其潜在的表示是隐式的，局部组织的谱聚类，这会产生人工神经元更好地匹配观察到的灵长类动物数据。自动编码器目标函数中的加权$\ell_1$（WL）约束保持了稀疏编码框架的核心思想，但也提供了一个有前途的路径来描述在未来工作中的判别层次的感受野的分化。
2023-02-22 cs.AI cs.LG
k-Sparse Autoencoders
University of Toronto（多伦多大学）
最近，已经观察到，当表示以鼓励稀疏的方式学习时，在分类任务上获得了改进的性能。这些方法涉及激活函数、采样步骤和不同种类的惩罚的组合。为了研究稀疏性本身的有效性，我们提出了k-稀疏自动编码器，这是一个具有线性激活函数的自动编码器，其中在隐藏层中仅保留k个最高活动。当应用于MNIST和NORB数据集时，我们发现这种方法比去噪自动编码器，用dropout训练的网络和RBM实现了更好的分类结果。k-稀疏自动编码器训练简单，并且编码阶段非常快，使得它们非常适合于大的问题大小，其中不能应用常规稀疏编码算法。
2014-03-22 cs.LG
Data Whitening Improves Sparse Autoencoder Learning
本文针对SAE训练因输入数据相关性导致优化困难的问题，提出采用PCA白化预处理输入激活，经多场景实验验证该方法可稳定提升SAE可解释性，建议将其作为优先追求可解释性时的默认预处理步骤。
2025-11-17 cs.AI cs.LG
Unsupervised Abnormality Detection through Mixed Structure Regularization (MSR) in Deep Sparse Autoencoders
Philips Medical Systems Technologies Ltd.（飞利浦医疗系统科技有限公司）
除了显式稀疏正则化项和具有高斯噪声的输入数据的随机损坏之外，具有混合结构正则化（MSR）的深度稀疏自动编码器具有改进无监督异常检测的潜力。基于使用深度稀疏自动编码器识别离群值的无监督异常检测对于医学计算机辅助检测系统来说是非常有吸引力的方法，因为它只需要健康的数据进行训练，而不是专家注释的异常。在冠状动脉计算机断层扫描血管造影（CCTA）检测冠状动脉疾病的任务中，我们的研究结果表明，与深度稀疏和去噪自动编码器相比，MSR有可能将整体性能提高20-30%。
2019-02-28 cs.CV cs.LG
An Integrated Autoencoder-Based Filter for Sparse Big Data
College of Economics and Management, Shandong University of Science and Technology（山东科技大学经济管理学院）
我们提出了一种新的稀疏大数据过滤器，称为集成自动编码器（IAE），它利用辅助信息来减轻数据稀疏性。该模型在预测精度、收敛速度和复杂度之间取得了适当的平衡。我们在GPS轨迹数据集上进行了实验，结果表明，IAE比一些最先进的方法更准确和鲁棒。
2019-06-14 cs.LG
