Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders
发现视觉-语言模型中同一概念在不同模态下的特征方向不一致(跨模态特征异质性),并提出训练模态特定稀疏自编码器后对齐对应特征的方法,提升重建保真度和跨模态检索与概念引导性能。
2026-06-29 cs.CV cs.LG
SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs
Rutgers University(罗格斯大学);Microsoft Research(微软研究院)
提出级联稀疏自编码器(CSAEs),通过在第一级SAE解码器权重上训练第二级SAE来学习层次化视觉概念,避免嵌套或堆叠SAE的缺点,在多个MLLM和数据集上提升了概念层次一致性和干预效果。
2026-10-08 cs.AI cs.CV cs.LG
Concept-SAE: A Controllable and Invertible Concept Interface for Sparse Autoencoders
The Chinese University of Hong Kong(香港中文大学)
本文提出Concept-SAE,一种通过结构化可控接口探测用户定义概念的框架,通过将激活子空间分解为概念令牌和自由令牌,实现高保真、局部化强且解耦的概念表示,优于现有方法。
2026-06-04 cs.LG
Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders
University of California, Berkeley(加州大学伯克利分校);Bosch Research(博世研究);Harvard University(哈佛大学)
本研究评估了稀疏自编码器中概念表示的对抗鲁棒性,发现其易受微小输入扰动影响,可能不适合用于模型监控和监督。
2026-01-22 cs.AI cs.CL cs.LG
Sparse autoencoders reveal selective remapping of visual concepts during adaptation
KAIST AI(韩国科学技术院人工智能学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
该研究提出针对CLIP视觉Transformer的PatchSAE稀疏自编码器,提取细粒度可解释视觉概念,发现基于提示的模型适应的性能提升主要源于基础模型已有概念,为理解模型适应机制提供了框架与见解。
2025-03-21 cs.CV cs.LG
Sparse Shift Autoencoders for Identifying Concepts from Large Language Model Activations
Mila-Qu\'ebec AI Institute \& Universit\'e de Montr\'eal;Technical University of M\"unich;Samsung - SAIT AI Lab, Montr\'eal
本文提出稀疏位移自编码器,通过学习嵌入差异的稀疏表示,实现对大语言模型中概念的可识别性操控,从而提升模型的可解释性和可控性。
2026-02-27 cs.AI cs.CL cs.LG
Mechanistic Interpretability with Sparse Autoencoder Neural Operators
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));California Institute of Technology (Caltech)(加州理工学院(Caltech))
本文提出稀疏自编码器神经算子(SAE-NOs),通过函数空间而非欧几里得空间进行操作,利用联合稀疏性实现对概念的函数化表示,提升对输入域内概念表达的建模能力。
2026-11-10 cs.AI cs.LG eess.SP
On the Information Plane of Autoencoders
Department of Electrical Engineering Universidad de Chile(智利大学电气工程系)
深度学习中隐藏层的训练动态在理论上知之甚少。近年来,基于信息论中的互信息(互信息)概念,提出了信息平面(IP)来分析它们。信息瓶颈(IB)理论预测层最大化相关信息并压缩不相关信息。由于样本MI估计的局限性,监督学习情况下IP的属性一直存在争议。在这项工作中,我们推导出一个理论收敛的IP自动编码器。该理论预测,具有大瓶颈层大小的理想自动编码器不会压缩输入信息,而小尺寸仅在编码器层中引起压缩。对于实验,我们使用一个基于克矩阵的MI估计最近提出的文献。我们提出了一个新的规则来调整其参数,补偿规模和维度的影响。使用我们提出的规则,我们得到的实验IP更接近理论。我们的自动编码器的理论IP可以作为一个基准,以验证新的方法来估计MI的神经网络。通过这种方式,实验的局限性可以被认识和纠正,有助于正在进行的关于监督学习案例的辩论。
2020-10-03 cs.IT cs.LG math.IT
Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models
Language Technologies Institute(语言技术研究所)
针对通用稀疏自编码器难捕捉基础模型稀有概念的问题,提出专用稀疏自编码器,结合稠密检索选数据与倾斜经验风险最小化训练,在子领域尾部概念捕捉及去偏任务上表现更优。
2024-11-01 cs.AI cs.CL cs.LG
Unsupervised Unlearning of Concept Drift with Autoencoders
Bielefeld University(比勒费尔德大学);KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
本文提出一种基于自编码器的无监督、模型无关的全局概念漂移适应方法,通过“遗忘”漂移避免重训练或调整模型,并在供水网络和图像任务中验证其有效性。
2023-09-19 cs.AI cs.LG
When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
研究视觉语言模型中普通稀疏自编码器难以学习模态一致概念的问题,提出结构化稀疏自编码器$S^2AE$,通过图像块分组及结构化稀疏正则化强化概念一致性,经实验验证该方法在语义对齐等方面有提升,能促进跨模态表示更连贯解缠。
2026-07-10 cs.AI cs.CV cs.LG
Visual Exploration of Feature Relationships in Sparse Autoencoders with Curated Concepts
University of Utah(犹他大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对稀疏自编码器特征数量庞大难以全面探索的问题,提出一种以精选概念为优先的聚焦式可视化框架,结合拓扑编码与降维,忠实呈现所选特征的局部与全局关系,支持对潜在空间中概念表示进行更深入分析。
2025-11-08 cs.CL cs.LG
A Unifying Framework of Concept-based Explainable AI with Completeness Guarantees
本文提出统一理论框架,用共同数学语言描述基于概念的可解释AI方法,通过概念自编码器视图界定概念不完备性,并给出归因完备性保证。
2026-09-29 cs.AI cs.CV cs.LG
SAeUron: Interpretable Concept Unlearning in Diffusion Models with Sparse Autoencoders
Bartosz Cywiński(独立研究者);Kamil Deja(独立研究者)
SAeUron利用稀疏自编码器学习可解释特征,实现对扩散模型生成内容的概念遗忘,在UnlearnCanvas和I2P基准上优于现有方法,并能同时移除多概念且抵抗对抗攻击。
2025-05-21 cs.AI cs.LG
Evaluating Sparse Autoencoders for Monosemantic Representation
University of Kentucky(肯塔基大学)
本文首次系统评估稀疏自编码器(SAEs)相比基础模型在概念可分离性上的优势,提出基于Jensen-Shannon距离的评分和新的干预方法APP,实现更精确的概念控制且困惑度增加最小。
2025-10-16 cs.LG
3D Shape Synthesis for Conceptual Design and Optimization Using Variational Autoencoders
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种数据驱动的3D形状设计方法,该方法可以从现有设计的语料库中学习生成模型,并使用该模型来生成各种新设计。该方法使用无监督的变分自编码器-解码器架构学习训练语料库中的样本的编码,而不需要原始设计的显式参数表示。为了便于生成光滑的最终表面,我们开发了一个三维形状表示的基础上的原始三维数据的距离变换,而不是使用常用的二进制体素表示。一旦建立,生成器就将潜在空间表示映射到高维距离变换场,然后自动地使高维距离变换场表面化以产生服从物理模拟或其他目标函数评估模块的3D表示。我们展示了我们的方法,优化,以达到规定的性能分数的滑翔机的计算设计。我们的研究结果表明,当与遗传优化相结合时,所提出的方法可以生成一组丰富的候选概念设计,实现规定的功能目标,即使原始数据集只有几个或没有解决方案,实现这些目标。
2019-04-16 cs.CG cs.LG cs.NE
Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders
Knowledge Technology, Department of Informatics, University of Hamburg(汉堡大学信息学系知识技术实验室)
提出基于稀疏自编码器的框架,从视觉语言模型中提取视觉、文本和多模态概念,通过余弦相似度评估概念与样本的对齐,在VQA数据集上提升视觉概念质量达45%。
2026-06-23 cs.AI cs.CV cs.LG
Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
SungKyunKwan University(顺天妇女大学)
本文提出利用稀疏自编码器将DPR稠密嵌入分解为可解释的潜在概念,并基于此构建概念级稀疏检索框架CL-SR,在保持稳健性能的同时提升透明度和效率。
2025-08-27 cs.IR cs.LG
Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures
University of Chicago(芝加哥大学)
本文提出一种显式建模概念语义层级的改进稀疏自编码器架构,用于大型语言模型内部表示,证明可学习语义层级并同时提升重构质量、可解释性与计算效率。
2025-06-01 cs.AI cs.CL cs.LG
Design Space Exploration and Explanation via Conditional Variational Autoencoders in Meta-model-based Conceptual Design of Pedestrian Bridges
ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center (SDSC)(瑞士数据科学中心)
本文提出一个基于条件变分自编码器的性能驱动设计探索框架,用于行人桥概念设计,作为前向性能预测器和逆设计特征预测器,并通过敏感性分析提供解释,案例研究显示其作为未来设计协同驾驶员的潜力。
2022-11-29 cs.LG
Evaluating Sparse Autoencoders on Targeted Concept Erasure Tasks
Anthropic
针对稀疏自编码器(SAEs)缺乏高质量性能指标的问题,提出基于SHIFT的自动化评估方法(用LLM替代人类标注者)和目标探针扰动(TPP)指标,应用于开源模型后可有效区分SAE训练超参数与架构。
2024-11-28 cs.CL cs.LG
Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?
Computer Science Department, TU Darmstadt(达姆施塔特工业大学计算机科学系);Hessian Center for AI (hessian.AI)(黑森州人工智能中心);Black Forest Labs(黑森林实验室);German Research Center for AI (DFKI)(德国人工智能研究中心)
本文提出评估概念层次结构质量的关键要求与具体协议,发现当前稀疏自编码器虽能提供合理基础,但特征吸收(硬/软形式)系统性地损害层次质量。
2026-10-07 cs.LG
Learning Multi-Level Features with Matryoshka Sparse Autoencoders
针对稀疏自编码器字典大小选择的矛盾问题,提出嵌套多字典训练的套娃稀疏自编码器,实现层级化可解释特征学习,在相关任务上表现更优。
2025-03-21 cs.AI cs.LG
Position: Use Sparse Autoencoders to Discover Unknowns
Cornell University(康奈尔大学);UC Berkeley(伯克利大学)
研究围绕稀疏自编码器(SAEs)的不同观点,指出其虽在作用于已知概念时效果欠佳,但在发现未知概念上很强大,还给出了在机器学习及社会健康科学等方面的应用案例。
2026-07-07 cs.AI cs.CL cs.CY
Interpretable Anomaly Detection in Cellular Networks by Learning Concepts in Variational Autoencoders
Ericsson Services GmbH(爱立信服务有限公司);Ostwestfalen-Lippe University of Applied Sciences(东威斯特法伦-利普应用技术大学)
本文提出一种基于变分自编码器(VAEs)的蜂窝网络异常检测方法,通过学习关键性能指标(KPI)潜在空间的可解释表示并利用K-means质心增强表示学习,实现了基于重构损失和Z分数的快速、自主且可解释的异常检测。
2023-06-28 cs.AI cs.LG cs.NI
Improving Real-Time Concept Drift Detection using a Hybrid Transformer-Autoencoder Framework
提出一种混合 Transformer-Autoencoder 框架和 Trust Score 方法,通过结合统计指标、预测不确定性和规则违反等信号,实现对概念漂移的实时、早期且高灵敏度的检测。
2025-08-09 cs.LG
Molecular generative model based on conditional variational autoencoder for de novo molecular design
KAIST(韩国科学技术院)
我们提出了一个基于条件变分自编码器的分子生成模型,用于从头分子设计。它专门通过将多个分子特性施加在潜在空间上来同时控制它们。作为概念证明,我们证明了它可以用于产生具有五个目标特性的药物样分子。我们还能够在不改变其他属性的情况下调整单个属性,并在数据集范围之外对其进行操作。
2018-06-15 cs.LG stat.ML
AlignSAE: Concept-Aligned Sparse Autoencoders
University of Arizona(亚利桑那大学);Peking University(北京大学);Shandong University(山东大学);LMU Munich(慕尼黑大学)
AlignSAE通过预训练和后训练课程方法,实现稀疏自编码器特征与概念的对齐,提升模型对特定概念的可控性和可解释性。
2026-10-16 cs.CL cs.LG
Projecting Assumptions: The Duality Between Sparse Autoencoders and Concept Geometry
School of Engineering and Applied Science, Harvard University(哈佛大学工程与应用科学学院);CBS-NTT Program in Physics of Intelligence, Harvard University(哈佛大学人工智能物理项目);Physics of Artificial Intelligence Group, NTT Research, Inc., Sunnyvale, CA, USA(NTT研究公司人工智能物理组);Kempner Institute, Harvard University(哈佛大学凯普纳研究所)
本文探讨了稀疏自编码器与概念几何的二元性,揭示了SAE在不同架构下的局限性,并提出了一种新的SAE来解决概念恢复的问题。
2025-12-01 cs.AI cs.LG
Towards a Theoretical Understanding of the Robustness of Variational Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
我们在理解变分自编码器(VAE)对对抗性攻击和其他输入扰动的鲁棒性方面取得了进展。虽然以前的工作已经开发了攻击和防御VAE的算法方法,但仍然缺乏形式化的VAE是健壮的。为了解决这个问题,我们开发了一个新的概率模型的鲁棒性标准:$r$ -鲁棒性。然后,我们用它来构建VAE的鲁棒性的第一个理论结果,在输入空间中推导出的利润,我们可以提供保证所得到的重建。非正式地,我们能够定义一个区域,在该区域内,任何扰动都将产生与原始重建类似的重建。为了支持我们的分析,我们表明,使用解纠缠方法训练的VAE不仅在我们的鲁棒性指标下得分很高,而且可以通过我们的理论结果解释其原因。
2021-01-29 cs.LG stat.ML
Theoretical Convergence Guarantees for Variational Autoencoders
CNRS(法国国家科学研究中心);LOPF, Califrais’ Machine Learning Lab(LOPF,Califrais机器学习实验室)
本文提出变分自编码器的非渐近收敛保证,分析了不同优化算法和超参数对收敛的影响,为VAE的理论理解提供了新见解。
2025-12-22 cs.LG stat.ML
Do Sparse Autoencoders Capture Concept Manifolds?
Harvard University(哈佛大学);Northeastern University(东北大学);Technion IIT(技术学院);Stanford University(斯坦福大学)
本文探讨了稀疏自编码器捕捉流形的能力,指出现有方法在连续结构恢复上存在不足,并提出应以几何对象而非单个方向作为可解释性基础。
2026-04-30 cs.AI cs.LG
Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model
Stuttgart Center for Simulation Science, Cluster of Excellence EXC 2075, University of Stuttgart(斯图加特大学卓越模拟科学中心,卓越集群EXC 2075)
研究伊辛模型微观自旋配置上训练的无监督自动编码器如何学习宏观变量,通过量化多尺度学习揭示两种动态模式,利用递归动态轨迹分析证明预测误差诱导流场,建立学习动态观点并提供解释基础。
2026-07-31 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Theoretically informed selection of latent activation in autoencoder based recommender systems
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本文通过理论分析确定自编码器编码器应具备的三个数学性质,证明ReLU和tanh无法同时满足,而sigmoid类激活函数更合适,为推荐系统超参数选择提供系统化方法。
2024-11-06 cs.LG
PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
University of Florida(佛罗里达大学);NEC Laboratories Europe(NEC欧洲实验室)
虽然大量的努力已经取得了学习解纠缠表示下的变分自编码器(VAE)的框架,大多数VAE模型的学习动力学的基本属性仍然是未知的和调查不足。在这项工作中,我们首先提出了一个新的学习目标,称为相关信息的原则变分自编码器(PRI-VAE),学习解开表示。然后,我们提出了一个信息理论的角度来分析现有的VAE模型,通过检查一些关键的信息理论量在训练时期的演变。我们的观察揭示了与VAE相关的一些基本性质。实证结果也证明了PRI-VAE的有效性在四个基准数据集。
2020-07-13 cs.LG stat.ML
Autoencoder-based Anomaly Detection in Streaming Data with Incremental Learning and Concept Drift Adaptation
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
本文提出基于自编码器的增量学习与漂移检测方法strAEm++DD,用于流式数据异常检测,在严重类别不平衡下显著优于现有方法。
2023-09-05 cs.LG cs.SY eess.SY
Efficient Variational Graph Autoencoders for Unsupervised Cross-domain Prerequisite Chains
Yale University(耶鲁大学)
先决条件链学习有助于人们有效地获取新知识。虽然人们可以快速确定一个领域中概念的学习路径,但在其他领域中找到这样的路径可能具有挑战性。我们引入了域对抗变分图自动编码器(DAVGAE)来有效地解决这个跨域先决条件链学习任务。我们的新模型由一个变分图自动编码器(VGAE)和一个域编码器。VGAE被训练为通过链接预测来预测概念关系,而领域标注器将源和目标领域数据作为输入并被训练为预测领域标签。最重要的是,该方法只需要简单的齐次图作为输入,与目前的最先进的模型相比。我们在LectureBankCD数据集上对我们的模型进行了评估,结果表明,我们的模型优于最近的基于图的基准测试,而仅使用1/10的图规模和1/3的计算时间。
2021-10-30 cs.CL cs.LG
Learning Dynamics of Linear Denoising Autoencoders
Stellenbosch University(斯泰伦博斯大学);CSIR/SU Centre for Artificial Intelligence Research(CSIR/SU人工智能研究中心)
去噪自动编码器(DAE)已被证明对无监督表示学习有用,但对输入噪声如何影响学习仍然缺乏全面的理论理解。在这里,我们开发的理论如何噪音影响学习DAE。通过关注线性DAE,我们能够推导出精确描述其学习动态的解析表达式。我们验证了我们的理论预测与模拟以及MNIST和CIFAR-10上的实验。该理论说明了当正确调整时,噪声如何允许DAE在学习重建输入时忽略输入中的低方差方向。此外,在DAE的学习动态与标准正则化自动编码器的比较中,我们表明噪声具有与权重衰减类似的正则化效果,但具有更快的训练动态。我们还表明,我们的理论预测近似的学习动态真实世界的数据和定性匹配观察到的动态非线性DAE。
2018-07-29 cs.LG stat.ML
The Geometry of Concepts: Sparse Autoencoder Feature Structure
Massachusetts Institute of Technology(麻省理工学院);Institute for Artificial Intelligence and Fundamental Interaction(人工智能与基础交互研究所);Beneficial AI Foundation (BAIF)(有益人工智能基金会(BAIF))
本研究通过稀疏自编码器揭示大语言模型概念空间在原子、大脑和星系三个尺度上的几何结构,包括晶体、空间模块和各向异性幂律,并量化其特性。
2025-03-30 cs.AI cs.LG q-bio.NC
Embarrassingly Shallow Autoencoders for Sparse Data
Netflix(奈飞)
结合文献中的简单元素,我们定义了一个线性模型,该模型面向稀疏数据,特别是推荐系统的隐式反馈数据。我们表明,其培训目标有一个封闭的形式的解决方案,并讨论由此产生的概念见解。令人惊讶的是,这个简单的模型比各种最先进的协作过滤方法(包括深度非线性模型)在我们实验中使用的大多数公开数据集上实现了更好的排名准确性。
2019-05-08 cs.IR cs.LG stat.ML
Cross-Layer Discrete Concept Discovery for Interpreting Language Models
University of Washington(华盛顿大学)
提出跨层向量量化变分自编码器(CLVQ-VAE),通过离散向量量化瓶颈将残差流中的重复特征压缩为紧凑可解释的概念向量,在三个数据集上优于聚类、单层VQ-VAE和稀疏自编码器基线。
2026-10-01 cs.AI cs.CL cs.LG
Interpretable GOHR Agents via Sparse Autoencoders
Rutgers University(罗格斯大学);The University of Hong Kong(香港大学)
研究针对隐藏规则游戏中Transformer智能体的可解释性,通过在其决策令牌嵌入上训练稀疏自编码器,在双规则任务中恢复结构,单个维度对应可解释策略,为解释智能体行为提供方法。
2026-07-30 cs.LG
Learning Low-Rank Latent Spaces with Simple Deterministic Autoencoder: Theoretical and Empirical Insights
Indian Institute of Science(印度科学研究所);TCS Research(塔塔咨询服务研究部);Dayananda Sagar College of Engineering(达亚南达·萨加尔工程学院)
针对自编码器忽略数据低维嵌入特性的问题,提出 Low-Rank Autoencoder (LoRAE),通过引入低秩正则化器自适应重构低维潜在空间,在理论上建立更紧致误差界限,并在图像生成与下游分类任务中验证了其优越性。
2023-10-24 cs.CV cs.LG eess.IV
Bilinear autoencoders find interpretable manifolds
University of Antwerp(安特卫普大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出双线性自编码器用于发现可解释的流形,通过低秩二次形式分解激活,改进语言模型的重构误差,并展示不同几何先验的自编码器能恢复相同输入子空间。
2026-05-09 cs.LG
Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects
研究稀疏自编码器特征与模型行为不一致问题,引入FEGA框架分析特征干预致模型对数几率变化的几何结构,区分值类和指针类特征,揭示特征可解释性及因果相关性与引导方向无关的现象。
2026-07-28 cs.AI cs.CL cs.LG
Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability
Harvard School of Engineering and Applied Science(哈佛工程与应用科学学院);Kempner Institute for the Study of Natural & Artificial Intelligence(自然与人工智能研究学院);Harvard Business School(哈佛商学院)
时间稀疏自编码器通过引入对比损失,有效解耦语义与语法特征,提升语言模型的可解释性。
2026-02-25 cs.AI cs.CL cs.LG
Drift-Aware Variational Autoencoder-based Anomaly Detection with Two-level Ensembling
KIOS Research and Innovation Center of Excellence(基奥斯研究与创新中心);University of Cyprus(塞浦路斯大学);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出VAE++ESDD方法,通过增量学习和双层集成,有效应对概念漂移问题,提升异常检测性能。
2026-02-13 cs.AI cs.LG
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文对矢量量化-变分自编码器(VQ-VAE)进行了信息论解释。我们表明,原始VQ-VAE的损失函数可以从变分确定性信息瓶颈(VDIB)原则。另一方面,由期望最大化(EM)算法训练的VQ-VAE可以被视为变分信息瓶颈(VIB)原理的近似。
2018-08-02 cs.LG stat.ML
Concept-Oriented Deep Learning: Generative Concept Representations
IBM(IBM(国际商业机器公司))
与判别式概念表示相比,生成式概念表示具有三大优势:能够表示不确定性,支持学习和推理的集成,有利于无监督和半监督学习。我们讨论了生成概念表示所基于的概率和生成深度学习,以及使用变分自编码器和生成对抗网络来学习生成概念表示,特别是对于数据是序列,结构化数据或图形的概念。
2018-11-15 cs.AI cs.LG stat.ML
Meta-autoencoders: An approach to discovery and representation of relationships between dynamically evolving classes
Dept. of Computer Science and Applied Mathematics(计算机科学与应用数学系);Department of Immunology and Regenerative Biology(免疫学与再生生物学系);Weizmann Institute of Science(魏茨曼科学研究所)
提出元自编码器(MAE)概念,通过为类特定的自编码器集合学习紧凑表示及编解码器,捕捉动态演化类间关系,并应用于自然进化建模。
2025-07-12 cs.LG q-bio.PE
How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders
Peking University(北京大学)
基于重建任务的掩码自编码器(MAE)已经成为自监督学习(SSL)的一个有前途的范例,并在不同的基准数据集上实现了最先进的性能。然而,尽管其令人印象深刻的实证成功,仍然有有限的理论理解it. In本文中,我们提出了一个理论理解如何掩蔽事项MAE学习有意义的功能。我们建立了MAE和对比学习之间的密切联系,这表明MAE内隐对齐的面具诱导的积极对。建立在这个连接,我们开发的第一下游保证MAE方法,并分析掩模比的影响。此外,作为隐式对齐的结果,我们还指出了MAE的维度崩溃问题,并提出了均匀性增强的MAE(U-MAE)损失,可以有效地解决这个问题,并在现实世界的数据集上带来显着的改进,包括CIFAR-10,ImageNet-100和ImageNet-1 K。代码可在(https://github.com/zhangq327/U-MAE)上获得。
2023-03-26 cs.CV cs.LG
Topological Autoencoders
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
我们提出了一种新的方法来保持输入空间的拓扑结构的潜在表示的自动编码器。使用持续同源,拓扑数据分析的技术,我们计算的输入和潜在的空间的拓扑签名,推导出一个拓扑损失项。在较弱的理论假设下,我们以可微的方式构造这种损失,使得编码学习保留多尺度连接信息。我们表明,我们的方法在理论上是有根据的,它表现出有利的潜在表示的合成流形以及现实世界的图像数据集,同时保持低重建误差。
2021-05-31 cs.LG math.AT stat.ML
Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders
PES University(PES大学)
本研究通过稀疏自编码器对比Mamba与Transformer的潜在表征,发现两者在语义理解上无系统性差异,仅少数特征在语法边缘处存在分歧。
2026-09-22 cs.LG
Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
Massachusetts Institute of Technology(麻省理工学院)
本研究通过四种挑战性机制下的LLM激活探测任务,检验稀疏自编码器是否优于基线,发现其虽偶有优势但无法持续超越,且简单基线即可达到类似效果,凸显了当前SAEs的局限与严格评估的必要性。
2025-02-23 cs.AI cs.LG