Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms
Seoul National University（首尔大学）
基于神经网络的协同过滤模型最近开始受到关注。研究的一个分支是基于使用深度生成模型来模拟用户偏好，其中变分自动编码器被证明可以产生最先进的结果。然而，当前用于CF的变分自动编码器存在一些潜在的问题特性。第一个是VAE在学习用户偏好的潜在表示时引入的过于简单的先验知识。另一个是模型无法学习每个网络具有多个隐藏层的更深层次的表示。我们的目标是采用适当的技术来缓解变分自动编码器CF的上述问题，并进一步提高推荐性能。我们的工作是第一个应用灵活的先验协同过滤，并表明，简单的先验（在原始VAE）可能过于限制，以充分模拟用户的喜好和设置一个更灵活的先验提供了显着的收益。我们实验VampPrior，最初提出的图像生成，检查灵活的先验CF的效果。我们还表明，VampPriors加上门控机制优于SOTA结果，包括在2个流行的基准数据集（MovieLens和Netflix）上有意义的利润率的协同过滤的变分自动编码器。
2019-11-03 cs.IR cs.LG stat.ML
A Gating Model for Bias Calibration in Generalized Zero-shot Learning
Georgia Institute of Technology（佐治亚理工学院）
广义零样本学习（GSRL）旨在训练一个模型，该模型可以通过仅使用辅助信息来推广到不可见的类数据。GSTML中的主要挑战之一是在训练期间仅对可用的可见类数据进行过拟合而导致的对可见类的偏倚模型预测。为了克服这个问题，我们提出了一个两个流的自动编码器为基础的门控模型的GALML。我们的门控模型预测查询数据是否来自可见的类或不可见的类，并利用单独的可见和不可见的专家来预测彼此独立的类。该框架避免了将可见类的有偏预测分数与未见类的预测分数进行比较。特别是，我们测量视觉和属性表示在潜在空间和交叉重建空间的自动编码器之间的距离。这些距离被用作互补特征，以在不同的数据抽象级别上表征看不见的类。此外，双流自动编码器作为门控模型和看不见的专家的统一框架，这使得所提出的方法在计算上是高效的。我们验证了我们提出的方法在四个基准图像识别数据集。在与其他国家的最先进的方法相比，我们实现了最好的谐波平均精度在SUN和AWA2，第二最好的CUB和AWA1。此外，我们的基础模型需要的模型参数数量比依赖于生成模型的最新方法少至少20%。
2022-03-08 cs.CV cs.LG
Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability
The Pennsylvania State University（宾夕法尼亚州立大学）
针对稀疏自编码器将特征假设为一维导致特征分裂的问题，提出子空间感知稀疏自编码器（SASA），通过学习解码器子空间、块稀疏门控和核范数正则化，在GPT-2和Mistral-7B上减少特征分裂和吸收，提高单义性和可解释性。
2026-06-04 cs.AI cs.LG
SAE-FiRE: Enhancing Earnings Surprise Predictions Through Sparse Autoencoder Feature Selection
Georgia Institute of Technology（佐治亚理工学院）；New Jersey Institute of Technology（新泽西理工学院）
针对财务文档冗长且含行业术语导致盈利意外预测困难的问题，提出SAE-FiRE框架，利用稀疏自编码器分解表征并结合统计特征选择，在三个数据集上显著提升预测性能。
2025-10-07 cs.CL cs.LG q-fin.CP
Tree Echo State Autoencoders with Grammars
The University of Sydney（悉尼大学）
树数据以多种形式出现，例如计算机程序、化学分子或自然语言。不幸的是，树的非向量和离散性质使得构建具有树形式输出的函数具有挑战性，使优化或时间序列预测等任务复杂化。自动编码器通过将树映射到矢量潜在空间来解决这一挑战，在矢量潜在空间中任务更容易解决，然后将解决方案映射回树结构。然而，现有的用于树数据的自动编码方法未能考虑树域的特定语法结构，并且依赖于深度学习，因此需要大的训练数据集和长的训练时间。在本文中，我们提出了树回声状态自动编码器（TES-AE），这是指导下的树文法，可以在几秒钟内训练凭借储备池计算。在我们对三个数据集的评估中，我们证明了我们提出的方法不仅比最先进的深度学习自动编码方法（D-VAE）快得多，而且在数据和时间很少的情况下自动编码错误也较少。
2020-04-19 cs.LG cs.NE stat.ML
Junction Tree Variational Autoencoder for Molecular Graph Generation
MIT Computer Science & Artificial Intelligence Lab（麻省理工学院计算机科学与人工智能实验室）
我们寻求基于特定化学性质的分子设计自动化。在计算方面，这项任务涉及分子图的连续嵌入和生成。我们的主要贡献是直接实现分子图，以前的任务接近生成线性SMILES字符串，而不是图形。我们的连接树变分自编码器在两个阶段中生成分子图，首先在化学子结构上生成树结构的支架，然后将它们组合成具有图形消息传递网络的分子。这种方法使我们能够逐步扩展分子，同时在每一步都保持化学有效性。我们评估我们的模型在多个任务，从分子生成到优化。在这些任务中，我们的模型比以前的最先进的基线有很大的优势。
2019-03-29 cs.LG cs.NE stat.ML
AutoEncoder by Forest
Nanjing University（南京大学）
自动编码是一项重要的任务，通常由诸如卷积神经网络（CNN）之类的深度神经网络（DNN）来实现。在本文中，我们提出了编码森林（abbrv. eForest），第一个基于树集成的自动编码器。我们提出了一个程序，使森林做向后重建，利用等价类定义的决策路径的树，并证明其使用在监督和无监督设置。实验结果表明，与DNN自编码器相比，eForest能够获得更低的重建误差，训练速度更快，同时模型本身具有可重用性和可容忍损坏性。
2017-09-26 cs.LG stat.ML
Recursive Tree Grammar Autoencoders
The University of Sydney（悉尼大学）
关于树的机器学习主要集中在将树作为算法的输入。很少有研究将树作为输出，其具有许多应用，例如药物发现的分子优化或智能辅导系统的提示生成。在这项工作中，我们提出了一种新的自动编码器的方法，称为递归树语法自动编码器（RTG-AE），通过自下而上的解析器编码树和解码树通过树语法，都通过递归神经网络，最大限度地减少变分自编码器的损失。然后，所得到的编码器和解码器可以用于后续任务，例如优化和时间序列预测。RTG-AE是第一个结合变分自编码器、语法知识和递归处理的模型。我们的关键信息是，所有三个元素的这种独特组合优于结合三个元素中任何两个的模型。特别是，我们进行了一项消融研究，以表明与四个基线相比，我们提出的方法改善了自动编码错误，训练时间和合成数据集以及真实数据集的优化得分。我们进一步证明了RTG-AE解析和生成树的线性时间，并表现出足够的处理所有定期树文法。
2022-02-10 cs.LG cs.NE
Unsupervised Feature Selection to Identify Important ICD-10 Codes for Machine Learning: A Case Study on a Coronary Artery Disease Patient Cohort
University of Calgary（卡尔加里大学）；Kyung Hee University（庆熙大学）
针对冠状动脉疾病患者 ICD 编码高维问题，比较五种无监督特征选择方法，发现带 ICD 树权重调整的 Concrete Autoencoders 在特征重建和 90 天死亡率预测上表现最佳，并降低特征复杂度。
2023-03-25 cs.AI cs.LG
Tree Variational Autoencoders
ETH Zurich（苏黎世联邦理工学院）
提出树变分自编码器（TreeVAE），通过层次聚类学习树状后验分布，自适应发现最优树结构，利用叶解码器提升生成性能，在多种数据集上揭示隐藏聚类并生成新样本。
2023-11-17 cs.CV cs.LG
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg（彭博）；Duke University（杜克大学）；ASAPP Inc.（ASAPP公司）
我们提出了一个注入语法的变分自动编码器（SIVAE），它将句子与它们的语法树相结合，以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同，SIVAE包含两个独立的潜在空间，用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布，相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作，同时生成句子和语法树。两个版本的SIVAE提出：一个通过条件先验网络捕获的潜在变量之间的依赖关系，和其他处理的潜在变量独立，这样可以进行句法控制的句子生成。实验结果表明，SIVAE在重建和有针对性的句法评价上都具有生成优势。最后，我们表明，所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
MoËT: Mixture of Expert Trees and its Application to Verifiable Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Singidunum University（辛吉杜努姆大学）；Google（谷歌）；University of Belgrade（贝尔格莱德大学）；Google Brain（谷歌大脑）
深度学习的快速发展带来了许多新的突破。虽然深度学习模型实现了卓越的性能，通常在统计上优于人类，但它们在医疗保健或自动驾驶汽车等安全关键环境中的应用受到阻碍，因为它们无法提供安全保证或以人类可理解的形式暴露模型的内部工作原理。本文提出了一种基于混合专家模型的MokerT模型，它由决策树专家和广义线性模型门函数组成。由于这样的门控功能，该模型比标准的决策树更有表现力。为了支持不可微的决策树作为专家，我们制定了一个新的训练过程。此外，我们介绍了一个硬阈值的版本，MojetTH，其中预测是由一个单一的专家选择通过门控功能。多亏了这个属性，MoCHTH允许每个预测都可以很容易地分解成一组逻辑规则，并且可以很容易地验证。虽然MoSRT是一个通用模型，但我们在强化学习环境中展示了它的强大功能。通过在深度RL代理上使用模仿学习过程来训练MokerT模型，我们的表现优于之前基于决策树的最先进技术，同时保留了模型的可验证性。此外，我们还表明，MoSRT也可以用于现实世界的监督问题，它优于其他可验证的机器学习模型。
2022-04-06 cs.AI cs.LG stat.ML
Using Decision Tree as Local Interpretable Model in Autoencoder-based LIME
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Persian Gulf University（波斯湾大学）
如今，深度神经网络由于其高精度的结果而被用于许多领域。然而，它们被认为是“黑匣子”，意味着它们对人类来说是无法解释的。另一方面，在医疗、经济和自动驾驶汽车等任务中，用户希望模型具有可解释性，以决定他们是否可以信任这些结果。在这项工作中，我们提出了一个修改后的版本的自动编码器为基础的方法，称为ALIME的本地可解释性。ALIME本身的灵感来自于一个著名的方法，称为局部可解释模型不可知解释（LIME）。LIME通过在实例周围生成新数据并训练局部线性可解释模型来生成单个实例级解释。ALIME使用自动编码器来衡量样本周围的新数据。然而，ALIME使用线性模型作为本地训练的可解释模型，就像LIME一样。本文提出了一种新的方法，它使用一个决策树代替线性模型，作为可解释的模型。我们评估所提出的模型的情况下，稳定性，局部保真度和可解释性不同的数据集。实验结果表明，与ALIME相比，该算法在稳定性和局部保真度方面有显著的提高，在可解释性方面有明显的改善。
2022-04-07 cs.LG
Tree SAE: Learning Hierarchical Feature Structures in Sparse Autoencoders
Hanoi University of Science（河内科学大学）；University of Florida, Florida, USA（佛罗里达大学）；Computer Science Department, Saudi Electronic University（沙特电子大学计算机科学系）
本文提出Tree SAE，通过结合激活和重建约束，改进稀疏自编码器中层次特征学习，提升层次对学习效果并保持与最新方法的竞争力。
2026-10-08 cs.LG
ECHO: Elastic Speculative Decoding with Sparse Gating for High-Concurrency Scenarios
Qwen Applications Business Group of Alibaba（阿里巴巴文勤应用业务部）
ECHO通过将推测执行转化为预算调度问题，结合稀疏置信门控优化并发场景下的解码效率，在不同模型规模下均优于现有方法，实现高达5.35倍的加速效果。
2026-05-14 cs.AI cs.DC cs.LG
Semi-Supervised Junction Tree Variational Autoencoder for Molecular Property Prediction
Simon Fraser University（西蒙弗雷泽大学）
分子表示学习对于解决许多药物发现和计算化学问题至关重要。由于分子结构的复杂性和化学空间的广阔性，这是一个具有挑战性的问题。分子的图形表示比传统的表示（如分子指纹）更具表现力。因此，它们可以提高机器学习模型的性能。我们提出了SeMole，一种增强连接树变分自编码器的方法，这是一种最先进的分子图生成模型，具有半监督学习。SeMole旨在通过利用未标记数据来提高标记数据有限时分子性质预测的准确性。我们强制该模型生成分子图的条件下，通过将属性的潜在表示的目标属性。我们提出了一个额外的预训练阶段，以改善我们的半监督生成模型的训练过程。我们使用三种不同的分子特性对ZINC数据集进行了实验评估，并证明了半监督的好处。
2023-01-15 cs.LG physics.chem-ph
Mixture of Decision Trees for Interpretable Machine Learning
University of Münster（明斯特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；Dresden University of Technology（德累斯顿工业大学）；University of Stuttgart（斯图加特大学）
本文介绍了一种新的可解释的机器学习方法--混合决策树（MoDT）。它构成了混合专家模型集成体系结构的一个特殊情况，它利用线性模型作为门函数和决策树作为专家。我们提出的方法是理想的适合于问题，不能令人满意地学习由一个单一的决策树，但可以分为子问题。每个子问题都可以从单个决策树中很好地学习。因此，MoDT可以被认为是一种提高性能的方法，同时通过使每个决策都可以被人类理解和追踪来保持可解释性。我们的工作是伴随着一个Python的实现，它使用了一个可解释的门控功能，一个快速的学习算法，和一个直接的接口微调可解释的可视化方法。实验证实，实施工作，更重要的是，显示我们的方法相比，单一的决策树和随机森林类似的复杂性的优越性。
2022-11-26 cs.LG
When Trees Are Not Enough: Learning Mixed-Topology Feature Graphs with Adaptive Graph Sparse Autoencoders
University of Arizona（亚利桑那大学）；Iowa State University（爱荷华州立大学）；Old Dominion University（欧道明大学）
提出自适应图稀疏自编码器（AG-SAE），通过竞争完整父集学习混合拓扑特征图，以结构损失引导训练并闭环优化字典，实现比树结构更可靠的特征组织与更强因果干预。
2026-09-30 cs.CL cs.LG
T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Tencent（腾讯）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
针对自然语言处理系统的对抗攻击，对输入进行看似无害的修改，可能会导致目标模型的任意错误。虽然引起了极大的关注，但这种对抗攻击可以用来评估NLP模型的鲁棒性。与连续数据域中的对抗性示例生成（例如，图像），生成保留原始含义的对抗性文本是具有挑战性的，因为文本空间是离散的和不可微的。为了应对这些挑战，我们提出了一个目标可控的对抗攻击框架T3，它适用于一系列NLP任务。特别是，我们提出了一个基于树的自动编码器嵌入离散文本数据到一个连续的表示空间，在此基础上，我们优化了对抗扰动。一种新的基于树的解码器，然后应用到正则化生成的文本的语法正确性，并操纵它的句子（T3（发送））或单词（T3（字））的水平。我们考虑两个最具代表性的NLP任务：情感分析和问答（QA）。大量的实验结果和人类研究表明，T3生成的对抗性文本可以成功地操纵NLP模型输出目标错误答案，而不会误导人类。此外，我们还证明了生成的对抗性文本具有很高的可转移性，这使得黑箱攻击在实践中成为可能。我们的工作揭示了一种有效和通用的方法来检查NLP模型的鲁棒性。我们的代码可在https://github.com/AI-secure/T3/上公开获取。
2020-10-06 cs.CL cs.LG
Gaussian Process-Gated Hierarchical Mixtures of Experts
本文提出高斯过程门控分层混合专家模型（GPHMEs），采用基于随机特征的高斯过程构建门控与专家，通过变分推断优化，在降低复杂度的同时优于基于树的HME基准，并为深度GPs提供可解释性。
2024-03-03 cs.LG stat.ML
A Crack in the Bark: Leveraging Public Knowledge to Remove Tree-Ring Watermarks
University of Edinburgh（爱丁堡大学）
本研究提出一种仅需公开变分自编码器即可移除Tree-Ring扩散模型水印的新型攻击，大幅降低检测器AUC且图像质量优异，性能优于全模型访问方法，揭示了复用公共自编码器的安全风险及Tree-Ring检测器精确率不足的问题。
2025-06-12 cs.CR cs.LG
Interpretable Spectral Variational AutoEncoder (ISVAE) for time series clustering
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Investigación Sanitaria Gregorio Marañón（格雷戈里奥·马拉尼翁卫生研究所）；Evidence Based Behaviour (eB2)（循证行为（eB2））；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼氏定量金融研究所）
本研究提出ISVAE模型，通过在VAE开端引入可解释的滤波器组（FB）瓶颈，迫使模型关注输入信号的关键信息，学习可解释且可聚类的低维编码${f_0}$，并利用定制解码器处理复杂数据，在真实数据集上取得优异聚类效果。
2023-10-18 cs.LG stat.ML
GALDS: A Graph-Autoencoder-based Latent Dynamics Surrogate model to predict neurite material transport
Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学）；Department of Biomedical Engineering, Carnegie Mellon University（生物医学工程系，卡内基梅隆大学）；Department of Civil and Environmental Engineering, Carnegie Mellon University（土木与环境工程系，卡内基梅隆大学）
针对神经突网络物质运输模拟计算成本高的问题，提出基于图自编码器和神经常微分方程的代理模型GALDS，通过在潜在空间预测系统动力学，实现了低误差和10倍加速。
2025-07-15 cs.LG cs.NA math.NA
Opinion Fraud Detection via Neural Autoencoder Decision Forest
University of New South Wales（新南威尔士大学）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
在线评论在影响买家的日常购买决策方面发挥着重要作用。然而，虚假和无意义的评论，不能反映用户的真实购买体验和意见，广泛存在于网络上，并对用户做出正确的选择带来了巨大的挑战。因此，希望建立一个公平的模型，通过区分垃圾评论来评估产品的质量。我们提出了一个端到端可训练的统一模型，以利用Autoencoder和随机森林的吸引人的属性。随机决策树模型的实现，以指导全局参数学习过程。在一个大型亚马逊评论数据集上进行了广泛的实验。所提出的模型始终优于一系列比较的方法。
2018-05-09 cs.AI cs.CL cs.LG
Soft Hoeffding Tree: A Transparent and Differentiable Model on Data Streams
Johannes Gutenberg University Mainz（法兰克福-莱茵河大学）
本文提出软霍夫丁树（SoHoT），通过新门控函数融合霍夫丁树的透明可扩展性与软树的可微性，在20个数据流上验证其在类别概率估计上优于霍夫丁树，并能用超参数权衡透明度与性能。
2024-11-07 cs.LG
Yet Unnoticed in LSTM: Binary Tree Based Input Reordering, Weight Regularization, and Gate Nonlinearization
该研究针对LSTM无法最优聚焦长期信息、权重正则化缺乏范数适配研究、门控非线性化不足的问题，提出基于二叉树的输入重排序、Lp范数权重正则化及门控非线性化方法，在文本分类任务中提升了LSTM准确率。
2025-08-27 cs.AI cs.LG
