Provable concept learning for interpretable predictions using variational autoencoders
ETH Zürich（苏黎世联邦理工学院）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在安全关键应用中，当没有可解释的解释时，从业者不愿意信任神经网络。许多提供这种解释的尝试围绕基于像素的属性或使用先前已知的概念。在本文中，我们的目的是提供可证明的识别\emph{high-level, previously unknown ground-truth concepts}的解释。为此，我们提出了一个概率建模框架，以获得（C）概念（L）收入和（P）预测（CLAP）-一个基于VAE的分类器，使用视觉上可解释的概念作为预测一个简单的分类器。假设地面实况概念的生成模型，我们证明CLAP能够识别它们，同时达到最佳的分类精度。我们在合成数据集上的实验验证了CLAP在合成数据集上识别出不同的地面实况概念，并在医学胸部X射线数据集上产生了有希望的结果。
2022-07-22 cs.LG stat.ME
Interpretable Anomaly Detection in Cellular Networks by Learning Concepts in Variational Autoencoders
Ericsson Services GmbH（爱立信服务有限公司）；Ostwestfalen-Lippe University of Applied Sciences（东威斯特法伦-利普应用技术大学）
本文提出一种基于变分自编码器（VAEs）的蜂窝网络异常检测方法，通过学习关键性能指标（KPI）潜在空间的可解释表示并利用K-means质心增强表示学习，实现了基于重构损失和Z分数的快速、自主且可解释的异常检测。
2023-06-28 cs.AI cs.LG cs.NI
Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling
University of Applied Sciences and Arts Western Switzerland (HES-SO)（瑞士西部应用科学与艺术大学（HES-SO））
将物理模型集成到机器学习模型中，对于学习具有改进的可解释性和外推能力的鲁棒模型具有相当大的希望。在这项工作中，我们专注于将不完整的物理模型整合到深度生成模型中。特别是，我们介绍了一个架构的变分自编码器（VAE），其中的一部分的潜在空间是接地的物理。一个关键的技术挑战是在不完整的物理和可训练的组件（例如神经网络）之间取得平衡，以确保以有意义的方式使用物理部分。为此，我们提出了一种正则化学习方法，该方法控制可训练组件的效果，并保留基于物理的潜在变量的语义。我们不仅在一组合成和真实世界的数据集上展示了生成性能的改进，而且我们还展示了我们学习的鲁棒模型，这些模型可以以一种有意义的方式一致地外推到训练分布之外。此外，我们表明，我们可以控制生成过程中的一个可解释的方式。
2021-10-26 cs.LG stat.ML
Assessing the Impact of Blood Pressure on Cardiac Function Using Interpretable Biomarkers and Variational Autoencoders
King's College London（伦敦国王学院）；St Thomas' Hospital NHS Foundation Trust（圣托马斯医院NHS基金会信托）；Imperial College London（帝国理工学院）
尽可能长时间地保持良好的心脏功能是全球医疗保健系统的主要关注点，人们对更多地了解不同风险因素对心脏健康的影响非常感兴趣。本研究的目的是分析收缩压（SBP）对心脏功能的影响，同时在英国生物样本库人群的大型队列中使用已知的临床生物标志物保留模型的可解释性。我们提出了一种新的框架，该框架将基于深度学习的心脏电影MR数据中可解释的临床生物标志物的估计与变分自编码器（VAE）相结合。VAE架构整合了潜在空间中的回归损失，这使得能够学习心脏健康与SBP的进展。来自英国生物银行的3,600名受试者的结果表明，所提出的模型使我们能够深入了解心脏功能随SBP增加而恶化的情况，确定这一过程中涉及的关键可解释因素，最后利用该模型了解心脏功能的积极和不利适应模式。
2019-08-13 cs.LG eess.SP stat.ML
Generating Sentences from a Continuous Space
Google, Inc.（谷歌公司）；Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Brain（谷歌大脑）
标准的递归神经网络语言模型（RNNLM）一次生成一个单词的句子，并且不能从显式的全局句子表示中工作。在这项工作中，我们介绍和研究了基于RNN的变分自编码器生成模型，该模型采用了整个句子的分布式潜在表示。这种分解允许它显式地建模句子的整体属性，如风格，主题和高级句法特征。通过简单的确定性解码，来自这些句子表征的先验样本显着产生多样且格式良好的句子。通过检查通过这个潜在空间的路径，我们能够生成连贯的新句子，在已知的句子之间插入。我们提出了解决这个模型所提出的困难的学习问题的技术，证明了它的有效性，在填补失踪的话，探索模型的潜在句子空间的许多有趣的属性，并提出负面的结果在语言建模中使用的模型。
2016-05-12 cs.CL cs.LG
Disentangling semantics in language through VAEs and a certain architectural choice
LIPN（LIPN实验室）；Université Sorbonne Paris Nord（索邦巴黎北大学）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
我们提出了一种无监督的方法来获得分离的句子表示，挑选出语义内容。使用修改后的Transformers作为构建块，我们训练一个变分自编码器将句子翻译成固定数量的分层结构的潜变量。我们研究了生成过程中每个潜在变量对句子依赖结构的影响，以及通过开放式信息抽取模型时生成的谓词结构。我们的模型可以将动词、主语、直接宾语和介词宾语分离成我们识别的潜变量。我们表明，不同的相应的潜变量的结果在不同的句子中，这些元素，并交换它们之间的夫妇的句子导致预期的部分语义交换。
2020-12-28 cs.CL cs.LG
Transformer-Based Conditioned Variational Autoencoder for Dialogue Generation
Zhejiang University（浙江大学）
在人类对话中，一个单一的查询可能会引起许多适当的反应。基于transformer的对话模型产生语料库中频繁出现的句子，因为它是一对一的映射函数。CVAE是一种减少通用回复的技术。本文在具有CVAE结构的Transformer的基础上，提出了一种新的对话模型（CVAE-T）。我们使用预训练的MLM模型重写一些关键的n-gram以获得一系列否定示例，并在训练过程中引入正则化项，以显式地引导潜变量学习每对正例和负例之间的语义差异。实验表明，我们设计的方法是能够产生更多的信息答复。
2022-10-22 cs.CL cs.LG
Supervised Vector Quantized Variational Autoencoder for Learning Interpretable Global Representations
Department of Biomedical Informatics, University of Pittsburgh（匹兹堡大学生物医学信息学系）
学习数据的可解释表示仍然是深度学习的核心挑战。在训练深度生成模型时，观察到的数据通常与某些分类标签相关联，并且与学习重新生成数据和模拟新数据并行，学习每类数据的可解释表示也是获取知识的过程。在这里，我们提出了一种新的生成模型，称为监督矢量量化变分自编码器（S-VQ-VAE），它结合了监督和无监督学习的力量，以获得一个独特的，可解释的全局表示为每一类数据。与传统的生成模型相比，该模型具有三个主要优点：第一，它是一个集成模型，可以同时学习单个数据点的特征表示和每类数据的全局表示;第二，嵌入代码的全局表示的学习由监督信息指导，它清楚地定义了每个代码的解释;第三，全局表示捕捉了不同类别的关键特征，这些特征揭示了不同数据组的统计结构的相似性和差异性。我们评估了S-VQ-VAE在机器学习基准数据集MNIST数据集和基于集成网络的细胞特征库（LINCS）的基因表达数据上的效用。我们证明了S-VQ-VAE能够学习受同一类干扰因子（PCL）干扰的样本的全局遗传特征，并进一步揭示了PCL之间的机制相关性。这些知识对于促进癌症等复杂疾病的新药开发至关重要。
2019-09-29 cs.LG stat.ML
Interpretable Spectral Variational AutoEncoder (ISVAE) for time series clustering
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Investigación Sanitaria Gregorio Marañón（格雷戈里奥·马拉尼翁卫生研究所）；Evidence Based Behaviour (eB2)（循证行为（eB2））；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼氏定量金融研究所）
本研究提出ISVAE模型，通过在VAE开端引入可解释的滤波器组（FB）瓶颈，迫使模型关注输入信号的关键信息，学习可解释且可聚类的低维编码${f_0}$，并利用定制解码器处理复杂数据，在真实数据集上取得优异聚类效果。
2023-10-18 cs.LG stat.ML
SAeUron: Interpretable Concept Unlearning in Diffusion Models with Sparse Autoencoders
Bartosz Cywiński（独立研究者）；Kamil Deja（独立研究者）
SAeUron利用稀疏自编码器学习可解释特征，实现对扩散模型生成内容的概念遗忘，在UnlearnCanvas和I2P基准上优于现有方法，并能同时移除多概念且抵抗对抗攻击。
2025-05-21 cs.AI cs.LG
Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes
Yildiz Technical University（耶尔德兹理工大学）
自然语言处理任务的数据增强方法是近年来研究的热点，但其局限性较大，难以捕捉句子层次上的多样性。此外，并不总是能够对监督任务执行数据增强。为了解决这些问题，我们提出了一种神经数据增强方法，这是一个组合的条件变分自编码器和编码器-解码器Transformer模型。在对输入语句进行编码和解码的同时，我们的模型捕捉了输入语言的句法和语义表示及其类条件。根据过去几年在预训练语言模型上的发展，我们在几个基准上对我们的模型进行训练和评估，以加强下游任务。我们将我们的方法与3种不同的增强技术进行比较。所提出的结果表明，我们的模型增加了当前模型的性能相比，其他数据增强技术与少量的计算能力。
2022-05-19 cs.CL cs.LG
Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
变分自编码器（VAE）是一种流行的、功能强大的模型，用于文本建模以生成多样化的句子。然而，当VAE用于文本建模时，会发生称为后验崩溃（或KL损失消失）的问题，其中近似后验崩溃为先验，并且模型将完全忽略潜在变量，并且在文本生成期间退化为普通语言模型。当基于RNN的VAE模型用于文本建模时，这样的问题特别普遍。在本文中，我们提出了一种简单的通用架构，称为Timestep-Wise Regularisation VAE（TWR-VAE），它可以有效地避免后验崩溃，并可以应用于任何基于RNN的VAE模型。我们的模型的有效性和多功能性在不同的任务中得到了证明，包括语言建模和对话响应生成。
2020-11-03 cs.CL cs.LG
Interpretable Embeddings From Molecular Simulations Using Gaussian Mixture Variational Autoencoders
Max Planck Institute for Polymer Research（马克斯·普朗克聚合物研究所）；Koc University（科奇大学）
从分子模拟产生的大量数据中提取洞察力需要识别少量的集体变量，其相应的低维自由能景观保留了底层系统的基本特征。数据驱动技术提供了一个系统的路线来构建这一景观，而不需要对相关驱动力进行广泛的先验直觉。特别是，自动编码器是降维的强大工具，因为它们自然会造成信息瓶颈，从而实现基本特征的低维嵌入。虽然变分自编码器通过假设单峰高斯先验来确保嵌入的连续性，但这与通常由有意义的集体变量的识别产生的多流域自由能景观不一致。在这项工作中，我们采用高斯混合变分自动编码器（GMVAE），鼓励嵌入内的亚稳态的分离，将这种物理直觉到先验。GMVAE在一个统一的框架内执行降维和聚类，并且能够根据对数据进行分类所需的高斯数来识别输入数据的固有维度。我们说明了我们的方法上的两个玩具模型，丙氨酸二肽，和一个具有挑战性的无序肽系综，证明了增强的聚类效果的GMVAE之前相比，标准的VAE。由此产生的嵌入似乎是有前途的表示，用于构建马尔可夫状态模型，突出的可转移性的降维从静力平衡性能的动态。
2019-12-22 cs.LG physics.chem-ph stat.ML
Learning Disentangled Representations with Quantum Variational Autoencoders
Yale University（耶鲁大学）
该研究探讨量子变分自编码器能否学习解纠缠的潜在因素，通过理论分析和在MNIST变体等数据集上的实验，证明单个量子比特可作为有意义的可解释潜在因素，为量子表示学习奠定基础。
2026-10-07 cs.ET cs.LG quant-ph
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Liverpool（利物浦大学）
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子，我们交替它与递归高斯混合，其中每个混合成分对应于一个主题句子的潜在代码，并混合由树结构的主题分布。通过解码每个高斯分量，我们生成具有树形结构的主题指导的句子，其中根句子传达通用内容，叶句子描述特定主题。实验结果表明，所生成的主题句适合作为固执己见的文本的摘要，其比最近的无监督摘要模型（Bražinskas等人，2020年）。此外，我们证明了潜在高斯的方差代表了句子的粒度，类似于高斯词嵌入（Vilnis和McCallum，2015）。
2021-06-15 cs.AI cs.CL cs.LG
Attri-VAE: attribute-based interpretable representations of medical images with variational autoencoders
Universitat Pompeu Fabra（庞培法布拉大学）；Vicomtech Foundation（Vicomtech基金会）；ICREA（加泰罗尼亚研究与高等教育学院）
深度学习（DL）方法，其中可解释性本质上被认为是模型的一部分，需要更好地理解临床和基于成像的属性与DL结果的关系，从而促进它们在医疗决策背后的推理中的使用。使用变分自编码器（VAE）构建的潜在空间表示不能确保对数据属性的单独控制。文献中已经提出了基于属性的方法，用于基准数据中的经典计算机视觉任务。在本文中，我们提出了一种VAE方法，属性VAE，其中包括一个属性正则化项，将临床和医学成像属性与生成的潜在空间中的不同正则化维度相关联，从而能够更好地解释属性。此外，生成的注意力地图解释了正则化潜在空间维度中的属性编码。使用属性VAE方法，我们分析了健康和心肌梗死患者的临床，心脏形态学和放射组学属性。该模型提供了一个很好的权衡重建保真度，解纠缠，和可解释性，优于国家的最先进的VAE方法根据几个定量指标。由此产生的潜在空间允许在两个不同输入样本之间的轨迹中或沿着特定属性维度生成真实的合成数据，以更好地解释不同心脏状况之间的变化。
2022-12-12 cs.CV cs.LG eess.IV
Data-efficient and Interpretable Inverse Materials Design using a Disentangled Variational Autoencoder
Institute for Experiential AI, Northeastern University（东北大学体验式人工智能研究所）；The Roux Institute, Northeastern University（东北大学鲁克斯研究所）
本文提出了一种基于解耦变分自编码器的半监督学习方法，用于高效且可解释的逆材料设计，通过解耦潜在变量与目标属性提升模型鲁棒性与可解释性。
2026-02-10 cond-mat.mtrl-sci cs.LG
Interpretable Prediction of Lymph Node Metastasis in Rectal Cancer MRI Using Variational Autoencoders
University of Leeds（利兹大学）；Leeds Teaching Hospitals NHS Trust（利兹教学医院国家健康服务信托）
针对直肠癌淋巴结转移分期诊断准确性有限的问题，提出使用变分自编码器（VAE）替代大型预训练CNN作为特征编码器，构建了具有解耦结构化潜在空间的VAE-MLP模型，在168名患者MRI数据集上取得SOTA性能，提升了预测的可解释性。
2025-07-15 cs.AI cs.CV cs.LG
One-Step is Enough: Sparse Autoencoders for Text-to-Image Diffusion Models
EPFL（洛桑联邦理工学院）；Northeastern University（东北大学）
该研究首次将稀疏自编码器（SAE）用于文本生成图像扩散模型的可解释性研究，在SDXL Turbo的1步设置Transformer块更新上训练SAE，发现其可跨步数、跨模型泛化，还构建RIEBench基准验证特征可解释性与因果影响，为理解操控文生图模型内部机制提供新途径。
2025-10-27 cs.AI cs.CV cs.LG
A lower bound for the ELBO of the Bernoulli Variational Autoencoder
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
我们考虑一个二进制数据的变分自编码器（VAE）。我们的主要创新是其训练目标的可解释的下限，这种VAE的修改的初始化和架构，导致更快的训练，以及通过使用PCA找到潜在空间的适当维度的决策支持。数值例子说明了我们的理论结果和性能的新架构。
2020-03-26 cs.LG math.ST stat.ML
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了提高基于脑电的语音识别系统的性能，本文提出了一种基于递归神经网络（RNN）的变分自编码器（VAE）模型，该模型引入了一种新的约束损失函数，可以从原始脑电特征中产生更有意义的脑电特征。我们表明，连续和孤立的语音识别系统的训练和测试，使用原始EEG功能，使用我们的VAE模型产生的EEG功能，提高了性能，我们证明了我们的结果为一个有限的英语词汇组成的30个独特的句子连续语音识别和英语词汇组成的2个独特的句子孤立的语音识别。我们将我们的方法与作者在[1]中描述的另一种最近引入的方法进行比较，以提高基于EEG的连续语音识别系统的性能，并且我们证明，当使用相同的数据集进行训练和测试时，随着词汇量的增加，我们的方法优于他们的方法。即使我们证明的结果仅为自动语音识别（ASR）的实验在本文中，建议的VAE模型与约束损失函数可以扩展到各种其他基于EEG的脑机接口（BCI）的应用。
2020-06-01 cs.LG cs.SD eess.AS
GPLaSDI: Gaussian Process-based Interpretable Latent Space Dynamics Identification through Deep Autoencoder
Cornell University（康奈尔大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出GPLaSDI框架，利用高斯过程插值潜空间ODE，实现非侵入式降阶建模，通过不确定性量化进行自适应训练，在多个PDE问题上获得200至10万倍加速和最高7%误差。
2024-05-29 cs.CE cs.LG cs.NA
Quantifying the Effects of Enforcing Disentanglement on Variational Autoencoders
University of Cambridge（剑桥大学）
通过引入解纠缠参数$β$，控制施加在潜在表征上的学习压力，提出了解纠缠自编码器的概念，作为变分自编码器的扩展.对于$β$的某些值，这种自动编码器能够在代码的单独元素中编码独立的输入生成因子，从而导致更可解释和可预测的模型行为。在本文中，我们量化的参数$β$的模型性能和退纠缠的影响。在训练多个具有相同$β$值的模型后，我们建立了文献中提出的一种解纠缠措施中的一致方差的存在性。解纠缠对自动编码器的辨别能力的负面影响也被断言，同时改变训练期间可用的示例量。
2017-11-24 cs.LG stat.ML
Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders
George Mason University（乔治梅森大学）
基于示例的方法依赖于信息数据点或原型来指导学习算法的优化。这些数据有助于可解释的模型设计和预测。特别感兴趣的是样本在学习无监督深度表示中的效用。在本文中，我们利用枢纽，出现在高维空间中的频繁邻居，作为范例来正则化变分自编码器，并学习无监督的下游任务的判别嵌入。我们提出了一个无监督的，数据驱动的正则化的潜在空间与基于枢纽的先验和基于枢纽的对比损失的混合。实验评估表明，我们的算法实现了卓越的聚类分离性的嵌入空间，准确的数据重建和生成，相比基线和国家的最先进的技术。
2022-11-18 cs.AI cs.LG
Fusing multimodal neuroimaging data with a variational autoencoder
Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS), Georgia State, Georgia Tech, Emory（三机构神经影像与数据科学转化研究中心（TReNDS），佐治亚州立大学、佐治亚理工学院、埃默里大学）；Faculty of Electrical Engineering, Mathematics & Computer Science, TU Delft（代尔夫特理工大学电气工程、数学与计算机科学学院）；Lambert High School（兰伯特高中）
神经影像学研究通常涉及多种数据模态的收集。这些模态包含关于大脑的共享和相互排斥的信息。本工作旨在寻找一种可扩展的和可解释的方法来融合多种神经成像模态的信息，使用变分自编码器（VAE）。为了提供一个初步的评估，这项工作评估的表示，学习使用精神分裂症分类任务。在表示上训练的支持向量机实现分类器的接收器操作特性（ROC-AUC）的曲线下面积为0.8610。
2021-05-03 cs.LG eess.SP
Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder
Institute for Computational Linguistics（计算语言学研究所）；Heidelberg University（海德堡大学）
在这项工作中，我们提出了一个无监督的方法来摘要的句子抽象的方式使用变分自编码器（VAE）。已知VAE学习表示高维输入的语义丰富的潜在变量。VAE通过学习从概率潜在变量重建输入来训练。在训练过程中显式地提供关于输出长度的信息会影响VAE不对该信息进行编码，从而可以在推理过程中进行操纵。指示解码器产生更短的输出序列导致用更少的单词表达输入句子。我们在不同的摘要数据集上显示，这些较短的句子不能击败一个简单的基线，但产生更高的ROUGE分数比试图重建整个句子。
2018-09-21 cs.CL
Sentence Bottleneck Autoencoders from Transformer Language Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
通过在大型语料库上预训练语言模型来进行文本的表示学习已经成为构建NLP系统的标准起点。这种方法与自动编码器相反，自动编码器也是在原始文本上训练的，但其目标是学习将每个输入编码为允许完全重建的向量。自编码器是有吸引力的，因为他们的潜在空间结构和生成属性。因此，我们探索从预训练的冻结的Transformer语言模型构建一个并行级自动编码器。我们将掩蔽语言建模目标调整为生成的去噪目标，同时只训练句子瓶颈和单层修改的Transformer解码器。我们证明，我们的模型发现的句子表示比以前的方法获得更好的质量，这些方法在文本相似性任务，风格转换（控制生成的一个例子）和GLUE基准中的单句分类任务上从预训练的Transformers中提取表示，同时使用比大型预训练模型更少的参数。
2021-09-10 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Heriot-Watt University（赫瑞-瓦特大学）
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法，但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器（SEQ ^3），由两个链式编码器-解码器对组成，单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩，其中第一个和最后一个序列分别是输入和重构的句子，而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验，鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样，允许基于梯度的优化，而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对，在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
Learning Universal Sentence Representations with Mean-Max Attention Autoencoder
Key Laboratory of Computational Linguistics, Ministry of Education（教育部计算语言学重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学信息科学技术学院）
为了学习通用的句子表示，以前的方法集中在复杂的递归神经网络或监督学习。在本文中，我们提出了一个平均最大注意自动编码器（平均最大AAE）的编码器-解码器框架内。我们的自动编码器完全依赖于多头自我注意力机制来重建输入序列。在编码中，我们提出了一个均值-最大值策略，该策略在隐藏向量上应用均值和最大池化操作来捕获输入的各种信息。为了使信息能够动态地引导重建过程，解码器对均值-最大值表示进行关注。通过在大量未标记数据上训练我们的模型，我们获得了高质量的句子表示。在广泛的10个转移任务上的实验结果表明，我们的模型优于最先进的无监督单一方法，包括经典的skip-thoughts和先进的skip-thoughts+LN模型。此外，与传统的递归神经网络相比，我们的平均最大AAE大大减少了训练时间。
2018-09-18 cs.CL
Stylized Text Generation Using Wasserstein Autoencoders with a Mixture of Gaussian Prior
University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）
Wasserstein自动编码器对于文本生成是有效的。然而，如果数据集有多个类并且包括不同的主题，它们不提供对生成的句子的风格和主题的任何控制。在这项工作中，我们提出了一个半监督的方法来生成风格化的句子。我们的模型是在多类数据集上训练的，并使用高斯先验混合来学习句子的潜在表示，而没有任何对抗性损失。这允许我们通过从其相应的先验分布中采样来生成指定类或多个类的风格的句子。此外，我们可以在相对较小的数据集上训练我们的模型，并通过将具有其他样式/类的外部数据添加到我们的数据集来学习指定类的潜在表示。虽然在这种情况下，简单的WAE或VAE不能生成多样化的句子，但使用我们的方法生成的句子是多样化的，流畅的，并且保留了所需类的风格和内容。
2019-11-10 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Educating Text Autoencoders: Latent Representation Guidance via Denoising
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon Web Services（亚马逊云科技）
生成式自动编码器通过利用其潜在的句子表示提供了一种有前途的可控文本生成方法。然而，目前的模型很难保持连贯的潜在空间，需要通过潜在向量操作执行有意义的文本操作。具体来说，我们通过例子证明了神经编码器不一定将相似的句子映射到附近的潜在向量。对这一现象的理论解释表明，高容量自动编码器可以学习序列和相关潜在表示之间的任意映射。为了解决这个问题，我们用去噪目标来增强对抗性自动编码器，其中原始句子是从扰动版本（称为DAAE）中重建的。我们证明，这个简单的修改指导潜在的空间几何的结果模型，鼓励编码器映射类似的文本，以类似的潜在表示。在与各种类型的自动编码器的经验比较中，我们的模型提供了生成质量和重建容量之间的最佳权衡。此外，DAAE潜在空间的改进的几何形状，使zero-shot文本风格转移通过简单的潜在向量算法。
2020-07-07 cs.CL cs.LG stat.ML
Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencoders
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们引入了深度内外递归自编码器（DIORA），这是一种完全无监督的方法，用于发现语法，同时学习诱导树内成分的表示。我们的方法预测每个词在一个输入句子的其余部分的条件，并使用内外动态规划，以考虑所有可能的二叉树的句子。在测试时，CKY算法提取得分最高的解析。DIORA在两个基准数据集WSJ和MultiNLI中实现了无监督二进制选区解析（无标签）的最新F1。
2019-04-04 cs.CL
A Simple Geometric Method for Cross-Lingual Linguistic Transformations with Pre-trained Autoencoders
Chatlayer.ai by Sinch（Sinch旗下Chatlayer.ai）；Sinch；Ghent University - Imec（根特大学 - imec）
为多种语言训练的强大句子编码器正在崛起。这些系统能够将广泛的语言属性嵌入到向量表示中。虽然显式探测任务可以用来验证特定语言属性的存在，但目前还不清楚是否可以操纵向量表示来间接引导这些属性。为了有效的学习，我们研究了在嵌入空间中使用几何映射来转换语言属性，而无需对预训练的句子编码器或解码器进行任何调整。我们使用预训练的多语言自动编码器在三个语言属性上验证了我们的方法，并在单语和跨语言设置中分析了结果。
2021-09-21 cs.CL cs.LG
Sparse Autoencoders Find Highly Interpretable Features in Language Models
EleutherAI；MATS；Bristol AI Safety Centre（布里斯托尔人工智能安全中心）；Apollo Research（阿波罗研究）
针对语言模型中神经元多语义性的叠加成因假设，提出用稀疏自编码器重构内部激活以识别可解释单语义特征，验证了其可解释性与因果定位精度，为机制可解释性研究提供基础。
2023-10-04 cs.CL cs.LG
Semi-Supervised Text Simplification with Back-Translation and Asymmetric Denoising Autoencoders
Shanghai Jiao Tong University（上海交通大学）
文本简化（TS）将长句重组为简化的变体，同时保留固有的语义。传统的序列到序列模型严重依赖于平行句的数量和质量，这限制了它们在不同语言和领域的适用性。本文研究了如何在TS任务中利用大量的非配对语料。我们在无监督机器翻译（NMT）中采用了反向翻译架构，包括用于语言建模的去噪自动编码器和通过迭代反向翻译自动生成并行数据。然而，如果我们直接将简单语料集和复杂语料集视为两种不同的语言，则生成适当的复杂-简单对是不平凡的，因为这两种类型的句子非常相似，并且模型难以捕捉不同类型句子的特征。为了解决这个问题，我们提出了不同复杂度的句子的非对称去噪方法。当使用自动编码器对简单和复杂句子进行建模时，我们会在训练过程中引入不同类型的噪声。这种方法可以显著提高简化性能。我们的模型可以以无监督和半监督的方式进行训练。自动和人工评估表明，我们的无监督模型优于以前的系统，并且在有限的监督下，我们的模型可以与多个最先进的简化系统竞争。
2020-04-30 cs.CL
Logic Constrained Pointer Networks for Interpretable Textual Similarity
Amazon（亚马逊）；Flipkart（弗利普卡特）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
系统地发现文本中的语义关系是自然语言处理中一个重要且广泛研究的领域，具有各种任务，例如蕴涵，语义相似性等。通过子序列比对的可分解性已经被提出作为使模型更具可解释性的一种方式。我们研究的问题，对齐组件的句子导致一个可解释的模型，语义文本相似性。在本文中，我们介绍了一种新的指针网络为基础的模型与哨兵门控功能，以调整组成块，这是表示使用BERT。我们用一个损失函数改进了这个基础模型，以同等地惩罚两个句子中的不对齐，确保对齐是双向的。最后，为了用结构化的外部知识来指导网络，我们引入了基于ConceptNet和语法知识的一阶逻辑约束。该模型在SemEval基准数据集上的F1得分分别为97.73和96.32，与现有解决方案相比有很大的改进。源代码可在https://github.com/manishb89/interpretable_sentence_similarity上获得
2020-07-15 cs.CL cs.LG
FILM: A Fast, Interpretable, and Low-rank Metric Learning Approach for Sentence Matching
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Department of Mathematics（数学系）；UC Berkeley（加州大学伯克利分校）
语义相似度检测在句子匹配中起着至关重要的作用。它要求学习自然语言的判别表示。最近，由于越来越复杂的模型架构，已经取得了令人印象深刻的进展，以及耗时的训练过程和不可解释的推理。为了缓解这个问题，我们探索了一种度量学习方法，名为FILM（快速，可解释和低秩度量学习），以有效地找到高维数据的高分辨投影。我们构造这个度量学习问题作为一个流形优化问题，并解决它的Cayley变换方法与Barzilai-Borwein步长。在实验中，我们将FILM与三重损失最小化目标应用于Quora挑战和语义文本相似性（STS）任务。实验结果表明，FILM方法具有更好的性能和最快的计算速度，这与我们对时间复杂度的理论分析是一致的。
2020-10-13 cs.AI cs.CL cs.LG
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London（伦敦大学学院）
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控，提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-02-12 cs.AI cs.CL cs.LG
Recurrent Neural Network-Based Semantic Variational Autoencoder for Sequence-to-Sequence Learning
Korea University（高丽大学）
序列到序列（Seq 2seq）模型在最近各种自然语言处理方法（例如机器翻译、文本摘要和语音识别）的成功中发挥了重要作用。然而，目前的Seq 2seq模型很难从长序列的单词中保留全局潜在信息。变分自编码器（VAE）通过学习输入句子的连续语义空间来解决这个问题。然而，这并不能完全解决问题。在本文中，我们提出了一种新的循环神经网络（RNN）的Seq 2seq模型，RNN语义变分自编码器（RNN-SVAE），以更好地捕捉全局潜在的信息的一个单词序列。为了正确地反映句子中单词的含义，而不考虑其在句子中的位置，我们使用编码器的最终状态和每个先前隐藏状态之间的注意力信息来构造文档信息向量。然后，连续语义空间的平均值和标准差的学习，通过使用这个向量，以利用变分方法。通过使用文档信息向量来寻找句子的语义空间，可以更好地捕获句子的全局潜在特征。三个自然语言任务的实验结果（即，语言建模，漏词填补，释义识别）证实了所提出的RNN-SVAE产生比两个基准模型更高的性能。
2018-06-02 cs.CL
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
编码器-解码器对话模型是用于在复杂领域中构建对话系统的最突出的方法之一。然而，它是有限的，因为它不能输出可解释的行动，在传统的系统，这阻碍了人类理解其生成过程。我们提出了一个无监督的离散句子表示学习方法，可以与任何现有的编码器-解码器对话模型，可解释的响应生成。在变分自编码器（VAE）的基础上，我们提出了两种新的模型DI-VAE和DI-VST，它们改进了VAE，并且可以通过自动编码或上下文预测来发现可解释的语义。我们的方法已经在真实世界的对话数据集上进行了验证，以发现语义表示并增强具有可解释生成的编码器-解码器模型。
2018-04-22 cs.AI cs.CL
Quasi-symbolic Semantic Geometry over Transformer-based Variational AutoEncoder
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Idiap Research Institute（Idiap研究机构）；National Biomarker Centre, CRUK-MI, Univ. of Manchester（国家生物标记中心，CRUK-MI，曼彻斯特大学）
本文提出将句子语义形式化为“语义角色—词内容”组合的准符号语义几何，并通过Transformer变分自编码器注入GPT2，以提升句子生成的可控性与可解释性。
2025-07-01 cs.AI cs.CL
Towards cross-lingual distributed representations without parallel text trained with adversarial autoencoders
The University of Edinburgh（爱丁堡大学）
当前学习不同语言之间兼容的文本的矢量表示的方法通常需要一定量的并行文本，在单词、句子或至少文档级别对齐。然而，我们假设，不同的自然语言共享足够的语义结构，原则上应该可以通过分析单词的单语分布来学习兼容的矢量表示。为了评估这一假设，我们提出了一个计划，映射词向量训练的源语言向量语义兼容的词向量训练的目标语言使用对抗自动编码器。我们提出了初步的定性结果，并讨论了这种技术的未来可能的发展，如跨语言的句子表示的应用。
2016-08-09 cs.CL cs.LG cs.NE
Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation
The Hong Kong University of Science and Technology（香港科技大学）；University of Science and Technology of China（中国科学技术大学）
尽管在预训练语言模型方面取得了进展，但缺乏统一的预训练句子表示框架。因此，它需要针对特定场景的不同预训练方法，并且预训练模型可能受到其通用性和表示质量的限制。在这项工作中，我们扩展了最近提出的MAE风格的预训练策略，RetroMAE，这样它可以有效地支持各种各样的句子表示任务。扩展框架包括两个阶段，RetroMAE在整个过程中进行。第一阶段对通用语料库（如维基百科、BookCorpus等）执行RetroMAE，从中学习基本模型。第二阶段发生在特定于域的数据上，例如，MS MARCO和NLI，其中基础模型基于RetroMAE和对比学习进行持续训练。这两个阶段的预训练输出可以用于不同的应用，其有效性通过综合实验进行了验证。在BEIR基准测试中，基本模型对zero-shot检索是有效的。持续预训练的模型进一步有利于更多的下游任务，包括MS MARCO上的特定领域稠密检索，Natural Questions，以及SentEval中标准STS和迁移任务的句子嵌入质量。这项工作的经验性见解可能会启发未来的设计句子表征预训练。我们的预训练模型和源代码将向公众社区发布。
2022-07-30 cs.CL
Learning and Evaluating Sparse Interpretable Sentence Embeddings
ETH Zürich（苏黎世联邦理工学院）
之前对词嵌入的研究表明，稀疏表示可以在现有的密集嵌入之上学习，也可以在训练期间通过模型约束获得，具有增加可解释性的好处：在某种程度上，每个维度都可以被人类理解，并与数据中的可识别特征相关联。在本文中，我们把这个想法转移到句子嵌入，并探讨了几种方法来获得稀疏表示。我们进一步介绍了一种新的，定量的和自动化的评价指标句子嵌入可解释性，基于主题连贯性的方法。我们观察到增加的可解释性相比，密集的模型，电影对话的数据集和场景描述从MS COCO数据集。
2018-09-25 cs.CL
Interpretable Semantic Textual Similarity: Finding and explaining differences between sentences
UPV/EHU（巴斯克大学）
用户对人工智能代理的接受程度可能取决于它们解释其推理的能力，这需要添加一个可解释性层，以便于用户理解其行为。本文着重于在语义文本相似度（STS）之上增加一个可解释层，它衡量两个句子之间的语义等价程度。可解释性层被形式化为跨两个句子的片段对之间的对齐，其中片段之间的关系被标记有关系类型和相似性得分。我们提出了一个公开的数据集的句子对注释后的形式化。然后，我们开发了一个在这个数据集上训练的系统，给定一个句子对，以分级和类型化片段对齐的形式解释什么是相似的和不同的。当在数据集上进行评估时，系统的性能优于知情的基线，表明数据集和任务是定义良好且可行的。最重要的是，两个用户研究显示了系统输出如何用于自动生成自然语言的解释。用户在访问解释时表现更好，提供了初步证据，证明我们的数据集和自动生成解释的方法在实际应用中是有用的。
2016-12-14 cs.AI cs.CL cs.LG
Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders
LIX (École Polytechnique, IP Paris, CNRS)（LIX（巴黎理工学院，IP巴黎，CNRS））；LIPN (Sorbonne Paris Nord)（LIPN（巴黎-索邦大学北校区））
本文提出ClassifSAE模型，通过稀疏自编码器提升文本分类中特征的因果性和可解释性。
2026-02-20 cs.CL
Interpretable Research Replication Prediction via Variational Contextual Consistency Sentence Masking
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
研究复制预测（RRP）是预测已发表的研究成果是否可以复制的任务。为RRP构建一个可解释的神经文本分类器，可以促进对研究论文被预测为可复制或不可复制的原因的理解，从而使其在现实世界中的应用更加可靠和值得信赖。然而，以往的模型解释工作主要集中在提高模型在词/短语水平的可解释性，这是不够的，特别是在长的研究论文RRP。此外，现有的方法不能利用大量的未标记数据集来进一步提高模型的可解释性。为了解决这些局限性，我们的目标是构建一个可解释的神经模型，该模型可以提供高级解释，并应用弱监督方法来进一步利用大型未标记数据集语料库来提高可解释性，同时提高预测性能。在这项工作中，我们提出了变分上下文一致性句子掩蔽（VCCSM）方法自动提取关键句子的基础上，在分类器中的上下文，使用标记和未标记的数据集。我们的实验结果RRP与欧洲人权公约（ECHR）数据集表明，VCCSM是能够提高模型的可解释性的长文档分类任务使用的扰动曲线和事后准确性作为评估指标的面积。
2022-03-28 cs.CL
Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech
University of California, Berkeley（加州大学伯克利分校）
本文通过稀疏自编码器分析基于LLM的TTS模型中的情感相关潜在特征，提出特征级干预框架实现双向情感诱导与抑制，无需修改模型参数。
2026-05-31 cs.CL
Text Modeling with Syntax-Aware Variational Autoencoders
University of California, Santa Barbara（加州大学圣巴巴拉分校）
句法信息包含了关于文本句子如何排列的结构和规则。将语法转换为文本建模方法可能对表示学习和生成都有好处。变分自编码器（VAE）是一种深度生成模型，它提供了一种概率性的方式来描述潜在空间中的观测。当应用于文本数据时，潜在表示通常是非结构化的。我们提出了语法感知的变分自编码器（SAVAE），专用的子空间中的潜在维度被称为语法潜在代表句子的语法结构。SAVAE被训练为从文本输入或解析的语法结果中推断句法潜变量，以及用推断的潜变量重建原始文本。实验表明，SAVAE能够实现较低的重建损失在四个不同的数据集。此外，它们能够生成具有修改的目标语法的示例。
2019-08-27 cs.CL
Learning Multilingual Word Representations using a Bag-of-Words Autoencoder
Université de Sherbrooke（舍布鲁克大学）
最近学习多语言单词表示的工作通常依赖于在翻译的句子之间使用单词级别的嵌入（例如，在GIZA++的帮助下推断），以便对齐不同语言中的词嵌入。在这篇研讨会论文中，我们研究了一个用于学习多语言单词表示的自动编码器模型，该模型不需要这样的单词级表示。自动编码器被训练为从从其翻译中提取的编码表示中重建给定句子的词袋表示。我们评估我们的方法上的多语言文档分类任务，标记的数据只适用于一种语言（如英语），而分类必须在不同的语言（如法语）。在我们的实验中，我们观察到，我们的方法与以前提出的利用单词级对齐来学习单词表示的方法相比是有利的。
2014-01-08 cs.CL cs.LG stat.ML
Unsupervised Natural Language Generation with Denoising Autoencoders
Google AI（谷歌人工智能）
从结构化数据生成文本对于诸如问答和对话系统的各种任务是重要的。我们表明，在至少一个领域，没有任何监督，只基于未标记的文本，我们能够建立一个自然语言生成（NLG）系统具有更高的性能比监督的方法。在我们的方法中，我们将结构化数据解释为所需输出的损坏表示，并使用去噪自动编码器来重建句子。我们展示了如何将噪声引入不包含结构化数据的训练样本中，并且当给定结构化数据时，所得到的去噪自动编码器可以泛化以生成正确的句子。
2018-08-24 cs.CL
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
当前的抽象摘要模型要么缺乏清晰的可解释性，要么只突出显示源文档的一部分，从而提供不完整的基本原理。为此，我们提出了总结程序（SP），一个可解释的模块化框架，包括一个（有序）的二叉树列表，每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点，并且不同的树将每个摘要句子（根结点）连接到从其导出的文档句子（叶节点），其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作，例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法，在神经模块，SP-Search，识别SP的人类摘要直接优化ROUGE分数。接下来，使用这些程序作为自动监督，我们提出了seq 2seq模型，生成摘要程序，然后执行这些程序以获得最终摘要。我们证明，SP-Search有效地代表了人类总结背后的生成过程，使用通常忠实于其预期行为的模块。我们还进行了模拟研究，以表明摘要程序提高了摘要模型的可解释性，允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步，这是一项复杂的任务，以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
Topic-Guided Variational Autoencoders for Text Generation
Duke University（杜克大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Infinia ML, Inc（英菲尼亚机器学习公司）；University at Buffalo（布法罗大学）
本文提出了一种基于主题的变分自编码器（TGVAE）文本生成模型。不同于现有的变分自编码器（VAE）为基础的方法，假设一个简单的高斯先验的潜在代码，我们的模型指定的高斯混合模型（GMM）参数化的神经主题模块的先验。每个混合成分对应于一个潜在主题，该主题为生成主题下的句子提供指导。我们模型中的神经主题模块和基于VAE的神经序列模块是联合学习的。特别是，可逆Householder变换的序列被应用于赋予近似后验的潜在代码具有高度的灵活性，在模型推理。实验结果表明，我们的TGVAE优于其他方法在无条件和有条件的文本生成，它可以生成语义有意义的句子与各种主题。
2019-03-17 cs.CL
