Cross-Domain Latent Modulation for Variational Transfer Learning
University of Otago（奥塔哥大学）
我们提出了一个跨域的潜在调制机制内的变分自编码器（VAE）的框架，使改进的迁移学习。我们的主要思想是从一个数据域获取深度表示，并将其用作另一个域中潜在变量的重新参数化的扰动。具体而言，源域和目标域的深度表示首先由统一的推理模型提取，并通过采用梯度反转进行对齐。其次，学习的深度表示被交叉调制到替代域的潜在编码。然后强制执行从调制的潜在编码的重构与使用深度表示样本的生成之间的一致性，以便在潜在空间中产生类间对齐。我们将所提出的模型应用于一些迁移学习任务，包括无监督的领域自适应和图像到图像的翻译。实验结果表明，我们的模型具有竞争力的性能。
2020-12-21 cs.AI cs.LG
Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks
University of Chicago（芝加哥大学）
最近的工作提出了对深度神经网络（DNN）进行后门攻击的概念，其中错误行为隐藏在“正常”模型中，仅由非常特定的输入触发。然而，在实践中，这些攻击难以执行，并且受到通过迁移学习共享模型的高度约束。对手有一个很小的窗口，在此期间，他们必须在部署学生模型之前对其进行破坏。在本文中，我们描述了一个更强大的变种后门攻击，潜在的后门，其中隐藏的规则可以嵌入到一个单一的“教师”模型，并自动继承所有的“学生”模型通过迁移学习过程。我们表明，潜在的后门可以在各种应用环境中非常有效，并通过对交通标志识别，实验室志愿者的虹膜识别和公众人物（政治家）的面部识别的现实世界的攻击验证其实用性。最后，我们评估了4种潜在的防御措施，发现只有一种可以有效地破坏潜在的后门，但可能会导致分类准确性的代价。
2019-05-24 cs.CR cs.LG
ClearPose: Large-scale Transparent Object Dataset and Benchmark
University of Michigan（密歇根大学）
透明物体在家庭环境中无处不在，并对视觉传感和感知系统提出了独特的挑战。透明物体的光学特性使得传统的3D传感器对于物体深度和姿态估计不可靠。这些挑战突出表现在缺乏大规模的RGB-Depth数据集，专注于现实世界中的透明对象。在这项工作中，我们贡献了一个名为ClearPose的大规模真实世界RGB-Depth透明对象数据集，作为分割，场景级深度完成和以对象为中心的姿态估计任务的基准数据集。ClearPose数据集包含超过35万个标记的真实世界RGB深度帧和500万个实例注释，覆盖63个家庭对象。该数据集包括在各种照明和遮挡条件下日常生活中常用的对象类别，以及具有挑战性的测试场景，例如不透明或半透明对象的遮挡情况，非平面方向，液体的存在等。我们在ClearPose上对几个最先进的深度完成和对象姿势估计深度神经网络进行基准测试。数据集和基准源代码可在https://github.com/opipari/ClearPose上获得。
2022-07-21 cs.CV cs.RO
Exploring Accurate and Transparent Domain Adaptation in Predictive Healthcare via Concept-Grounded Orthogonal Inference
Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, United States（斯蒂文斯理工学院计算机科学系）；UMass Chan Medical School, University of Massachusetts Amherst, Amherst, MA, United States（马萨诸塞大学阿默斯特分校UMass Chan医学学校）
提出ExtraCare模型，通过将患者表示分解为不变和协变分量并强制正交，在保留标签信息的同时暴露域特定变异，实现准确预测并提供基于医疗概念的可解释性。
2026-06-08 cs.AI cs.LG
Inferring Latent Domains for Unsupervised Deep Domain Adaptation
无监督领域自适应（UDA）是指通过利用来自源域中的注释数据的信息来学习目标域中的模型的问题，其中标记数据不可用。大多数深度UDA方法在单源、单目标场景中操作，即它们假设源和目标样本来自单个分布。然而，在实践中，大多数数据集可以被视为多个域的混合物。在这些情况下，利用传统的单源、单目标方法来学习分类模型可能会导致效果不佳。此外，通常很难为所有数据点提供域标签，即应该自动发现潜在域。本文介绍了一种新的深度架构，它通过自动发现视觉数据集中的潜在域并利用这些信息来学习鲁棒的目标分类器来解决UDA问题。具体来说，我们的架构基于两个主要组件，即自动计算每个样本到其潜在域的分配的侧分支和利用域成员信息将CNN内部特征表示的分布与参考分布适当对齐的新层。我们评估我们的方法公开可用的基准，表明它优于国家的最先进的领域自适应方法。
2021-03-25 cs.CV
Deep Thought Alignment: Trajectory-Level Latent Distillation for Video Reasoning
针对视频推理LMMs的高计算成本问题，提出Latent-OPD方法，通过轨迹级潜在知识蒸馏与渐进式教师前瞻策略提升轻量模型性能，在6个基准上优于仅输出监督的OPD。
2026-09-02 cs.AI cs.CL cs.CV
VQalAttent: a Transparent Speech Generation Pipeline based on Transformer-learned VQ-VAE Latent Space
Rowan University（罗文大学）
本文提出轻量级语音生成模型VQalAttent，通过VQ-VAE压缩音频频谱图并结合仅解码器Transformer学习离散潜在表示，在有限计算资源下生成可理解语音，并为更大规模商用生成模型提供可解释的改进指导。
2024-11-22 cs.LG eess.AS
An Interpretable Alternative to Neural Representation Learning for Rating Prediction -- Transparent Latent Class Modeling of User Reviews
NEC Labs Europe（欧洲 NEC 实验室）；University of Birmingham（伯明翰大学）；Goethe University Frankfurt（法兰克福大学）；SUSTech（南方科技大学）
本文针对推荐系统中神经表示学习黑箱化问题，提出基于评论文本对用户与产品潜类别进行拓扑组织的透明概率模型，并证明其在评分预测上可取得具竞争力的性能与更强可解释性。
2024-07-02 cs.AI cs.IR cs.LG
Sparse Latent Factor Forecaster (SLFF) with Iterative Inference for Transparent Multi-Horizon Commodity Futures Prediction
PhD（博士）
SLFF通过稀疏编码、迭代细化和编码器对齐，提升多时段商品期货预测的透明性和可解释性。
2026-02-15 cs.AI cs.CE cs.LG
A Field Guide to Scientific XAI: Transparent and Interpretable Deep Learning for Bioinformatics Research
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所（A2I2））；Deakin University（迪肯大学）
深度学习因其在预测任务中实现高精度的潜力而变得流行。然而，准确性并不总是统计建模的唯一目标，特别是对于作为科学研究一部分开发的模型。相反，许多科学模型是为了促进科学发现而开发的，我们的意思是抽象出人类可以理解的自然世界的表示。不幸的是，深度神经网络的不透明性限制了它们在科学发现中的作用，从而产生了对透明可解释模型的新需求。本文是透明模型设计的现场指南。它提供了透明模型设计概念的分类，将设计概念付诸实践的实用工作流，以及报告设计选择的通用模板。我们希望这个领域指南将帮助研究人员更有效地设计透明的可解释模型，从而使他们能够使用深度学习进行科学发现。
2021-10-13 cs.AI cs.LG q-bio.GN
Towards Governing Agent's Efficacy: Action-Conditional $β$-VAE for Deep Transparent Reinforcement Learning
Seoul National University（首尔国立大学）；Samsung Electronics（三星电子）
我们在强化学习（RL）的设置中解决了深度神经网络的黑盒问题，其中神经代理以不可控的方式学习最大化奖励收益。当交互环境包括广阔的状态空间时，这种学习方法是有风险的，因为几乎不可能预见所有不想要的结果并预先用负奖励惩罚它们。与以前的作品中学习的神经功能的反向分析不同，我们提出的方法\nj{tackles the blackbox issue by encouraging}是一个RL策略网络，通过实现一个解纠缠的表示学习方法来学习可解释的潜在特征。为此，我们的方法允许RL代理通过将其影响与不可控的环境因素区分开来来理解自我效能，这与人类理解场景的方式非常相似。我们的实验结果表明，学习的潜在因素不仅是可解释的，而且还可以建模整个访问状态空间的分布与特定的动作条件。我们已经实验表明，拟议结构的这一特征可以导致对RL代理的期望行为进行事后治理。
2018-11-11 cs.AI cs.LG stat.ML
Stop overkilling simple tasks with black-box models and use transparent models instead
本文指出深度学习虽能自动提取特征并提升准确率，但不应过度用于简单任务，主张改用透明模型以替代黑盒模型。
2023-09-18 cs.CV cs.LG
Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London（伦敦大学学院）；Faculty（学院）
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而，基于变分自编码器（VAE）训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的，非基于似然的框架，用于训练具有吸引人的理论属性的生成模型，原则上允许分布之间更容易的训练收敛。在这项工作中，我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构，而不需要高度定制的模型和推理网络。我们表明，我们的方法使生成模型能够充分利用其深层的潜在层次结构，避免了VAE的众所周知的“潜在变量崩溃”问题;因此，提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
TrajSurv: Learning Continuous Latent Trajectories from Electronic Health Records for Trustworthy Survival Prediction
Department of Biomedical Informatics and Medical Education University of Washington（生物医学信息学与医学教育系，华盛顿大学）；Fred Hutch Cancer Center（Fred Hutch癌症中心）；Department of Biomedical Informatics Harvard University（生物医学信息学系，哈佛大学）
针对电子健康记录不规则采样下临床进展建模与生存预测透明度不足的问题，提出TrajSurv模型，结合NCDE、时间感知对比学习与分治解释实现可信生存预测，在两个真实数据集上准确率具竞争力且透明度更优。
2025-08-01 cs.LG
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Benefiting Deep Latent Variable Models via Learning the Prior and Removing Latent Regularization
National Chiao Tung University（台湾交通大学）
存在许多形式的深层潜变量模型，例如变分自编码器和对抗自编码器。无论模型的具体类别如何，都存在一个隐含的共识，即潜在分布应该朝着先验进行正则化，即使在先验分布被学习的情况下也是如此。在研究潜在正则化对图像生成的影响时，我们的结果表明，在学习了充分表达的先验知识的情况下，潜在正则化是不必要的，并且实际上可能对图像质量有害。我们还研究了在计算机视觉中两个常见问题上学习先验知识的好处：潜变量解纠缠和图像到图像翻译的多样性。
2020-07-16 cs.LG stat.ML
High Fidelity Image Synthesis With Deep VAEs In Latent Space
我们提出了快速，逼真的图像生成的高分辨率，多模态数据集使用分层变分自编码器（VAE）上训练的确定性自编码器的潜在空间。在这个两阶段的设置中，自动编码器将图像压缩为其语义特征，然后使用深度VAE对其进行建模。通过这种方法，VAE避免了对构成图像代码长度大部分的细粒度细节进行建模，从而使其能够专注于学习其结构组件。我们证明了我们的两阶段方法的有效性，在ImageNet-256数据集上实现了9.34的FID，与BigGAN相当。我们在线提供我们的实施。
2023-03-23 cs.CV cs.LG eess.IV
Closed-Loop Robotic Manipulation of Transparent Substrates for Self-Driving Laboratories using Deep Learning Micro-Error Correction
本文提出了一种闭环机器人操作方法，利用深度学习和计算机视觉技术，实现对透明基质的高精度处理和误差自动纠正，提升自驾车实验室的自动化水平。
2025-12-04 cs.LG cs.RO
A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University（哈佛大学）
最近有很多令人兴奋的工作，将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束，而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架，但存在困难：条件似然的深层参数化通常使后验推理变得棘手，而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel（巴塞尔大学）
深度潜变量模型是表示学习的强大工具。在本文中，我们采用了深度信息瓶颈模型，找出其缺点，并提出了一个模型，规避他们。为此，我们应用Copula变换，通过恢复信息瓶颈方法的不变性，导致潜在空间中的特征的解纠缠。在此基础上，我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Planning from Images with Deep Latent Gaussian Process Dynamics
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
规划是一种强有力的方法来控制已知的环境动态问题。在未知的环境中，智能体需要学习系统动力学模型，以使规划适用。当底层状态只能通过图像间接观察时，这尤其具有挑战性。我们建议学习一个深度潜在高斯过程动力学（DLGPD）模型，该模型从环境与视觉观察的交互中学习低维系统动力学。该方法使用神经网络从观测值推断潜在状态表示，并使用高斯过程在学习的潜在空间中对系统动态进行建模。模型的所有部分可以通过优化图像空间中过渡可能性的下限来联合训练。我们评估所提出的方法上的钟摆摆动的任务，同时使用学习的动力学模型规划在潜在的空间，以解决控制问题。我们还证明，我们的方法可以快速适应一个受过训练的代理在系统动态的变化，从几个推出。我们将我们的方法与最先进的纯深度学习方法进行比较，并展示了将高斯过程与深度学习相结合以提高数据效率和迁移学习的优势。
2020-05-07 cs.CV cs.LG stat.ML
Deep Latent Factor Model for Collaborative Filtering
University of Paris-Est（巴黎东部大学）
潜在因素模型在基于协同过滤的推荐系统中得到了广泛的应用。近年来，深度学习已经成功地解决了各种各样的机器学习问题。受深度学习成功的启发，我们提出了一个更深版本的潜在因素模型。基准数据集上的实验表明，我们提出的技术显着优于所有国家的最先进的协同过滤技术。
2019-12-10 cs.IR cs.LG stat.ML
Interpretable Latent Variables in Deep State Space Models
Cornell University（康奈尔大学）
我们介绍了一个新版本的深度状态空间模型（DSSMs），它结合了一个循环神经网络的状态空间框架来预测时间序列数据。该模型将观察到的序列估计为随时间非线性演变的潜在变量的函数。由于DSSM固有的复杂性和非线性，以前的DSSM工作通常会产生非常难以解释的潜在变量。我们的论文专注于产生可解释的潜在参数，有两个关键的修改。首先，我们通过将响应变量限制为潜变量加上一些噪声的线性变换来简化预测解码器。其次，我们利用收缩先验的潜变量，以减少冗余和提高鲁棒性。这些变化使潜变量更容易理解，并允许我们将产生的潜变量解释为线性混合模型中的随机效应。我们通过两个公共基准数据集表明，所产生的模型提高了预测性能。
2022-05-19 cs.LG stat.ML
Deep equilibrium models as estimators for continuous latent variables
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
主成分分析（PCA）及其指数族扩展有三个组成部分：观测值，潜在值和线性变换的参数。我们考虑一个广义的设置，其中的典型参数的指数家庭是一个非线性变换的潜伏期。我们显示特定的神经网络架构和相应的统计模型之间的显式关系。我们发现，深层平衡模型-最近推出的一类隐式神经网络-解决最大后验概率（MAP）估计的潜在的和参数的转换。我们的分析提供了一个系统的方法来关联激活函数，辍学，和层结构，统计假设的意见，从而提供了无监督DEQ的基本原则。对于分层潜伏期，单个神经元可以被解释为深度图形模型中的节点。我们的DEQ特征图是端到端可区分的，可以为下游任务进行微调。
2022-11-11 cs.LG stat.ML
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University（埃默里大学）；University College London（伦敦大学学院）
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释，提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
Quantification of geogrid lateral restraint using transparent sand and deep learning-based image segmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出了一种实验技术，以量化的横向约束所提供的土工格栅嵌入粒状土壤中的颗粒水平。对透明砂试件进行了重复荷载三轴试验。使用基于深度学习的分割算法分割穿过样本的激光照射平面上的颗粒轮廓。颗粒轮廓的特征在于傅立叶形状描述符，并在连续捕获的图像中跟踪。粒子位移测量的准确性针对数字图像相关（DIC）测量进行了验证。此外，该方法的分辨率和重复性。基于测量的粒子位移和旋转，确定了每个测试的可能和不可能粒子运动之间的状态边界线。可能运动区的大小可用于量化夹杂物提供的横向约束。总体而言，试验结果表明，土工合成材料夹杂物限制了颗粒位移和旋转。然而，粒子的位移被发现比旋转更显着的抑制。最后，一个独特的关系被发现之间的永久应变的标本和可能的运动区的大小的大小。
2023-01-17 cs.LG physics.geo-ph
DeepMDP: Learning Continuous Latent Space Models for Representation Learning
Google Brain（谷歌大脑）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多强化学习（RL）任务为智能体提供了可以简化为低维连续状态的高维观测。为了将这个过程形式化，我们引入了DeepMDP的概念，DeepMDP是一种参数化的潜在空间模型，通过最小化两个易于处理的损失来训练：预测奖励和预测下一个潜在状态的分布。我们表明，这些目标的优化保证了（1）作为状态空间表示的潜在空间的质量和（2）作为环境模型的DeepMDP的质量。我们将这些结果连接到互模拟文献中的先前工作，并探索各种度量的使用。我们的理论研究结果得到了实验结果的证实，经过训练的DeepMDP恢复了合成环境中高维观测的潜在结构。最后，我们表明，在Atari 2600域中学习DeepMDP作为辅助任务，与无模型RL相比，性能得到了很大的提高。
2019-06-06 cs.LG stat.ML
Identifying Metric Structures of Deep Latent Variable Models
Technical University of Denmark（丹麦技术大学）；University of British Columbia（不列颠哥伦比亚大学）
针对深度潜变量模型潜表示不可识别的问题，本文提出改变目标，转而识别潜变量间的度量关系（如距离、角度和体积），并在宽松条件下无需标签数据证明了其可行性，为提取可信结论提供了原则性路径。
2025-05-30 cs.LG stat.ML
On original and latent space connectivity in deep neural networks
Imperial College London（帝国理工学院）
本研究探讨深度神经网络中同类输入在原始或潜在空间是否存在连续路径，并证明在所有研究案例中此类路径均存在，对可解释性与鲁棒性有重要意义。
2023-11-12 cs.CV cs.LG
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
DeepMind（深度思维）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（RL）算法可以使用高容量深度网络直接从图像观察中学习。然而，这些高维观测空间在实践中提出了许多挑战，因为该策略现在必须解决两个问题：表示学习和任务学习。在这项工作中，我们分别解决这两个问题，通过显式学习可以加速图像的强化学习的潜在表示。我们提出了随机潜在行动者-评论家（SLAC）算法：一个样本高效和高性能的RL算法，用于直接从高维图像输入学习复杂连续控制任务的策略。SLAC提供了一种新的原则性方法，通过学习紧凑的潜在表示，然后在模型的学习潜在空间中执行RL，将随机序列模型和RL统一为一种方法。我们的实验评估表明，我们的方法优于无模型和基于模型的替代品的最终性能和样本效率，在一系列困难的基于图像的控制任务。我们的代码和我们的结果的视频可在我们的网站。
2020-10-26 cs.AI cs.LG stat.ML
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah（犹他大学）；Kahlert School of Computing（卡勒特计算机学院）；SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦，发现表示生成因子的潜向量，解决潜变量未与潜轴对齐的问题，并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers
Department of Statistics, Columbia University（哥伦比亚大学统计系）
针对深度生成模型不可识别和不可解释的问题，提出具有二元潜层的深度离散编码器（DDE），通过可识别性条件和谱初始化加惩罚EM算法，实现层次主题建模、图像表示学习和响应时间建模。
2025-08-06 cs.LG stat.ME stat.ML
TrIMS: Transparent and Isolated Model Sharing for Low Latency Deep LearningInference in Function as a Service Environments
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
深度神经网络（DNN）已成为低延迟功能即服务（FaaS）预测管道中的核心计算组件：包括图像识别、对象检测、自然语言处理、语音合成和个性化推荐管道。云计算作为企业和消费者应用程序的现代计算基础设施的事实上的骨干，必须能够处理用户定义的各种DNN推理工作负载的管道，同时保持隔离和延迟保证，并最大限度地减少资源浪费。目前用于保证FaaS内隔离的解决方案是次优的-遭受“冷启动”延迟。这种低效率的主要原因是需要在服务器内和服务器之间移动大量的模型数据。我们提出TrIMS作为解决这些问题的新型解决方案。我们提出的解决方案包括一个跨GPU、CPU、本地存储和云存储层次结构的持久模型存储、一个提供隔离的高效资源管理层以及一组简洁的应用程序API和容器技术，可轻松透明地与FaaS、深度学习（DL）框架和用户代码集成。我们通过将TrIMS与Apache MXNet框架连接来展示我们的解决方案，并展示了图像分类模型的延迟加速高达24倍，大型模型的加速高达210倍。我们实现了高达8倍的系统吞吐量提升。
2018-11-24 cs.DC cs.LG
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Deep Latent-Variable Kernel Learning
Dalian University of Technology（大连理工大学）；Nanyang Technological University（南洋理工大学）
深度内核学习（DKL）利用高斯过程（GP）和神经网络（NN）之间的连接来构建端到端的混合模型。它结合了NN在海量数据下学习丰富表示的能力和GP的非参数属性，以实现自动正则化，并在模型拟合和模型复杂性之间进行权衡。然而，确定性编码器可能会削弱后续GP部分的模型正则化，特别是在小数据集上，由于自由的潜在表示。因此，我们提出了一个完整的深度潜变量核学习（DLVKL）模型，其中潜变量执行正则化表示的随机编码。我们从两个方面进一步增强DLVKL：（i）通过神经随机微分方程（NNDV）表达变分后验以提高逼近质量，以及（ii）混合先验从NNDV先验和后验中获取知识以达到灵活的权衡。密集的实验表明，DLVKL-NARDING在小数据集上的表现与校准良好的GP相似，在大数据集上的表现优于现有的深度GP。
2020-08-19 cs.LG stat.ML
DeepKoCo: Efficient latent planning with a task-relevant Koopman representation
Delft University of Technology（代尔夫特理工大学）
本文介绍了DeepKoCo，一种新的基于模型的代理，从图像中学习潜在的Koopman表示。这种表示允许DeepKoCo使用线性控制方法（例如线性模型预测控制）进行有效规划。与传统代理相比，DeepKoCo学习任务相关的动态，这要归功于使用定制的有损自动编码器网络，该网络允许DeepKoCo学习潜在动态，仅重建和预测观察到的成本，而不是所有观察到的动态。正如我们的研究结果所示，DeepKoCo在复杂的控制任务中实现了与传统无模型方法相似的最终性能，同时对干扰物动力学具有更强的鲁棒性，使所提出的代理更适合于现实生活中的应用。
2021-09-24 cs.CV cs.LG cs.RO
Towards Transparent Application of Machine Learning in Video Processing
BBC（英国广播公司）；Dublin City University（都柏林城市大学）；Queen Mary University of London（伦敦玛丽女王大学）
由于深度学习的突破，用于更有效的视频压缩和视频增强的机器学习技术已经开发出来。新技术被认为是人工智能（AI）的高级形式，带来了以前无法预见的能力。然而，它们通常以资源饥渴的黑盒子的形式出现（过于复杂，内部工作几乎不透明）。因此，它们的应用可能是不可预测的，并且对于大规模使用（例如在现场直播中）通常是不可靠的。这项工作的目的是理解和优化视频处理应用程序中的学习模型，以便以更值得信赖的方式使用包含它们的系统。在这种情况下，所提出的工作介绍了简化学习模型的原则，旨在提高视频制作和分发应用程序的机器学习的透明度。这些原则在视频压缩示例中得到了演示，展示了如何通过简化相关的深度学习模型来实现比特率节省和复杂性降低。
2021-05-27 cs.CV cs.LG cs.MM
Deep Latent Defence
Imperial College London（帝国理工学院）；Airbus（空中客车公司）
深度学习方法在从计算机视觉到自然语言处理的一系列任务中表现出了最先进的性能。然而，众所周知的是，这样的系统容易受到攻击者的攻击，这些攻击者精心制作输入以引起错误分类。攻击者为了引起这种错误分类而需要引入的扰动水平可以非常小，并且通常是不可感知的。这是一个重大的安全问题，特别是在错误分类可能对人类造成伤害的情况下。因此，我们提出了Deep Latent Defense，这是一种旨在将对抗训练与检测系统相结合的架构。深度潜伏防御的核心是一个经过对抗训练的神经网络。一系列编码器在数据通过网络时获取数据的中间层表示，并将其投影到一个潜在空间，我们使用该空间通过$k$ -nn分类器检测对抗样本。我们目前的结果使用灰盒和白盒攻击者，以及自适应$L_{\infty}$有界攻击，这是专门为尝试和逃避我们的防御。我们发现，即使在我们研究过的最强攻击者模型下，我们的防御也能够提供显着的防御优势。
2020-09-27 cs.LG stat.ML
Estimating Stochastic Poisson Intensities Using Deep Latent Models
Purdue University（普渡大学）
提出了一种估计重随机泊松过程随机强度的方法。交通痕迹的统计和理论分析表明，这些过程是适当的模型，高强度的交通到达一系列的服务系统。驱动交通模型的潜在随机强度过程的统计估计涉及到一个相当复杂的非线性滤波问题。我们开发了一种新的模拟方法，使用深度神经网络来近似随机强度过程引起的路径测量，用于解决这个非线性滤波问题。我们的模拟研究表明，该方法是相当准确的样本内估计和无限服务器队列的样本外性能预测任务。
2020-07-23 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
A Softmax-free Loss Function Based on Predefined Optimal-distribution of Latent Features for Deep Learning Classifier
Shanghai University（上海大学）
在模式分类领域，深度学习分类器的训练多为端到端学习，而损失函数是对网络最终输出（后验概率）的约束，因此Softmax的存在必不可少。在端到端学习的情况下，通常没有有效的完全依赖中间层特征的损失函数来约束学习，导致样本潜在特征的分布不是最优的，因此分类精度仍有提升空间。基于预定义均匀分布类质心的概念，提出了一种基于预定义最优潜在特征分布的Softmax自由损失函数-POD损失。该损失函数仅对样本的潜在特征进行约束，包括样本的潜在特征向量与预定义的均匀分布类的中心之间的范数自适应余弦距离，以及样本的潜在特征之间的相关性。最后，余弦距离用于分类。在几个典型的深度学习分类网络上对几个常用数据集进行的实验表明，与常用的Softmax Loss、一些典型的Softmax相关损失函数和PEDCC-Loss相比，POD Loss的分类性能始终显著更好，更容易收敛。代码可在https://github.com/TianYuZu/POD-Loss上找到。
2022-10-21 cs.CV cs.LG
A Deep Latent-Variable Model Application to Select Treatment Intensity in Survival Analysis
University of Toronto（多伦多大学）
在下面的短文中，我们采用了一种新的流行的机器学习模型来推断医疗数据集。我们的方法是基于变分自动编码器（VAE）的框架，我们适应生存分析的小数据集缺失值。在我们的模型中，真实的健康状况表现为一组影响观察到的协变量和生存机会的潜在变量。我们表明，这种灵活的模型允许有见地的决策，使用预测的分布和优于经典的生存分析模型。
2018-11-29 cs.LG stat.ML
DDLP: Unsupervised Object-Centric Video Prediction with Deep Dynamic Latent Particles
Technion - Israel Institute of Technology（以色列理工学院）；Electrical and Computer Engineering（电气与计算机工程学院）
提出基于深度潜粒子的对象中心视频预测算法DDLP，利用关键点表示实现高效可解释预测，并在多个数据集上达到最先进性能。
2024-02-08 cs.CV cs.LG
Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit
University of Illinois（伊利诺伊大学）
在深层潜高斯模型中，潜变量由时间非齐次马尔可夫链生成，在每个时间步，我们将当前状态通过参数非线性映射（如前馈神经网络），并添加一个小的独立高斯扰动。这项工作考虑了这种模型的扩散极限，其中层数趋于无穷大，而步长和噪声方差趋于零。极限潜在对象是一个Itô扩散过程，它求解一个随机微分方程（ε），其漂移和扩散系数由神经网络实现。我们开发了一个变分推理框架，这些\textit{neural SDEs}通过随机自动微分在Wiener空间中，其中的变分近似的后验得到的Girsanov（均值漂移）变换的标准Wiener过程和梯度的计算是基于随机流理论。这就允许使用黑盒解算器和自动微分进行端到端推理。实验结果与合成数据提供。
2019-10-28 cs.LG stat.ML
Deep Meditations: Controlled navigation of latent space
Department of Computing, Goldsmiths University of London（伦敦大学金史密斯学院计算机系）；Creative Computing Institute, University of the Arts, London（伦敦艺术大学创意计算学院）
我们介绍了一种方法，允许用户创造性地探索和导航深度生成模型的巨大潜在空间。具体来说，我们的方法使用户\textit{discover}和\textit{design} \textit{trajectories}在这些高维空间，构建故事，并产生基于时间的媒体，如视频- \textit{with meaningful control over narrative}。我们的目标是鼓励和帮助使用深度生成模型作为创造性表达和讲故事的媒介，并进行有意义的人类控制。我们的方法类似于传统的视频制作管道，因为我们使用传统的非线性视频编辑器与代理剪辑，并符合潜在空间向量的数组。在\url{http://deepmeditations.ai}中可以看到示例。
2020-02-27 cs.CV cs.HC cs.LG
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology（香港科技大学）；The Education University of Hong Kong（香港教育大学）
我们研究了变分自编码器的一个变体，其中在潜在特征之上存在离散潜在变量的上层结构。一般来说，我们的超结构是一个树结构的多个超级潜在的变量，它是自动学习的数据。当上层结构中只有一个潜在变量时，我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器（LTVAE）。以前的深度学习聚类方法只产生一个数据分区，而LTVAE产生多个数据分区，每个分区由一个超级潜在变量给出。这是可取的，因为高维数据通常具有许多不同的自然方面，并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Langevin Autoencoders for Learning Deep Latent Variable Models
The University of Tokyo（东京大学）
马尔可夫链蒙特卡罗（MCMC），如朗之万动力学，是有效的近似棘手的分布。然而，它的使用是有限的背景下，深潜变量模型由于昂贵的数据点采样迭代和缓慢的收敛。本文提出了摊销朗之万动力学（ALD），其中数据逐点MCMC迭代完全替换为更新的编码器，将观测映射到潜在变量。这种摊销实现了有效的后验采样，而无需逐数据点迭代。尽管它的效率，我们证明了ALD是有效的MCMC算法，其马尔可夫链的目标后验作为一个平稳分布在温和的假设。基于ALD，我们还提出了一个新的深层潜变量模型命名为Langevin自动编码器（LAE）。有趣的是，LAE可以通过稍微修改传统的自动编码器来实现。使用多个合成数据集，我们首先验证ALD可以正确地从目标后验子中获取样本。我们还评估了LAE的图像生成任务，并表明我们的LAE可以优于现有的方法的基础上变分推理，如变分自编码器，和其他MCMC为基础的方法在测试的可能性。
2022-10-11 cs.LG stat.ML
Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT LIDS（麻省理工学院信息与决策系统实验室）
在多智能体环境中学习竞争行为，比如赛车，需要对潜在的对抗性互动进行长期推理。本文提出了深度潜在竞争（DLC），一种新的强化学习算法，学习竞争的视觉控制策略，通过自我发挥的想象力。DLC代理想象多智能体交互序列的学习世界模型，结合了联合过渡函数与对手的观点预测的紧凑的潜在空间。想象中的自我游戏减少了现实世界中昂贵的样本生成，而潜在的表征使规划能够随着观察维度优雅地扩展。我们证明了我们的算法在学习竞争行为的有效性，一个新的多智能体赛车基准，需要规划从图像观察。代码和视频可在https://sites.google.com/view/deep-latent-competition获得。
2021-02-19 cs.AI cs.LG cs.RO
Deep Context-Aware Recommender System Utilizing Sequential Latent Context
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Telekom Innovation Laboratories at BGU（BGU德国电信创新实验室）；Stern School of Business, New York University（纽约大学斯特恩商学院）
上下文感知推荐系统（CARS）通过感知和分析用户上下文来提供个性化服务。将上下文添加到推荐模型是具有挑战性的，因为上下文的添加可能增加模型的维度和稀疏性。最近的研究表明，将上下文信息建模为潜在向量可以解决稀疏性和维度挑战。本文提出了一种新的序列上下文潜在建模方法，通过生成上下文信息序列并将其上下文空间压缩为一个压缩的潜在空间，对上下文信息序列进行训练，构造一个长短期记忆（LSTM）编码解码器网络，并从网络的隐藏层提取序列潜在上下文，以压缩表示序列数据。我们提出了新的上下文感知推荐模型，扩展了神经协同过滤方法，并学习用户，项目和上下文的潜在特征之间的非线性相互作用，考虑到顺序的潜在上下文表示作为推荐过程的一部分。我们使用两个具有不同上下文维度的上下文感知数据集部署了我们的方法。我们的研究结果的实证分析验证了我们提出的顺序潜在的上下文感知模型（SLCM），超越了最先进的CARS模型。
2020-08-06 cs.LG stat.ML
Deep Embedded Multi-View Clustering via Jointly Learning Latent Representations and Graphs
Institute of Electronic and Information Engineering of UESTC（电子科技大学电子信息工程研究院）；University of Electronic Science and Technology of China（电子科技大学）
借助深度学习模型的表示学习能力，深度嵌入式多视图聚类（MVC）在许多场景中实现了令人印象深刻的性能，并且近年来变得越来越流行。虽然在这一领域已经取得了很大的进展，大多数现有的方法只专注于学习的潜在表示，而忽略了学习的节点的潜在图也提供了可用的信息，聚类任务。为了解决这个问题，在本文中，我们提出了通过联合学习潜在表示和图形的深度嵌入式多视图聚类（DMVCJ），它利用潜在图从两个方面提高深度嵌入式MVC模型的性能。首先，通过联合学习潜在图和特征表示，图卷积网络（GCN）技术可用于我们的模型。由于GCN具有利用图和特征信息的能力，我们的模型的聚类性能得到了显着提升。其次，基于隐图中节点的邻接关系，设计了一种样本加权策略来缓解噪声问题，进一步提高了模型的有效性和鲁棒性。在不同类型的真实世界多视图数据集上的实验结果证明了DMVCJ的有效性。
2022-05-08 cs.LG
Leveraging the Exact Likelihood of Deep Latent Variable Models
IT University of Copenhagen（哥本哈根信息技术大学）
深度潜变量模型（DLVM）结合了深度神经网络的近似能力和生成模型的统计基础。变分方法通常用于推理;然而，这些模型的确切可能性在很大程度上被忽视了。这项工作的目的是研究这个量的一般性质，并说明如何在实践中利用它们。我们专注于重要的推理问题，依赖于可能性：估计和缺失数据插补。首先，我们研究了DLVMs的极大似然估计：特别是，我们证明了大多数用于连续数据的无约束模型具有无界的似然函数。这种有问题的行为被证明是模式崩溃的来源。我们还展示了如何确保最大似然估计的存在性，并与非参数混合模型建立了有用的联系。最后，我们描述了一个算法的缺失数据填补使用的深度潜变量模型的精确条件似然。在几个数据集上，我们的算法一致且显着优于用于DLVM的通常插补方案。
2018-06-28 cs.LG stat.ME stat.ML
A Deep Latent Variable Framework for Jointly Modeling Missingness, Measurement Error, and Heterogeneity
University of Alberta（阿尔伯塔大学）；University of Western Ontario（西安大略大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；University of Prince Edward Island（爱德华王子岛大学）
针对缺失数据、测量误差与异质性共存问题，提出整合树路由变分自编码器等的深度隐变量框架，模拟研究显示其性能优于现有深度生成插补方法。
2026-09-01 cs.LG stat.ML
Latent Space Refinement for Deep Generative Models
Heidelberg University（海德堡大学）；Université catholique de Louvain（鲁汶天主教大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型，并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的，并且具有许多内部潜在维度的情况，这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化（LaSeR）协议，重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Explicit Temporal Embedding in Deep Generative Latent Models for Longitudinal Medical Image Synthesis
University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学国立医院）
医学影像学在现代诊断和治疗中起着至关重要的作用。疾病或治疗进展的时间性质通常导致纵向数据。由于成本和潜在危害，获取深度学习所需的大型医疗数据集可能很困难。医学图像合成可以帮助缓解这个问题。然而，到目前为止，能够合成纵向体积数据的GANs的可用性有限。为了解决这个问题，我们利用基于潜在空间的图像编辑的最新进展，提出了一种新的联合学习方案，以显式地将时间依赖性嵌入到GANs的潜在空间中。与以前的方法相比，这使我们能够在有限的监督下合成连续，平滑和高质量的纵向体积数据。我们展示了我们的方法在三个包含不同纵向依赖关系的数据集上的有效性。也就是说，建模一个简单的图像变换，呼吸运动，肿瘤消退，同时显示最小的解开。该实现可在https://github.com/julschoen/Temp-GAN上在线获得。
2023-01-13 cs.CV cs.LG
