Convex Multitask Learning with Flexible Task Clusters
Hong Kong University of Science and Technology（香港科技大学）
传统上，多任务学习（MTL）假设所有的任务都是相关的。当任务确实不连贯时，这可能导致负迁移。最近，已经提出了许多方法，通过发现底层任务集群或关系来缓解这个问题。但是，它们仅限于在任务级别对这些关系进行建模，这在某些应用程序中可能会受到限制。在本文中，我们提出了一种新的MTL制定，捕捉任务的关系，在功能级别。该方法根据任务与特征之间的交互关系，为不同的特征构造不同的任务簇，甚至不需要预先指定簇的个数。在计算上，所提出的配方是强凸的，可以有效地解决加速邻近方法。实验进行了一些合成和真实世界的数据集。在不同程度的任务关系下，所提出的方法的准确性始终是最好的。此外，获得的特定功能的任务集群同意与已知的/合理的任务结构的数据。
2012-06-18 cs.LG stat.ML
Multitask Gaussian Process with Hierarchical Latent Interactions
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Future Network of Intelligence Institute（未来智能网络研究院）；Radboud University（拉德堡德大学）；Institute for Computing and Information Sciences（计算与信息科学研究所）
多任务高斯过程（MTGP）对于具有复杂关联模式的多任务联合学习具有很强的适应性。然而，由于附加独立的潜在功能的组装，所有目前的MTGP，包括显着的线性模型的coregionalization（LMC）和卷积框架不能有效地表示和学习其潜在功能之间的层次潜在的相互作用。在本文中，我们进一步研究了MTGP的LMC中的相互作用，然后提出了一种新的核表示的层次的相互作用，这改善了MTGP的表达性和可解释性。具体地说，我们表示的相互作用作为一个产品的功能相互作用和系数的相互作用。函数的相互作用是通过使用交叉卷积的潜在功能。LMCs之间的系数相互作用被描述为一个跨协区域化项。我们验证了考虑相互作用可以促进MTGP中的知识转移，并将我们的方法与合成和真实世界数据集上的一些最先进的MTGP进行了比较。
2021-10-02 cs.DS cs.LG stat.ML
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习（RL）的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要，其中构建未知环境的表示对于解决任务至关重要。在这里，我们介绍了Bootstrap Latents预测（PBL），这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上，并专注于捕获有关环境动态的结构化信息。具体来说，PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应，使智能体能够更多地了解环境动态的关键方面。此外，通过完全在潜在空间中定义预测任务，PBL提供了使用涉及像素图像，语言指令，奖励等多模态观察的灵活性。我们在实验中表明，PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
Co-Clustering for Multitask Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的多任务学习框架，学习任务之间的共享表示，将任务和功能集群。联合诱导的集群产生一个共享的潜在子空间，其中任务关系比最先进的多任务学习方法更有效，更普遍地学习。建议的一般框架，使更具体或限制国家的最先进的多任务方法的推导。本文还提出了一个高度可扩展的多任务学习算法，基于新的框架，使用共轭梯度下降和广义\textit{Sylvester equations}。在合成数据集和基准数据集上的实验结果表明，该方法系统地优于几种最先进的多任务学习方法。
2017-03-03 cs.LG stat.ML
Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction
Aston University（阿斯顿大学）；University of Sussex（萨塞克斯大学）；University of Birmingham（伯明翰大学）；Massachusetts Institute of Technology（麻省理工学院）
无处不在的线性高斯探索工具，如主成分分析（PCA）和因子分析（FA），仍然被广泛用作探索性分析，预处理，数据可视化和相关任务的工具。然而，由于它们的刚性假设，包括高维数据的拥挤，它们在许多设置中已被更灵活且仍可解释的潜在特征模型所取代。特征分配通常使用离散潜变量建模，假设其遵循参数Beta-Bernoulli分布或贝叶斯非参数先验。在这项工作中，我们提出了一个简单易行的参数化特征分配模型，可以解决当前潜在特征分解技术的关键限制。新框架允许显式控制用于表达每个点的特征数量，并支持一组更灵活的分配分布，包括具有不同稀疏级别的特征分配。这种方法是用来推导出一种新的自适应因子分析（aFA），以及，自适应概率主成分分析（aPPCA）能够灵活的结构发现和降维的情况下，广泛的场景。我们推导出标准的吉布斯采样器，以及，期望最大化推理算法，收敛数量级更快的一个合理的点估计的解决方案。所提出的aPPCA模型的实用性证明了标准的PCA任务，如特征学习，数据可视化和数据白化。我们表明，aPPCA和aFA可以推断可解释的高级功能时，适用于原始MNIST和应用时，解释自动编码器功能。我们还展示了一个应用程序的aPPCA更强大的盲声源分离的功能磁共振成像（fMRI）。
2021-02-28 cs.LG math.ST stat.ML
Learnable Explicit Density for Continuous Latent Space and Variational Inference
MILA, Université de Montréal（蒙特利尔大学MILA）；Imagia Inc.（Imagia公司）；HEC Montréal（蒙特利尔高等商学院）
本文研究了变分自编码器（VAE）的两个方面：隐变量的先验分布及其相应的后验分布。首先，我们将VAE的学习分解为逐层的密度估计，并认为具有灵活的先验对样本生成和推理都是有益的。其次，我们分析了逆自回归流（逆AF）的家庭，并表明，通过进一步的改进，逆AF可以被用来作为任何复杂的后验的通用近似。我们的分析结果在一个统一的方法来参数化的VAE，而不需要限制自己使用阶乘高斯在潜在的真实空间。
2017-10-06 cs.AI cs.LG stat.ML
Saliency-Regularized Deep Multi-Task Learning
Emory University（埃默里大学）
多任务学习是一个框架，它强制多个学习任务共享知识，以提高他们的泛化能力。虽然浅层多任务学习可以学习任务关系，但它只能处理预定义的特征。现代深度多任务学习可以联合学习潜在特征和任务共享，但它们在任务关系上是模糊的。此外，它们还限制了哪些层和神经元应该在任务中共享，并且不能自适应地学习。为了应对这些挑战，本文提出了一种新的多任务学习框架，通过补充现有的浅层和深层多任务学习场景的优势，联合学习潜在特征和显式任务关系。具体来说，我们建议建模的任务之间的相似性输入梯度的任务关系，与他们的等价性的理论分析。此外，我们创新性地提出了一个多任务学习目标，明确学习任务关系的一个新的正则化。理论分析表明，由于所提出的正则化器的推广误差已减少。在多个多任务学习和图像分类基准测试上的实验表明，该方法有效、高效，并且在学习到的任务关系模式中具有合理性。
2022-07-03 cs.LG
EL3DD: Extended Latent 3D Diffusion for Language Conditioned Multitask Manipulation
Autonomous Intelligent Systems, University of Bonn（博恩大学自主智能系统）
本文提出EL3DD模型，通过结合视觉和文本输入，利用扩散模型生成精确的机器人轨迹，提升多任务操作的性能和长周期成功率。
2026-04-26 cs.AI cs.LG cs.RO
Multitask machine learning of collective variables for enhanced sampling of rare events
Harvard University（哈佛大学）
计算准确的反应速率是计算化学和生物学中的一个核心挑战，因为无偏分子动力学的自由能估计成本很高。在这项工作中，设计了一种数据驱动的机器学习算法，通过多任务神经网络学习集体变量，其中一个共同的上游部分将原子配置的高维数减少到低维的潜在空间，并且单独的下游部分将潜在空间映射到盆地类标签和势能的预测。由此产生的潜在空间被证明是一个有效的低维表示，捕捉反应的进展和指导有效的伞采样，以获得准确的自由能景观。该方法成功地应用于模型系统，包括5D Müller Brown模型，5D三阱模型和真空中的丙氨酸二肽。这种方法能够在复杂系统中实现能量控制反应的自动降维，提供了一个可以用有限数据训练的统一框架，并且优于单任务学习方法，包括自动编码器。
2020-12-07 cs.LG physics.chem-ph physics.comp-ph
Multitask Battery Management with Flexible Pretraining
IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；State Key Laboratory of Intelligent Green Vehicle and Mobility, School of Vehicle and Mobility, Tsinghua University（清华大学智能绿色车辆与交通全国重点实验室、车辆与运载学院）；School of Advanced Manufacturing and Robotics, National Engineering Laboratory for Big Data Analysis and Applications, Peking University（北京大学先进制造与机器人学院、大数据分析与应用技术国家工程实验室）
针对工业电池管理多任务数据异构、定制方法成本高的问题，提出灵活掩码自编码器FMAE预训练框架，可从异构数据学习统一表示，在少数据、通道缺失场景下仍优于现有任务特定方法，为高效多任务动态系统管理提供实用方案。
2025-09-01 cs.AI cs.LG
Flexible Example-based Image Enhancement with Task Adaptive Global Feature Self-Guided Network
ETH Zurich（苏黎世联邦理工学院）
我们提出了第一个实用的多任务图像增强网络，能够学习一对多和多对一的图像映射。我们表明，我们的模型在学习单个增强映射方面优于当前最先进的技术，同时具有比竞争对手少得多的参数。此外，通过利用共享表示，该模型在同时学习多个映射时实现了更高的性能。我们的网络是基于最近提出的SGN架构，修改的目标是纳入全球功能和风格适应。最后，我们提出了一种基于生成对抗网络（GANs）的多任务图像增强非配对学习方法。
2020-09-28 cs.CV cs.LG
Exact and general decoupled solutions of the LMC Multitask Gaussian Process model
EDF（法国电力公司）
本文提出了一种基于噪声模型假设的LMC多任务高斯过程模型的高效精确解法，通过解耦潜在过程，提高了计算效率，并通过实验验证了其在多任务贝叶斯优化中的应用价值。
2026-08-24 cs.LG stat.ML
Bayesian Sociality Models: A Scalable and Flexible Alternative for Network Analysis
针对潜在空间模型的可识别性难题，研究提出贝叶斯社会性模型，构建结合马尔可夫链蒙特卡洛与变分推断的贝叶斯推断框架，验证其在多类网络分析任务中的稳健性，为网络科学提供可扩展、可解释的通用工具。
2025-03-18 stat.CO stat.ME
Scalable predictive processing framework for multitask caregiving robots
National Institute of Neuroscience, National Center of Neurology and Psychiatry（国立精神·神经医疗研究中心 神经科学研究所）；Future Robotics Organization, Waseda University（早稻田大学未来机器人机构）；Department of Intermedia Art and Science, Waseda University（早稻田大学跨媒体艺术与科学系）
受人脑分层预测处理机制启发，提出基于自由能原理的分层多模态循环神经网络，可直接处理高维视觉-本体感觉输入，无需任务专用特征工程即可学习两项护理任务，验证了自组织动力学、视觉鲁棒性及多任务非对称干扰特性，为自主护理机器人研发提供新的通用计算原理。
2025-10-29 cs.AI cs.LG cs.RO
Combining Modular Skills in Multitask Learning
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Microsoft Research Montréal（微软研究院蒙特利尔）；Université de Montréal（蒙特利尔大学）
模块化设计鼓励神经模型将知识的不同方面分解和重组，以更系统地概括新任务。在这项工作中，我们假设每个任务都与一个（潜在的小）库存的潜在离散技能的子集。反过来，技能对应于参数有效（稀疏/低秩）模型参数化。通过联合学习这些和任务-技能分配矩阵，每个任务的网络被实例化为活动技能参数的平均值。为了支持跨任务的技能的非平凡的软分区，我们实验了一系列的归纳偏见，如印度自助餐过程之前和双速学习率。我们在两个主要设置上评估了我们的潜在技能模型：1）在BabyAI平台的8个级别上进行接地指令的多任务强化学习; 2）在CrossFit上对预训练的文本到文本生成模型进行Few-Shot调整，CrossFit是一个包含160个NLP任务的基准测试。我们发现，网络的模块化设计显着提高了强化学习中的样本效率和监督学习中的Few-Shot泛化，与具有完全共享的，特定于任务的或有条件生成的参数的基线相比，知识在任务中纠缠在一起。此外，我们展示了离散技能如何帮助可解释性，因为它们产生了明确的任务层次。
2022-03-01 cs.CL cs.LG
FlexCare: Leveraging Cross-Task Synergy for Flexible Multimodal Healthcare Prediction
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Medical Big Data Research Center, Chinese PLA General Hospital（中国人民解放军总医院医学大数据中心）
针对现有医疗多任务预测方法需完整标签、难适配多模态与多任务信息差异的问题，提出FlexCare模型，通过异步单任务拆解、任务无关信息提取与任务引导分层融合，实现灵活的多模态医疗预测，在多个数据集上验证了有效性。
2024-06-17 cs.AI cs.LG
Flexible Prior Distributions for Deep Generative Models
ETH Zurich（苏黎世联邦理工学院）
我们考虑用深度神经网络作为生成器来训练生成模型的问题，即将潜在代码映射到数据点。虽然占主导地位的范例结合了简单的先验代码与复杂的确定性模型，我们认为，它可能是有利的，使用更灵活的代码分布。我们演示了如何可以直接从数据中诱导这些分布。好处包括：更强大的生成模型，更好的潜在结构建模和显式控制的泛化程度。
2018-01-07 cs.LG stat.ML
Flexible and accurate inference and learning for deep generative models
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）
我们介绍了一种新的方法来学习分层潜变量生成模型称为“分布式分布式代码亥姆霍兹机”，它强调了推理过程中的灵活性和准确性。与原始的亥姆霍兹机和后来的变分自动编码器算法（但不像adverserial方法）一样，我们的方法学习一个显式的推理或“识别”模型来近似潜变量的后验分布。与这些早期的方法不同，后验表示不限于一个狭窄的易处理的参数化形式（也不是由样本表示）。为了训练生成和识别模型，我们开发了一个扩展的唤醒-睡眠算法的启发，原来的亥姆霍兹机。这使得学习具有离散和连续变量的分层潜在模型成为可能，其中准确的后验表示是必不可少的。我们证明了新算法优于目前最先进的方法合成，自然图像补丁和MNIST数据集。
2018-05-28 cs.LG stat.ML
Robustly overfitting latents for flexible neural image compression
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对神经图像压缩中潜变量优化不足的问题，提出SGA+方法（含三种基于SGA的细化技术），提升率失真性能，对超参数不敏感，并支持三类舍入。
2024-11-05 cs.CV cs.LG stat.ML
Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出 Sparse Diffusion Policy（SDP），通过在 transformer 扩散策略中引入 MoE 实现专家与技能的选择性激活，从而以极少活跃参数支持多任务、持续学习与任务迁移。
2024-10-24 cs.LG cs.RO
Efficient Inference of Flexible Interaction in Spiking-neuron Networks
Tsinghua University（清华大学）；University of Technology Sydney（悉尼科技大学）
Hawkes过程为分析神经元放电活动的时变相互作用提供了一个有效的统计框架。虽然在许多实际应用中使用，经典的霍克斯过程是无法模拟神经元之间的抑制性相互作用。相反，非线性霍克斯过程允许更灵活的影响模式与兴奋或抑制的相互作用。在本文中，三组辅助潜变量（Pólya-Gamma变量，潜在的标记泊松过程和稀疏变量）被增加，使功能连接权重的高斯形式，这允许一个简单的迭代算法与分析更新。因此，一个有效的期望最大化（EM）算法推导出获得最大后验（MAP）估计。我们证明了我们的算法的准确性和效率性能的合成和真实数据。对于真实的神经记录，我们表明我们的算法可以估计相互作用的时间动力学，并揭示可解释的功能连接的神经尖峰列车。
2021-02-20 cs.LG stat.ML
Predictive Uncertainty through Quantization
University of Amsterdam（阿姆斯特丹大学）
高风险领域需要预测模型的可靠置信度估计。深层潜变量模型提供了这些，但受到用于易处理的推理的刚性变分分布的影响，这在过度自信方面出错。我们提出了随机量化激活分布（SQUAD），它对离散化的潜变量施加了一个灵活而易于处理的分布。所提出的方法是可扩展的，自规范化和样本效率。我们证明了该模型充分利用了灵活的分布，学习有趣的非线性，并提供了竞争质量的预测不确定性。
2018-10-12 cs.LG stat.ML
ConfigX: Modular Configuration for Evolutionary Algorithms via Multitask Reinforcement Learning
South China University of Technology（华南理工大学）；Massachusetts Institute of Technology（麻省理工学院）；Singapore Management University（新加坡管理大学）
ConfigX提出一种基于多任务强化学习和模块化系统的通用进化算法配置框架，通过大规模预训练实现零样本泛化与终身学习，显著提升多种进化算法的性能。
2024-12-15 cs.LG cs.NE
Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach
American University of Beirut（贝鲁特美国大学）；Technical University of Denmark (DTU)（丹麦技术大学）
本研究提出一种基于混合模型的半非参数潜在类别选择模型，通过EM算法估计，实验证明该方法在提升预测精度和异质性表示的同时保留了行为与经济学可解释性。
2020-07-06 cs.LG econ.EM stat.ME
Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
我们提出了一个新的概念，无比率自动编码器（RL-AE），使一个灵活的潜在的维度，它可以无缝地调整不同的失真和维度的要求。在建议的RL-AE，而不是一个确定性的瓶颈架构，我们使用一个过完备的表示，是随机正则化加权辍学，在一种类似于稀疏AE（SAE）的方式。与SAE不同，我们的RL-AE在潜在表示节点上采用单调增加的退出率，使得潜在变量按重要性排序，如主成分分析（PCA）。这是由传统PCA的无比率属性激发的，其中最不重要的主成分可以被丢弃以实现可变速率降维，从而优雅地降低失真。相比之下，由于传统AE的潜变量对于数据重建同样重要，因此在训练AE模型之后不能简单地丢弃它们以进一步降低维度。我们提出的随机瓶颈框架可以实现无缝的速率自适应，具有高重建性能，而不需要在训练时预先确定潜在的维度。我们的实验表明，建议RL-AE可以实现可变的降维，同时实现低失真相比，传统的AE。
2020-05-06 cs.CV cs.LG eess.IV
Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations
Stanford University（斯坦福大学）；KAUST（阿卜杜拉国王科技大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）
具有黑箱模型的动态系统的端到端学习，例如神经常微分方程（ODE），提供了一个灵活的框架，用于从数据中学习动态，而无需为动态指定数学模型。不幸的是，这种灵活性是以理解动力系统为代价的，常微分方程在动力系统中被广泛使用。此外，实验数据在各种条件（输入）下收集，例如处理，或以某种方式分组，例如子群体的一部分。了解这些系统输入对系统输出的影响对于建立任何有意义的动态系统模型至关重要。为此，我们提出了一个结构化的潜在ODE模型，明确捕捉系统输入的变化，其潜在的代表。建立在一个静态的潜在变量规范，我们的模型学习（独立）的随机因素的变化，为每个输入到系统，从而分离的影响，系统输入的潜在空间。这种方法通过控制新的输入组合（或扰动）的时间序列数据的生成，提供了可操作的建模。此外，我们提出了一个灵活的方法来量化的不确定性，利用分位数回归制定。在具有挑战性的生物数据集上的结果显示，在观测数据的受控生成和有生物意义的系统输入的推断方面，与竞争性基线相比，有一致的改进。
2022-06-17 cs.LG stat.ML
MMPolymer: A Multimodal Multitask Pretraining Framework for Polymer Property Prediction
University of California, Davis（加利福尼亚大学戴维斯分校）；DP Technology（德璞科技）
提出多模态多任务预训练框架MMPolymer，结合1D序列与3D结构信息并引入Star Substitution策略，在聚合物性质预测任务中达到SOTA。
2024-07-26 cond-mat.soft cs.AI cs.LG
Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation
Chung-Ang University（中央大学）
本文提出 Topic-VQ-VAE，将 VQ-VAE 隐码本解释为概念词袋以构建生成式主题模型，可通过 BoW 与自回归生成等方式揭示数据结构并支持灵活的主题引导文档生成。
2024-01-21 cs.AI cs.CL cs.LG
Introducing Flexible Monotone Multiple Choice Item Response Theory Models and Bit Scales
Umeå University（于默奥大学）
提出用自动编码器拟合的单调多项选择IRT模型，并通过模拟与瑞典真实测验数据证明其拟合优于名义反应模型，同时引入可将潜在特质量表转为比率量表的比特量表。
2024-10-02 cs.LG stat.ME stat.ML
Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization
在本文中，我们介绍了一个概率模型学习非负矩阵分解（NMF），通常用于预测缺失值和发现隐藏模式的数据，其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负约束通过选择在非负子空间上具有支持度的先验来处理。贝叶斯推理过程的基础上吉布斯抽样。我们在几个真实世界的数据集上评估了该模型，包括具有不同大小和维度的MovieLens 100K和MovieLens 1M，并表明与现有的贝叶斯NMF方法相比，所提出的贝叶斯NMF GRRN模型可以实现更好的预测并避免过拟合。
2022-06-20 cs.IT cs.LG math.IT
The Supervised IBP: Neighbourhood Preserving Infinite Latent Feature Models
University of Cambridge（剑桥大学）；IST Austria（奥地利科学技术研究所）；Stanford University（斯坦福大学）
我们提出了一个概率模型，从观测数据中推断汉明空间中的监督潜变量。我们的模型允许同时推断的二进制潜变量的数量，以及它们的值。潜变量保持数据的邻域结构，在某种意义上，相同语义概念中的对象具有相似的潜值，而不同概念中的对象具有不同的潜值。我们制定了监督无限潜变量问题的基础上，一个直观的原则，拉在一起的对象，如果他们是相同的类型，并推动他们分开，如果他们不是。然后，我们结合这一原则与一个灵活的印度自助餐过程之前的潜在变量。我们表明，推断的监督潜变量可以直接用于执行最近邻搜索检索的目的。我们介绍了一个新的应用程序的动态扩展哈希码，并展示了如何有效地耦合结构的哈希码与不断增长的结构的邻域保持无限的潜在特征空间。
2013-09-26 cs.LG stat.ML
Black-Box Inference for Non-Linear Latent Force Models
The University of Sheffield（谢菲尔德大学）；Newcastle University（纽卡斯尔大学）
潜力模型是这样的系统，其中存在描述系统状态的动态的机械模型，具有用高斯过程近似的一些未知的强迫项。如果这种动态是非线性的，则可能难以联合估计后验状态和强迫项，特别是当存在也需要估计的系统参数时。本文采用黑盒变分推断联合估计后验，设计了一个多变量扩展到本地逆自回归流作为一个灵活的近似系统。我们比较估计系统的后验是已知的，证明了近似的有效性，并适用于非线性动态，多输出系统和模型与非高斯似然问题。
2019-11-04 cs.LG stat.ML
Deep Latent Variable Model based Vertical Federated Learning with Flexible Alignment and Labeling Scenarios
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种深度潜在变量模型，解决垂直联邦学习中数据对齐和标注的灵活性问题，通过统一框架在不同缺失机制下提升性能，实验显示在160种情况下优于所有基线方法。
2026-03-30 cs.LG
Auto-weighted Bayesian Physics-Informed Neural Networks and robust estimations for multitask inverse problems in pore-scale imaging of dissolution
CNRS（法国国家科学研究中心）；Heriot-Watt University（赫瑞瓦特大学）；The Lyell Centre（莱尔中心）
针对孔隙尺度反应流建模受成像局限、反应参数难评估的问题，提出自动加权BPINNs的多任务数据同化策略，结合动态显微CT与PDE约束实现鲁棒的不确定性量化与反问题求解。
2024-08-17 cs.LG cs.NA cs.NE
A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University（哈佛大学）
最近有很多令人兴奋的工作，将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束，而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架，但存在困难：条件似然的深层参数化通常使后验推理变得棘手，而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
Learning Parameterized Skills from Demonstrations
Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究提出端到端算法DEPS，结合时间变分推断与信息论正则化，从专家演示中联合学习参数化技能策略与元策略，解决潜变量模型退化问题，在多基准上优于基线，提升未见过任务的泛化能力并发现可解释技能。
2025-10-28 cs.AI cs.LG cs.RO
ScRAE: Deterministic Regularized Autoencoders with Flexible Priors for Clustering Single-cell Gene Expression Data
IIT Delhi（德里印度理工学院）；TIFR（塔塔基础研究所）
聚类单细胞RNA序列（scRNA-seq）数据由于其高维性和数据稀疏性（也称为“脱落”事件）而带来统计和计算挑战。最近，基于正则化自动编码器（Regularized Auto-Encoder，RAE）的深度神经网络模型在学习鲁棒的低维表示方面取得了显著的成功。RAES的基本思想是学习从高维数据空间到低维潜在空间的非线性映射，反之亦然，同时在潜在空间上施加分布先验，这带来了正则化效果。本文认为，RAES遭受臭名昭著的问题，偏差方差权衡在他们的天真制定。虽然没有潜在正则化的简单AE会导致数据过度拟合，但非常强的先验会导致代表性不足，从而导致聚类不佳。为了解决上述问题，我们提出了一个修改的RAE框架（称为scRAE）的单细胞RNA测序数据的有效聚类。scRAE由确定性AE和可灵活学习的先验生成器网络组成，该网络与AE联合训练。这有助于scRAE在潜在空间中的偏差和方差之间更好地权衡。我们通过对几个真实世界的单细胞基因表达数据集进行广泛的实验来证明所提出的方法的有效性。
2021-07-16 cs.LG
TrajGPT: Controlled Synthetic Trajectory Generation Using a Multitask Transformer-Based Spatiotemporal Model
University of Southern California（南加州大学）；Novateur Research Solutions（诺瓦泰研究解决方案公司）
TrajGPT提出一种基于Transformer的多任务时空生成模型，将受控轨迹生成视为文本填充问题，通过贝叶斯模型整合时空信息，在填补访问序列空缺时实现时空一致，并在下一位置预测中显著提升时间准确性。
2024-11-07 cs.LG
A real-time anomaly detection method for robots based on a flexible and sparse latent space
Department of Computer Science, Hanyang University（韩雅大学计算机科学系）；Korea Institute of Science and Technology (KIST)（韩国科学技术院）
本文提出一种基于稀疏掩码自回归流对抗自编码器的机器人实时异常检测方法，通过灵活潜空间和稀疏特征聚焦，在拾放和碰撞场景中显著提升检测精度，并实现毫秒级推理。
2025-06-22 cs.LG cs.RO
Flexible Flows for Biological Sequence Design
Aalto University（阿尔托大学）；YaiYai Ltd（YaiYai有限公司）；OpenProtein.AI
提出结构化耦合、潜编辑速率参数化和潜分类器无引导机制，实现变长序列生成和细粒度控制，在多种生物序列任务中达到最优性能。
2026-06-09 cs.AI cs.ET cs.LG
Community detection in sparse latent space models
Fudan University（复旦大学）；Shanghai Center for Mathematical Sciences（上海数学中心）；University of Pennsylvania（宾夕法尼亚大学）；Shanghai University of Finance and Economics（上海财经大学）
我们表明，一个简单的社区检测算法起源于随机块模型文献实现了一致性，甚至最优性，广泛而灵活的一类稀疏潜在空间模型。这类模型包括潜在特征模型（arXiv：0711.1146）。社区检测算法基于谱聚类，然后通过归一化边缘计数进行局部细化。
2020-08-04 cs.LG math.ST stat.ME
Learning Structured Twin-Incoherent Twin-Projective Latent Dictionary Pairs for Classification
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Nanjing University of Information Science and Technology（南京信息工程大学）
在本文中，我们扩展流行的字典对学习（DPL）的情况下，双投射潜在灵活的DPL下的结构化双不一致。在技术上，提出了一种新的框架称为双投影潜在灵活DPL（TP-DPL），它最大限度地减少了双非相干约束灵活放松重建误差，以避免可能的过拟合问题，并产生准确的重建。在这种情况下，我们的TP-DPL集成了基于双不相干的潜在灵活的DPL和联合嵌入的代码，以及显着特征的双投影到一个统一的模型中的自适应邻域保持的方式。因此，TP-DPL统一了显著特征提取，表示和分类。对代码和特征的孪生非相干约束可以显式地确保它们的高类内紧致性和类间分离性。TP-DPL还集成了自适应加权，以显式地保留每个类中系数和显著特征的局部邻域。为了提高效率，TP-DPL使用Frobenius范数，并放弃了昂贵的l0/l1范数用于组稀疏表示。另一个副产品是TP-DPL可以直接应用类特定的双投影重建残差来计算数据的标签。公共数据库上的大量结果表明，TP-DPL可以提供最先进的性能。
2019-08-21 cs.CV cs.LG
Latent learning: episodic memory complements parametric learning by enabling flexible reuse of experiences
Google DeepMind（谷歌DeepMind）；Department of Psychology, Stanford University（斯坦福大学心理学系）
本文提出情景记忆可通过灵活重用经验来补充参数学习，提升泛化能力。
2025-12-23 cs.CL cs.LG
Latent variable modeling with random features
Princeton University（普林斯顿大学）
基于高斯过程的潜变量模型是用于非线性降维的灵活且理论上有基础的工具，但是在该非线性框架内推广到非高斯数据似然性在统计上是具有挑战性的。在这里，我们使用随机特征来开发一系列非线性降维模型，这些模型可以很容易地扩展到非高斯数据的可能性，我们称这些随机特征潜在变量模型（RFLVMs）。通过用一个关于随机特征的线性函数来近似潜空间和观测值之间的非线性关系，我们导出了关于潜变量的后验分布的封闭形式的梯度。这使得RFLVM框架支持计算上易于处理的非线性潜变量模型的指数族中的各种数据的可能性，而无需专门的推导。我们的广义RFLVMs产生的结果与其他国家的最先进的降维方法对不同类型的数据，包括神经尖峰训练记录，图像和文本数据。
2020-06-19 cs.LG stat.ME stat.ML
A Gradient Flow Approach to Solving Inverse Problems with Latent Diffusion Models
提出免训练的扩散正则化Wasserstein梯度流方法，利用预训练潜变量扩散模型作为先验，通过梯度流求解不适定逆问题，并在标准基准上验证了性能。
2026-09-17 cs.LG stat.CO stat.ML
Marginal Flow: a flexible and efficient framework for density estimation
Department of Computer Science University of Basel（计算机科学系伯尔尼大学）
针对现有密度建模方法的诸多缺陷，该研究提出Marginal Flow框架，通过边缘化潜参数实现高效精确的密度估计，架构灵活且适配多种任务与训练目标。
2025-09-30 cs.LG
BattVAE-GP: Generative Modeling of Long-Horizon Battery Degradation with Uncertainty Quantification
CNRS（法国国家科学研究中心）
研究针对长周期电池退化模拟计算昂贵的问题，提出BattVAE - GP框架，先利用VAE编码数据至潜在空间，再用GP训练并估计不确定性，能准确恢复轨迹，提供高效且具不确定性意识的长周期退化建模代理。
2026-07-15 cs.AI cs.LG
Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows
Apple（苹果公司）
本文提出TarFlowLM框架，将语言建模从离散token空间转向连续潜在空间，利用基于Transformer的自回归归一化流实现双向上下文建模、灵活分块生成和分层多遍生成，并在语言建模基准上验证了其灵活性和性能。
2025-07-01 cs.CL cs.LG
FlexCausal: Flexible Causal Disentanglement via Structural Flow Priors and Manifold-Aware Interventions
Southeast University, Jiangsu, China（东南大学）
FlexCausal 通过结构流先验和 manifold 意识干预，实现更灵活的因果解构表示学习，提升生成质量与因果结构对应精度。
2026-01-29 cs.LG
Variational Inference for Uncertainty on the Inputs of Gaussian Process Models
University of Sheffield（谢菲尔德大学）；Athens University of Economics and Business（雅典经济与商业大学）
高斯过程隐变量模型（GP-LVM）提供了一种灵活的非线性降维方法，得到了广泛的应用。然而，目前用于训练GP-LVMs的方法是基于极大似然的，其中潜在投影变量被最大化而不是被积分。在本文中，我们提出了一种贝叶斯方法训练GP-LVMs通过引入一个非标准的变分推断框架，允许近似整合出的潜在变量，并随后训练GP-LVMs通过最大化的分析下限上的确切的边际似然。我们应用这种方法学习的GP-LVM从iid观测和学习非线性动力系统的观测时间相关。我们发现，变分贝叶斯过程的好处是它的鲁棒性过拟合和它的能力，自动选择的非线性潜在空间的维数。所得到的框架是通用的，灵活的，易于扩展为其他目的，如高斯过程回归与不确定的输入和半监督高斯过程。我们在合成数据和标准机器学习基准测试以及具有挑战性的现实世界数据集（包括高分辨率视频数据）上展示了我们的方法。
2014-09-08 cs.AI cs.CV cs.LG
Learning High-Dimensional Distributions with Latent Neural Fokker-Planck Kernels
Department of Computer Science and Engineering, State University of New York at Buffalo（纽约州立大学布法罗分校计算机科学与工程系）
高维分布的学习是机器学习中一个重要而又具有挑战性的问题，它在各个领域都有着广泛的应用。在本文中，我们引入了新的技术来制定的问题，解决福克-普朗克方程在一个低维的潜在空间，旨在减轻在高维数据空间的挑战。我们提出的模型包括潜分布变形，一个发电机和一个参数化的Fokker-Planck核函数。我们的模型的一个迷人的特性是，它可以用任意步骤的潜在分布变形甚至不变形来训练，这使得它灵活且与生成对抗网络（GANs）一样高效。此外，这个属性也使得我们的潜在分布变形成为一个有效的即插即用方案，因此可以用于改进任意GANs，更有趣的是，可以有效地纠正GAN模型的失败情况。大量的实验表明，我们提出的方法比现有的模型的优势。
2021-05-10 cs.CV cs.LG
State-Space Inference for Non-Linear Latent Force Models with Application to Satellite Orbit Prediction
Aalto University（阿尔托大学）；Tampere University of Technology（坦佩雷理工大学）
潜力模型（LFM）是结合机械建模原理（即，物理模型）与非参数数据驱动组件。LFM的几个关键应用需要非线性，这导致分析上难以推理。在这项工作中，我们展示了如何非线性LFM可以表示为非线性白噪声驱动的状态空间模型，并提出了一个有效的非线性卡尔曼滤波和平滑的近似状态和参数推断的方法。我们通过两个模拟的例子说明了所提出的方法的性能，并将其应用到现实世界的GPS卫星轨道的长期预测问题。
2012-06-18 astro-ph.EP cs.IT cs.LG
TabMixNN: A Unified Deep Learning Framework for Structural Mixed Effects Modeling on Tabular Data
TabMixNN是一种结合经典混合效应建模与现代神经网络的统一深度学习框架，支持多种结果类型和复杂数据结构，提供灵活的模块化架构和全面的可解释性工具。
2025-12-29 cs.LG stat.CO stat.ME
