Latent Intention Dialogue Models
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
开发能够自主决策并通过自然语言进行交流的对话Agent是机器学习研究的长期目标之一。传统的方法要么依赖于手工制作一个小的状态动作集，用于应用不可扩展的强化学习，要么构建确定性模型来学习无法捕捉自然会话变化的对话句子。在本文中，我们提出了一个潜在的意图对话模型（LIDM），采用一个离散的潜变量学习潜在的对话意图的神经变分推理的框架。在面向目标的对话场景中，这些潜在的意图可以被解释为指导机器响应生成的动作，这些动作可以通过强化学习进一步自主地进行细化。LIDM的实验评估表明，该模型优于已公布的基于语料库和人类的评价基准，证明了离散潜变量模型的有效性，学习目标导向的对话。
2017-05-29 cs.CL cs.LG cs.NE
METRA: Scalable Unsupervised RL with Metric-Aware Abstraction
University of California, Berkeley（加州大学伯克利分校）
针对无监督强化学习在高维复杂环境中可扩展性不足的问题，提出基于度量感知抽象的METRA方法，通过覆盖与状态空间度量关联的紧凑潜在空间获取多样行为，实验证实其为首个在像素级四足、人形机器人环境中发现多样运动行为的无监督RL方法。
2024-03-10 cs.AI cs.LG cs.RO
Scalable Inference for Latent Dirichlet Allocation
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）
我们研究的问题，学习的主题模型-著名的潜在狄利克雷分配-在一个分布式的方式，使用C处理器的集群和划分的语料库学习平等的。我们提出了一个简单的近似方法，可以调整，交易速度的准确性，根据手头的任务。我们的方法是异步的，因此适用于异构机器的集群。
2009-09-25 cs.LG
SCALEX: Scalable Concept and Latent Exploration for Diffusion Models
University of Waterloo（滑铁卢大学）
SCALEX通过自然语言提示实现扩散模型潜在空间的可扩展自动化探索，能够检测性别偏见、评估语义对齐并揭示概念结构。
2025-11-20 cs.AI cs.LG
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK（计算机科学系，曼彻斯特大学，曼彻斯特，英国）
提出邻居驱动的近似策略，利用潜空间局部邻接关系实现可扩展的GPVAE推理，在保留依赖性的同时减少诱导点需求，并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations
University of Amsterdam（阿姆斯特丹大学）；Constructor University, Bremen（布雷梅构造大学）
本文提出SDE Matching，一种免仿真的Latent SDE训练新方法，通过扩展Score-和Flow Matching算法至随机动力学领域，消除了昂贵的数值仿真需求，在保持与伴随灵敏度方法相当性能的同时大幅降低了计算复杂度。
2025-06-26 cs.LG stat.ML
Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts
University of Waterloo（滑铁卢大学）
本文提出一种利用自然语言提示和图像描述映射潜在方向的无监督框架，无需训练特定向量即可自动分析扩散模型潜在空间中的偏差和表示，实现更可扩展和可解释的理解。
2024-11-04 cs.AI cs.CL cs.CV
Guaranteed Scalable Learning of Latent Tree Models
University of Maryland（马里兰大学）；Microsoft（微软）；HEALTH[at]SCALE；Flatiron Health；Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）
我们提出了一个集成的方法，在潜在的树图模型的结构和参数估计。我们的整体方法遵循“分而治之”的策略，在一小组变量上学习模型，并迭代地合并到一个全局解决方案中。结构学习涉及组合操作，如最小生成树的建设和局部递归分组;参数学习是基于矩量法和张量分解。对于离散分布、高斯分布和高斯混合分布的线性多变量隐树模型，该方法能够以较低的样本复杂度正确地恢复未知的树结构和模型参数.我们的批量异步并行算法是并行实现的，并行计算的复杂性只增加了数学的变量的数量和线性的每个变量的维数。
2019-12-17 cs.LG stat.ML
Amortized Reparametrization: Efficient and Scalable Variational Inference for Latent SDEs
University of Toronto（多伦多大学）
针对潜在SDE推断时间复杂度受方程刚度制约的问题，提出结合摊销策略与线性SDE期望重参数化的方法，无需求解微分方程即可近似梯度，训练评估次数降一个数量级以上且性能相当。
2023-12-16 cs.LG stat.ML
Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models
University of Cambridge（剑桥大学）
提出scLDM，一种结合变分自编码器和潜在扩散模型的可扩展生成方法，通过置换不变/等变架构和扩散Transformer实现高质量单细胞基因表达生成。
2026-06-01 cs.LG q-bio.GN stat.ML
Scalable inference of topic evolution via models for latent geometric structures
IBM Research（IBM研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
我们开发了新的模型和算法，用于学习的主题多面体和相关的几何对象，出现在基于主题模型的推理的时间动态。我们的模型是非参数贝叶斯和相应的推理算法是能够发现新的主题随着时间的推移。通过利用主题多面体演化，贝塔-伯努利过程和匈牙利匹配算法的建模之间的连接，我们的方法被证明是几个数量级的速度比现有的主题建模方法，实验证明，在两个几十分钟内与数百万个文件。
2019-11-02 cs.CL cs.LG stat.ML
HiVAE: Hierarchical Latent Variables for Scalable Theory of Mind
HiVAE通过层次化变分架构提升理论之心推理能力，解决现实时空领域中的心理状态推断问题，并提出自监督对齐策略以增强潜在表示的参照性。
2026-02-18 cs.AI cs.LG
Scalable Deep Generative Relational Models with High-Order Node Dependence
University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）；University of Technology, Sydney（悉尼科技大学）
我们提出了一个概率框架，用于建模和探索关系数据的潜在结构。给定网络中节点的特征信息，可扩展深度生成关系模型（SDREM）构建了一个深度网络架构，该架构可以近似节点的特征信息和节点的潜在表示之间的潜在非线性映射。我们的贡献是双重的：（1）我们结合高阶邻域结构信息来生成每个节点处的潜在表示，这些表示在网络上平滑变化。(2)由于潜在表示的狄利克雷随机变量结构，我们引入了一种新的数据增强技巧，允许有效的吉布斯抽样。SDREM可用于大型稀疏网络，因为其计算成本随正链路的数量而变化。我们通过在一系列真实数据集上改进链接预测性能来展示其竞争性能。
2019-11-04 cs.LG stat.ML
Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery
Dalhousie University, Canada（加拿大达尔豪斯大学）；University of Calgary, Canada（加拿大卡尔加里大学）
提出VQLC框架，通过向量量化学习离散潜在概念，在保持可解释性的同时，实现与K-Means相当的计算效率，并优于层次聚类在大规模数据上的扩展性。
2026-06-11 cs.CL cs.LG
A Simple and Scalable Tensor Completion Algorithm via Latent Invariant Constraint for Recommendation System
University of Missouri - Columbia（密苏里大学哥伦比亚分校）；Stanford University（斯坦福大学）
在本文中，我们提供了一个潜在的变量制定和解决方案的推荐系统（RS）问题的基本属性，任何合理的解决方案应该满足。具体来说，我们研究了一种新的张量完成方法，以有效和准确地学习模型参数的不可观察的个人偏好，用户评级的基础。通过正则化张量分解与一个单一的潜在不变，我们实现了可靠的推荐系统的三个属性：（1）张量完成结果的唯一性与最小的假设，（2）单位的一致性，是独立于用户的任意偏好，和（3）共识排序保证，提供一致的排名之间的观察和未观察到的评分。我们的算法导致一个简单而优雅的推荐框架，具有线性计算复杂性，没有超参数调整。我们提供的实证结果表明，该方法显着优于目前最先进的方法。
2022-07-03 cs.HC cs.IR cs.LG
Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning
CMU（卡内基梅隆大学）
本文提出平衡推理器（EqR），通过学习任务条件的吸引子来实现可扩展推理，该方法在测试时无需外部验证器或任务特定先验，通过增加深度和广度实现推理能力的提升，从而在Sudoku-Extreme上将准确率从2.6%提升至超过99%。
2026-05-20 cs.LG
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
Harvard University（哈佛大学）；Boston University（波士顿大学）
针对潜在高斯模型 EM 需大量矩阵求逆、难以扩展的问题，提出结合 Monte Carlo 采样与迭代线性求解器的概率展开方法，可更快估计梯度并实现近一个数量级的训练加速。
2023-06-05 cs.LG eess.SP stat.CO
Scalable Random Feature Latent Variable Models
University of Hong Kong（香港大学）；National University of Singapore（新加坡国立大学）；Capital One（第一资本金融公司）；University Carlos III de Madrid（马德里卡洛斯三世大学）；Stony Brook University（石溪大学）
本文针对随机特征潜变量模型的可扩展性问题，提出基于块坐标下降变分推断的可扩展版本SRFLVM，在多个真实数据集上展现出更优的潜表示学习与缺失数据填补性能。
2024-10-23 cs.AI cs.LG
ReLaG: A Scalable Framework Generalizing Random Splits to Data with Latent Relations
Université Laval（拉瓦尔大学）
ReLaG是一个模态无关的可扩展框架，通过层次潜变量模型和社区检测推断样本关系组，生成独立训练-测试划分，在分子和蛋白质数据上匹配关系感知方法且扩展性更优，并提供无标签分辨率适应和有效规模估计。
2026-10-01 cs.AI cs.LG
Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models
State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室，南京大学，南京，中国）；School of Artificial Intelligence, Nanjing University, Nanjing, China（人工智能学院，南京大学，南京，中国）；School of Intelligence Science and Technology, Nanjing University, Nanjing, China（智能科学与技术学院，南京大学，南京，中国）
提出STARS训练框架，通过雅可比谱半径正则化约束潜在状态趋近渐近稳定不动点，解决循环语言模型深度递归时性能崩溃问题，实现可靠的测试时扩展并提升峰值性能。
2026-05-26 cs.AI cs.LG
Modulating Scalable Gaussian Processes for Expressive Statistical Learning
Dalian University of Technology（大连理工大学）；Nanyang Technological University（南洋理工大学）
对于学习任务，高斯过程（GP）感兴趣的是学习输入和输出之间的统计关系，因为它不仅提供预测均值，而且还提供相关的变异性。然而，普通GP很难学习具有以下性质的复杂分布，例如，由于高斯边缘和立方复杂性，来自海量数据的异方差噪声、多模态和非平稳性。为此，本文研究了新的可扩展GP范式，包括非平稳异方差GP，GP和潜在GP的混合物，引入额外的潜在变量来调制输出或输入，以学习更丰富的，非高斯统计表示。我们进一步采取不同的变分推断策略，以达到分析或更严格的证据下限（ELBO）的边缘可能性的高效和有效的模型训练。大量的数值实验对国家的最先进的GP和神经网络（NN）的各种任务的同行验证了这些可扩展的调制GP的优越性，特别是可扩展的潜在GP，学习不同的数据分布。
2020-08-29 cs.LG stat.ML
Generative Representation Learning for Scalable Latent Tokenization
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Michigan（密歇根大学）
该研究提出用于生成式建模分词器的自监督表示学习方法，可避免维度崩溃等问题，计算效率优于DINOv2、WebSSL等，在ImageNet等数据集上实现更优性能。
2026-10-14 cs.CV cs.LG
Posterior Inference in Latent Space for Scalable Constrained Black-box Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文将约束黑盒优化转化为后验推断问题，在生成模型的潜在空间中进行推断，通过训练流模型和扩散模型提升候选点搜索效率，实验证明在合成和现实任务中性能优越。
2026-05-07 cs.LG stat.ML
Scalable Gaussian Processes with Latent Kronecker Structure
Meta；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems, Tübingen（图宾根Max Planck智能系统研究所）
本文提出利用潜在克罗内克结构表示观测核矩阵，结合迭代求解器和路径条件化，在多达五百万样本的数据集上实现精确高斯过程推断，超越现有稀疏和变分方法。
2025-08-16 cs.LG stat.ML
Scalable Font Reconstruction with Dual Latent Manifolds
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）；Google Research（谷歌研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个深度生成模型，通过学习字体样式和字符形状的解纠缠流形来执行排版分析和字体重建。与以前的方法相比，我们的方法使我们能够大规模地扩展我们可以有效建模的字符类型的数量。具体来说，我们推断单独的潜在变量表示字符和字体通过一对推理网络，作为输入集的字形，要么都共享一个字符类型，或属于同一种字体。这种设计使我们的模型能够泛化到在训练时没有观察到的字符，这是一项重要的任务，因为大多数字体都相对稀疏。我们还提出了一种新的损失，该损失是从先前的工作中改编而来的，该工作使用投影空间中的自适应分布来测量可能性，从而在不需要重复的情况下产生更自然的图像。我们评估的任务上的字体重建在各种数据集代表多种语言的字符类型，并比较有利的现代风格传输系统，根据自动和手动评估的指标。
2021-09-10 cs.CL cs.CV cs.LG
Latent Geometry of Taste: Scalable Low-Rank Matrix Factorization for Recommender Systems
African Institute for Mathematical Sciences (AIMS) South Africa（非洲数学科学研究所（AIMS）南非）
本文提出了一种可扩展的低秩矩阵分解方法，用于推荐系统，通过优化模型参数和可视化嵌入空间，提升了推荐精度和冷启动场景下的表现。
2026-01-13 cs.CV cs.LG
Scalable Adaptive Computation for Iterative Generation
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
该研究提出循环接口网络RINs，通过将核心计算与数据维度解耦、利用潜在token的自注意力和交叉注意力实现自适应计算，结合潜在自条件适配扩散迭代生成，在图像视频生成上达SOTA且效率最高提升10倍。
2023-06-14 cs.CV cs.LG cs.NE
Scalable Peptide Design via Memory-Efficient Equivariant Transformer
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Chemistry, Tsinghua University（清华大学化学系）
提出内存高效等变变压器（MEET），通过线性内存缩放和几何特征改进，实现全原子肽的序列与结构协同设计，在生成质量、结合亲和力和多样性上超越现有方法。
2026-06-26 cs.LG
STAR-VAE: A Scalable Latent-Variable Transformer for Controllable Molecular Generation
IBM Research（IBM研究院）
提出STAR-VAE框架，基于Transformer编码器-解码器与SELFIES表示，利用潜变量实现属性引导的可控分子生成，并通过LoRA高效微调，在多个基准上表现优异。
2026-09-23 cs.AI cs.LG q-bio.BM
Scalable Prompt Routing via Fine-Grained Latent Task Discovery
Amazon Web Services（亚马逊网络服务）
本文提出一种两阶段路由架构，通过自动细粒度任务发现和任务感知质量估计，解决现有方法在大规模模型池中区分细微任务差异的不足，实验表明其在10个基准测试中优于现有基线并降低成本。
2026-03-23 cs.AI cs.CL cs.LG
Point Cloud Geometry Scalable Coding with a Quality-Conditioned Latents Probability Estimator
Università di Padova（帕多瓦大学）；Instituto Superior Técnico – Universidade de Lisboa（里斯本大学高等技术学院）；ESTG – Politécnico de Leiria（莱里亚理工学院技术与管理学院）；Instituto de Telecomunicações（电信研究所）
针对点云应用中接收条件差异大、现有学习编码方案缺乏质量可扩展性的问题，提出适配静态点云几何编码的SQH方案，集成于JPEG点云标准，在几乎无压缩性能损失下实现质量可扩展。
2024-07-09 cs.AI cs.CV cs.LG
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Automatic Laplace Collapsed Sampling: Scalable Marginalisation of Latent Parameters via Automatic Differentiation
Institute of Astronomy, University of Cambridge（剑桥大学天文学研究所）；Kavli Institute for Cosmology, University of Cambridge（剑桥大学卡夫利宇宙学研究所）
本文提出ALCS框架，通过自动微分结合嵌套采样，高效稳健地进行贝叶斯模型中潜在参数的边缘化，支持高维场景下的证据计算，并展示自动微分在局部近似中的应用。
2026-03-27 astro-ph.IM cs.LG stat.ME
Scalable Label Distribution Learning for Multi-Label Classification
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出可扩展标签分布学习（SLDL），通过低维潜在空间中的非对称标签分布建模和最近邻解码，使多标签分类的计算复杂度与标签数量无关，并以低计算消耗取得有竞争力的性能。
2024-10-03 cs.LG
GLASS: Global Latent Aggregation with Slot-based Set Decoding for Scalable All-Atom Crystal Generation
Institute for Artificial Intelligence（人工智能研究所）；University of Stuttgart（斯图加特大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NEC Labs Europe（NEC欧洲实验室）
GLASS通过置换不变的全局潜在空间和槽解码器消除粒子对应问题，实现可扩展的全原子晶体生成，在MP20和QMOF上达到高有效性。
2026-09-30 cond-mat.mtrl-sci cs.LG
AeroJEPA: Learning Semantic Latent Representations for Scalable 3D Aerodynamic Field Modeling
Universidad Politécnica de Madrid（马德里理工大学）；University of Michigan（密歇根大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；Purdue University（普渡大学）；Caltech（加州理工学院）；University of Washington（华盛顿大学）
AeroJEPA通过联合嵌入预测架构，在高保真度和大规模场景中实现可扩展的3D气动场建模，通过语义组织潜在空间提升建模效率与设计意义。
2026-09-29 cs.LG
Scalable Differentiable Causal Discovery in the Presence of Latent Confounders with Skeleton Posterior (Extended Version)
HKUST（香港科技大学）；Microsoft Research（微软研究院）；Shanghai Jiao Tong University（上海交通大学）
针对潜在混杂因素下可微MAG学习难以扩展的问题，提出SPOT两阶段框架，通过SCL摊销推断骨架后验，并以其引导随机优化，从而缩小搜索空间并提升因果发现性能。
2024-06-15 cs.AI cs.LG stat.ML
Towards Scalable Handwriting Communication via EEG Decoding and Latent Embedding Integration
Korea University（高丽大学）
本研究提出一种结合CEBRA潜空间嵌入与并行卷积神经网络的EEG解码方法，在九类手写字符分类任务中实现91%准确率，验证了从EEG信号解码细粒度手写动作的可行性。
2024-11-14 cs.AI cs.LG
Scalable Diffusion Models with Transformers
UC Berkeley（加州大学伯克利分校）；New York University（纽约大学）
我们探索一类新的扩散模型的基础上的Transformer架构。我们训练图像的潜空间扩散模型，用一个在潜在补丁上运行的Transformer代替常用的U-Net主干。我们分析了我们的扩散Transformer（DiTs）的可扩展性，通过镜头的前向通过复杂性测量的Gflops。我们发现，具有更高Gflops的DiT-通过增加Transformer深度/宽度或增加输入令牌的数量-始终具有较低的FID。除了具有良好的可扩展性外，我们最大的DiT-XL/2模型在类条件ImageNet 512 x512和256 x256基准测试中的表现优于所有先前的扩散模型，后者达到了最先进的FID 2.27。
2023-03-02 cs.CV cs.LG
Scale-MIA: A Scalable Model Inversion Attack against Secure Federated Learning via Latent Space Reconstruction
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；University of South Florida（南佛罗里达大学）；University of Kentucky（肯塔基大学）
针对联邦学习中现有模型反演攻击难以扩展或易被检测的问题，提出Scale-MIA，通过潜空间重构的两步法从聚合模型更新中高效准确重构本地样本，在安全聚合协议下仍表现优异，性能优于现有方法。
2024-11-27 cs.LG
Factorized Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
变分自动编码器通常假设各向同性高斯先验和平均场后验，因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题，但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型，利用独立的辅助功能，这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核，导致了显着的加速（理论和实践），同时根据经验对现有的不可扩展方法进行了改进。此外，我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Scalable Deep Learning for RNA Secondary Structure Prediction
University of Freiburg（弗莱堡大学）
本研究提出采用轴向注意力与隐空间循环机制的轻量化深度学习模型RNAformer，通过直接在隐空间建模邻接矩阵并扩模，在TS0基准上达SOTA且优于用外部信息的方法，还能学习RNA折叠的生物物理模型。
2023-07-14 cs.LG q-bio.BM
Latent Cognizance: What Machine Really Learns
Khon Kaen University（孔敬大学）
尽管在识别准确性方面取得了压倒性的成就，但在可扩展的机器学习推理中，扩展开集能力（识别问题超出范围的能力）仍然具有很大的挑战性。最近的一项研究发现了潜在认知（LC）-基于新的概率解释，贝叶斯定理和常用识别推理结构的内部结构分析的识别机制的见解。新的解释强调了一个潜在的假设，一个被忽视的概率条件下学习推理模型。LC的可行性已经在手语识别的任务中显示出来，但它的潜力和意义可以远远超出特定的领域，并可以将对象识别推向可扩展的开集识别。然而，LC新的概率解释还没有直接调查。本文在一个可追溯的语境下考察了这一新的解释。我们的研究结果支持了LC的理论基础，并揭示了学习分类推理背后的隐藏机制。这些发现的衍生物可能会导致一个简单而有效的解决方案，以开放式识别。
2021-10-29 cs.CV cs.LG
Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors
Shanghai Jiao Tong University（上海交通大学）；Northwestern University（西北大学）
科学和工程问题通常需要使用人工智能来帮助理解和寻找有前途的设计。虽然高斯过程（GP）作为易于使用和可解释的学习器脱颖而出，但它们难以适应大数据集，分类输入和多个响应，这已成为越来越多的数据驱动设计应用程序的共同挑战。在本文中，我们提出了一个GP模型，利用通过变分推理得到的潜变量和函数，同时解决上述挑战。该方法是建立在潜变量高斯过程（LVGP）模型，其中分类因素被映射到一个连续的潜在空间，使GP模型的混合变量数据集。通过将变分推理扩展到LVGP模型，大型训练数据集被一小组诱导点所取代，以解决可扩展性问题。输出响应向量由独立潜在函数的线性组合表示，形成灵活的内核结构以处理可能具有不同行为的多个响应。比较研究表明，所提出的方法可以很好地扩展超过10^4个数据点的大型数据集，同时优于最先进的机器学习方法，而不需要太多的超参数调整。此外，获得了一个可解释的潜在空间，以深入了解分类因素的影响，例如与超材料和材料设计中的建筑模块和元件选择相关的因素。我们的方法被证明是机器学习的三元氧化物材料和拓扑优化的多尺度顺应机制与非周期性的微结构和多种材料。
2021-06-30 cs.LG stat.ML
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University（俄亥俄州立大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文针对非高斯空间场后验分布难以解析求解的问题，提出一种可扩展稀疏自回归变分推断框架，结合归一化流与双重随机优化，实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Modelling Technical and Biological Effects in scRNA-seq data with Scalable GPLVMs
University of Cambridge（剑桥大学）；Wellcome Sanger Institute（威康桑格研究所）
单细胞RNA-seq数据集的规模和复杂性不断增长，使得研究各种生物/临床背景下的细胞组成变化成为可能。需要可扩展的降维技术来解开其中的生物变异，同时考虑技术和生物混杂因素。在这项工作中，我们扩展了一种流行的概率非线性降维方法，高斯过程潜变量模型，以扩展到大规模的单细胞数据集，同时明确考虑技术和生物学混杂因素。其关键思想是使用一个增广的内核，它保留了可因式分解的下限，允许快速随机变分推理。我们证明了其重建Kumasaka等人（2021）中恢复的先天免疫的潜在特征的能力。我们进一步分析了COVID数据集，并在130人的队列中证明，该框架在捕获可解释的感染特征的同时实现了数据集成。具体而言，我们探索COVID严重程度作为一个潜在的维度，以完善患者分层和捕获疾病特异性基因表达。
2022-11-06 cs.LG q-bio.GN stat.AP
Scalable Learning of Item Response Theory Models
TU Dortmund（多特蒙德工业大学）；Center for Data Science & Simulation (DoDaS)（数据科学与模拟中心）
针对大规模数据下IRT模型计算效率与可扩展性不足的问题，研究利用IRT模型与逻辑回归的相似性，开发适配交替式IRT训练算法的核心集，实现IRT模型的可扩展学习。
2024-08-15 cs.DS cs.LG stat.ML
Mobility-Aware Cache Framework for Scalable LLM-Based Human Mobility Simulation
Lehigh University（莱维大学）；State University of New York at Binghamton（纽约州立大学布法罗分校）
MobCache通过移动感知缓存框架提升大规模LLM基人类移动模拟的效率和保真度。
2026-07-15 cs.AI cs.LG
Scalable Inference for Nonparametric Hawkes Process Using Pólya-Gamma Augmentation
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
本文研究了Sigmoid Gaussian Hawkes过程模型：Hawkes过程的基线强度和触发核都被建模为从高斯过程（GP）中提取的随机轨迹的Sigmoid变换。通过引入辅助潜随机变量（分支结构、Pólya-Gamma随机变量和潜标记Poisson过程），将似然转换为具有高斯形式的两个解耦分量，从而实现高效的共轭解析推理。使用增强的似然，我们推导出一个期望最大化（EM）算法，以获得最大后验（MAP）估计。此外，我们扩展EM算法的一个有效的近似贝叶斯推理算法：平均场变分推理。我们证明了两种算法的性能模拟虚拟数据。在真实数据上的实验表明，我们提出的推理算法可以有效地恢复潜在的提示特征。
2019-10-29 cs.LG stat.ML
Scoup-SMT: Scalable Coupled Sparse Matrix-Tensor Factorization
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）
我们如何才能将人类大脑中的神经活动联系起来，因为它会对单词做出反应，而行为数据则表现为对这些单词的问题的回答？简而言之，我们想找到潜在的变量，既解释大脑活动，也解释行为反应。我们表明，这是耦合矩阵张量分解（CMTF）问题的一个实例。我们提出了侦察SMT，一种新颖的，快速的，并行算法，解决了CMTF问题，并产生一个稀疏的潜在的低秩子空间的数据。在我们的实验中，我们发现Scoup-SMT比最先进的CMTF算法快50-100倍，稀疏性增加了5倍。此外，我们扩展了Scoup-SMT处理缺失数据，而不会降低性能。我们将Scoup-SMT应用于BrainQ，这是一个由（名词，大脑体素，人类受试者）张量和（名词，属性）矩阵组成的数据集，沿着名词维度耦合。Scoup-SMT能够找到有意义的潜在变量，并以具有竞争力的准确性预测大脑活动。最后，我们展示了Scoup-SMT的一般性，通过将其应用于Facebook数据集（用户，朋友，墙上的帖子）;在那里，Scoup-SMT发现垃圾邮件般的异常。
2013-02-28 cs.LG stat.ML
LatentPoison - Adversarial Attacks On The Latent Space
Imperial College London（帝国理工学院）
机器学习（ML）系统的鲁棒性和安全性交织在一起，其中非鲁棒ML系统（分类器、回归器等）可能会受到使用各种漏洞的攻击。随着可扩展的深度学习方法的出现，监督、无监督和强化学习算法的鲁棒性受到了很多重视。在这里，我们研究了一个深度变分自编码器（dVAE），一个无监督的生成框架的潜在空间的鲁棒性，以表明它确实有可能扰动潜在空间，翻转类预测，并保持分类概率近似相等的攻击前后。这意味着查看解码器输出的代理将保持对攻击的遗忘。
2017-11-08 cs.CR cs.LG
Scalable Amortized GPLVMs for Single Cell Transcriptomics Data
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
本文提出面向单细胞 RNA-seq 的摊销随机变分贝叶斯 GPLVM（BGPLVM），通过专用编码器、核与似然设计提升聚类和可解释性，在合成及 COVID 数据上媲美 scVI。
2024-05-06 cs.LG q-bio.GN stat.AP
Latent Sensor Fusion: Multimedia Learning of Physiological Signals for Resource-Constrained Devices
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出一种基于自编码器潜在空间融合与压缩感知的模态无关统一编码器，用于资源受限设备上的多模态生理信号分析，在保持表示精度的同时显著提升速度、轻量性和可扩展性。
2025-07-13 cs.LG eess.SP
Scalable Regularised Joint Mixture Models
German Center for Neurodegenerative Diseases（德国神经退行性疾病中心）；MRC Biostatistics Unit, University of Cambridge（剑桥大学MRC生物统计组）
在许多应用程序中，数据可以是异构的，在这个意义上，跨越潜在的群体与不同的底层分布。当预测模型应用于这些数据时，异质性会影响预测性能和可解释性。基于无监督学习和正则化回归交叉点的发展，我们提出了一种异构数据的方法，该方法允许联合学习（i）显式多元特征分布，（ii）高维回归模型和（iii）潜在组标签，（i）和（ii）特定于潜在组，并且两个元素都通知（iii）。该方法在高维中是有效的，结合了数据减少计算效率与重新加权方案，保留关键信号，即使当功能的数量很大。我们详细讨论这些方面及其对建模和计算的影响，包括EM收敛。该方法是模块化的，并允许合并的数据减少和高维估计，适合于特定的应用。我们展示了大量模拟和真实数据实验的结果，包括高度非高斯数据。我们的研究结果允许在生物医学等环境中高效，有效地分析高维数据，其中需要可解释的预测和显式特征空间模型，但隐藏的异质性可能是一个问题。
2022-05-03 cs.LG stat.ME stat.ML
