VaCDA: Variational Contrastive Alignment-based Scalable Human Activity Recognition
Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（计算机科学与工程系，孟加拉国工程与技术大学）；Department of Computer Science, Bowie State University（计算机科学系，布里沃州立大学）
本文提出VaCDA框架，结合变分自编码器和对比学习，解决多源领域适应中的数据异质性问题，提升跨人物、跨位置和跨设备场景下的活动识别性能。
2025-05-08 cs.LG
Continuous Domain Adaptation with Variational Domain-Agnostic Feature Replay
Imagia；Montreal Institute for Learning Algorithms (MILA), University of Montreal（蒙特利尔学习算法研究所（MILA），蒙特利尔大学）；Dalhousie University（达尔豪西大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究所（CIFAR））
非平稳环境下的学习是机器学习面临的最大挑战之一。非平稳性可以由任务漂移引起，即，给定输入数据的标签的条件分布中的漂移，或域漂移，即，输入数据的边缘分布的漂移。本文的目的是解决这一挑战的背景下，连续领域自适应，其中模型需要学习新的任务，适应新的领域在一个非平稳的环境，同时保持以前学到的知识。为了处理这两个漂移，我们提出变分域不可知特征重放，一种方法，由三个组成部分：一个推理模块，过滤的输入数据域不可知表示，生成模块，促进知识转移，和求解器模块，应用过滤和可转移的知识来解决查询。我们解决了两个基本的情况下，在连续的领域自适应，证明了我们提出的方法的有效性，为实际使用。
2020-03-09 cs.CV cs.LG stat.ML
Out-of-Context Misinformation Detection via Variational Domain-Invariant Learning with Test-Time Training
针对断章取义类虚假信息检测跨域性能差的问题，提出结合域不变变分学习与测试时训练的VDT方法，在NewsCLIPpings基准上多数域适应场景表现优于现有最优基线。
2025-11-15 cs.LG
Variational Low-Rank Adaptation Using IVON
Institute of Science Tokyo（东京科学研究所）；RIKEN Center for AI Project（理化学研究所AI项目中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Technical University of Munich（慕尼黑工业大学）
本文提出用IVON算法替代AdamW进行LoRA微调，在Llama-2（70亿参数）上准确率提升2.8%，校准误差降低4.6%，且成本更低、实现更简单，验证了变分学习的有效性。
2024-11-09 cs.AI cs.CL cs.LG
Matching Embeddings for Domain Adaptation
University of Concepción（康塞普西翁大学）；Harvard University（哈佛大学）；University of Chile（智利大学）
在这项工作中，我们解决的问题，从一个巨大的注释源域的低标记的目标域的知识转移。我们提出了对抗变分领域自适应（AVDA），一种基于深度变分嵌入表示的半监督领域自适应方法。我们使用近似推理和域对抗方法将源域和目标域的样本映射到定义为高斯混合模型的对齐类相关嵌入中。AVDA作为一个分类器工作，并考虑一个生成模型来帮助这种分类。我们使用数字数据集进行实验。我们的研究结果表明，在半监督的Few-Shot场景中，我们的模型在大多数自适应任务中优于以前的方法，即使在目标域上每个类使用较少数量的标记样本。
2021-01-24 cs.LG stat.ML
Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
Neuro-Symbolic Computing and Intelligence Research Group（神经符号计算与智能研究组）；Computer Science Laboratory（计算机科学实验室）；SRI International（SRI国际）
针对大型语言模型不确定性量化难以扩展的问题，提出ScalaBL方法，通过在低维子空间进行随机变分推断并复用LoRA参数，以极少额外参数实现了与SOTA相当的性能并扩展至迄今最大规模。
2025-06-26 cs.AI cs.CL cs.LG
A Bayesian Interpretation of Adaptive Low-Rank Adaptation
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究针对AdaLoRA的敏感度重要性评分问题，提出结合SNR指标与IVON优化器的贝叶斯版自适应低秩适配方法，性能更优且速度更快，还揭示了两类指标的关联及参数重要性的主导因素。
2025-01-11 cs.CL cs.LG stat.ML
From Images to Features: Unbiased Morphology Classification via Variational Auto-Encoders and Domain Adaptation
Shanghai Astronomical Observatory, Chinese Academy of Sciences（中国科学院上海天文台）；University of Chinese Academy of Sciences（中国科学院大学）；Yunnan Minzu University（云南民族大学）；University of Hertfordshire（赫特福德大学）
本文提出结合变分自编码器（VAE）与域适应（DA）的方法，利用40维潜变量有效实现星系图像降维与无偏形态学分类，性能媲美直接应用神经网络，适用于大型光学巡天。
2023-10-13 astro-ph.GA cs.LG
Geometry-Aware Bayesian Parameter-Efficient Fine-Tuning on the Stiefel Manifold via Stein Variational Gradient Descent
Deakin University（迪肯大学）；Aalto University（阿尔托大学）；Monash University（莫纳什大学）
本文提出基于Stein变分梯度下降的几何感知贝叶斯低秩适配方法，在Stiefel流形上优化，实现更好的不确定性量化与模型校准，并提升预测准确率。
2026-09-09 cs.LG
Quantum correlation alignment for unsupervised domain adaptation
University of Electronic Science and Technology of China（电子科技大学）
相关对齐（Correlation alignment，CORAL）是一种典型的域自适应（domain adaptation，DA）算法，将标记的源域数据集与未标记的目标域数据集解相关并对齐，以最小化域偏移，使得分类器可以被应用于预测目标域标签。在本文中，我们通过两种不同的方法在量子器件上实现了CORAL。一种方法是利用量子基本线性代数子程序（QBLAS）来实现CORAL，在给定数据样本的数量和维度上具有指数加速。另一种方法是通过变分混合量子经典过程。此外，CORAL与三种不同类型的数据集，即合成数据，合成虹膜数据，手写数字数据的数值实验，我们的工作的性能进行了评估。仿真结果表明，变分量子相关对准算法（VQCORAL）与经典的CORAL相比，具有很好的性能。
2021-06-03 cs.LG quant-ph
Quantum subspace alignment for domain adaptation
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（电子科技大学基础与前沿研究院）
域自适应（DA）用于自适应地获得具有给定相关但不同标记的数据集的未处理数据集的标签。子空间对齐（SA）是一种典型的DA算法，它试图找到一个线性变换来对齐两个不同数据集的子空间。在对齐的标记数据集上训练的分类器可以被转移到未标记的数据集以预测目标标签。在本文中，两个量子版本的SA被提出来实现量子设备上的DA过程。一种方法，量子子空间对齐算法（QSA），在给定的样本的数量和维度上实现了二次加速。另一种方法，变分量子子空间排列算法（VQSA），可以通过变分混合量子经典过程在近期量子器件上实现。在不同类型数据集上的数值实验结果表明，与相应的经典算法相比，VQSA具有较好的性能。
2020-06-29 cs.LG quant-ph
Energy-Based Test Sample Adaptation for Domain Generalization
University of Amsterdam（阿姆斯特丹大学）；United Imaging Healthcare, Co., Ltd.（联影医疗技术集团有限公司）；Inception Institute of Artificial Intelligence（人工智能初创研究所）
在本文中，我们提出了基于能量的样本适应在测试时的领域泛化。在以前的作品将其模型适应目标领域的情况下，我们将看不见的目标样本适应源训练的模型。为此，我们设计了一个基于能量的判别模型，该模型在源域上进行训练，以联合建模用于分类的条件分布和用于样本自适应的数据分布。该模型被优化为同时学习分类器和能量函数。为了使目标样本适应源分布，我们迭代地更新样本的能量最小化与随机梯度朗之万动力学。此外，为了在适应过程中保留样本中的类别信息，我们在基于能量的模型中引入了类别潜变量。隐变量在自适应之前通过变分推理从原始样本中学习，并固定为引导样本更新的条件。在六个图像和微博线程分类基准上的实验证明了该方法的有效性。
2023-02-22 cs.LG
Graph Harmony: Denoising and Nuclear-Norm Wasserstein Adaptation for Enhanced Domain Transfer in Graph-Structured Data
USC（南加州大学）
针对图结构数据标记稀缺及传统无监督域适配方法存在类别错配、标签质量差的问题，提出融合核范数Wasserstein差异与变分图自编码器去噪的DNAN网络，在图分类基准上性能优于现有最优方法。
2023-12-13 cs.LG
Graph Domain Adaptation: A Generative View
Guangdong University of Technology（广东工业大学）；National University of Singapore（新加坡国立大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）；Carnegie Mellon University（卡内基梅隆大学）
近年来，人们对图结构数据的深度学习产生了极大的兴趣。由于收集标记图结构数据的成本很高，领域自适应对于有限样本的有监督图学习任务很重要。然而，目前的图领域自适应方法通常是从传统的领域自适应任务中获得的，没有很好地利用图结构数据的特性。例如，在不同平台上观察到的社交网络不仅受不同人群或社区的控制，而且还受特定于域的策略和背景噪声的控制。基于图结构数据中的这些属性，我们首先假设图结构数据生成过程由三种独立类型的潜变量控制，即，语义潜变量、领域潜变量和随机潜变量。基于这一假设，我们提出了一种基于去纠缠的无监督领域自适应方法的图结构数据，该方法采用变分图自动编码器恢复这些潜在变量，并通过三个监督学习模块将它们去纠缠。在两个真实数据集上的实验结果表明，该方法不仅显著优于传统的领域自适应方法和基于解纠缠的领域自适应方法，而且优于最先进的图领域自适应算法.
2021-06-14 cs.LG
Fast and Slow Variational Continual Learning
University of Bremen（不来梅大学）；Jeonbuk National University（全北国立大学）；TU Darmstadt（达姆施塔特工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；University College London（伦敦大学学院）
提出通过合并过去后验实现慢适应，在IVON优化器中无缝集成快慢更新，形成持续IVON（CoVON）优化器，在领域增量学习、持续预训练和大语言模型微调中优于现有方法。
2026-06-24 cs.AI cs.LG
One Size does not Fit All: Heterogeneous Latent Space Alignment for Unsupervised Domain Adaptation
Duke University（杜克大学）；National Technical University of Athens（雅典国家技术大学）
提出ADualVUOT框架，结合双编码器VAE与连续归一化流增强潜在表达，利用非平衡最优传输（GGW距离）对齐域，并引入对抗增强提升鲁棒性，在医学图像分割中优于现有方法。
2026-06-23 cs.LG
Deep Generative Domain Adaptation with Temporal Relation Knowledge for Cross-User Activity Recognition
The University of Auckland（奥克兰大学）
针对跨用户活动识别中数据非独立同分布及忽略时间关系的问题，提出CVAE-USM方法，结合VAE和USM利用时间模式对齐分布，在两个公开数据集上优于现有方法。
2024-03-12 cs.AI cs.CV cs.HC
Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Michigan State University（密歇根州立大学）
提出DALorRA，一种变分贝叶斯稀疏框架，通过随机掩码低秩适应中的秩维度实现模型容量正则化和校准，在不牺牲推理精度下提升LLM校准性能。
2026-09-01 cs.CL cs.LG
Learning Disentangled Semantic Representation for Domain Adaptation
Guangdong University of Technology（广东工业大学）；Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Foshan University（佛山科学技术学院）
领域自适应是一项重要而又具有挑战性的任务。现有的大多数领域自适应方法难以在领域信息和语义信息纠缠的特征空间上提取领域不变的表示。不同于以往的纠缠特征空间的努力，我们的目标是提取领域不变的语义信息的潜在的解纠缠语义表示（DSR）的数据。在DSR中，我们假设数据生成过程由两组独立的变量控制，即，语义潜变量和领域潜变量。在上述假设下，我们采用变分自动编码器来重构数据背后的语义潜变量和领域潜变量。我们进一步设计了一个双对抗网络来解开这两组重构的潜在变量。解开的语义潜变量最终适应跨域。实验研究证明，我们的模型产生的最先进的性能在几个领域自适应基准数据集。
2020-12-22 cs.CV cs.LG
VAE-based Domain Adaptation for Speaker Verification
Center for Speech and Language Technologies, Tsinghua University（清华大学语音与语言技术中心）；China University of Mining & Technology, Beijing（中国矿业大学（北京））
深度说话人嵌入在说话人确认中取得了令人满意的性能。通过执行神经模型来区分训练集中的说话者，可以从隐藏层中导出深层说话者嵌入（称为“x向量”）。尽管其良好的性能，本嵌入模型是高度域敏感的，这意味着它通常在其声学条件匹配的训练数据（域内）的域中工作得很好，但在不匹配的域（域外）中降级。本文提出了一种基于变分自动编码器（VAE）的域自适应方法。该模型将x向量转换为正则化的潜在空间;在该潜在空间内，来自目标域的少量数据足以完成自适应。我们的实验表明，通过这种VAE自适应方法，说话人嵌入可以很容易地转换到目标域，导致显着的性能改善。
2019-08-27 cs.LG cs.SD eess.AS
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications（计算与通信学院）；Lancaster University（兰卡斯特大学）
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力，证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Q-MAML: Quantum Model-Agnostic Meta-Learning for Variational Quantum Algorithms
Yonsei University（延世大学）
针对NISQ时代变分量子算法参数初始化难、迭代次数受限的问题，提出受MAML启发的Q-MAML框架，通过经典神经网络Learner预训练生成通用初始参数，仅需少量PQC更新即可快速收敛，适配多种哈密顿量优化任务。
2025-01-10 cs.LG quant-ph
Unsupervised Domain Adaptation via Calibrating Uncertainties
Rutgers University（罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
无监督领域自适应（UDA）的目的是在给定相关标记源数据集的情况下，为未标记的目标领域推断类别标记。直觉上，在源域上训练的模型通常会对看不见的数据产生更高的不确定性。在这项工作中，我们建立在这一假设的基础上，并提出通过校准其预测不确定性来适应从源域到目标域。不确定性被量化为Renyi熵，我们提出了一个通用的Renyi熵正则化（RER）框架。我们进一步采用变分贝叶斯学习可靠的不确定性估计。此外，校准网络参数的样本方差作为一个插件正则化训练。我们讨论了所提出的方法的理论特性，并证明了其有效性的三个域适应任务。
2019-07-25 cs.CV cs.LG stat.ML
Efficient transfer learning and online adaptation with latent variable models for continuous control
Uber AI Labs（优步人工智能实验室）
传统的基于模型的强化学习依赖于手工指定或学习的环境过渡动态模型。这些方法是样本有效的，并且促进了在现实世界中的学习，但是不能推广到底层动态中的细微变化，例如，这是由于机器人代理或时间上的质量、摩擦或致动器的差异。我们建议使用变分推理来学习未知环境属性的显式潜在表示，以加速学习并促进测试时对新环境的泛化。我们使用这些学习到的潜在的在线贝叶斯推理，以快速适应在线环境的变化，而无需保留最近数据的大型重放缓冲区。结合一个神经网络合奏，模型动态和捕捉动态的不确定性，我们的方法表明，在训练和在线适应的连续控制任务HalfCheetah的正迁移。
2018-12-08 cs.LG stat.ML
Transfer Learning Analysis of Variational Quantum Circuits
AI \& ML Department Brookhaven National Laboratory Upton NY, USA；Department of Mathematics；Computer Science Seton Hall University South Orange NJ, USA
本文分析了变分量子线路（VQC）的迁移学习，建立了基于1参数酉子群过渡和损失界分析的形式体系，并推导出实现相似域适应最优过渡的解析微调方法。
2025-07-14 cs.AI cs.LG quant-ph
Cross-Domain Latent Modulation for Variational Transfer Learning
University of Otago（奥塔哥大学）
我们提出了一个跨域的潜在调制机制内的变分自编码器（VAE）的框架，使改进的迁移学习。我们的主要思想是从一个数据域获取深度表示，并将其用作另一个域中潜在变量的重新参数化的扰动。具体而言，源域和目标域的深度表示首先由统一的推理模型提取，并通过采用梯度反转进行对齐。其次，学习的深度表示被交叉调制到替代域的潜在编码。然后强制执行从调制的潜在编码的重构与使用深度表示样本的生成之间的一致性，以便在潜在空间中产生类间对齐。我们将所提出的模型应用于一些迁移学习任务，包括无监督的领域自适应和图像到图像的翻译。实验结果表明，我们的模型具有竞争力的性能。
2020-12-21 cs.AI cs.LG
Bayesian Structure Adaptation for Continual Learning
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
持续学习是一种学习范式，其中学习系统通过顺序或流式任务进行训练。在神经网络持续学习的最新进展中，有两个值得注意的方向是（$i$）通过学习先前任务的先验知识进行基于变分贝叶斯的正则化，以及（$ii$）学习深度网络的结构以适应新任务。到目前为止，这两种方法是正交的。我们提出了一种基于学习深度神经网络结构的持续学习贝叶斯方法，解决了这两种方法的缺点。该模型通过学习要使用的权重来学习每个任务的深层结构，并通过不同任务学习的不同稀疏权重子集的重叠来支持任务间的转移。在有监督和无监督基准测试上的实验结果表明，我们的模型在持续学习环境中的性能优于或优于最近的进展。
2020-02-21 cs.LG stat.ML
Learning Adapter Rank via Symmetry Breaking
Commonwealth Bank of Australia（澳大利亚联邦银行）
本文通过破除LoRA的旋转规范对称性，提出Low-Rank Variational Dropout框架，实现低秩适应空间的贝叶斯推断，有效学习适配器秩并提升预测不确定性。
2026-05-12 cs.AI cs.CL cs.LG
Semi-supervised Stochastic Multi-Domain Learning using Variational Inference
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
NLP的监督模型依赖于大量的文本集合，这些文本与预期的测试设置非常相似。不幸的是，匹配的文本往往没有足够的数量，而且，在任何文本域中，数据往往是高度异质的。在本文中，我们提出了一种方法来提取的重要领域的信号作为一个多域学习系统的一部分，使用一个潜在的变量模型，其中部分神经模型的stocherogated推断域的基础上。我们比较了离散与连续潜变量的使用，在域监督或域半监督设置中操作，其中域仅针对训练输入的子集已知。我们表明，我们的模型导致竞争基准领域自适应方法，包括使用对抗性学习的方法，大幅提高性能。
2019-06-07 cs.CL cs.LG
Continual Learning via Sequential Function-Space Variational Inference
University of Oxford（牛津大学）
本文提出将持续学习建模为序贯函数空间变分推断，允许参数灵活变化并有效正则化预测，在多个任务序列上提升了神经网络的预测准确性，并减少对旧任务代表性点的依赖。
2023-12-28 cs.AI cs.LG stat.ML
CoLoRA: Continuous low-rank adaptation for reduced implicit neural modeling of parameterized partial differential equations
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
本文提出CoLoRA方法，通过预训练神经网络并连续调整低秩权重，快速预测参数化偏微分方程的解场，支持数据驱动和变分驱动，速度快且适用于数据稀缺场景。
2024-07-21 cs.LG cs.NA math.NA
Discovering Domain Disentanglement for Generalized Multi-source Domain Adaptation
The University of Queensland（昆士兰大学）
典型的多源领域自适应（MSDA）方法旨在将从一组标记的源领域学习到的知识转移到未标记的目标领域。然而，现有的工作严格假设每个源域与目标域共享相同的类组，这很难保证，因为目标标签空间是不可观察的。在本文中，我们考虑一个更通用的设置MSDA，即广义多源领域自适应，其中的源域部分重叠，和目标域被允许包含新的类别，不存在于任何源域。这种新的设置比任何现有的领域自适应协议更难以捉摸，这是由于跨源和目标域的域和类别转换的共存。为了解决这个问题，我们提出了一个变分域解纠缠（VDD）框架，它分解的域表示和语义特征，为每个实例，鼓励维度独立。为了识别未知类的目标样本，我们利用在线伪标签，它根据置信度分数将伪标签分配给未标记的目标数据。在两个基准数据集上进行的定量和定性实验证明了该框架的有效性。
2022-07-11 cs.AI cs.CV cs.LG
Optimal Latent Vector Alignment for Unsupervised Domain Adaptation in Medical Image Segmentation
École Centrale de Nantes（南特中央理工学院）；Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）；CNRS（法国国家科学研究中心）
本文讨论了分割的域转移问题。作为解决方案，我们提出了OLVA，一种新的和轻量级的无监督领域自适应方法的基础上变分自动编码器（VAE）和最优传输（OT）理论。由于VAE，我们的模型学习了一个遵循正态分布的共享跨域潜在空间，这减少了域偏移。为了保证有效的分割，我们的共享潜在空间被设计为对形状而不是强度变化进行建模。我们进一步依赖于OT损失来匹配和对齐潜在空间中两个域之间的剩余差异。我们证明了OLVA的有效性的公共多模态全心脏分割（MM-WHS）数据集上的多个心脏结构的分割，其中的源域包括注释的3D MR图像和未标记的目标域的3D CT。我们的研究结果显示了显着的改善，额外的利润率为12.5%的骰子分数比并发生成训练方法。
2021-06-15 cs.AI cs.CV cs.LG
Variational meta-learning inference for low dimensional neural system identification
SUPSI-DTI-IDSIA, Dalle Molle Institute for Artificial Intelligence（瑞士意大利语区大学-信息工程与数学系-人工智能研究所）
研究针对神经网络在低数据下易过拟合且缺乏可靠不确定性量化的问题，提出基于摊销变分推理的流形元学习框架概率扩展，结合最大后验估计与拉普拉斯近似，在低数据任务中实现高精度并提供校准的不确定性界限。
2026-07-22 cs.AI cs.LG cs.SY
Variational Autoencoder Domain Adaptation for Cross-System Generalization in ML-Based SOP Monitoring
School of Computer Science and Statistics, IRIS research group, ADAPT Centre, Trinity College Dublin (TCD)（三一学院都柏林（TCD）计算机科学与统计学学院、IRIS研究组、ADAPT中心）；Department of Electrical Engineering, Chalmers University of Technology（挑战者技术大学电子工程系）；Micropol Fiberoptics AB（Micropol光纤有限公司）；Department of Computing Science, Umeå University（乌梅大学计算科学系）；Asiera（Asiera公司）
本文提出基于变分自编码器的领域适应框架，通过学习两个不同光系统共有的事件特征表示，提升跨系统泛化能力，实验显示其在跨系统识别准确率上优于全监督深度神经网络基线。
2026-04-20 cs.LG
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University（杜伦大学）
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Radar Image Reconstruction from Raw ADC Data using Parametric Variational Autoencoder with Domain Adaptation
Infineon Technologies AG（英飞凌科技股份公司）；Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出了一种基于参数化变分自编码器的人体目标检测和定位框架，该框架直接与来自调频连续波雷达的原始模数转换器数据一起工作。我们提出了一个参数约束的变分自编码器，残差和跳过连接，能够产生的距离角图像上的聚类和本地化的目标检测。此外，为了规避训练所提出的神经网络在所有可能的情况下，使用真实的雷达数据的问题，我们提出了领域自适应策略，我们首先训练的神经网络使用基于光线追踪的模型数据，然后适应网络工作在真实的传感器数据。该策略确保了所提出的神经网络具有更好的泛化性和可扩展性，即使它是用有限的雷达数据训练的。与传统的信号处理管道和早期最先进的深度U-Net架构相比，我们展示了我们提出的解决方案的卓越检测和定位性能，并将距离多普勒图像作为输入
2022-05-30 cs.CV cs.LG
Unsupervised Domain Adaptation for Robust Speech Recognition via Variational Autoencoder-Based Data Augmentation
Massachusetts Institute of Technology（麻省理工学院）
在许多机器学习场景中，训练和测试之间的域不匹配可能导致性能显著下降。不幸的是，对于实际应用中的自动语音识别部署，这种情况并不罕见。鲁棒语音识别的研究可以被看作是试图克服这个域失配问题。在本文中，我们解决了鲁棒语音识别的无监督领域自适应问题，其中源和目标域的语音，但单词成绩单只适用于源域语音。我们提出了新的增强为基础的方法，转换语音的方式，不改变成绩单。具体来说，我们首先训练一个变分自编码器的源和目标域数据（没有监督）学习语音的潜在表示。然后，我们通过修改潜在表示来变换与识别无关的语音的讨厌属性，以便用分布更类似于目标域的附加数据来增强标记的训练数据。在CHiME-4数据集上对所提出的方法进行了评估，与非适应基线相比，该方法将绝对字出错率（WER）降低了35%。
2017-09-22 cs.CL cs.LG
Stick-Breaking Mixture Normalizing Flows with Component-Wise Tail Adaptation for Variational Inference
Department of Statistics（统计系）；Seoul National University（首尔国立大学）
提出StiCTAF方法，通过stick-breaking混合基与分量级尾部自适应，解决归一化流在后验近似中难以捕捉多模态和重尾的问题，实现准确模式覆盖与尾部建模。
2025-10-09 cs.LG stat.ML
Learning and Adaptation for Millimeter-Wave Beam Tracking and Training: a Dual Timescale Variational Framework
Purdue University（普渡大学）；Arizona State University（亚利桑那州立大学）
毫米波车载网络产生巨大的波束训练开销以实现窄波束通信。本文提出了一种学习和自适应框架，在该框架中学习通信波束的动态特性，然后利用其来设计低开销的自适应波束跟踪和训练：在长时间尺度上，深度循环变分自编码器（DR-VAE）使用有噪的波束训练反馈来学习波束动态的概率模型并实现预测性波束跟踪;在短时间尺度上，自适应波束训练过程被公式化为部分可观测（PO-）马尔可夫决策过程（MDP），并且通过利用波束训练反馈和由DR-VAE提供的最强波束对的概率预测，经由基于点的值迭代（PBVI）来优化。反过来，波束训练反馈用于在连续的学习和适应过程中通过随机梯度上升来细化DR-VAE。所提出的DR-VAE学习框架学习精确的束流动力学：它将地面真实值和束流动力学学习模型之间的Kullback-Leibler发散度降低了95%，超过了Baum-Welch算法和忽略反馈误差的朴素学习方法。在具有多径的视线（LOS）场景上的数值结果表明，所提出的双时间尺度方法产生接近最佳的频谱效率，并将其提高了130%，超过了在主导波束对上进行穷举扫描的策略，以及20%，超过了最先进的POMDP策略。最后，一个低复杂度的政策，提出了减少POMDP的错误鲁棒MDP，并表现出良好的制度与不频繁的反馈错误。
2021-10-26 cs.LG eess.SP
Distributional Drift Adaptation with Temporal Conditional Variational Autoencoder for Multivariate Time Series Forecasting
School of Medical Technology, Beijing Institute of Technology（北京理工大学医学技术学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Department of Computer Science, Tongji University（同济大学计算机科学系）；University of Technology Sydney（悉尼科技大学）；DataX Research Centre, School of Computing, Macquarie University（麦考瑞大学计算学院DataX研究中心）
本文提出时序条件变分自编码器TCVAE，通过时序Hawkes注意力、门控注意力机制和条件连续归一化流建模多元时间序列的动态分布依赖，有效应对分布漂移，在六个真实数据集上验证了其优越的鲁棒性和预测性能。
2024-04-02 cs.LG
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Variational Language Concepts for Interpreting Foundation Language Models
Rutgers University（罗格斯大学）
针对基础语言模型现有注意力权重解释仅停留在词层面、缺乏可读性的问题，提出变分语言概念（VALC）变分贝叶斯框架，实现概念层面的可解释性，经理论与多数据集实验验证有效。
2024-10-28 cs.AI cs.CL cs.LG
Understanding Instance-based Interpretability of Variational Auto-Encoders
University of California San Diego（加州大学圣迭戈分校）
基于实例的解释方法已经被广泛研究用于监督学习方法，因为它们有助于解释黑盒神经网络如何预测。然而，在无监督学习的背景下，基于实例的解释仍然不好理解。在本文中，我们研究了影响函数[Koh和Liang，2017]，这是一种流行的基于实例的解释方法，用于一类称为变分自动编码器（VAE）的深度生成模型。我们正式框架的反事实的问题，在这种设置中的影响函数回答，并通过理论分析，研究他们揭示了经典的无监督学习方法的训练样本的影响。然后，我们介绍了VAE- TracIn，这是一种基于Pagani等人[2020]的VAE计算效率高且理论上合理的解决方案。最后，我们评估VAE-TracIn在几个现实世界的数据集进行了广泛的定量和定性分析。
2022-01-21 cs.LG stat.ML
Recursive QLSTM with Dynamic Variational Quantum Circuit Adaptation
Wells Fargo（沃克斯·福杰公司）；Stevens Institute of Technology（史蒂文斯理工学院）；Seoul National University（首尔国立大学）；Brookhaven National Laboratory（布鲁赫斯国家实验室）；Imperial College London（伦敦帝国理工学院）；National Taiwan University（国立台湾大学）
提出递归量子长短期记忆模型（Recursive QLSTM），通过元核递归扩展QLSTM，数值测试不同输入长度、元核设计和递归规则，理论论证递归结构提升时间信息传播和学习性能。
2026-06-25 cs.AI cs.ET cs.LG
Soft Autoencoder and Its Wavelet Adaptation Interpretation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Northeastern University（东北大学）
近年来，深度学习成为机器学习研究的热点，并对许多重要领域产生了巨大的影响。然而，深度学习因缺乏可解释性而受到批评。作为深度学习中一种成功的无监督模型，自编码器具有广泛的应用范围，但它也存在模型不透明的问题。在本文中，我们提出了一种新型的卷积自编码器，称为软自动编码器（Soft-AE），其中编码层的激活函数实现自适应软阈值单元，而解码层实现与线性单元。因此，软声发射可以自然地解释为一个学习级联小波收缩系统。我们的去噪实验表明，Soft-AE不仅是可解释的，而且相对于其同行还提供了具有竞争力的性能。此外，我们提出了一个广义线性单元（GenLU），使自动编码器在非线性滤波图像和数据，如去噪和去模糊更自适应。
2021-01-05 cs.LG eess.SP stat.ML
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文对矢量量化-变分自编码器（VQ-VAE）进行了信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原则。另一方面，由期望最大化（EM）算法训练的VQ-VAE可以被视为变分信息瓶颈（VIB）原理的近似。
2018-08-02 cs.LG stat.ML
Variational Autoencoder Kernel Interpretation and Selection for Classification
University of Madeira（马德拉大学）；Interactive Technologies Institute（交互技术研究所）；Institute for Technological Development and Innovation in Communications, Universidad de Las Palmas de Gran Canaria（拉斯帕尔马斯大学通信技术发展与创新研究所）
本研究提出基于变分自编码器卷积编码器特征的核选择方法，通过潜在变量采样与KL散度评估，过滤冗余核以减少参数，适用于资源受限设备。
2022-09-10 cs.AI cs.LG
TTVS: Boosting Self-Exploring Reinforcement Learning via Test-time Variational Synthesis
The Hong Kong University of Science and Technology（香港科技大学）
本文提出TTVS框架，通过动态增强未标记测试查询流，使大推理模型自我进化，提升测试时适应性能，实验显示其在八种模型架构上表现优异。
2026-04-09 cs.AI cs.LG
A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer
Georgia Institute of Technology（佐治亚理工学院）；University of Enna Kore（恩纳 Kore 大学）
我们提出了一种变分贝叶斯（VB）方法来学习深度神经网络（DNN）模型中的潜变量分布，以解决训练和测试条件之间的声学不匹配问题。而不是在传统的最大后验估计中进行点估计，在估计大量的模型参数时存在维数灾难的风险，我们将注意力集中在通过VB推理框架估计可管理的DNN潜变量数量上。为了实现模型转移，从源域学习的知识被编码在潜在变量的先验分布中，并且在贝叶斯意义上与来自目标域的一小组自适应数据进行最佳组合，以近似对应的后验分布。声学场景分类中设备自适应的实验结果表明，我们提出的VB方法可以在目标设备上获得很好的改进，并始终优于13个最先进的知识转移算法。
2022-02-20 cs.AI cs.LG cs.NE
Variational Counterfactual Prediction under Runtime Domain Corruption
The University of Queensland（昆士兰大学）；Health and Wellbeing Queensland（昆士兰健康与福祉机构）；The University of Sydney（悉尼大学）
本文提出VEGAN模型，通过两阶段对抗域适应应对运行时域损坏，在基准数据集上提升个体治疗效果估计的泛化能力。
2023-06-23 cs.LG stat.ML
Variational Resampling Based Assessment of Deep Neural Networks under Distribution Shift
Ludwig Maximillian University of Munich（慕尼黑路德维希·马克西米利安大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）；Technical University of Munich（慕尼黑工业大学）
提出了一种新的基于变分推理的递归框架，以评估深度学习模型对分布偏移的鲁棒性和泛化能力。我们使用自动编码变分贝叶斯来找到数据的潜在表示，在该表示上应用变分高斯混合模型，通过将数据集划分为不同的聚类来故意创建分布偏移。Wasserstein距离用于表征所生成的数据分割之间的分布偏移的程度。我们比较了几种流行的卷积神经网络（CNN）架构和贝叶斯CNN模型在Fashion-MNIST数据集上的图像分类，以评估它们在故意创建的分布偏移以及随机交叉验证下的鲁棒性和泛化行为。我们创建单个数据集的人工域分割的方法也可以用于建立机器学习中的新模型选择标准和评估工具，以及领域自适应和领域泛化方法的基准方法。
2019-10-27 cs.LG stat.ML
Learning Diverse Representations for Fast Adaptation to Distribution Shift
Imperial College London（帝国理工学院）
身份证。假设是一种有用的理想化，它支撑了许多成功的监督机器学习方法。然而，违反它可能导致模型学会利用训练数据中的虚假相关性，使它们容易受到对抗性干预，破坏其可靠性，并限制其实际应用。为了缓解这个问题，我们提出了一种学习多个模型的方法，结合一个目标，迫使每个模型学习一种不同的方法来解决任务。我们提出了一个多样性的概念，基于最小化给定标签的模型之间的最终层表示的条件总相关性，我们使用变分估计器近似，并使用对抗训练最小化。为了证明我们的框架的能力，以促进快速适应分布偏移，我们训练一些简单的分类器从头开始对我们的模型的冻结输出使用少量的数据从移动的分布。在此评估协议下，我们的框架显着优于使用经验风险最小化原则训练的基线。
2020-06-12 cs.LG stat.ML
Causal Discovery Inspired Unsupervised Domain Adaptation for Emotion-Cause Pair Extraction
Monash University（莫纳什大学）；Victorian Institute of Forensic Medicine（维多利亚法医研究所）
针对跨域情感-原因对抽取，本文提出受因果发现启发的CAREL-VAE模型，利用情感知识桥接事件分布并通过变分后验正则化解耦表示，在中英文基准上显著超越最强基线。
2025-02-17 cs.AI cs.CL cs.LG
