A Generative Framework for Zero-Shot Learning with Adversarial Domain Adaptation
IIT Kanpur(印度理工学院坎普尔分校);Microsoft Research, India(微软研究院印度分院);University of Toronto(多伦多大学)
提出了一种基于领域自适应的零样本学习生成框架。我们的框架解决了零样本学习中可见和不可见类分布之间的域转移问题,并通过开发一个通过对抗性领域自适应训练的生成模型来最大限度地减少这种转移。我们的方法是基于端到端学习的类分布的可见类和不可见类。为了使模型能够学习看不见的类的类分布,我们根据类属性信息(对可见和不可见的类都可用)来参数化这些类分布。这提供了一种非常简单的方法来学习任何看不见的类的类分布,只给出其类属性信息,而没有标记的训练数据。用对抗性领域自适应训练该模型进一步提供了针对来自可见类和不可见类的数据之间的分布失配的鲁棒性。我们的方法也提供了一种新的方法来训练基于神经网络的分类器,以克服在零样本学习的hubness问题。通过一组全面的实验,我们证明了我们的模型在各种基准数据集上与各种最先进的零样本学习模型相比具有更高的精度。实验代码可在github.com/vkkhare/ZSL-ADA上获得
2020-02-22 cs.CV cs.LG stat.ML
Causal Generative Domain Adaptation Networks
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);The University of Sydney(悉尼大学)
域适应中的一个基本问题是理解和利用跨域的分布变化。为此,我们首先提出了一个灵活的生成域自适应网络(G-DAN)与特定的潜变量,以捕捉跨域的功能生成过程中的变化。通过显式地对变化进行建模,甚至可以使用G-DAN中的潜变量的新值的生成过程在新的域中生成数据。在实践中,一起生成所有特征的过程可能涉及高维潜变量,需要处理高维分布,并且难以从几个源域中学习域变化。有趣的是,通过进一步利用联合分布的因果表示,我们然后将联合分布分解为单独的模块,每个模块涉及不同的低维潜变量,可以单独学习,从而产生因果G-DAN(CG-DAN)。这提高了学习过程的统计和计算效率。最后,通过匹配目标域中的特征分布,我们可以恢复目标域的联合分布,并推导出目标域的学习机。我们证明了G-DAN和CG-DAN在域生成和跨域预测的合成和真实数据实验的有效性。
2018-06-28 cs.LG stat.ML
Remining Hard Negatives for Generative Pseudo Labeled Domain Adaptation
University of Amsterdam(阿姆斯特丹大学)
本文提出R-GPL方法,在生成式伪标签域适应中通过重新挖掘硬负样本,提升密集检索器在目标域的排序性能,在BEIR和LoTTe数据集上取得显著改进。
2025-01-24 cs.IR cs.LG
Robust OT-Guided Generative Residual Domain Adaptation for Bike-Sharing Demand Prediction under Temporal Domain Shift
Department of Statistics;Finance, School of Management, University of Science
针对共享单车需求预测中的时间域偏移问题,提出鲁棒最优传输引导的生成式残差域适应框架Gen-ROTDA,通过残差传输、确定性标签保持残差特征生成和修剪高成本传输匹配,在2025-2026年任务上取得最低MAE,并在多年度任务中平均表现最优。
2026-05-22 cs.LG stat.ML
PAC-Bayesian Domain Adaptation Bounds for Multi-view learning
Galilé Group(加利莱集团);Université Lyon 1(里昂第一大学);LIRIS(里昂信息与图像研究实验室)
本文针对多视图学习中的域适应问题,提出基于Pac-Bayesian理论的泛化界分析方法,通过引入适用于多视图域适应的新距离度量,并给出相应的Pac-Bayesian界估计,整合了两种分离的研究范式。
2024-01-02 cs.LG stat.ML
GenSF: Simultaneous Adaptation of Generative Pre-trained Models and Slot Filling
Carnegie Mellon University(卡内基梅隆大学)
在迁移学习中,必须在预训练模型和下游任务之间实现强对齐。先前的工作已经通过提出特定于任务的预训练目标来做到这一点,这牺牲了迁移学习范例的固有可扩展性。相反,我们通过同时修改预训练模型和下游任务的制定来实现强对齐,这更有效,并保留了迁移学习的可扩展性。我们提出了GenSF(生成式插槽填充),它利用生成式预训练的开放域对话模型进行插槽填充。GenSF(1)通过合并关于任务的归纳偏差来适应预训练模型,(2)通过重新制定插槽填充来适应下游任务,以更好地利用预训练模型的能力。GenSF在两个槽填充数据集上实现了最先进的结果,在Few-Shot和zero-shot设置下具有强大的增益。我们在zero-shot插槽填充中实现了9个F1分数的提高。这突出了预训练模型和下游任务之间强对齐的价值。
2021-06-13 cs.AI cs.CL cs.LG
WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models
Department of Electrical and Computer Engineering, North Carolina State University, Raleigh, USA(电气与计算机工程系,北卡罗来纳州立大学,拉leys,美国)
提出WeGeFT方法,通过从预训练权重生成微调权重,统一了参数高效与表示高效的微调,在多方面实现高效性的同时保持或超越了LoRA及其变体的性能。
2025-07-13 cs.CV cs.LG
Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback
Carnegie Mellon University(卡内基梅隆大学)
本文提出 Diffusion-TTA,利用扩散模型的生成反馈在测试时自适应判别模型,通过最大化图像似然反向传播梯度,显著提升分类、分割和深度预测等任务的准确率,优于 TTT-MAE 和 TENT 等现有方法。
2023-11-29 cs.AI cs.CV cs.LG
A Discriminative Technique for Multiple-Source Adaptation
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(库朗数学科学研究所);Hudson River Trading(哈德逊河交易公司)
我们提出了一种新的判别技术的多源适应,MSA,问题。与以前的工作不同,它依赖于每个源域的密度估计,我们的解决方案只需要条件概率,可以很容易地从源域的未标记数据准确估计。我们给出了我们的新技术,包括一般的保证Rényi分歧的基础上,学习边界时,条件Maxent用于估计条件概率的一个点属于源域的详细分析。我们表明,这些保证比较有利的生成的解决方案,使用核密度估计。我们的实验与现实世界的应用程序进一步表明,我们的新的歧视MSA算法优于以前的生成解决方案,以及其他领域自适应基线。
2021-02-12 cs.LG stat.ML
Deep Generative Domain Adaptation with Temporal Relation Knowledge for Cross-User Activity Recognition
The University of Auckland(奥克兰大学)
针对跨用户活动识别中数据非独立同分布及忽略时间关系的问题,提出CVAE-USM方法,结合VAE和USM利用时间模式对齐分布,在两个公开数据集上优于现有方法。
2024-03-12 cs.AI cs.CV cs.HC
A Multi-Discriminator CycleGAN for Unsupervised Non-Parallel Speech Domain Adaptation
Salesforce Research(赛富时研究院)
领域自适应对于语音识别模型起着重要的作用,特别是对于具有低资源的领域。提出了一种新的基于循环一致生成对抗网络(CycleGAN)的无监督非并行语音领域自适应生成模型。该模型在功率谱图上采用多个独立的鉴别器,每个鉴别器负责不同的频带。因此,我们有1)更好的鉴别器,专注于频率特征的细粒度细节,以及2)能够生成更真实的域适应谱图的生成器。我们证明了我们的方法对性别适应的语音识别的有效性,其中模型在训练期间只能访问来自一种性别的监督数据,但在测试时对另一种性别进行评估。我们的模型是能够实现的平均$7.41\%$音素错误率,和$11.10\%$字出错率相对性能改善相比,基线,TIMIT和华尔街日报数据集,分别。从质量上讲,我们的模型在以其他领域的数据为条件时,也会生成更自然的语音。
2018-07-09 cs.CL cs.LG
CoLoR-GAN: Continual Few-Shot Learning with Low-Rank Adaptation in Generative Adversarial Networks
Department of Engineering and Architecture(工程与建筑系)
提出CoLoR-GAN框架,结合低秩适应与LoRA in LoRA技术,在生成对抗网络中高效实现持续少样本学习,以更少参数达到先进性能。
2025-10-13 cs.AI cs.LG
Weather-Aware Domain Adaptation for Street-View Weather Recognition
University of Central Florida(中佛罗里达大学)
针对自动驾驶街景天气识别中的域偏移问题,提出天气感知对抗性判别域适应(WA-ADDA),统一多数据集基准,显著提升多种骨干网络在不利天气下的识别性能。
2026-10-02 cs.CV cs.LG
Domain Adaptation in Multi-View Embedding for Cross-Modal Video Retrieval
University of Bristol(布里斯托大学);NAVER LABS Europe(NAVER LABS 欧洲)
鉴于画廊的无字幕的视频序列,本文认为检索视频的基础上,他们的相关性看不见的文本查询的任务。为了弥补注释的不足,我们依赖于由视频字幕对组成的相关视频库,称为源库,尽管其视频和目标库中的视频之间存在域间隙。因此,我们介绍了跨模态视频检索的无监督领域自适应的问题,以及一个新的基准上的细粒度的行动。我们提出了一种新的迭代域对齐方法,通过伪标签的目标视频和跨域(即源-目标)的排名。我们的方法使嵌入空间适应目标图库,始终优于仅源以及边缘和条件对齐方法。
2021-10-25 cs.CV cs.LG
Inference-Time Enhancement of Generative Robot Policies via Predictive World Modeling
GPC通过预测世界建模在推理时间提升机器人策略,结合生成先验与前瞻性预测,实现测试时间适应,优于行为克隆并与其他基线方法相媲美。
2026-03-11 cs.CV cs.LG cs.RO
StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
Tel-Aviv University(特拉维夫大学);NVIDIA(英伟达)
一个生成模型是否可以被训练成只在文本提示的引导下从特定领域生成图像,而不需要看到任何图像?换句话说:图像生成器可以“盲目”训练吗?利用大规模对比语言图像预训练(CLIP)模型的语义能力,我们提出了一种文本驱动的方法,该方法允许将生成模型转移到新的领域,而无需收集甚至一张图像。我们表明,通过自然语言提示和几分钟的训练,我们的方法可以适应发电机在众多领域的特点是不同的风格和形状。值得注意的是,这些修改中有许多是很难或完全不可能用现有方法实现的。我们在广泛的领域进行了广泛的实验和比较。这些证明了我们的方法的有效性,并表明我们的转移模型保持了潜在空间属性,使生成模型吸引下游任务。
2021-12-16 cs.CL cs.CV cs.GR
Fast Adaptation in Generative Models with Generative Matching Networks
Higher School of Economics(高等经济学院);Yandex
尽管最近取得了进展,但深度生成模型中仍然存在的瓶颈是大量训练的必要性以及从少量训练示例中泛化的困难。我们开发了一个新的生成模型,称为生成匹配网络,它的灵感来自最近提出的匹配网络在判别任务中的一次性学习。通过对额外的输入数据集进行调节,我们的模型可以立即学习训练数据中不可用但符合类似生成过程的新概念。所提出的框架没有明确限制条件数据的多样性,也不需要广泛的推理过程进行训练或适应。我们在Omniglot数据集上的实验表明,生成匹配网络显着提高了预测性能,因为有更多的额外数据可用,并且优于现有的最先进的条件生成模型。
2017-09-05 cs.LG stat.ML
MAGAN: Margin Adaptation for Generative Adversarial Networks
Imperial College London(伦敦帝国理工学院)
我们提出了生成对抗网络(MAGANs)算法的边缘自适应,这是一种新的GANs训练过程,通过使用自适应铰链损失函数来提高稳定性和性能。我们估计适当的铰链损失利润率与预期的能量的目标分布,并得出原则性的标准时,更新的利润率。我们证明了我们的方法在一定的假设下收敛到全局最优。在无监督图像生成任务上进行评估,所提出的训练过程在不同的数据集上简单而稳健,并且与最先进的技术相比实现了定性和定量的改进。
2017-05-23 cs.LG stat.ML
Geometry Preserving Loss Functions Promote Improved Adaptation of Blackbox Generative Model
Geometric Media Lab(几何媒体实验室);Arizona State University(亚利桑那州立大学);Department of Statistics(统计学系);Florida State University(佛罗里达州立大学);Department of Computer Science and Engineering(计算机科学与工程系);Seoul National University of Science and Technology(首尔科学技术大学);Amazon(亚马逊);Apple Inc.(苹果公司)
本文提出基于几何保持损失函数的端到端管道,用于改进黑盒生成模型的领域适应,通过重新上下文化GAN反向过程来获得准确的潜在空间表示。
2026-04-26 cs.AI cs.LG
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology(昆士兰科技大学)
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下,寻求缓解源域和目标域之间的分布差异。生成对抗网络(GANs)通过生成特定于训练领域的图像,在领域自适应方面表现出了显着的改进。然而,大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息,因此当源和目标领域数据在语义上不同时,这些方法降低了性能。在本文中,我们提出了一个端到端的新的语义一致的生成对抗网络(SCGAN)。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性,它超过了国家的最先进的性能,在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Sparse Causal Discovery with Generative Intervention for Unsupervised Graph Domain Adaptation
State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab(多媒体信息处理国家重点实验室,计算机科学学院,PKU-Anker LLM实验室);Peking University(北京大学);University of California, Los Angeles(加州大学洛杉矶分校);Paul G. Allen School of Computer Science(保罗·G·艾伦计算机科学学院);University of Washington(华盛顿大学);Hong Kong University of Science and Technology(香港科技大学)
针对无监督图域适应中因果与伪特征纠缠及全局对齐失效问题,提出 SLOGAN 方法,通过稀疏因果建模、生成式干预机制与类别自适应动态校准策略,实现稳定的图表示迁移,并在多个数据集上显著优于基线。
2025-07-10 cs.LG
OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
显式深度生成模型(DGMs),例如,VAE和标准化流已被证明为无损压缩提供了一种有效的数据建模替代方案。然而,DGMs本身通常需要大的存储空间,因此污染了精确的数据密度估计带来的优势。为了消除为不同目标数据集保存单独模型的要求,我们提出了一种新的设置,该设置从预训练的深度生成模型开始,并压缩数据批次,同时仅在一个时期内使用动态系统调整模型。我们正式这个设置为单镜头在线适应(OSOA)的DGMs的无损压缩,并提出了香草算法在此设置下。实验结果表明,与训练定制模型相比,香草OSOA可以节省大量时间,与对所有目标使用一个模型相比,可以节省空间。在相同的自适应步长或自适应时间下,vanilla OSOA可以表现出更好的空间效率,例如,与微调预训练模型并保存微调后的模型相比,$47\%$占用的空间更少。此外,我们展示了潜力的OSOA和激励更复杂的OSOA算法,显示进一步的空间或时间效率与多个更新每批和早期停止。
2021-11-02 cs.AI cs.LG
WINFlowNets: Warm-up Integrated Networks Training of Generative Flow Networks for Robotics and Machine Fault Adaptation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔人工智能研究所);Mitsubishi Electric Corporation(三菱电机公司)
WINFlowNets通过温升阶段训练生成流网络与检索网络,提升机器人控制任务的稳定性和适应性,适用于动态环境和故障场景。
2026-03-18 cs.LG
Semi-Generative Modelling: Covariate-Shift Adaptation with Cause and Effect Features
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Univ. of Cambridge(剑桥大学);Delft Univ. of Technology(代尔夫特理工大学);Univ. of Copenhagen(哥本哈根大学)
目前的协变量移位自适应方法使用未标记的数据来计算重要性权重或域不变特征,而最终模型仅在标记数据上进行训练。在这里,我们考虑协变量移位的一个特殊情况,它允许我们从未标记的数据中学习,也就是说,将自适应与半监督学习相结合。使用因果关系的想法,我们认为,这需要学习的原因,$X_C$,和影响,$X_E$,一个目标变量,$Y$,并显示这种设置如何导致我们所谓的半生成模型,$P(Y,X_E|X_C,θ)$。我们的方法对因果特征分布中的域转移具有鲁棒性,并通过学习从原因到结果的直接映射来利用未标记的数据。在合成数据上的实验表明,在纯监督和重要性加权基线的分类显着改善。
2019-02-26 cs.LG stat.ML
Generative Flow Networks for Model Adaptation in Digital Twins of Natural Systems
本文提出基于生成流网络的模型适应方法,用于自然系统数字孪生的持续校准,通过生成模拟器配置来恢复适应景观的主导区域并保持多个合理配置。
2026-04-22 cs.LG cs.SY eess.SY
Multi-view Generative Adversarial Networks
Sorbonne Universités, UPMC Univ Paris 06(索邦大学,巴黎第六大学(UPMC))
多视图数据学习是一个具有很强实际应用价值的挑战性问题。大多数相关的研究集中在分类的角度来看,并假设所有的意见是在任何时候都可用。我们认为这个框架在两个方向的扩展。首先,基于BiGAN模型,多视图BiGAN(MV-BiGAN)能够从多视图输入执行密度估计。其次,它可以处理丢失的视图,并能够在提供额外视图时更新其预测。我们说明了这些属性的一组实验在不同的数据集。
2019-04-17 cs.LG
Diversity-enhancing Generative Network for Few-shot Hypothesis Adaptation
Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);RIKEN(理化学研究所);Tianjin Artificial Intelligence Innovation Center(天津人工智能创新中心);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The University of Sydney(悉尼大学);The University of Tokyo(东京大学)
本文提出 DEG-Net,通过 HSIC 最小化生成数据语义特征间的依赖性以产生多样化无标签数据,从而提升少样本假设适应性能并优于现有基线。
2023-07-12 cs.LG
Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
诸如Wasserstein的最优传输(OT)距离已被用于诸如GANs和领域自适应等若干领域。然而,OT对数据中的离群值(具有大噪声的样本)非常敏感,因为在其目标函数中,由于边缘约束,每个样本(包括离群值)都被类似地加权。为了解决这个问题,以前已经提出了具有不平衡边际约束的OT的鲁棒公式。然而,在深度学习问题(如GANs和领域自适应)中使用这些方法是具有挑战性的,因为它们的对偶优化求解器不稳定。在本文中,我们通过推导出一种适用于现代深度学习应用的鲁棒OT优化的计算高效的对偶形式来解决这些问题。我们在GANs和领域自适应的两个应用中证明了我们的公式的有效性。我们的方法可以训练国家的最先进的GAN模型与离群分布损坏的噪声数据集。特别是,我们的优化计算训练样本的权重,反映了在模型中生成这些样本的难度。在领域自适应中,与标准的对抗性自适应方法相比,我们的鲁棒OT公式提高了准确性。我们的代码可在www.example.com上获得。
2020-10-12 cs.CV cs.LG
Deep Adversarial Transition Learning using Cross-Grafted Generative Stacks
University of Otago(奥塔哥大学)
当前在计算机视觉中使用的深度领域自适应方法主要集中于学习跨不同领域的区分性和领域不变特征。在本文中,我们提出了一种新的“深度对抗性过渡学习”(DATL)框架,通过使用可调节的交叉嫁接生成网络堆栈和过渡之间的有效对抗性学习,将源和目标域投影到中间过渡空间中,从而弥合域差距。具体来说,我们构造的变分自动编码器(VAE)的两个域,并形成双向转换的VAE的解码器堆栈交叉嫁接。此外,生成对抗网络(GAN)用于领域自适应,将目标域数据映射到源域的已知标签空间。因此,整个适应过程由三个阶段组成:VAE的特征表示学习,转换生成和GANs的转换对齐。实验结果表明,我们的方法优于国家的最先进的一些无监督领域自适应基准。
2020-09-25 cs.CV cs.LG
Digital Shielding for Cross-Domain Wi-Fi Signal Adaptation using Relativistic Average Generative Adversarial Network
Department of Computer Science, Sapienza University of Rome(西尔维娅大学罗马计算机科学系);Department of Mathematics, Computer Science and Physics, University of Udine(乌迪内大学数学、计算机科学与物理学系)
本文提出基于RaGAN与Bi-LSTM的Wi-Fi信号跨域自适应深度学习模型,利用模拟法拉第笼的物理屏蔽数据训练,结合SVM实现96%准确率的材料辨别,可用于安全领域识别隐藏物体。
2025-04-29 cs.LG
Rate-Adaptive Quantization: A Multi-Rate Codebook Adaptation for Vector Quantization-based Generative Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出速率自适应量化(RAQ)框架,通过数据驱动方法从单一基线VQ模型生成多速率码本,实现压缩与重建保真度的灵活权衡,并支持无需重训练的聚类适配,有效提升了基于向量量化生成模型的多比特率适应能力。
2025-01-31 cs.CV cs.LG eess.IV
Generative Active Adaptation for Drifting and Imbalanced Network Intrusion Detection
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学)
针对网络入侵检测中概念漂移和数据不平衡导致性能下降且标注困难的问题,提出生成式主动适应框架NetGuard,通过密度感知先验选择和深度生成模型合成样本,显著提升了罕见攻击检测的F1分数并降低了标注成本。
2025-08-14 cs.CR cs.LG cs.NI
Trustworthy deep domain adaptation for wearable photoplethysmography signal analysis with decision-theoretic uncertainty quantification
Department of Data Science and AI(数据科学与人工智能系);National Physical Laboratory(国家物理实验室)
本文提出利用决策理论不确定性量化提升可穿戴光电容积信号分析的领域适应性能,通过评估生成输出的可信度以提高分类准确性。
2026-04-19 cs.LG
Efficient Dataset Selection for Continual Adaptation of Generative Recommenders
Spotify;Carnegie Mellon University(卡内基梅隆大学)
研究通过针对性数据选择缓解时间分布漂移导致的性能下降,采用梯度表示与分布匹配提升模型性能,实现训练效率提升与鲁棒性保障。
2026-04-09 cs.IR cs.LG
Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation
Harbin University of Commerce(哈尔滨商业大学)
提出无梯度方法,将生成伪影检测重构为分布外异常度量问题,通过解析解耦统计与语义偏差,在零样本设置下显著优于梯度优化方法。
2026-06-03 cs.CV cs.LG
FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space
Microsoft Research(微软研究院);University of Washington(华盛顿大学);ETH Zurich(苏黎世联邦理工学院)
研究针对预训练生成式机器人策略在实际部署中出现的问题,提出FlowDAgger方法,通过动作反转从人工干预获取监督,在模拟及现实操纵中评估,该方法优于基线且能保留预训练技能,为机器人基础模型自适应调整提供实用路径。
2026-07-13 cs.LG cs.RO
CAM-GAN: Continual Adaptation Modules for Generative Adversarial Networks
IIT Hyderabad(印度理工学院海得拉巴分校);Duke University(杜克大学);IIT Kanpur(印度理工学院坎普尔分校)
我们通过设计和利用参数有效的特征映射变换,为生成对抗网络(GANs)提供了一种持续学习的方法。我们的方法是基于学习一组全局和特定于任务的参数。全局参数在任务之间是固定的,而特定于任务的参数充当每个任务的本地适配器,并有助于有效地获得特定于任务的特征图。此外,我们提出了在变换后的特征空间中按元素添加残余偏差,这进一步有助于在这种设置中稳定GAN训练。我们的方法还利用基于Fisher信息矩阵的任务相似性信息。利用以前任务中的这些知识可以显著提高模型性能。此外,相似性度量还有助于减少连续适应中的参数增长,并有助于学习紧凑的模型。与最近的连续学习GANs方法相比,所提出的方法提供了一种高效的内存方式来执行有效的连续数据生成。通过对具有挑战性和多样性的数据集进行广泛的实验,我们证明了特征映射变换方法在持续学习的GANs中的性能优于最先进的方法,并且参数要少得多。所提出的方法生成高质量的样本,也可以改善基于生成重放的持续学习的判别任务。
2021-07-30 cs.CV cs.LG stat.ML
Low-Resource Adaptation of Open-Domain Generative Chatbots
Apple(苹果公司);Brown University(布朗大学);Amazon(亚马逊公司)
最近构建开放域聊天机器人的工作表明,增加模型大小可以提高性能。另一方面,延迟和连接考虑因素决定了设备上数字助理的移动。让Siri、Alexa或Google Assistant这样的数字助理能够讨论任何事情,这就需要减小聊天机器人模型的大小,使其适合用户的设备。我们证明了低参数模型可以同时保留他们的一般知识会话能力,而在一个特定的领域提高。此外,我们提出了一个通用的框架,占各种问题类型,跟踪参考整个多轮对话,并删除不一致和潜在的有毒反应。我们的框架可以在聊天和执行事务性任务之间无缝过渡,这最终将使与数字助理的交互更加人性化。我们使用自动(困惑)和人类(SSA -灵敏度和特异性平均值)评估指标在1个内部和4个公共基准数据集上评估我们的框架,并在将模型参数减少90%的同时建立可比性能。
2022-04-08 cs.CL cs.LG
Assembling Semantically-Disentangled Representations for Predictive-Generative Models via Adaptation from Synthetic Domain
Mythic Inc.(Mythic公司);Freeus, LLC.(Freeus有限责任公司);University of Rochester(罗切斯特大学)
深度神经网络可以形成输入数据的高级分层表示。各种研究人员已经证明,这些表示可以用于实现各种有用的应用。然而,这样的表示通常基于数据内的统计,并且可能不符合应用可能需要的语义表示。条件模型通常用于克服这一挑战,但它们需要大量带注释的数据集,这些数据集很难获得,创建成本也很高。在本文中,我们表明,语义对齐表示可以生成,而不是与基于物理的引擎的帮助。这是通过创建具有解耦属性的合成数据集,学习合成数据集的编码器,以及用来自真实域的属性来扩充来自合成域的规定属性来实现的。结果表明,所提出的(SYNTH-VAE-GAN)方法可以构建一个条件预测生成模型的人脸属性,而不依赖于真实的数据标签。
2020-02-23 cs.CV cs.LG eess.IV
FedGenSC: Federated Generative Semantic Communication with Channel-Aware Adaptation
American University of Beirut(贝鲁特美国大学)
针对联邦语义通信中判别器聚合不稳定、语义漂移和信道不可知三大问题,提出FedGenSC框架,通过全局生成器、语义原型库和SNR条件生成,在非IID数据下显著提升性能。
2026-09-09 cs.LG eess.SP
HyperNet-Adaptation for Diffusion-Based Test Case Generation
Technical University of Munich(慕尼黑技术大学);University of Udine(乌迪内大学);fortiss
针对深度学习系统可靠性评估问题,提出HyNeA生成式测试方法,通过超网络实现无数据集可控性,采用独特训练策略,能以较低计算成本有针对性地生成现实故障用例,提高可控性和测试多样性,还可推广到无故障标签数据领域。
2026-07-14 cs.LG cs.SE
Conditional Generative Adversarial Networks for Data Augmentation and Adaptation in Remotely Sensed Imagery
NVIDIA(英伟达);CACI;NGA Research(NGA研究院)
获取与给定任务相关的标记数据的困难是将深度学习技术应用于新的或甚至稍微修改的领域的最常见和众所周知的实际障碍之一。当前一代监督学习算法所需的数据量通常远远超过人类学习和完成给定任务所需的数据量。我们研究如何使用生成对抗网络(GANs)将给定的标记遥感图像语料库扩展为更大的语料库。然后,我们测量这些额外的合成数据如何影响目标检测任务上的监督机器学习性能。我们的数据驱动策略是训练GANs以(1)生成合成分割掩模和(2)生成与这些分割掩模对应的合理合成遥感图像。这些GANs按顺序运行,可以生成带有分割标签的合成遥感图像。我们将此策略应用于ISPRS的2D语义标注大赛-波茨坦的数据集,并进行了车辆检测任务。我们发现,在有限的训练数据的情况下,增加可用的数据与这样的综合生成的数据可以提高检测器的性能。
2019-08-10 cs.CV cs.LG eess.IV
DCoPilot: Generative AI-Empowered Policy Adaptation for Dynamic Data Center Operations
NTU(国立新加坡大学);Yunnan University(云南大学)
DCoPilot通过结合大型语言模型和超网络生成动态数据中心操作的控制策略,实现高效适应与稳定收敛。
2026-02-25 cs.AI cs.LG cs.SY
Towards well-specified semi-supervised model-based classifiers via structural adaptation
Harbin Institute of Technology Shenzhen Graduate School(哈尔滨工业大学深圳研究生院);Hong Kong Baptist University(香港浸会大学)
半监督学习在大规模机器学习中起着重要的作用。适当地使用额外的未标记数据(现在大部分可用)通常可以提高机器学习的准确性。然而,如果机器学习模型被错误地指定为底层真实数据分布,则模型性能可能会严重受损。这个问题被称为模型错误指定。为了解决这个问题,我们专注于生成模型,并提出了一个标准,通过测量使用监督和半监督学习获得的模型之间的性能差异来检测模型误指定的发生。然后,我们建议在模型训练过程中自动修改生成模型,以实现无偏生成模型。使用两个图像分类数据集PASCAL VOC'07和MIR Flickr进行了严格的实验,以评估所提出的方法。我们提出的方法已被证明优于一些国家的最先进的半监督学习方法的分类任务。
2017-05-01 cs.AI cs.LG
Meta Generative Flow Networks with Personalization for Task-Specific Adaptation
Xi’an Jiaotong University(西安交通大学);Leiden University(莱顿大学);Chinese Academy of Sciences(中国科学院);Tianjin University(天津大学);Huawei Technologies(华为技术有限公司)
针对现有元强化学习在稀疏奖励任务表现差、GFlowMeta遇异构转移性能下降的问题,提出结合任务特定个性化策略与元策略的pGFlowMeta算法,经理论证明次线性收敛,实验显示其在离散环境中优于现有SOTA强化学习算法。
2023-06-16 cs.AI cs.LG
COPAL: Continual Pruning in Large Language Generative Models
Samsung Semiconductor(三星半导体)
本文提出COPAL持续剪枝算法,通过敏感性分析在持续适配场景下剪枝大型语言生成模型,无需微调或重训练即可高效适配新领域并优于基线模型。
2024-06-14 cs.AI cs.CL cs.LG
Segmentation-guided Domain Adaptation and Data Harmonization of Multi-device Retinal Optical Coherence Tomography using Cycle-Consistent Generative Adversarial Networks
Simon Fraser University(西蒙弗雷泽大学);Wake Forest University School of Medicine(维克森林大学医学院);Wake Forest School of Medicine(维克森林大学医学院);University of Nottingham(诺丁汉大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Memorial University of Newfoundland(纽芬兰纪念大学);University of British Columbia(不列颠哥伦比亚大学);The University of British Columbia(不列颠哥伦比亚大学);University College London(伦敦大学学院)
光学相干断层扫描(OCT)是一种以微米级分辨率捕获视网膜横截面积的非侵入性技术。它已被广泛用作检测眼部相关病理和预测疾病特征纵向进展的辅助成像参考。视网膜层分割是关键的特征提取技术之一,其中视网膜层厚度的变化和由于流体的存在而导致的视网膜层变形与多种流行性眼病如糖尿病视网膜病变(DR)和视网膜相关黄斑变性(AMD)高度相关。然而,这些图像是从具有不同强度分布的不同设备获取的,或者换句话说,属于不同的成像域。本文提出了一种分割引导的域自适应方法,将来自多个设备的图像适应到单个图像域,其中最先进的预训练分割模型可用。它避免了为即将到来的新数据集手动标记和重新训练现有网络的时间消耗。网络的语义一致性和全局特征一致性将最大限度地减少许多研究人员报告的关于循环一致生成对抗网络(CycleGAN)架构的幻觉效应。
2022-08-31 cs.CV cs.LG eess.IV
Deep Generative Models of Evolution: SNP-level Population Adaptation by Genomic Linkage Incorporation
Johannes Gutenberg University Mainz(吉森大学)
本文提出一种深度生成神经网络,通过融合邻近位点信息建模 SNP 等位基因频率轨迹,从而从 Pool-Seq 的 E&R 数据中估计通常不可得的成对连锁不平衡。
2025-07-28 cs.LG q-bio.PE
Generative Restricted Kernel Machines: A Framework for Multi-view Generation and Disentangled Feature Learning
KU Leuven(鲁汶大学)
本文介绍了一种新的框架,生成模型的基础上限制核机器(RKM)与联合多视图生成和不相关的特征学习,称为Gen-RKM。为了实现联合多视图生成,该机制使用来自各种视图的数据的共享表示。此外,该模型具有原始和对偶公式,以将基于内核的模型和基于(深度卷积)神经网络的模型合并在同一设置中。当使用神经网络作为显式特征映射时,提出了一种新的训练过程,该过程联合学习特征和共享子空间表示。隐变量由核矩阵的特征分解给出,其中特征向量的相互正交性表示所学习的不相关特征。实验表明,通过对各种标准数据集上生成的样本进行定性和定量评估,该框架具有潜力。
2020-12-17 cs.LG stat.ML
MEGAN: A Generative Adversarial Network for Multi-View Network Embedding
The Pennsylvania State University(宾夕法尼亚州立大学)
来自许多真实世界应用的数据可以自然地由多视图网络表示,其中不同的视图编码不同类型的关系(例如,友谊,共同的音乐爱好等)。真实世界中的个体或实体之间。迫切需要一种方法来获得低维,信息保持和典型的非线性嵌入这样的多视图网络。然而,大多数关于多视图学习的工作都集中在缺乏网络结构的数据上,而大多数关于网络嵌入的工作主要集中在单视图网络上。在此背景下,我们考虑多视图网络表示学习问题,即,多视点网络的低维信息保持嵌入的构造问题。具体来说,我们研究了一种新的生成对抗网络(GAN)框架,用于多视图网络嵌入,即ME GAN,旨在保留来自各个网络视图的信息,同时考虑不同视图之间的连接性(因此互补性和相关性)。我们在两个真实世界的多视图数据集上的实验结果表明,使用MEGAN获得的嵌入优于节点分类,链接预测和可视化任务的最先进的方法。
2019-08-20 cs.LG cs.SI
No Data Wasted: A Semi-supervised Generative Model for Incomplete Multi-view Data Integration with Missing Labels
针对带缺失标签和视图的多视图学习问题,提出半监督生成模型,结合标记与未标记样本,在共享潜在空间最大化似然与互信息,提升预测与生成性能。
2026-09-03 cs.AI cs.LG
DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning
Arizona State University(亚利桑那州立大学);University of Maryland, College Park(马里兰大学帕克分校)
研究强化学习中跨域策略适应问题,提出基于扩散的DADiff框架,利用源域和目标域生成轨迹差异估计动态不匹配,开发奖励修改和数据选择变体,实验表明该方法性能优于现有方法,有效解决动态不匹配。
2026-07-20 cs.AI cs.LG
Exocentric to Egocentric Image Generation via Parallel Generative Adversarial Network
Texas State University(德克萨斯州立大学);University of Trento(特伦托大学);Cisco(思科)
最近已经提出了跨视图图像生成,以从一个视图生成另一个显著不同的视图的图像。在本文中,我们研究了离心(第三人称)视图到自我中心(第一人称)视图的图像生成。这是一项具有挑战性的任务,因为自我中心的观点有时与离心观点截然不同。因此,在两个视图之间转换外观是一项重要的任务。为此,我们提出了一种新的并行生成对抗网络(P-GAN)与一种新的交叉循环损失,学习共享信息,从偏心视图生成自我中心的图像。我们还将一个新的上下文特征损失的学习过程中捕捉图像中的上下文信息。在Exo-Ego数据集上进行的大量实验表明,我们的模型优于最先进的方法。
2020-02-08 cs.CV cs.LG eess.IV
A Contrastive Learning Framework Empowered by Attention-based Feature Adaptation for Street-View Image Classification
SpaceTimeLab(时空实验室);University College London(伦敦大学学院)
CLIP-MHAdapter通过引入基于注意力的特征适应机制,提升街景图像属性分类的准确性和效率
2026-02-18 cs.AI cs.CV cs.LG