Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer
National University of Defense Technology(国防科技大学);University of Copenhagen(哥本哈根大学)
基于预训练语言编码器的多任务迁移学习在一系列任务中实现了最先进的性能。标准方法隐含地假设我们有训练数据的任务同样代表我们感兴趣的任务,这一假设通常很难证明。本文提出了一种更不可知的方法来多任务迁移学习,它使用自动化的课程学习,以尽量减少一个新的家庭的最坏情况下意识的损失跨任务。这些损失不仅导致在异常值任务上的更好的性能;它们还导致在zero-shot和Few-Shot传输设置中的更好的性能。
2020-09-23 cs.CL cs.LG
Transfer Learning on Heterogeneous Feature Spaces for Treatment Effects Estimation
University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所);University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校)
考虑通过利用来自具有不同特征空间的源域的相关信息来改进感兴趣的目标域的条件平均治疗效应(CATE)的估计的问题。CATE估计的这种异质迁移学习问题在医疗保健等领域普遍存在,我们可能希望评估新患者人群的治疗有效性,这些患者人群具有不同的临床协变量和有限的数据。在本文中,我们解决这个问题,通过引入几个构建块,使用表示学习来处理异构的特征空间和一个灵活的多任务体系结构,共享和私有层之间的跨域潜在的结果功能传输信息。然后,我们展示了如何使用这些构建块来恢复标准CATE学习器的迁移学习等价物。在一个新的异构迁移学习的半合成数据模拟基准上,我们不仅展示了我们的异构迁移因果效应学习器在数据集上的性能改进,而且还从迁移的角度提供了对这些学习器之间差异的见解。
2022-10-08 cs.LG stat.ME
Leveraging the Feature Distribution in Transfer-based Few-Shot Learning
IMT Atlantique(大西洋国立高等电信学院);Orange Labs(Orange实验室)
Few-Shot分类是一个具有挑战性的问题,由于不确定性所造成的使用少数标记的样本。在过去的几年中,已经提出了许多方法来解决Few-Shot分类,其中基于转移的方法已被证明达到最好的性能。遵循这一思路,在本文中,我们提出了一种新的基于传输的方法,该方法基于两个连续的步骤:1)预处理特征向量,使其更接近高斯分布,以及2)使用最优传输启发算法(在转换设置的情况下)利用这种预处理。使用标准化的视觉基准,我们证明了所提出的方法,以实现国家的最先进的精度与各种数据集,骨干架构和Few-Shot设置的能力。
2021-01-26 cs.LG stat.ML
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Alibaba Group(阿里巴巴集团)
在本文中,我们探讨了槽标记只有几个标记的支持句(a.k.a. Few-Shot)。与其他Few-Shot分类问题相比,Few-Shot槽标记面临着独特的挑战,因为它需要对标签之间的依赖关系进行建模。但是,由于标签集的差异,很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题,我们在条件随机场(CRF)中引入了一个折叠依赖转移机制,以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中,CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性,我们提出了一个标签增强的任务自适应投影网络(L-TapNet)的基础上,国家的最先进的Few-Shot分类模型- TapNet,利用标签名称语义表示标签。实验结果表明,我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Cross-heterogeneity Graph Few-shot Learning
Macquarie University(麦考瑞大学)
本文针对跨异质性图少样本学习问题提出CGFL模型,通过元模式提取、多视图异质性图神经网络和可迁移性评分模块,结合元学习机制实现跨异质性图的知识迁移,在四个数据集上取得优于现有方法的性能。
2023-08-10 cs.AI cs.LG
Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model
National Taiwan University(台湾大学)
由于收集每种语言的训练数据是不可行的,因此人们对跨语言迁移学习越来越感兴趣。本文系统地研究了基于多语种语料库预训练语言表征模型的zero-shot跨语言迁移学习在阅读理解任务中的应用。实验结果表明,使用预先训练好的语言表示,零样本学习是可行的,不需要将源数据翻译成目标语言,甚至会降低性能。我们进一步探讨了模型在zero-shot设置中学习了什么。
2019-09-15 cs.CL cs.LG stat.ML
Self-Normalizing Neural Network, Enabling One Shot Transfer Learning for Modeling EDFA Wavelength Dependent Gain
Duke University(杜克大学)
本文提出一种基于半监督自归一化神经网络的机器学习框架,用于对多个EDFA的波长相关增益进行建模并实现一次性迁移学习,在跨不同放大器类型的22个EDFA实验中展现出高精度。
2023-10-21 cs.LG cs.NI
On the low-shot transferability of [V]-Mamba
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Landskape AI(兰斯卡普人工智能公司);AI4Bharat(印度AI4Bharat机构);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
本研究比较[V]-Mamba与ViT在少样本迁移中的表现,发现LP下[V]-Mamba更优,VP下较弱,且性能差距与模型规模弱正相关。
2024-03-15 cs.CV cs.LG
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案,即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外,我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学)
虽然Few-Shot分类已被广泛探索与基于相似性的方法,Few-Shot序列标记构成了一个独特的挑战,因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性,我们建议利用条件随机场(CRF)在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数,并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时,不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题,我们引入了依赖转移机制,转移抽象标签转换模式。此外,相似性方法依赖于高质量的样本表示,这对于序列标记是具有挑战性的,因为当测量单词与不同句子中的单词的相似性时,单词的含义是不同的。为了弥补这一点,我们利用最近的上下文嵌入技术,并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明,我们的模型显着优于最强的少样本学习基线分别为11.76(21.2%)和12.18(97.7%)的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Few-Shot Transfer Learning for Device-Free Fingerprinting Indoor Localization
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
无设备无线室内定位是物联网(IoT)的关键技术,基于指纹的方法被广泛使用。基于指纹的方法面临的一个共同挑战是数据收集和标记。本文提出了一种Few-Shot迁移学习系统,该系统仅使用来自当前环境的少量标记数据,并重用先前在其他环境中收集的大量现有标记数据,从而显著降低了每个新环境中本地化的数据收集和标记成本。其核心方法是基于图神经网络(GNN)的Few-Shot迁移学习及其改进。在真实世界环境中进行的实验结果表明,该系统实现了与卷积神经网络(CNN)模型相当的性能,标记数据减少了40倍。
2022-01-29 cs.LG eess.SP
Heterogeneous Transfer Learning in Ensemble Clustering
Sobolev Institute of mathematics(索伯列夫数学研究所)
提出了一种基于迁移学习的集成聚类方法。我们考虑一个聚类问题,其中除了正在考虑的数据,“类似”的标记数据。数据集可以用不同的特征来描述。该方法基于元特征的构造,描述数据的结构特征,以及它们从源域到目标域的转移。用Monte Carlo模拟方法对该方法进行了实验研究,证实了其有效性。与其他类似方法相比,该方法能够在任意的源域和目标域特征描述下工作,具有较小的复杂度。
2020-01-20 cs.LG stat.ML
Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
Edge Hill University(埃德希尔大学)
本文提出一种仅训练的异构图监督方法,通过多尺度视觉补丁和文本提示构建统一图,利用模态感知图变压器进行跨模态推理,并通过节点过滤提取高保真类特征,从而提升少样本学习性能。
2026-03-18 cs.AI cs.CV cs.ET
Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding
National Taiwan University(台湾大学)
本文研究了一种可转移音素嵌入框架,旨在解决Few-Shot环境下的跨语言文本到语音转换问题。迁移学习是Few-Shot学习的常用方法,因为在Few-Shot训练数据上从头开始训练必然会过拟合。尽管如此,我们发现,在提供不到8分钟的数据的极Few-Shot设置下,朴素的迁移学习方法无法适应看不见的语言。我们处理的问题,提出了一个框架,该框架由一个基于音素的TTS模型和一个码本模块从不同的语言到一个学习的潜在空间的项目音素。此外,通过利用音素级平均的自监督学习特征,我们有效地提高了合成语音的质量。实验表明,使用我们的框架,当适应一种看不见的语言时,使用4个话语(大约30秒的数据)就足以合成可理解的语音。
2022-08-03 cs.AI cs.LG eess.AS
Transfer Language Selection for Zero-Shot Cross-Lingual Abusive Language Detection
我们研究了自动辱骂性语言检测中迁移语言的选择问题。我们没有为每种语言准备数据集,而是展示了跨语言迁移学习对zero-shot滥用语言检测的有效性。通过这种方式,我们可以使用来自高资源语言的现有数据来为低资源语言构建更好的检测系统。我们的数据集来自三个语系的七种不同语言。我们使用几种语言相似性度量来测量语言之间的距离,特别是通过量化世界语言结构地图集。我们发现,语言相似性和分类器性能之间存在相关性。这一发现使我们能够选择一个最佳的迁移语言的zero shot滥用语言检测。
2022-06-02 cs.AI cs.CL cs.LG
Hierarchical Meta Learning
National University of Singapore(新加坡国立大学)
元学习是解决少样本学习问题的一种很有前途的方法。然而,现有的元学习方法仅限于训练和应用任务共享相同输出结构的场景。为了获得适用于具有新结构的任务的Meta模型,需要收集新的训练数据并重复耗时的Meta训练过程。这使得它们在学习解决异构少样本学习任务时效率低下甚至不适用。因此,我们开发了一个新的和原则性的分层元学习(HML)方法。与现有方法只关注优化Meta模型对相似任务的适应性不同,HML还显式地优化了其跨异构任务的泛化能力。为此,HML首先将一组相似的训练任务分解为异构任务,并在两个级别上训练Meta模型,以分别最大化适应和泛化性能。由此产生的模型可以直接推广到新的任务。在Few-Shot分类和回归问题上的大量实验清楚地表明,HML在跨异构任务的泛化方面优于微调和最先进的元学习方法。
2019-04-19 cs.LG stat.ML
Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark
Google Research, Brain Team(谷歌研究院,大脑团队)
Meta和迁移学习是少样本学习的两种成功的方法。尽管目标高度相关,但每个家庭的最新进展在很大程度上是孤立地衡量的。由于评价规范各不相同,直接或彻底比较不同的方法是一项挑战。为了弥补这一差距,我们进行了跨家庭的研究,最好的迁移和Meta学习者的大规模元学习基准(元数据集,MD),和迁移学习基准(视觉任务适应基准,VTAB)。我们发现,平均而言,大规模转移方法(Big Transfer,BiT)在MD上的表现优于竞争方法,即使只在ImageNet上训练。相比之下,元学习方法在MD上训练和验证时很难在VTAB上竞争。然而,BiT并非没有限制,并且推动规模并不能提高高度分布MD任务的性能。在执行这项研究中,我们揭示了一些差异的评价规范和研究其中一些在光的性能差距。我们希望这项工作有助于分享来自每个社区的见解,并加快少样本学习的进展。
2021-04-06 cs.CV cs.LG
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
少样本学习中的大多数方法依赖于(预)训练期间与目标任务域相关的昂贵的注释数据。最近,无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时,在具有现实域转移的设置中,常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展,我们提出了一种迁移学习方法,该方法构建了一个度量嵌入,将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中,我们的方法甚至具有与监督方法相当的性能,但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models
Columbia University(哥伦比亚大学)
鉴于大型预训练语言模型的上下文学习的成功,我们引入上下文学习蒸馏,将上下文少样本学习能力从大型模型转移到较小的模型。我们建议将上下文学习目标与语言建模目标相结合,以将阅读上下文示例的能力和任务知识提取到较小的模型中。我们在两种不同的少样本学习范式下执行上下文学习蒸馏:Meta上下文调整(Meta-ICT)和多任务上下文调整(Multitask-ICT)。多任务ICT在多任务少样本学习上表现更好,但也需要比Meta-ICT更多的计算。我们的方法在两个基准上显示了元ICT和多任务ICT的一致改进:LAMA和CrossFit。我们的大量实验和分析表明,在多任务ICT范式下,上下文学习目标和语言建模目标是互补的。上下文学习目标与语言建模目标相结合时,可获得最佳性能。
2022-12-20 cs.CL cs.LG
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University(纽约大学);IBM Research AI(IBM研究院人工智能部门)
预训练的语言模型在自然语言处理的各个领域都取得了成功,包括阅读理解任务。然而,当将机器学习方法应用于新领域时,标记的数据可能并不总是可用的。为了解决这个问题,我们对源域数据进行了有监督的预训练,以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能,以微调预训练模型,而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Generalized Zero and Few-Shot Transfer for Facial Forgery Detection
Technical University of Munich(慕尼黑工业大学)
我们提出了深度分布转移(DDT),这是一种新的迁移学习方法,用于解决面部伪造检测背景下的零和Few-Shot转移问题。我们研究了用一种伪造创建方法训练的模型(预)对以前看不见的操纵技术或不同数据集的泛化程度。为了促进这种转移,我们引入了一种新的基于混合模型的损失公式,该公式学习多模态分布,其模式对应于源伪造方法的基础数据的类别。我们的核心思想是首先预训练一个编码器神经网络,它将这种分布的每个模式映射到相应的类标签,即,通过最小化它们之间的Wasserstein距离来识别源域中的真实图像或伪图像。为了将该模型转移到一个新的域,我们将一些目标样本与先前训练的模式之一相关联。此外,我们提出了一个空间混合增强策略,进一步帮助跨域的泛化。我们发现,这种学习策略是令人惊讶的有效域转移相比,传统的分类,甚至国家的最先进的领域自适应/少样本学习方法。例如,与最佳基线相比,我们的方法将zero-shot的分类准确率提高了4.88%,将从FaceForensics++转移到Dessa数据集的Few-Shot案例的分类准确率提高了8.38%。
2020-06-21 cs.CV cs.LG eess.IV
Zero-Shot Heterogeneous Transfer Learning from Recommender Systems to Cold-Start Search Retrieval
Google Inc.(谷歌公司)
神经信息检索模型的许多最新进展,预测给定查询的前K项,直接从(查询,项)对的大型训练集学习。然而,当有许多以前看不见的(查询,项)组合时,它们通常是不够的,通常被称为冷启动问题。此外,搜索系统可能偏向于先前频繁显示给查询的项目,也称为“富人更富”(也称为“富人更富”)。反馈回路)问题。鉴于这些问题,我们观察到,大多数在线内容平台都有一个搜索和推荐系统,虽然有异构的输入空间,可以通过它们的公共输出项空间和共享的语义表示连接。在本文中,我们提出了一个新的Zero-Shot异构迁移学习框架,将学习到的知识从推荐系统组件,以改善搜索组件的内容平台。首先,它通过预测来自推荐系统的(项目,项目)相关图作为辅助任务来学习项目及其自然语言特征的表示。然后,学习的表示被转移到解决目标搜索检索任务,执行查询到项目预测,而无需在训练中看到任何(查询,项目)对。我们在世界上最大的搜索和推荐系统之一的谷歌进行在线和离线实验,并提出了结果和经验教训。我们证明了所提出的方法可以实现高性能的离线搜索检索任务,更重要的是,在高度优化的生产系统在在线实验中,实现了显着的改善相关性和用户交互。
2020-08-19 cs.IR cs.LG stat.ML
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
文档级神经机器翻译(DocNMT)通过结合跨句子上下文来实现连贯的翻译。然而,对于大多数语言对来说,尽管并行句子很容易获得,但并行文档还是很短缺。在本文中,我们研究是否以及如何在DocNMT上下文建模是通过多语言建模可转移。我们专注于zero-shot传输的情况下,从教师语言的文档级数据的学生语言没有文件,但句子级数据,并首次将文档级翻译作为一个迁移学习问题。使用简单的基于拼接的DocNMT,我们探讨了3个因素对迁移的影响:具有文档级数据的教师语言的数量,训练时文档和句子级数据之间的平衡,以及并行文档的数据条件(真实与回译)。我们的实验在Europarl-7和IWITOS-10上显示了DocNMT多语言传输的可行性,特别是在文档特定的指标上。我们观察到,更多的教师语言和足够的数据平衡都有助于更好的传输质量。令人惊讶的是,传输对数据条件不太敏感,多语言DocNMT在回译或真正的文档对中提供了不错的性能。
2022-05-17 cs.CL cs.LG
MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and Architectures
KAIST(韩国科学技术院);AITRICS
正则化和迁移学习是两种常用的对未知数据进行泛化的技术,这是机器学习的一个基本问题。正则化技术是通用的,因为它们与任务和架构无关,但它们不利用大量可用数据。迁移学习方法学习将知识从一个领域转移到另一个领域,但可能不会跨任务和架构进行泛化,并且可能会引入新的训练成本以适应目标任务。为了弥合两者之间的差距,我们提出了一个可转移的扰动,MetaPerturb,这是元学习,以提高泛化性能看不见的数据。MetaPerturb被实现为一个基于集合的轻量级网络,它不知道输入的大小和顺序,这些输入在各层之间共享。然后,我们提出了一个元学习框架,共同训练的扰动函数在异构任务并行。由于MetaPerturb是一个在跨层和任务的不同分布上训练的集合函数,因此它可以推广到异构任务和架构。我们验证了MetaPerturb在特定源域和架构上训练的有效性和通用性,通过将其应用于针对各种正则化器和微调的异构目标数据集上的各种神经架构的训练。结果表明,使用MetaPerturb训练的网络在大多数任务和架构上的表现都明显优于基线,参数大小的增加可以忽略不计,并且没有超参数需要调整。
2022-02-15 cs.LG stat.ML
Low-Shot Classification: A Comparison of Classical and Deep Transfer Machine Learning Approaches
Kantar(凯度)
尽管深度迁移学习方法最近在NLP中取得了成功,但缺乏定量研究来证明这些模型在低拍摄文本分类任务中提供的收益超过现有范例。深度迁移学习方法(如BERT和ULMFiT)表明,它们可以在更大的数据集上击败最先进的结果,但是当每个类只有100-1000个标记示例时,方法的选择就不那么明确了,经典的机器学习和深度迁移学习代表了有效的选项。本文比较了目前最好的迁移学习方法与顶级经典的机器学习方法上的三元情感分类任务,以评估最佳范例。我们发现,代表最好的深度迁移学习的BERT是性能最好的方法,当每个类训练100个样本时,平均比顶级经典机器学习算法性能高出9.7%,当每个类训练1000个标签时,平均比顶级经典机器学习算法性能低1.8%。我们还展示了深度迁移学习在跨领域移动中的鲁棒性,其中在相似领域任务中准确性的最大损失仅为0.7%,跨领域任务的最大损失为3.2%,而经典的机器学习损失高达20.6%。
2019-07-17 cs.LG stat.ML
TGG: Transferable Graph Generation for Zero-shot and Few-shot Learning
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);State Key Laboratory of Digital Publishing Technology(数字出版技术国家重点实验室)
Zero-shot和少样本学习的目标是提高对未知概念的泛化能力,这在许多现实场景中是有前途的。由于未知领域的数据缺乏,可见领域和未知领域之间的关系建模对于这些任务中的知识转移至关重要。大多数现有的方法通过语义嵌入或特征生成来隐式地捕获可见-不可见关系,导致关系的使用不足,并且仍然存在一些问题(例如域转移)。为了解决这些挑战,我们提出了一个可转移的图形生成(TGG)的方法,其中的关系是建模和利用明确通过图形生成。具体来说,我们提出的TGG包含两个主要组成部分:(1)关系建模的图生成。提出了一种基于注意力的聚合网络和一种关系核,它基于类级原型图和视觉特征生成实例级图。邻近信息聚合由多头图注意力机制引导,其中由GAN合成的可见和不可见特征被修改为节点嵌入。关系核进一步使用GCN和图核方法生成边,以捕获实例级拓扑结构,同时解决数据不平衡和噪声问题。(2)关系利用的关系传播。提出了一种对偶关系传播方法,其中由生成的图捕获的关系分别从可见和不可见的子图传播。这两个传播以双重学习方式相互学习,这作为用于减轻域移位的自适应方式来执行。所有组件都使用元学习策略进行了联合优化,我们的TGG作为一个端到端的框架,统一了传统的zero-shot,广义的zero-shot和少样本学习。大量的实验表明,它始终超过上述三个领域的现有方法的显着保证金。
2019-08-30 cs.LG stat.ML
Few-Shot Learning-Based Human Activity Recognition
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
少样本学习是一种通过从相关任务转移知识来学习具有非常少量的标记训练数据的模型的技术。在本文中,我们提出了一个少样本学习方法可穿戴传感器的人体活动识别,一种技术,寻求高层次的人类活动知识,从低层次的传感器输入。由于获得人类生成的活动数据的高成本和活动模式之间普遍存在的相似性,当只有少量数据可用于模型训练时,从现有的活动识别模型借用信息比收集更多的数据来从头开始训练新模型可能更有效。所提出的Few-Shot人体活动识别方法利用深度学习模型进行特征提取和分类,同时以模型参数传递的方式执行知识传递。为了减轻负迁移,我们提出了一个度量跨域类的相关性,使知识的相关性较高的知识分配较大的权重在知识转移。在广泛的实验结果表明,所提出的方法的优点。
2019-03-25 cs.LG stat.ML
Self-training for Few-shot Transfer Across Extreme Task Differences
Cornell University(康奈尔大学)
大多数少样本学习技术都是在一个大的、标记的“基础数据集”上进行预训练的。在这样的大型标记数据集不可用于预训练的问题域中(例如,X射线,卫星图像),必须在不同的“源”问题域(例如,ImageNet),这可能与所需的目标任务非常不同。传统的Few-Shot和迁移学习技术在源任务和目标任务之间存在这种极端差异的情况下会失败。在本文中,我们提出了一个简单而有效的解决方案来解决这个极端的域差距:在目标域的未标记数据上自训练源域表示。我们表明,这将目标域上的一次性性能平均提高了2.9个点,这是由来自多个域的数据集组成的具有挑战性的BSCD-FSL基准测试。我们的代码可在https://github.com/cpphoo/STARTUP上获得。
2021-03-17 cs.AI cs.CV cs.LG
Unveiling Invariant and Transferable Latent Factors Across Heterogeneous Environments via ATLAS
Harvard University(哈佛大学)
研究异构环境下多环境因素模型,提出ATLAS方法,利用不变性原理和辅助标签监督,分离不变与异构因素,用于潜在因素回归,在新环境中实现可转移预测,还建立了相关非渐近误差界。
2026-07-21 cs.LG math.ST stat.ME
Heterogeneous Domain Adaptation via Soft Transfer Network
Harbin Institute of Technology(哈尔滨工业大学);Southern University of Science and Technology(南方科技大学)
异质领域自适应(HDA)是指通过从异质领域中借用知识来促进目标领域的学习任务。在本文中,我们提出了一个软传输网络(SoftTransferNetwork,简称SDH),它以端到端的方式联合学习一个域共享分类器和一个域不变子空间,以解决HDA问题。该算法不仅能够对齐域的判别方向,而且能够匹配域间的边缘分布和条件分布。为了避免负迁移,该算法通过使用未标记目标数据的软标签策略来对齐条件分布,该策略防止将每个未标记目标数据硬分配到可能不正确的类别。此外,由于随着迭代次数的增加,软标签将变得越来越准确,因此,ESTA引入了自适应系数来逐渐增加软标签的重要性。我们对图像到图像、文本到图像和文本到文本的迁移任务进行了实验。实验结果证明,该算法的性能明显优于几种最先进的方法。
2019-08-28 cs.CV cs.LG stat.ML
Modularized Transfer Learning with Multiple Knowledge Graphs for Zero-shot Commonsense Reasoning
Yonsei University(延世大学);University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院);Seoul National University(首尔国立大学)
常识推理系统应该能够推广到不同的推理情况。然而,大多数最先进的方法依赖于昂贵的数据注释和过拟合到特定的基准,而不学习如何执行一般的语义推理。为了克服这些缺点,zero-shot QA系统已经通过将常识知识图谱(KG)转换成用于模型训练的合成QA形式样本而显示出作为鲁棒学习方案的前景。考虑到不同常识知识库类型的增加,本文旨在将zero-shot迁移学习场景扩展到多源环境中,使不同知识库能够协同使用。为了实现这一目标,我们建议,以减轻损失的知识,从不同的知识源之间的干扰,通过开发一个模块化的变体的知识聚合作为一个新的zero-shot常识推理框架。五个常识推理基准测试的结果证明了我们的框架的有效性,提高了多个KG的性能。
2022-06-22 cs.AI cs.CL cs.LG
FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
针对个性化与联邦学习中的少样本图像分类,提出结合迁移学习与元学习的FiT方法,以极低参数实现高精度,并在VTAB-1k上达到最优。
2023-02-02 cs.CV cs.LG stat.ML
TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Futurewei Technologies;University of Rochester(罗切斯特大学)
深度学习在许多视觉识别任务中的成功应用在很大程度上依赖于大量标记数据的可用性,而这些数据的获取通常是昂贵的。少样本学习问题是一个基于少量标记样本建立鲁棒模型的问题,已引起研究者的广泛关注。大多数现有的作品在元学习框架下解决这个问题,通过模仿少样本学习任务的情景训练策略。在本文中,我们提出了一个新的迁移学习框架的半监督少样本学习,充分利用辅助信息标记的基本类数据和未标记的新类数据。该框架由三个部分组成:1)在基本类数据上预训练特征提取器; 2)使用特征提取器初始化新类的分类器权重;以及3)使用半监督学习方法进一步更新模型。在所提出的框架下,我们开发了一种新的半监督少样本学习方法,称为TransMatch通过实例化的三个组件与印记和MixMatch。在两个流行的少样本学习基准数据集CUB-200-2011和miniImageNet上的实验表明,该方法可以有效地利用标记的基类数据和未标记的新类数据中的辅助信息,显著提高少样本学习任务的准确性。
2020-03-09 cs.CV cs.LG stat.ML
Few-shot human motion prediction for heterogeneous sensors
University of Hildesheim(希尔德斯海姆大学)
人体运动预测是一项复杂的任务,因为它涉及在连接的传感器图上预测随时间变化的变量。这在少样本学习的情况下尤其如此,在这种情况下,我们只基于几个例子来预测先前看不见的动作的运动序列。尽管如此,几乎所有用于Few-Shot运动预测的相关方法都不结合底层图,而底层图是经典运动预测中的常见组件。此外,用于Few-Shot运动预测的现有技术方法被限制为具有固定输出空间的运动任务,这意味着这些任务都被限制为相同的传感器图。在这项工作中,我们建议扩展最近的作品Few-Shot时间序列预测与图神经网络的异构属性,引入第一个Few-Shot运动的方法,显式地结合了空间图,同时也概括了异构传感器的运动任务。在我们的实验中,运动任务与异构传感器,我们展示了显着的性能改善电梯从10.4%到39.3%相比,最好的国家的最先进的模型。此外,我们表明,我们的模型可以执行与最好的方法,到目前为止,当评估任务与一个固定的输出空间,同时保持两个数量级少的参数。
2023-03-20 cs.LG
Few-Shot Forecasting of Time-Series with Heterogeneous Channels
University of Hildesheim(希尔德斯海姆大学)
学习复杂的时间序列预测模型通常需要大量的数据,因为每个模型都是针对每个任务/数据集从头开始训练的。利用相似数据集的学习经验是一种成熟的分类技术,称为Few-Shot分类。然而,现有的方法不能应用于时间序列预测,因为i)多变量时间序列数据集具有不同的通道,ii)预测主要不同于分类。在本文中,我们形式化的问题的Few-Shot预测的时间序列与异构通道的第一次。扩展最近的工作在矢量数据中的异构属性,我们开发了一个模型组成的置换不变的深集块,其中包括一个时间嵌入。我们组装了40个多变量时间序列数据集的第一个元数据集,并通过实验表明,我们的模型提供了良好的泛化能力,优于从更简单的场景中结转的基线,这些场景要么无法跨任务学习,要么错过时间信息。
2022-08-18 cs.LG
HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning
Singapore Management University(新加坡管理大学)
本文提出HGPROMPT框架,通过双模板和双提示设计统一同构与异构图及预训练与下游任务,有效弥合特征和异构性差异,在少样本提示学习中表现优异。
2024-08-26 cs.LG
Personalized One-shot Federated Graph Learning for Heterogeneous Clients
AAAI Press(AAAI出版社)
针对异构客户端,提出首个单轮个性化联邦图学习方法O-pFGL,通过类级特征统计构建全局代理图并采用两阶段训练,在14个数据集上显著优于现有基线。
2025-08-06 cs.LG
A One-shot Framework for Distributed Clustered Learning in Heterogeneous Environments
Carnegie Mellon University(卡内基梅隆大学);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院);Faculty of Sciences, University of Novi Sad(诺维萨德大学理学院)
本文提出一种适用于异构环境的一次性分布式聚类学习方法(ODCL),通过本地计算和基于聚类的聚合步骤,在用户数据分布未知的情况下实现阶数最优的均方误差率并显著优于现有技术。
2023-10-22 cs.LG
FedZKT: Zero-Shot Knowledge Transfer towards Resource-Constrained Federated Learning with Heterogeneous On-Device Models
Michigan Technological University(密歇根理工大学);University of Florida(佛罗里达大学)
联邦学习使多个分布式设备能够协作学习共享的预测模型,而无需集中其设备上的数据。大多数当前的算法需要具有相同结构和大小的设备上模型的本地训练的可比的个人努力,然而,这阻碍了资源受限的设备的参与。鉴于当今广泛而异构的设备,在本文中,我们提出了一个创新的联邦学习框架,通过Zero-shot知识转移,命名为FedZKT的异构设备上的模型。具体来说,FedZKT允许设备根据其本地资源独立确定设备上的模型。为了在这些异构的设备上模型之间实现知识转移,设计了一种zero-shot蒸馏方法,而不需要任何私有设备上数据的先决条件,这与基于公共数据集或预训练数据生成器的某些现有研究相反。此外,这种计算密集型的蒸馏任务被分配给服务器,以允许资源受限的设备参与,其中生成器通过收集的设备上模型的集合来对抗学习。然后,将提取的中心知识以相应的设备上模型参数的形式发送回来,这些参数可以很容易地在设备侧被吸收。大量的实验研究证明了FedZKT对设备上知识不可知、设备上模型异构和其他具有挑战性的联邦学习场景(如异构设备上数据和离散效应)的有效性和鲁棒性。
2022-04-05 cs.LG stat.ML
Heterogeneous Multi-agent Zero-Shot Coordination by Coevolution
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Tencent AI Lab(腾讯人工智能实验室)
本文首次研究异构多智能体零样本协调问题,提出基于协同进化的通用方法,通过配对、更新和选择三个子过程协同进化智能体与伙伴种群,实验证明其有效性。
2024-12-31 cs.AI cs.LG cs.MA
Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer
Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习(FL)的目标是训练模型,使其能够为高度数据和系统异构的单个客户端提供良好的性能。然而,大多数个性化FL的工作都假设在所有客户端使用相同的模型架构,并通过发送/接收模型来增加通信成本。这可能是不可行的FL的现实场景。在实践中,客户端具有高度异构的系统功能和有限的通信资源。在我们的工作中,我们提出了一个个性化的FL框架,PerFed-CKT,客户端可以使用异构的模型架构,不直接沟通他们的模型参数。PerFed-CKT使用集群共蒸馏,其中客户端使用logits将其知识转移到具有类似数据分布的其他客户端。我们从理论上证明了PerFed-CKT的收敛性和泛化特性,并从经验上证明了PerFed-CKT与最先进的个性化FL方案相比,通信成本降低了几个数量级,实现了高测试精度。
2021-09-16 cs.LG
Heterogeneous Federated Learning System for Sparse Healthcare Time-Series Prediction
National Taiwan University(台湾大学);Silesian University of Technology(西里西亚工业大学)
本文提出一种异构联邦学习系统,通过稠密/稀疏特征张量处理稀疏医疗时间序列,实现异步网络共享与知识迁移,在多数任务上显著降低预测误差。
2025-01-21 cs.LG
Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);Tecent(腾讯)
广义零样本学习(GSRL)解决了学习分类涉及可见类和不可见类的实例的问题。关键问题是如何有效地将从可见类学习到的模型转移到不可见类。在GALML现有的作品通常假设,一些看不见的类的先验信息是可用的。然而,当新的看不见的类动态出现时,这样的假设是不现实的。为此,我们提出了一种新的异构图为基础的知识转移方法(HGKT)的GALML,不可知的类和实例,利用图神经网络。具体而言,结构化异构图被构造成具有所见类的高级代表节点,其通过Wasserstein重心被选择以同时捕获类间和类内关系。通过图神经网络学习聚集函数和嵌入函数,通过传递邻居类的知识来计算未知类的嵌入。在公共基准数据集上的大量实验表明,我们的方法达到了最先进的结果。
2019-11-20 cs.CV cs.LG stat.ML
Few-Shot Semantic Relation Prediction across Heterogeneous Graphs
Macquarie University(麦考瑞大学);Hong Kong University of Science and Technology(香港科技大学)
语义关系预测的目的是挖掘异构图中对象之间的隐含关系,异构图由不同类型的对象和不同类型的链接组成。在现实世界的场景中,新的语义关系不断出现,它们通常只与少数标记数据一起出现。由于多个异构图中存在着多种语义关系,因此可以从已有的语义关系中挖掘出可传递的知识,以较少的标注数据帮助预测新的语义关系。这启发了一个新的问题,跨异构图的Few-Shot语义关系预测。然而,现有的方法不能解决这个问题,因为它们不仅需要大量的标记样本作为输入,而且还专注于具有固定异质性的单个图。针对这一新的具有挑战性的问题,本文提出了一种基于元学习的图神经网络用于语义关系预测,称为MetaGS。MetaGS首先将对象间的图结构分解为多个规范化子图,然后采用双视图图神经网络捕获这些子图的局部异构信息和全局结构信息。其次,MetaGS通过超原型网络聚合这些子图的信息,该超原型网络可以从现有的语义关系中学习并适应新的语义关系。第三,利用初始化良好的双视图图神经网络和超原型网络,MetaGS可以有效地从不同的图中学习新的语义关系,同时克服了标记数据少的限制。在三个真实世界数据集上进行的大量实验表明,MetaGS的性能优于最先进的方法。
2022-07-11 cs.AI cs.LG
Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators
Carnegie Mellon University(卡内基梅隆大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
针对傅里叶神经操作符扩展时超参数调优成本高的问题,提出μTransfer-FNO,基于最大更新参数化实现零样本超参数迁移,将小模型调优配置直接用于十亿参数模型,降低计算成本并保持或提升精度。
2025-06-24 cs.LG
FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices
Huazhong University of Science and Technology(华中科技大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对资源受限边缘设备中模型异构一次性联邦学习的性能与数据依赖问题,提出FedMHO框架,通过异构模型分配、两阶段服务器处理及知识遗忘缓解策略,在多实验设置下优于现有基线。
2025-02-12 cs.AI cs.DC cs.LG
Meteorological time series forecasting based on MLP modelling using heterogeneous transfer functions
University of Corsica(科西嘉大学);CNRS(法国国家科学研究中心);University of Galatasaray(加拉塔萨雷大学)
在本文中,我们建议研究四个气象和季节性的时间序列加上多层感知器(MLP)建模。我们选择将隐藏层节点的两个传递函数结合起来,并使用时间指示符(时间索引作为输入),以考虑所研究时间序列的季节性。预测的结果涉及两年的测量和学习步骤,八个独立的年份。我们表明,这种方法可以提高气象数据估计的准确性相比,一个经典的MLP建模具有均匀的传递函数。
2014-04-29 cs.LG
Hypernetworks for Zero-shot Transfer in Reinforcement Learning
McGill University(麦吉尔大学);Samsung AI Center Montreal(三星蒙特利尔人工智能中心)
在本文中,通过一种新的基于TD的训练目标和来自一组用于训练任务的接近最优的RL解决方案的数据,训练超网络以在一系列看不见的任务条件下生成行为。这项工作涉及Meta RL,上下文RL和迁移学习,特别关注测试时的zero-shot性能,通过任务参数(也称为上下文)的知识来实现。我们的技术方法基于将每个RL算法视为从MDP细节到接近最优值函数和策略的映射,并寻求用可以生成接近最优价值函数和策略的超网络来近似它,给定MDP的参数。我们表明,在一定条件下,这种映射可以被认为是一个监督学习问题。我们在DeepMind Control Suite的一系列连续控制任务上,实证评估了我们的方法在zero-shot转移到新奖励和过渡动态方面的有效性。我们的方法比多任务和Meta RL方法的基线有显着改进。
2023-01-02 cs.LG
One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models
Fudan University(复旦大学);School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室)
本文提出FedLMG,一种基于本地模型引导扩散模型的异构单样本联邦学习方法,通过客户端上传本地模型并在服务器端利用反向传播生成合成数据集以训练聚合模型,显著降低了客户端计算开销并有效适应异构场景。
2025-04-04 cs.CV cs.LG
H2VLR: Heterogeneous Hypergraph Vision-Language Reasoning for Few-Shot Anomaly Detection
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出H2VLR框架,通过统一超图联合建模视觉区域和语义概念,将少样本异常检测转化为高阶推理问题,有效提升异常检测性能。
2026-04-16 cs.CV cs.LG
Few-Shot Causal Representation Learning for Out-of-Distribution Generalization on Heterogeneous Graphs
School of Computing, Macquarie University(麦考瑞大学计算学院);Hong Kong University of Science and Technology(香港科技大学)
针对异质图少样本学习中源图、训练与测试数据分布偏移问题,提出COHF,利用结构因果模型、变分自编码器异质图网络和元学习实现分布外泛化,并在七个数据集上验证优势。
2024-04-16 cs.AI cs.LG
Heterogeneous Multi-Agent Reinforcement Learning for Zero-Shot Scalable Collaboration
Tsinghua University(清华大学)
本文提出SHPPO框架,通过隐变量网络和异构层为参数共享PPO引入个体间与时间异构性,在SMAC和GRF中实现零样本可扩展协作并提升性能。
2024-10-02 cs.AI cs.LG cs.MA
Cross Domain Emotion Recognition using Few Shot Knowledge Transfer
Stanford University(斯坦福大学);University of Southern California(南加州大学)
由于情感分类的多样性、缺乏可靠的不同领域的标注数据以及高度主观的标注标准,文本中的情感识别是一项具有挑战性的任务。Few-Shot和zero-shot技术可以通过将文档和情感标签投影到共享的嵌入空间上来概括不可见的情感。在这项工作中,我们探索了Few-Shot情感识别的任务,通过使用不同的情感表示方法,将从GoEmotions Reddit数据集的监督中获得的知识转移到SemEval tweets语料库中。结果表明,使用外部知识库和微调编码器的知识转移执行监督基线,需要来自任务数据集的最小监督。
2021-10-11 cs.CL cs.LG
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University(天普大学);Carleton University(卡尔顿大学)
零样本学习将知识从可见类转移到新的不可见类,以减少标记数据以构建新分类器的人工劳动。然而,关于零样本学习的许多努力都集中在标准的多类设置上,更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中,我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中,以诱导更好的标签间关系,并显式地促进从可见标签到不可见标签的信息传输,同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入,以指导标签嵌入投影,以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML