Inductive Venn-Abers and related regressors
本文将Venn-Abers回归器推广到无界回归，引入符合预测元素，通过模拟和实证研究证明其在大训练集下提升预测效率。
2026-09-07 cs.LG
Inductive Graph Few-shot Class Incremental Learning
The University of Queensland（昆士兰大学）；CSIRO（联邦科学与工业研究组织）；University of Oxford（牛津大学）；Data61, CSIRO（Data61（联邦科学与工业研究组织下属机构））
针对归纳式图少样本类增量学习中的灾难性遗忘和过拟合问题，提出基于拓扑的类增强与原型校准方法（TAP），通过多拓扑类增强、迭代原型校准和原型偏移补偿，在四个数据集上有效提升了模型泛化与增量学习性能。
2024-11-11 cs.LG
Towards One-Shot Learning for Text Classification using Inductive Logic Programming
University of Surrey（萨里大学）
本文提出利用归纳逻辑编程中的元解释学习框架，结合ConceptNet常识知识，实现从极少量样本进行文本分类的一次性学习，并发现示例复杂度越高准确率越高。
2023-08-30 cs.CL cs.LG cs.LO
Beyond Transduction: A Survey on Inductive, Few Shot, and Zero Shot Link Prediction in Knowledge Graphs
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；University of Mannheim（曼海姆大学）
本文系统综述知识图谱中的归纳、少样本与零样本链接预测，剖析各设定特征，指出术语和定义分歧，并提出统一命名法以促进方法比较。
2023-12-08 cs.AI cs.LG
Few-Shot Inductive Learning on Temporal Knowledge Graphs using Concept-Aware Information
Ludwig Maximilian University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
知识图谱完备化（KGC）旨在预测知识图谱（KG）实体之间的缺失链接。虽然已经为KGC开发了各种方法，但大多数方法只能处理训练集中看到的KG实体，并且不能很好地预测测试集中涉及新实体的链接。时态知识图谱（TKG）也存在类似的问题，并且没有先前的时态知识图谱完备（TKGC）方法被开发用于对新出现的实体进行建模。与KG相比，TKG需要时间推理技术来建模，这自然增加了处理新的，但看不见的实体的难度。在这项工作中，我们专注于归纳学习看不见的实体的表征TKG。我们提出了一个Few-Shot out-of-graph（OOG）的TKG链接预测任务，在该任务中，我们通过采用元学习框架并利用与每个未见过实体相关联的少量边所提供的元信息，从未见过实体的链接中预测丢失的实体。我们构建了三个新的数据集TKG Few-Shot OOG链接预测，我们提出了一个模型，挖掘实体之间的概念感知信息。实验结果表明，我们的模型在所有三个数据集上都取得了优异的性能，我们的概念感知建模组件表现出很强的效果。
2022-11-15 cs.AI cs.LG
The Road to Learning Explainable Inverse Kinematic Models: Graph Neural Networks as Inductive Bias for Symbolic Regression
Faculty of Computer Science, Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学计算机科学学院）；Fraunhofer Institute for Transportation and Infrastructure Systems IVI（弗劳恩霍夫运输与基础设施系统研究所IVI）
本文利用图神经网络学习逆运动学模型，泛化至不同连杆长度的机械臂，并作为归纳偏置用于符号回归生成解析方程。
2025-01-23 cs.LG cs.RO
Improving Few-Shot Inductive Learning on Temporal Knowledge Graphs using Confidence-Augmented Reinforcement Learning
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
针对时序知识图谱少样本图外链接预测任务，提出结合少样本学习与强化学习的FITCARL方法，通过置信度模块和概念正则化器提升性能，达到当前最优水平。
2023-06-11 cs.AI cs.LG
Conditional independence testing under misspecified inductive biases
University of Michigan（密歇根大学）
本文研究基于回归的条件独立性检验在模型归纳偏置错误设定下的表现，提出依赖错误设定误差的检验误差上界，并设计鲁棒的RBPT方法，通过实验验证其有效性。
2023-10-27 cs.LG math.ST stat.ME
Adapted Deep Embeddings: A Synthesis of Methods for $k$-Shot Inductive Transfer Learning
University of Colorado, Boulder（科罗拉多大学博尔德分校）
机器学习的重点已经超出了在单个任务上训练分类器，而是研究如何利用源域中先前获得的知识来促进相关目标域中的学习，称为归纳迁移学习。三个活跃的研究方向已经独立地探索了使用神经网络的迁移学习。在权重转移中，在源域上训练的模型被用作在目标域上训练的网络的初始化点。在深度度量学习中，源域用于构建嵌入，该嵌入捕获源域和目标域中的类结构。在少样本学习中，重点是基于有限数量的标记示例在目标域中很好地泛化。我们比较了这三种范式中最先进的方法，并探索了混合自适应嵌入方法，该方法使用有限的目标域数据来微调从源域数据构建的嵌入。我们进行了系统的比较，在各种领域的方法，不同的标记实例的数量在目标域（$k$），以及目标域类的数量。我们得出三个主要结论：（1）与权重转移相比，深度嵌入作为域间转移或模型重用的起点要优越得多（2）我们的混合方法稳健地优于之前提出的每一个少样本学习和每一个深度度量学习方法，平均误差比最先进的方法减少了34%。（3）在用于发现嵌入的损失函数中，直方图损失（Ustinova & Lempitsky，2016）是最稳健的。我们希望我们的研究结果将推动权重转移、深度度量学习和少样本学习的研究统一起来。
2018-10-27 cs.LG stat.ML
Few-shot link prediction via graph neural networks for Covid-19 drug-repurposing
Amazon Web Services AI Lab（亚马逊云科技人工智能实验室）
预测异构图结构数据之间的交互具有许多应用，例如知识图谱完成、推荐系统和药物发现。通常情况下，要预测的联系属于罕见类型，例如将药物用于新疾病的情况。这激发了Few-Shot链接预测的任务。通常，GCN在学习这种罕见的链接类型时装备不良，因为关系嵌入不是以归纳的方式学习的。本文提出了一个归纳RGCN学习信息的关系嵌入，即使在少样本学习制度。在少样本学习任务中，所提出的归纳模型显著优于RGCN和最先进的KGE模型。此外，我们将我们的方法应用于药物再利用知识图谱（DRKG），以发现新冠病毒药物。我们提出的药物发现任务为链接预测和学习嵌入的生物实体参与DRKG。我们的初步结果证实，临床试验中使用的几种药物被确定为可能的候选药物。本文中的方法是使用高效的深度图学习（DGL）实现的
2020-07-20 cs.LG stat.ML
A Standard Processing Pipeline for High-accuracy Measurement of Few-shot Regression on Laser Induced Breakdown Spectroscopy
University of Arizona（亚利桑那大学）
提出集成扩散去噪、注意力自编码器降维、组混洗数据增强和普通最小二乘回归的标准流程，在LIBS小样本回归中实现平均RMAE 0.2847，较基线提升37.7%。
2026-06-23 cs.LG
GenZSL: Generative Zero-Shot Learning Via Inductive Variational Autoencoder
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Huazhong University of Science and Technology（华中科技大学）；Linköping University（林雪平大学）
本文提出 GenZSL，利用 CLIP 文本嵌入和归纳变分自编码器从已见类别生成新类样本，并通过多样性促进与目标引导优化提升 ZSL 性能。
2025-05-17 cs.CV cs.LG
Direct side information learning for zero-shot regression
ArcelorMittal（安赛乐米塔尔）；University of Oviedo（奥维耶多大学）；Artificial Intelligence Center（人工智能中心）
针对现有零样本回归方法两阶段训练、特征与辅助信息分离优化的不足，提出一种单阶段融合特征与辅助信息的核方法，在人工和真实数据集上实现了更优性能。
2024-02-02 cs.LG
DeepOSets: Non-Autoregressive In-Context Learning with Permutation-Invariance Inductive Bias
Dept of Electrical & Computer Engineering Texas A&M University College Station, TX, USA（电气与计算机工程系塔拉斯州立大学）；Department of Electrical & Computer Engineering University of Texas at Austin（电气与计算机工程系德克萨斯大学奥斯汀分校）
本文提出非自回归架构DeepOSets，结合DeepSets与DeepONets实现置换不变性，证明了其通用近似能力，并在回归任务中展现出高精度与低参数量。
2025-10-30 cs.LG
Geometrically Aligned Transfer Encoder for Inductive Transfer in Regression Tasks
LG AI Research（LG人工智能研究）
针对现有迁移学习多聚焦分类任务、难适配回归任务的问题，提出基于微分几何的GATE方法，通过任务间微分同胚实现知识迁移，在分子图数据集上性能优于传统方法且表现稳定。
2023-10-10 cs.AI cs.LG
Semantic-Inductive Attribute Selection for Zero-Shot Learning
Department of Computer Science and Artificial Intelligence, University of Granada（格拉纳达大学计算机科学与人工智能系）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
针对零样本学习中语义空间属性存在噪声、冗余的问题，提出归纳设置下的划分方案，结合两种互补特征选择策略，在五个基准数据集上均提升了未见类准确率，验证了语义空间冗余性与方案有效性。
2025-09-26 cs.AI cs.LG
Inductive transfer learning from regression to classification in ECG analysis
Department of Computer Engineering, University of Peradeniya（计算机工程系，珀德尼亚大学）；SimulaMet
本文研究利用合成心电图数据训练回归模型预测心率、PR间期、QT间期和QRS波群，并通过从回归到分类的迁移学习提升五类心电信号分类性能，验证了该方法在真实心电图数据上的可行性与有效性。
2025-08-05 cs.LG eess.SP
Non-Gaussian Gaussian Processes for Few-Shot Regression
Jagiellonian University（雅盖隆大学）；University of Cambridge（剑桥大学）；Warsaw University of Technology（华沙理工大学）；Tooploox
高斯过程（GP）已广泛用于机器学习中，以对函数上的分布进行建模，其应用包括多模态回归、时间序列预测和少样本学习。GP在最后一个应用中特别有用，因为它们依赖于正态分布，并且能够对后验概率函数进行封闭式计算。不幸的是，由于所得的后验不足以捕捉复杂的分布，GP假设后续任务之间具有高度相似性-这一要求在现实条件下很少得到满足。在这项工作中，我们解决了这一限制，利用规范化流的灵活性来调节GP的后验预测分布。这使得GP后验局部非高斯，因此我们将我们的方法命名为非高斯高斯过程（NGGPs）。更确切地说，我们提出了一个可逆的基于ODE的映射，该映射对随机变量向量的每个分量进行操作，并在所有分量上共享参数。我们在各种少样本学习回归数据集上实证测试了NGGP的灵活性，表明映射可以结合上下文嵌入信息来为周期函数建模不同的噪声水平。因此，我们的方法在后续任务之间共享问题的结构，但上下文化允许适应不同之处。NGGP在一组多样化的基准和应用程序上优于竞争对手的最先进的方法。
2021-10-26 cs.LG
Communication-efficient sparse regression: a one-shot approach
Stanford University（斯坦福大学）；Dartmouth College（达特茅斯学院）
我们设计了一个一次性的方法，分布稀疏回归在高维设置。关键思想是平均“去偏”或“去偏”的套索估计。我们表明，只要数据集没有被分割到太多的机器上，这种方法就能以与套索相同的速度收敛。我们还将该方法推广到广义线性模型。
2015-08-11 cs.LG stat.ML
Inductive Biases for Zero-shot Systematic Generalization in Language-informed Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
本文针对强化学习中的样本效率和系统泛化挑战，基于NPS提出模块化与稀疏性架构级归纳偏置，并赋予记忆核心角色，在BabyAI环境中显著提升了模型的零样本系统泛化与样本效率。
2025-01-25 cs.AI cs.CL cs.LG
Towards Error Measures which Influence a Learners Inductive Bias to the Ground Truth
University of Southampton（南安普顿大学）；The Alan Turing Institute（艾伦·图灵研究所）
人工智能应用于一系列部门，并依赖于需要高度信任的决策。对于回归方法，如果它们近似真实的输入-输出关系并且在训练数据的界限之外准确地执行，则信任度增加。但是，测试集外的性能往往很差，特别是当数据稀疏时。这是因为条件平均值，这在许多情况下是一个很好的近似“地面真相”，只有在数据集遵守限制性假设时，才用传统的闵可夫斯基-r误差测量建模，许多真实的数据集违反了这些假设。为了解决这个问题，有几种方法使用先验知识来近似“基本事实”。然而，先验知识并不总是可用的，本文探讨了如何错误的措施影响回归方法的能力，在这些情况下的“真值”建模。目前的错误措施，以创建一个无益的偏见，并得出一个新的错误措施，不表现出这种行为。这是36个具有不同特征的代表性数据集进行测试，表明它是更一致的确定"真值“，并在超出范围的训练数据的区域提供改进的预测。
2021-05-04 cs.LG
Semantic Borrowing for Generalized Zero-Shot Learning
Sun Yat-sen University（中山大学）
广义零样本学习（Generalized zero-shot learning，简称GSL）是一个最现实但最具挑战性的问题，因为它需要将分类器划分为有监督的类，特别是在类归纳实例归纳（class-inductive instance-inductive，简称CIII）训练环境下，测试数据不可用。实例借用方法和合成方法借助测试语义在一定程度上解决了这一问题，但这两种方法都不能在CIII下使用。此外，后者需要在生成示例之后进行分类器的训练过程。与此相反，本文提出了一种基于CIII的语义借用（Semantic Borrowing，SB）正则化方法，它不仅可以用于线性模型的训练，也可以用于人工神经网络等非线性模型的训练。损失函数中的这个正则化项借用了训练集中的相似语义，使得分类器在训练过程中可以更准确地对zero-shot和监督类的语义之间的关系进行建模。在GALML基准数据集上的大量实验表明，SB方法可以将分类器的训练时间减少到监督类，提高广义zero-shot分类的性能，优于归纳GALML方法。
2021-08-22 cs.AI cs.CV cs.LG
A Benchmark for Semi-Inductive Link Prediction in Knowledge Graphs
University of Mannheim（曼海姆大学）
针对大规模知识图谱中半归纳链接预测模型评估的需求，提出了一个基于Wikidata5M扩展的大规模基准，涵盖直推式、k-shot和0-shot任务，发现现有半归纳方法在长尾实体上性能远不及直推式，为整合上下文与文本信息提供了测试平台。
2023-10-18 cs.AI cs.CL cs.LG
Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks
University of Oxford（牛津大学）；Mind Foundry Ltd.（思维铸造有限公司）
循环神经网络（RNN）在几个顺序学习任务中是最先进的，但它们通常需要大量的数据才能很好地概括。对于许多时间序列预测（TSF）任务，在训练时可能只有几十个观测值可用，这限制了这类模型的使用。我们提出了一种新的基于RNN的模型，通过在许多量化时间序列的空间上学习共享特征嵌入来直接解决这个问题。我们展示了这如何使我们的RNN框架能够准确可靠地预测看不见的时间序列，即使在几乎没有训练数据可用的情况下。
2020-03-26 cs.LG stat.ML
Reinforcement Learning with Physics-Informed Symbolic Program Priors for Zero-Shot Wireless Indoor Navigation
本文提出物理信息程序引导的强化学习框架PiPRL，通过领域特定语言表达物理先验并分层集成神经符号系统，解决了室内导航中部分观测与物理约束问题，显著提升策略性能并将训练时间减少26%以上。
2025-06-27 cs.LG cs.RO
Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了回归网络的问题，Few-Shot分类，其中一个分类器必须推广到新的类中没有看到的训练集，只有少量的例子，每个类。在高维嵌入空间中，数据的方向通常包含比幅度更丰富的信息。除此之外，最先进的Few-Shot度量方法（将距离与聚合类表示进行比较）已显示出优越的性能。结合这两个见解，我们提出通过回归每个类子空间中的最接近近似值，同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似，回归网络反映了一种简单的归纳偏差，这在这种有限的数据制度中是有益的，并且它们实现了出色的结果，特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
Improving One-Shot Learning through Fusing Side Information
School of Computer Science, Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学计算机科学学院机器学习系）
深度神经网络（DNN）通常难以进行一次性学习，因为每个类别只有一个或几个标记的训练样本。在本文中，我们认为，通过使用边信息，我们可以补偿跨类丢失的信息。我们引入了两种统计方法，用于将边信息融合到数据表示学习中，以改善一次性学习。首先，我们建议加强数据表示和多种类型的边信息之间的统计依赖性。其次，我们引入了一个注意力机制，以有效地对待属于“大量的例子"类的准样本（额外的训练样本）的”一个例子“类的例子。我们的经验表明，我们的学习架构比传统的softmax回归网络以及最先进的注意力回归网络在一次性识别任务上有所改进。
2018-01-23 cs.LG
Ridge Regression, Hubness, and Zero-Shot Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；The Institute of Statistical Mathematics（统计数学研究所）；National Institute of Genetics（国立遗传学研究所）
本文讨论了在零样本学习中，当岭回归用于寻找样本空间到标签空间之间的映射时，中心度的影响。相反，现有的方法，试图找到一个映射的例子空间的标签空间，我们表明，映射到例子空间的标签是理想的，以抑制枢纽的出现在随后的最近邻搜索步骤。假设一个简单的数据模型，我们证明了所提出的方法确实减少了hubness。这一点在双语词典提取和图像标记任务上得到了经验验证：这两个任务都降低了中心度，从而提高了准确性。
2015-07-03 cs.LG stat.ML
Meta-Learning Neural Procedural Biases
Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；Victoria University of Wellington（惠灵顿维多利亚大学）
本文提出神经程序性偏置元学习框架NPBML，通过同时元学习并任务自适应地调整初始化、优化器和损失函数，为每个任务生成专门偏置，从而在少样本基准上实现稳健性能。
2024-06-12 cs.LG
Few-shot Learning for Spatial Regression
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Service Evolution Laboratories（NTT服务演进实验室）
我们提出了一个空间回归的Few-Shot学习方法。虽然高斯过程（GPs）已成功地用于空间回归，但它们需要在目标任务中进行许多观察以实现高预测性能。我们的模型使用不同区域中各种属性的空间数据集进行训练，并在给定一些观测数据的情况下预测未知区域中未知属性的值。使用我们的模型，任务表示使用神经网络从给定的小数据推断。然后，空间值预测的神经网络与GP框架，其中特定于任务的属性控制的任务表示。GP框架允许我们通过分析获得适合小数据的预测。通过在目标函数中使用自适应预测，我们可以有效地训练我们的模型，以便在适应新给定的小数据时提高测试预测性能。在我们的实验中，我们证明了所提出的方法比使用空间数据集的现有元学习方法具有更好的预测性能。
2020-10-09 cs.LG stat.ML
GeoReg: Weight-Constrained Few-Shot Regression for Socio-Economic Estimation using LLM
School of Computing, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院计算机科学学院）；College of Business, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院商学院）；Graduate School of Data Science, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院数据科学研究生院）；Division of Social Science, Hong Kong University of Science and Technology (HKUST)（香港科学与技术大学社会科学系）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；Max Planck Institute for Security and Privacy (MPI-SP)（马克斯·普朗克安全与隐私研究所）
GeoReg通过整合卫星图像和网络地理信息等数据源，利用大语言模型的先验知识，在数据稀缺地区实现社会经济指标的少样本回归估计，实验表明其在不同发展水平国家均优于基线模型。
2026-03-18 cs.LG
Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias
Department of Computer Science and Engineering（计算机科学与工程系）；The Hong Kong University of Science and Technology（香港科学与技术大学）；School of Mathematical Sciences（数学科学学院）；Peking University（北京大学）；Department of Computer Science（计算机科学系）；University of Warwick（沃里克大学）；Industrial Engineering & Management Sciences（工业工程与管理科学）；Northwestern University（西北大学）
本研究针对椭圆型线性逆问题，推导核岭回归的渐近Sobolev范数学习曲线，证明PDE算子可稳定方差并实现良性过拟合，且归纳偏置不影响最优收敛速率。
2025-04-22 cs.IT cs.LG cs.NA
A Foundation Model for Zero-shot Logical Query Reasoning
Intel AI Lab（英特尔人工智能实验室）；Purdue University（普渡大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；CIFAR AI Chair（加拿大高级研究院人工智能讲席）；Université de Montréal（蒙特利尔大学）
本文提出首个面向归纳推理的基础模型UltraQuery，通过将投影和逻辑运算设计为与词表无关的函数，实现任意知识图谱上的零样本复杂逻辑查询回答，在23个数据集上验证了其优越性能。
2024-10-01 cs.AI cs.LG
Analysis of Error Sources in LLM-based Hypothesis Search for Few-Shot Rule Induction
Department of Statistics, University of California, Los Angeles（统计学系，加州大学洛杉矶分校）；Microsoft, Redmond, WA（微软公司，西雅图，华盛顿州）；Department of Psychology, University of California, Los Angeles（心理学系，加州大学洛杉矶分校）
该研究针对少样本规则归纳任务，对比基于LLM的假设搜索框架与直接程序生成方法，发现前者性能接近人类，同时通过误差分析明确假设生成的关键瓶颈，指出该框架的应用潜力与系统优化方向。
2025-08-31 cs.AI cs.CL cs.LG
Dist Loss: Enhancing Regression in Few-Shot Region through Distribution Distance Constraint
Institute of Medical Technology, Health Science Center of Peking University（北京大学健康科学中心医学技术研究所）；National Institute of Health Data Science, Peking University（北京大学国家健康数据科学研究院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文提出Dist Loss损失函数，通过可微的分布距离约束正则化输出分布，增强少样本区域回归性能，在三个数据集上取得最先进结果。
2025-03-28 cs.AI cs.LG
Exact Support Recovery in Federated Regression with One-shot Communication
Purdue University（普渡大学）
联邦学习提供了一个框架，以解决分布式计算的挑战，数据所有权和隐私的大量分布式客户端与低计算和通信能力。在本文中，我们研究了在联邦学习设置中学习稀疏线性回归的精确支持度的问题。我们提供了一个简单的通信有效的算法，它只需要一次与集中式服务器的通信来计算精确的支持。我们的方法不需要客户端解决任何优化问题，因此可以在计算能力较低的设备上运行。我们的方法对于客户端失败，模型中毒和离散客户端的问题自然是鲁棒的。我们正式证明，我们的方法需要每个客户端的样本数量是多项式的支持大小，但独立的问题的维度。我们要求分布式客户端的数量在问题的维度上是对数的。如果预测变量是相互独立的，则总体样本复杂度与非联邦集中式设置的最佳样本复杂度相匹配。此外，我们的方法很容易实现，并具有整体多项式时间的复杂度。
2020-06-22 cs.LG stat.ML
One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation
Zahir Alsulaimawi（独立研究者）
本文提出了一种无需迭代通信的联邦岭回归方法，通过一次聚合实现精确恢复，显著降低通信开销并提升隐私保护。
2026-01-13 cs.CR cs.LG
Active Quantum Kernel Acquisition for Gaussian Process Regression
RIKEN iTHEMS（日本理化学研究所iTHEMS）；RIKEN AIP（日本理化学研究所Advanced Institute for Photonics and Electron Devices）；South China University of Technology（华南理工大学）
针对量子核估计的有限预算问题，提出基于下游任务敏感性的非均匀分配策略，通过三种闭合灵敏度公式指导Neyman分配，并加入均匀覆盖下限防止过集中，在UCI基准和量子核上实现10-21%的测试RMSE改进。
2026-07-08 cs.LG
Hyper-Process Model: A Zero-Shot Learning algorithm for Regression Problems based on Shape Analysis
零样本学习（Zero-shot learning，ZRL）可以通过基于先前从不同但相关的任务获得的知识正确地解决没有训练数据可用的任务来定义。到目前为止，这一领域主要引起了计算机视觉界的注意，其中需要正确地分类新的不可见图像，假设在训练过程中没有使用目标类。除了图像分类，只有一对夫妇的通用方法，提出了适用于分类和回归。这些学习模型系数之间的关系，因此可以根据提供的条件预测新的系数。到目前为止，据我们所知，没有方法存在，只适用于回归，并利用这种设置。因此，目前的工作提出了一种新的算法回归问题，使用从训练模型中提取的数据，而不是模型系数。在这种情况下，对数据执行形状分析以创建统计形状模型并生成新形状以训练新模型。所提出的算法在理论设置中使用beta分布进行测试，其中要解决的主要问题是基于已经学习的不同但相关的曲线来估计预测曲线的函数。
2018-10-16 cs.CV cs.LG stat.ML
Logistic Regression makes small LLMs strong and explainable "tens-of-shot" classifiers
Advanced Analytics, Bank of England（英格兰银行高级分析部）
本研究针对简单分类任务，提出基于小型LLM嵌入向量的带惩罚Logistic Regression方法，在“数十样本”场景下性能媲美甚至优于大型LLM，兼具隐私、成本等优势且可提供稳定解释。
2024-10-04 cs.CL cs.LG stat.ML
WONDER: Weighted one-shot distributed ridge regression in high dimensions
University of Pennsylvania（宾夕法尼亚大学）
在许多领域，从业者需要分析大型数据集，这对传统的单机计算提出了挑战。为了扩展数据分析，越来越需要分布式和并行计算方法。在这里，我们研究一个基本的和非常重要的问题，在这方面：如何做岭回归在分布式计算环境？岭回归是一种非常流行的有监督学习方法，它具有多个最优性性质，因此研究岭回归具有重要意义。我们研究一次法，构建加权组合的岭回归估计计算在每台机器上。通过分析高维随机效应模型中每个预测因子都有小影响的均方误差，我们发现了几个新的现象。1.无限工作者限制：分布式估计器适用于非常大量的机器，我们称之为“无限工作者限制”。2.最优权重：由于岭的向下偏差，组合局部估计量的最优权重之和大于1。因此，所有的平均方法都是次优的。我们还提出了一种新的加权ONe-shot DistributEd岭回归算法（WONDER）。我们在模拟研究中测试WONDER，并以百万歌曲数据集为例。在那里，它可以节省至少100倍的计算时间，同时几乎保持测试精度。
2020-02-19 cs.DC cs.LG math.ST
Copula-based conformal prediction for Multi-Target Regression
HEUDIASYC - UMR CNRS 7253（法国国家科学研究中心7253联合研究单位 启发式与诊断复杂系统实验室）；Université de Technologie de Compiègne（贡比涅技术大学）
有相对较少的作品处理多任务学习问题的共形预测，这是特别真实的多目标回归。本文重点讨论了提供有效（即，频率校准）多变量预测。为此，我们建议使用应用于深度神经网络的copula函数进行归纳共形预测。我们表明，所提出的方法，确保效率和有效性的多目标回归问题的各种数据集。
2021-01-28 cs.AI cs.LG stat.ML
Few-shot Relational Reasoning via Connection Subgraph Pretraining
Stanford University（斯坦福大学）
Few-Shot知识图谱（KG）完成任务旨在对KG执行归纳推理：仅给定新关系$\bowtie$的几个支持三元组（例如，(chop，$\bowtie$，kitchen），（read，$\bowtie$，library），目标是预测相同的不可见关系$\bowtie$的查询三元组，例如，（sleep，$\bowtie$，？）.当前的方法将问题投射在元学习框架中，其中模型需要首先在许多训练Few-Shot任务上进行联合训练，每个训练任务由其自身的关系定义，使得对目标Few-Shot任务的学习/预测可以是有效的。然而，在现实世界的幼儿园，策划许多培训任务是一个具有挑战性的特设过程。在这里，我们提出了连接子图推理器（CSR），它可以直接对目标Few-Shot任务进行预测，而不需要对人工策划的训练任务集进行预训练。CSR的关键是，我们显式地建模支持和查询三元组之间的共享连接子图，消除归纳法的原则的启发。为了适应特定的KG，我们设计了相应的自监督预训练方案，目标是自动重建采样的连接子图。然后，我们的预训练模型可以直接应用于目标Few-Shot任务，而不需要训练Few-Shot任务。在NELL、FB 15 K-237和ConceptNet等真实KG上的大量实验证明了该框架的有效性：我们表明，即使是无学习的CSR实现，在目标Few-Shot任务上也可以与现有方法竞争;通过预训练，CSR可以在更具挑战性…
2022-10-13 cs.AI cs.CL cs.LG
ACD-CLIP: Decoupling Representation and Dynamic Fusion for Zero-Shot Anomaly Detection
Central South University（中南大学）；Hunan Vocational College of Science and Technology（湖南科技职业学院）
ACD-CLIP通过联合优化特征表征与跨模态融合，解决预训练视觉语言模型在零样本异常检测中的适应性不足问题，提出参数高效卷积低秩适应器和动态融合网关提升检测精度与鲁棒性。
2026-03-27 cs.AI cs.CV cs.LG
Zero-Shot Uncertainty Quantification using Diffusion Probabilistic Models
Carnegie Mellon University（卡内基梅隆大学）
本文研究扩散回归模型的集成预测能否实现零样本不确定性量化，通过一维和二维实验表明集成可稳定提升精度，并揭示预测误差与方差的统计相关性。
2024-08-08 cs.LG stat.ML
Unfairness Discovery and Prevention For Few-Shot Regression
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
我们研究了监督式Few-Shot元学习模型中的公平性，该模型对历史数据中的歧视（或偏见）敏感。基于偏见数据训练的机器学习模型往往会对少数群体的用户做出不公平的预测。虽然之前已经研究了这个问题，但是现有方法主要针对基于大量训练数据检测和控制受保护变量（例如种族、性别）对目标预测的依赖性影响。这些方法有两个主要缺点：（1）缺乏对所有变量的全局因果可视化;（2）缺乏对看不见的任务的准确性和公平性的概括。在这项工作中，我们首先发现歧视的数据使用因果贝叶斯知识图谱，它不仅展示了依赖的保护变量的目标，但也表明所有变量之间的因果关系。接下来，我们开发了一种新的算法的基础上的风险差异，以量化的歧视性影响，为每个保护变量的图。此外，为了保护预测不受不公平性的影响，提出了一种元学习中的快速自适应偏差控制方法，该方法有效地减轻了每个任务的统计差异，从而确保了受保护属性对基于有偏和Few-Shot数据样本的预测的独立性。不同于现有的元学习模型，组不公平的任务，有效地减少利用（联合国）保护组之间的平均差异回归问题。通过对合成数据集和真实数据集的广泛实验，我们证明了我们提出的不公平发现和预防方法可以有效地检测歧视并减轻模型输出的偏差，并将准确性和公平性推广到具有有限训练样本的看不见的任务。
2020-09-23 cs.LG stat.ML
Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian
Queen Mary, University of London（伦敦玛丽女王大学）
大多数视觉识别方法隐含地假设数据分布从训练到测试保持不变。然而，在实践中，域转移经常存在，其中诸如照明和传感器类型的真实世界因素在训练和测试之间改变，并且分类器不能从源域概括到目标域。针对所有可能的情况训练单独的模型是不切实际的，因为收集和标记数据是昂贵的。领域自适应算法旨在改善域偏移，允许在源上训练的模型在不同的目标域上表现良好。然而，即使对于无监督领域自适应的设置，其中目标域未被标记，收集每个可能的目标域的数据仍然是昂贵的。本文提出了一种新的领域自适应方法，当目标域可以用一个参数化向量来描述且同一参数空间内存在多个相关的源域时，该方法不需要访问目标域的数据或标签。它大大减少了数据汇集和注释的负担，我们的实验表明，一些有前途的结果。
2015-07-29 cs.CV cs.LG
CAZSL: Zero-Shot Regression for Pushing Models by Generalizing Through Context
Cornell University（康奈尔大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
许多机器人操作任务都需要学习物理世界的精确模型。然而，在操作过程中，机器人预计与未知的工件，使建立预测模型，可以概括了这些对象的数量是非常可取的。在本文中，我们研究了设计深度学习代理的问题，这些代理可以通过构建上下文感知的学习模型来概括其物理世界的模型。这些智能体的目的是基于为预测模型提供不同上下文的交互对象的某些特征，快速适应和/或概括其在现实世界中的交互物理概念。有了这个动机，我们提出了上下文感知的零样本学习（CASTOL，发音为休闲）模型，一种利用暹罗网络架构的方法，嵌入空间掩蔽和正则化的基础上的上下文变量，使我们能够学习一个模型，可以推广到不同的参数或功能的相互作用的对象。我们测试我们提出的学习算法上最近发布的Omnipush数据集，允许使用低维数据测试元学习能力。可在https://www.merl.com/research/license/CAZSL上获得CANOL代码。
2020-11-01 cs.LG cs.RO stat.ML
Zero-Shot Automatic Pronunciation Assessment
National University of Singapore（新加坡国立大学）
本文提出基于预训练声学模型HuBERT的零样本自动发音评估方法，通过掩码、Transformer编码、k-means聚类和错误恢复token计数进行评分，在speechocean762上取得与有监督回归基线相当的PCC性能。
2023-05-31 cs.CL cs.LG cs.SD
Label Propagation for Zero-shot Classification with Vision-Language Models
Czech Technical University in Prague（布拉格捷克技术大学）；NAVER LABS Europe（NAVER欧洲实验室）
针对含无标签数据的零样本分类，提出 ZLaP，利用图文特征图上的测地距离标签传播及高效归纳推理，在14个数据集上超过最新方法。
2024-04-05 cs.CV cs.LG
Unsupervised Meta-Learning For Few-Shot Image Classification
University of Central Florida（中佛罗里达大学）
分类器的Few-Shot或一次性学习需要对要学习的任务类型有显著的归纳偏差。获得这一点的一种方法是通过对与目标任务类似的任务进行元学习。在本文中，我们提出了UMTRA，一个算法，执行无监督，模型不可知的元学习分类任务。UMTRA的元学习步骤在未标记图像的平面集合上执行。虽然我们假设这些图像可以分为不同的类，并且与目标任务相关，但不需要关于类或任何标签的显式信息。UMTRA使用随机采样和增强来创建元学习阶段的合成训练任务。标签仅在最终目标任务学习步骤中需要，并且它们可以少至每个类一个样本。在Omniglot和Mini-Imagenet的少样本学习基准测试中，UMTRA优于每一种基于表示的无监督学习的测试方法，同时与最近的CACTU算法交替获得最佳性能。与有监督的模型不可知元学习方法相比，UMTRA牺牲了一些分类精度，以减少几个数量级的所需标签。
2019-11-07 cs.CV cs.LG
Transductive Multi-label Zero-shot Learning
Queen Mary University of London（伦敦玛丽女王大学）
零样本学习作为一种减轻注释大规模识别问题的训练数据的通常令人望而却步的费用的手段已经受到越来越多的关注。这些方法已经取得了巨大的成功，通过学习中间语义表示的形式的属性，最近，语义词向量。然而，到目前为止，它们一直局限于单标签的情况下，相比之下，日益普及和更现实的多标签数据的重要性。在本文中，第一次，我们调查和形式化的一般框架多标签零样本学习，解决其中的独特挑战：如何利用多标签相关性在测试时没有训练数据的这些类？特别地，我们提出了（1）一个多输出深度回归模型来将图像投影到语义词空间中，该模型显式地利用了词向量的中间语义层中的相关性;（2）一种新的多标签数据的零样本学习算法，该算法利用了语义词向量表示的独特组合属性;以及（3）使从可见类学习的回归模型能够很好地推广到不可见类的转换学习策略。我们的零样本学习实验上的一些标准的多标签数据集表明，我们的方法优于各种基线。
2015-03-26 cs.CV cs.LG
Learn from Anywhere: Rethinking Generalized Zero-Shot Learning with Limited Supervision
IIT Hyderabad（印度理工学院海得拉巴分校）
大多数零样本学习和少样本学习方法的一个共同问题是它们遭受对所看到的类的偏见，从而导致次优性能。现有的努力旨在在训练期间利用来自看不见的类（即，转导zero-shot）的未标记图像来实现泛化。然而，这限制了它们在实际场景中的使用，从目标看不见的类的数据是不可用的或不可行的收集。在这项工作中，我们提出了一个实用的设置归纳零和少样本学习，其中未标记的图像从其他的数据类，不属于可见或不可见的类别，可以用来提高泛化在任何镜头学习。我们利用基于专家产品的配方，并引入了一个新的AUD模块，使我们能够使用来自数据外类别的未标记样本，这些样本通常很容易获得，实际上不需要注释成本。此外，我们还证明了我们的模型的适用性，以解决一个更实际和具有挑战性的，广义Zero-shot在有限的监督设置下，即使基地看到类没有足够的注释样本。
2021-07-14 cs.AI cs.CV cs.LG
On the benefits of maximum likelihood estimation for Regression and Forecasting
Google Research（谷歌研究院）
我们提倡一种实用的极大似然估计（MLE）方法来设计回归和预测的损失函数，作为对特定目标指标直接经验风险最小化的典型方法的替代方案。MLE方法更适合于捕获归纳偏差，例如数据集中的先验领域知识，并且可以在推理时输出可以优化不同类型的目标度量的事后估计。我们目前的理论结果表明，我们的方法是有竞争力的任何估计的目标度量在一些一般条件下。在两个例子的实际设置，泊松和帕累托回归，我们表明，我们的竞争结果可以用来证明，MLE方法有更好的超额风险界限比直接最小化的目标度量。我们还通过经验证明，我们的方法使用设计良好的通用混合似然家族实例化，可以在具有不同数据分布的时间序列预测和回归数据集的各种任务中获得卓越的性能。
2021-10-09 cs.AI cs.LG stat.ML
