Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了回归网络的问题，Few-Shot分类，其中一个分类器必须推广到新的类中没有看到的训练集，只有少量的例子，每个类。在高维嵌入空间中，数据的方向通常包含比幅度更丰富的信息。除此之外，最先进的Few-Shot度量方法（将距离与聚合类表示进行比较）已显示出优越的性能。结合这两个见解，我们提出通过回归每个类子空间中的最接近近似值，同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似，回归网络反映了一种简单的归纳偏差，这在这种有限的数据制度中是有益的，并且它们实现了出色的结果，特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
Ridge Regression, Hubness, and Zero-Shot Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；The Institute of Statistical Mathematics（统计数学研究所）；National Institute of Genetics（国立遗传学研究所）
本文讨论了在零样本学习中，当岭回归用于寻找样本空间到标签空间之间的映射时，中心度的影响。相反，现有的方法，试图找到一个映射的例子空间的标签空间，我们表明，映射到例子空间的标签是理想的，以抑制枢纽的出现在随后的最近邻搜索步骤。假设一个简单的数据模型，我们证明了所提出的方法确实减少了hubness。这一点在双语词典提取和图像标记任务上得到了经验验证：这两个任务都降低了中心度，从而提高了准确性。
2015-07-03 cs.LG stat.ML
Zero-shot Relation Classification from Side Information
Virginia Tech（弗吉尼亚理工大学）
我们提出了一个零样本学习关系分类（ZERO-SHOT LEARNING Relationship Classification，ZERO-SHOT LRC）框架，该框架通过识别训练数据中不存在的新关系的能力来改进现有技术。零样本学习方法模仿人类在没有先验知识的情况下学习和识别新概念的方式。为了实现这一点，ARMLRC使用先进的原型网络，这些网络经过修改以利用加权边（辅助）信息。LRC的辅助信息是由关键字、名称实体的上位词、标签及其同义词构建的。EMLRC还包括一个自动上位词提取框架，该框架直接从Web获取各种名称实体的上位词。LRC改进了依赖于标记的训练数据的最先进的少样本学习关系分类方法，因此即使在一些关系没有对应的标记样本用于训练的真实世界场景中也可以更广泛地应用。我们在两个公共数据集（NYT和FewRel）上进行了广泛的实验，结果表明，在监督学习、少样本学习和零样本学习任务上，ARLRC的性能明显优于最先进的方法。我们的实验结果也证明了我们提出的模型的有效性和鲁棒性。
2021-11-18 cs.CL cs.LG
Few-shot Learning for Spatial Regression
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Service Evolution Laboratories（NTT服务演进实验室）
我们提出了一个空间回归的Few-Shot学习方法。虽然高斯过程（GPs）已成功地用于空间回归，但它们需要在目标任务中进行许多观察以实现高预测性能。我们的模型使用不同区域中各种属性的空间数据集进行训练，并在给定一些观测数据的情况下预测未知区域中未知属性的值。使用我们的模型，任务表示使用神经网络从给定的小数据推断。然后，空间值预测的神经网络与GP框架，其中特定于任务的属性控制的任务表示。GP框架允许我们通过分析获得适合小数据的预测。通过在目标函数中使用自适应预测，我们可以有效地训练我们的模型，以便在适应新给定的小数据时提高测试预测性能。在我们的实验中，我们证明了所提出的方法比使用空间数据集的现有元学习方法具有更好的预测性能。
2020-10-09 cs.LG stat.ML
SLURP: Side Learning Uncertainty for Regression Problems
SATIE, Paris-Saclay University（巴黎萨克雷大学 SATIE 实验室）
对于深度学习算法来说，量化其输出不确定性以满足可靠性约束并提供准确的结果已经变得至关重要。回归的不确定性估计受到的关注比分类少，因为后一类任务的标准化输出更直接，而且它们的重要性更高。然而，回归问题在计算机视觉的广泛应用中遇到。我们提出了SLURP，一个通用的方法回归不确定性估计通过侧学习，利用输出和中间表示产生的主要任务模型。我们在计算机视觉中的两个关键回归任务上测试SLURP：单目深度和光流估计。此外，我们进行了详尽的基准测试，包括转移到不同的数据集和添加任意噪声。结果表明，我们的建议是通用的，很容易适用于各种回归问题，并具有较低的计算成本相对于现有的解决方案。
2022-01-03 cs.CV cs.LG
GeoReg: Weight-Constrained Few-Shot Regression for Socio-Economic Estimation using LLM
School of Computing, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院计算机科学学院）；College of Business, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院商学院）；Graduate School of Data Science, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院数据科学研究生院）；Division of Social Science, Hong Kong University of Science and Technology (HKUST)（香港科学与技术大学社会科学系）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；Max Planck Institute for Security and Privacy (MPI-SP)（马克斯·普朗克安全与隐私研究所）
GeoReg通过整合卫星图像和网络地理信息等数据源，利用大语言模型的先验知识，在数据稀缺地区实现社会经济指标的少样本回归估计，实验表明其在不同发展水平国家均优于基线模型。
2026-03-18 cs.LG
One-shot Federated Learning without Server-side Training
Fudan University（复旦大学）
针对无需服务器端训练的单次联邦学习，提出MA-Echo算法，通过迭代优化本地模型参数至共同低损失区域，在非重叠标签分布下仍优于现有方法。
2023-05-09 cs.LG
Dist Loss: Enhancing Regression in Few-Shot Region through Distribution Distance Constraint
Institute of Medical Technology, Health Science Center of Peking University（北京大学健康科学中心医学技术研究所）；National Institute of Health Data Science, Peking University（北京大学国家健康数据科学研究院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文提出Dist Loss损失函数，通过可微的分布距离约束正则化输出分布，增强少样本区域回归性能，在三个数据集上取得最先进结果。
2025-03-28 cs.AI cs.LG
Exact Support Recovery in Federated Regression with One-shot Communication
Purdue University（普渡大学）
联邦学习提供了一个框架，以解决分布式计算的挑战，数据所有权和隐私的大量分布式客户端与低计算和通信能力。在本文中，我们研究了在联邦学习设置中学习稀疏线性回归的精确支持度的问题。我们提供了一个简单的通信有效的算法，它只需要一次与集中式服务器的通信来计算精确的支持。我们的方法不需要客户端解决任何优化问题，因此可以在计算能力较低的设备上运行。我们的方法对于客户端失败，模型中毒和离散客户端的问题自然是鲁棒的。我们正式证明，我们的方法需要每个客户端的样本数量是多项式的支持大小，但独立的问题的维度。我们要求分布式客户端的数量在问题的维度上是对数的。如果预测变量是相互独立的，则总体样本复杂度与非联邦集中式设置的最佳样本复杂度相匹配。此外，我们的方法很容易实现，并具有整体多项式时间的复杂度。
2020-06-22 cs.LG stat.ML
Fine-Grained Zero-Shot Learning with DNA as Side Information
Purdue University（普渡大学）；University of Tübingen（蒂宾根大学）；Indiana University - Purdue University（印第安纳大学-普渡大学）
细粒度的零样本学习任务需要某种形式的边信息来将区分信息从可见的类转移到不可见的类。由于手动注释的视觉属性是非常昂贵的，往往是不切实际的，以获得大量的类，在这项研究中，我们使用DNA作为侧信息的第一次细粒度的zero-shot分类的物种。线粒体DNA在进化生物学中作为遗传标记发挥着重要作用，并已被用于实现生物物种分类的近乎完美的准确性。我们实现了一个简单的分层贝叶斯模型，使用DNA信息建立在图像空间中的层次结构，并采用本地先验来定义代理类看不见的。在基准CUB数据集上，我们证明了DNA可以同样有前途，但总的来说，它是一种比词向量更容易获得的替代品。这是特别重要的，因为获得强大的文字表示细粒度的物种名称是不可行的目标时，这些物种的信息在自由形式的文本是有限的。在一个新编译的细粒度昆虫数据集上，使用来自一千多个物种的DNA信息，我们表明贝叶斯方法的性能远远优于最先进的方法。
2021-09-29 cs.CV cs.LG
One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation
Zahir Alsulaimawi（独立研究者）
本文提出了一种无需迭代通信的联邦岭回归方法，通过一次聚合实现精确恢复，显著降低通信开销并提升隐私保护。
2026-01-13 cs.CR cs.LG
WONDER: Weighted one-shot distributed ridge regression in high dimensions
University of Pennsylvania（宾夕法尼亚大学）
在许多领域，从业者需要分析大型数据集，这对传统的单机计算提出了挑战。为了扩展数据分析，越来越需要分布式和并行计算方法。在这里，我们研究一个基本的和非常重要的问题，在这方面：如何做岭回归在分布式计算环境？岭回归是一种非常流行的有监督学习方法，它具有多个最优性性质，因此研究岭回归具有重要意义。我们研究一次法，构建加权组合的岭回归估计计算在每台机器上。通过分析高维随机效应模型中每个预测因子都有小影响的均方误差，我们发现了几个新的现象。1.无限工作者限制：分布式估计器适用于非常大量的机器，我们称之为“无限工作者限制”。2.最优权重：由于岭的向下偏差，组合局部估计量的最优权重之和大于1。因此，所有的平均方法都是次优的。我们还提出了一种新的加权ONe-shot DistributEd岭回归算法（WONDER）。我们在模拟研究中测试WONDER，并以百万歌曲数据集为例。在那里，它可以节省至少100倍的计算时间，同时几乎保持测试精度。
2020-02-19 cs.DC cs.LG math.ST
Hyper-Process Model: A Zero-Shot Learning algorithm for Regression Problems based on Shape Analysis
零样本学习（Zero-shot learning，ZRL）可以通过基于先前从不同但相关的任务获得的知识正确地解决没有训练数据可用的任务来定义。到目前为止，这一领域主要引起了计算机视觉界的注意，其中需要正确地分类新的不可见图像，假设在训练过程中没有使用目标类。除了图像分类，只有一对夫妇的通用方法，提出了适用于分类和回归。这些学习模型系数之间的关系，因此可以根据提供的条件预测新的系数。到目前为止，据我们所知，没有方法存在，只适用于回归，并利用这种设置。因此，目前的工作提出了一种新的算法回归问题，使用从训练模型中提取的数据，而不是模型系数。在这种情况下，对数据执行形状分析以创建统计形状模型并生成新形状以训练新模型。所提出的算法在理论设置中使用beta分布进行测试，其中要解决的主要问题是基于已经学习的不同但相关的曲线来估计预测曲线的函数。
2018-10-16 cs.CV cs.LG stat.ML
Logistic Regression makes small LLMs strong and explainable "tens-of-shot" classifiers
Advanced Analytics, Bank of England（英格兰银行高级分析部）
本研究针对简单分类任务，提出基于小型LLM嵌入向量的带惩罚Logistic Regression方法，在“数十样本”场景下性能媲美甚至优于大型LLM，兼具隐私、成本等优势且可提供稳定解释。
2024-10-04 cs.CL cs.LG stat.ML
Active Quantum Kernel Acquisition for Gaussian Process Regression
RIKEN iTHEMS（日本理化学研究所iTHEMS）；RIKEN AIP（日本理化学研究所Advanced Institute for Photonics and Electron Devices）；South China University of Technology（华南理工大学）
针对量子核估计的有限预算问题，提出基于下游任务敏感性的非均匀分配策略，通过三种闭合灵敏度公式指导Neyman分配，并加入均匀覆盖下限防止过集中，在UCI基准和量子核上实现10-21%的测试RMSE改进。
2026-07-08 cs.LG
Bayesian Uncertainty and Expected Gradient Length -- Regression: Two Sides Of The Same Coin?
Mercedes-Benz Research and Development India（梅赛德斯-奔驰印度研发中心）
主动学习算法选择数据的子集进行注释，以在预算范围内最大化模型性能。一种这样的算法是预期梯度长度，顾名思义，它使用采样过程中每个示例引起的近似梯度。虽然预期梯度长度已成功用于分类和回归，但回归公式仍然是直观驱动的。因此，我们的理论贡献包括推导这个公式，从而支持实验证据。随后，我们证明了回归中的期望梯度长度等价于贝叶斯不确定性。如果某些假设是不可行的，我们的算法贡献（EGL++）近似的合奏与一个单一的确定性网络的效果。而不是计算每个输入的多个可能的推断，我们利用以前注释的样本来量化以前的标签是真实标签的概率。这种方法使我们能够将预期的梯度长度扩展到一个新的任务：人体姿态估计。我们在两个人体姿态数据集（MPII和LSP/LSPET）上进行了实验验证，突出了EGL++与不同的主动学习算法用于人体姿态估计的可解释性和竞争力。
2021-10-22 cs.CV cs.LG
Alternative Semantic Representations for Zero-Shot Human Action Recognition
The University of Manchester（曼彻斯特大学）
正确的语义表示是零样本学习成功的关键。在本文中，我们探讨了两种替代的语义表示，特别是zero-shot人类动作识别：人类动作的文本描述和从静态图像中提取的与人类动作相关的深度特征。这些辅助信息可以在Web上以很小的代价获取，为大规模zero-shot人体动作识别提供了一条新的辅助信息获取途径。我们研究不同的编码方法来生成语义表示人类的行动，从这样的边信息。基于我们的zero-shot视觉识别方法，我们对UCF 101和HMDB 51进行了实验，以评估两个提出的语义表示。结果表明，我们提出的基于文本和图像的语义表示优于传统的属性和词向量大大zero-shot人类动作识别。特别地，基于图像的语义表示产生有利的性能，即使表示是从每类的少量图像中提取的。
2017-06-28 cs.CV cs.IR cs.LG
One-shot Active Learning Based on Lewis Weight Sampling for Multiple Deep Models
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）
针对多深度模型主动学习中迭代训练成本高的问题，提出基于跨表示最大Lewis权重采样与重加权的一次性$\ell_p$回归方法，并给出样本数上界，在11个基准上性能可比最先进方法。
2024-10-02 cs.LG
Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin
Carnegie Mellon University（卡内基梅隆大学）；Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）
本文研究少样本分类中双曲嵌入与欧氏嵌入的对比，发现双曲嵌入在共同半径下表现最佳，但固定半径的欧氏编码器可取得更优性能。
2023-09-18 cs.CV cs.LG
Towards Zero-shot Cross-lingual Image Retrieval and Tagging
Adobe Inc.（奥多比公司）
最近对多模态语言和视觉问题的兴趣激增。在语言方面，大多数这些模型主要集中在英语上，因为大多数多模态数据集都是单语的。我们试图通过一种zero-shot方法来弥合这一差距，该方法使用文本侧的跨语言预训练来学习多模态表示。我们提出了一种简单而实用的方法来构建一个跨语言的图像检索模型，该模型在单语训练数据集上训练，但可以在推理过程中以zero-shot跨语言的方式使用。我们还引入了一个新的目标函数，它通过将不同的文本彼此推开来收紧文本嵌入集群。为了评估，我们引入了一个新的1K多语言MSCOCO2014字幕测试数据集（XTD10），我们使用众包平台收集了7种语言。我们将其用作跨语言的zero-shot模型性能的测试集。我们还演示了如何跨语言模型可以用于下游任务，如多语言图像标记在zero shot的方式。XTD 10数据集在这里公开提供：https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10。
2021-09-15 cs.LG
Zero-Shot Uncertainty Quantification using Diffusion Probabilistic Models
Carnegie Mellon University（卡内基梅隆大学）
本文研究扩散回归模型的集成预测能否实现零样本不确定性量化，通过一维和二维实验表明集成可稳定提升精度，并揭示预测误差与方差的统计相关性。
2024-08-08 cs.LG stat.ML
Unfairness Discovery and Prevention For Few-Shot Regression
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
我们研究了监督式Few-Shot元学习模型中的公平性，该模型对历史数据中的歧视（或偏见）敏感。基于偏见数据训练的机器学习模型往往会对少数群体的用户做出不公平的预测。虽然之前已经研究了这个问题，但是现有方法主要针对基于大量训练数据检测和控制受保护变量（例如种族、性别）对目标预测的依赖性影响。这些方法有两个主要缺点：（1）缺乏对所有变量的全局因果可视化;（2）缺乏对看不见的任务的准确性和公平性的概括。在这项工作中，我们首先发现歧视的数据使用因果贝叶斯知识图谱，它不仅展示了依赖的保护变量的目标，但也表明所有变量之间的因果关系。接下来，我们开发了一种新的算法的基础上的风险差异，以量化的歧视性影响，为每个保护变量的图。此外，为了保护预测不受不公平性的影响，提出了一种元学习中的快速自适应偏差控制方法，该方法有效地减轻了每个任务的统计差异，从而确保了受保护属性对基于有偏和Few-Shot数据样本的预测的独立性。不同于现有的元学习模型，组不公平的任务，有效地减少利用（联合国）保护组之间的平均差异回归问题。通过对合成数据集和真实数据集的广泛实验，我们证明了我们提出的不公平发现和预防方法可以有效地检测歧视并减轻模型输出的偏差，并将准确性和公平性推广到具有有限训练样本的看不见的任务。
2020-09-23 cs.LG stat.ML
Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian
Queen Mary, University of London（伦敦玛丽女王大学）
大多数视觉识别方法隐含地假设数据分布从训练到测试保持不变。然而，在实践中，域转移经常存在，其中诸如照明和传感器类型的真实世界因素在训练和测试之间改变，并且分类器不能从源域概括到目标域。针对所有可能的情况训练单独的模型是不切实际的，因为收集和标记数据是昂贵的。领域自适应算法旨在改善域偏移，允许在源上训练的模型在不同的目标域上表现良好。然而，即使对于无监督领域自适应的设置，其中目标域未被标记，收集每个可能的目标域的数据仍然是昂贵的。本文提出了一种新的领域自适应方法，当目标域可以用一个参数化向量来描述且同一参数空间内存在多个相关的源域时，该方法不需要访问目标域的数据或标签。它大大减少了数据汇集和注释的负担，我们的实验表明，一些有前途的结果。
2015-07-29 cs.CV cs.LG
CAZSL: Zero-Shot Regression for Pushing Models by Generalizing Through Context
Cornell University（康奈尔大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
许多机器人操作任务都需要学习物理世界的精确模型。然而，在操作过程中，机器人预计与未知的工件，使建立预测模型，可以概括了这些对象的数量是非常可取的。在本文中，我们研究了设计深度学习代理的问题，这些代理可以通过构建上下文感知的学习模型来概括其物理世界的模型。这些智能体的目的是基于为预测模型提供不同上下文的交互对象的某些特征，快速适应和/或概括其在现实世界中的交互物理概念。有了这个动机，我们提出了上下文感知的零样本学习（CASTOL，发音为休闲）模型，一种利用暹罗网络架构的方法，嵌入空间掩蔽和正则化的基础上的上下文变量，使我们能够学习一个模型，可以推广到不同的参数或功能的相互作用的对象。我们测试我们提出的学习算法上最近发布的Omnipush数据集，允许使用低维数据测试元学习能力。可在https://www.merl.com/research/license/CAZSL上获得CANOL代码。
2020-11-01 cs.LG cs.RO stat.ML
Deep Double-Side Learning Ensemble Model for Few-Shot Parkinson Speech Recognition
School of microelectronics and commuication engineering, Chongqing University（重庆大学微电子与通信工程学院）
基于语音数据的帕金森病诊断和疗效评估非常重要，但其少样本学习问题具有挑战性，深度学习虽然擅长自动特征提取，但存在少样本学习问题。因此，一般有效的方法是先基于先验知识进行特征提取，然后进行特征约简，用于后续的分类。但是，语音识别存在两个主要问题：1）语音特征之间的结构信息没有得到充分挖掘，没有重构出更高质量的新特征。2)数据样本之间的结构信息尚未被挖掘，更高质量的新样本尚未被重建。针对这两个问题，本文在已有的帕金森语音特征数据集的基础上，设计了一种能够同时深度重构语音特征和样本的深度双侧学习集成模型。在特征重构方面，本文设计了一种嵌入式深度堆叠组稀疏自编码器，对语音进行非线性特征变换，从而获得新的高层深度特征，然后采用L1正则化特征选择方法将深度特征与原始语音特征融合。在语音样本重构方面，本文设计了一种基于迭代均值聚类的深度样本学习算法，对样本进行变换，以获得新的高层次深度样本。最后，采用Bagging集成学习模式将深度特征学习算法和深度样本学习算法融合在一起，构建深度双侧学习集成模型。最后，利用两个具有代表性的帕金森病语音数据集进行了验证。实验结果表明了该算法的有效性。
2020-06-20 cs.CV cs.LG
Zero-Shot Automatic Pronunciation Assessment
National University of Singapore（新加坡国立大学）
本文提出基于预训练声学模型HuBERT的零样本自动发音评估方法，通过掩码、Transformer编码、k-means聚类和错误恢复token计数进行评分，在speechocean762上取得与有监督回归基线相当的PCC性能。
2023-05-31 cs.CL cs.LG cs.SD
Zero-Shot Activity Recognition with Videos
KU Leuven（鲁汶大学）；TU Munich（慕尼黑工业大学）
在本文中，我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面，我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面，我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后，流形学习能力衡量平均最近邻重叠。最后，我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
Transductive Multi-label Zero-shot Learning
Queen Mary University of London（伦敦玛丽女王大学）
零样本学习作为一种减轻注释大规模识别问题的训练数据的通常令人望而却步的费用的手段已经受到越来越多的关注。这些方法已经取得了巨大的成功，通过学习中间语义表示的形式的属性，最近，语义词向量。然而，到目前为止，它们一直局限于单标签的情况下，相比之下，日益普及和更现实的多标签数据的重要性。在本文中，第一次，我们调查和形式化的一般框架多标签零样本学习，解决其中的独特挑战：如何利用多标签相关性在测试时没有训练数据的这些类？特别地，我们提出了（1）一个多输出深度回归模型来将图像投影到语义词空间中，该模型显式地利用了词向量的中间语义层中的相关性;（2）一种新的多标签数据的零样本学习算法，该算法利用了语义词向量表示的独特组合属性;以及（3）使从可见类学习的回归模型能够很好地推广到不可见类的转换学习策略。我们的零样本学习实验上的一些标准的多标签数据集表明，我们的方法优于各种基线。
2015-03-26 cs.CV cs.LG
Collaborative Filtering with Side Information: a Gaussian Process Perspective
University of Oxford（牛津大学）
我们通过高斯过程（GP）回归来解决带边信息的协同过滤（CF）问题。驱动的想法，使用内核来显式地模拟用户项目的相似性，我们制定的GP的方式，允许纳入低秩矩阵分解，到达我们的模型，塔克高斯过程（TGP）。因此，TGP概括了经典的贝叶斯矩阵分解模型，并超越了它们，给出了一种自然而优雅的方法，用于合并边信息，增强了CF问题的预测性能。此外，我们表明，这是一种新的回归模型，特别适合于网格结构的数据和问题的协变量的依赖是接近可分离的。
2017-06-08 cs.IR cs.LG stat.ML
Improving Zero-Shot Models with Label Distribution Priors
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
用面部年龄或对象类型等属性标记大型图像数据集是繁琐的，有时是不可行的。受监督的机器学习方法提供了高度准确的解决方案，但需要手动标记，这通常是不可用的。Zero-shot模型（例如，CLIP）不需要手动标签，但不像监督标签那样准确，特别是当属性是数值时。我们提出了一种新的方法，CLIPPR（CLIP与先验），它适应zero-shot模型的回归和分类未标记的数据集。我们的方法不使用任何带注释的图像。相反，我们假设数据集中标签分布的先验。然后，我们在CLIP之上训练一个适配器网络，这是基于两个相互竞争的目标：i）原始CLIP模型的预测变化最小，ii）预测和先验标签分布之间的距离最小。此外，我们提出了一种新的方法来选择提示视觉和语言模型使用分布前。我们的方法是有效的，并提出了一个显着的改进，比原来的模型。我们证明了UTK年龄回归任务的平均绝对误差提高了28%。我们还为分类基准提供了有希望的结果，在不使用任何标签的情况下，ImageNet数据集的分类准确率提高了2.83%。
2022-12-01 cs.CV cs.LG
Towards Zero-shot Cross-lingual Image Retrieval
Adobe Inc.（奥多比公司）
最近对多模态语言和视觉问题的兴趣激增。在语言方面，大多数这些模型主要集中在英语上，因为大多数多模态数据集都是单语的。我们试图通过一种zero-shot方法来弥合这一差距，该方法使用文本侧的跨语言预训练来学习多模态表示。我们提出了一种简单而实用的方法来构建一个跨语言的图像检索模型，该模型在单语训练数据集上训练，但可以在推理过程中以zero-shot跨语言的方式使用。我们还引入了一个新的目标函数，它通过将不同的文本相互推送来收紧文本嵌入集群。最后，我们介绍了一个新的1K多语言MSCOCO2014字幕测试数据集（XTD10），我们使用众包平台收集了7种语言。我们将其用作测试集，用于评估跨语言的zero-shot模型性能。XTD 10数据集在以下网站公开发布：https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10
2020-11-24 cs.CL cs.CV cs.LG
CarbonBench: A Global Benchmark for Upscaling of Carbon Fluxes Using Zero-Shot Learning
University of Minnesota（明尼苏达大学）
CarbonBench通过零样本学习方法提供全球碳通量放大的基准，包含大规模观测数据和统一特征集，用于评估模型在不同环境下的泛化能力。
2026-08-17 cs.LG physics.ao-ph
Zero-shot Multivariate Time Series Forecasting Using Tabular Prior Fitted Networks
University of Maryland（马里兰大学）；Capital One（第一资本）
本文提出利用表格基础模型进行多变量时间序列预测，通过将问题转化为标量回归问题，实现零样本预测，使用TabPFN-TS验证方法并对比现有最佳表格方法。
2026-04-09 cs.AI cs.LG
Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning
University of Texas（德克萨斯大学）
本文研究了无约束岭回归中自蒸馏的最优混合权重，证明其在非平稳正则化下严格优于教师模型，并提出了一种无需网格搜索的一次调优方法。
2026-02-19 cs.LG math.ST stat.ML
Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）
基于低拍摄草图的图像检索是计算机视觉中的一项新兴任务，它允许检索与手绘草图查询相关的自然图像，这些图像在训练阶段很少见到。相关的现有工作要么需要昂贵的获得对齐的草图-图像对，要么需要低效的存储器融合层来将视觉信息映射到语义空间。在本文中，我们解决任何镜头，即zero-shot和Few-Shot，基于草图的图像检索（SBIR）的任务，我们介绍了Few-Shot设置SBIR。为了解决这些任务，我们提出了一个语义对齐的配对循环一致的生成对抗网络（SEM-PCYC）的任意镜头SBIR，其中每个分支的生成对抗网络映射的视觉信息从草图和图像到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性，只需要在类别级别进行监督，并避免了对齐草图-图像对的需要。生成器输出的分类标准确保视觉到语义空间的映射是类特定的。此外，我们建议通过自动编码器将文本和分层边信息结合起来，该自动编码器在同一个端到端模型中选择有区别的边信息。我们的研究结果表明，在具有挑战性的Sketchy，TU-Berlin和QuickDraw数据集的扩展版本上，任何镜头SBIR性能都有显着提高。
2020-06-20 cs.CV cs.LG
Large Scale Tensor Regression using Kernels and Variational Inference
我们概述了张量因子分解模型的内在弱点时，潜在的因素表示为边信息的函数，并提出了一种新的方法来减轻这种弱点。我们创造了我们的方法\textit{Kernel Fried Tensor}（KFT），并提出它作为一个大规模的预测工具，高维数据。我们的研究结果显示出优越的性能对\textit{LightGBM}和\textit{Field Aware Factorization Machines}（FFM），两个算法与成熟的跟踪记录广泛用于工业预测。我们还开发了一个变分推断框架KFT和我们的预测与校准的不确定性估计三个大规模的数据集。此外，经验表明，KFT对常数和高斯噪声方面的无信息边信息是鲁棒的。
2020-02-11 cs.LG stat.CO stat.ML
Zero-Shot Text-to-Image Generation
OpenAI
传统上，文本到图像生成的重点是找到更好的建模假设，以便在固定数据集上进行训练。这些假设可能涉及复杂的体系结构、辅助损失或辅助信息，例如在训练期间提供的对象部分标签或分割掩码。我们描述了一个简单的方法，这个任务的基础上的Transformer，自回归模型的文本和图像标记作为一个单一的数据流。有了足够的数据和规模，我们的方法是有竞争力的，与以前的特定领域的模型时，评估在zero-shot的方式。
2021-02-26 cs.CV cs.LG
Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition
Alibaba Group（阿里巴巴集团）
准确度预测器是神经架构搜索（NAS）中用于排名架构的关键组件。构建高质量的准确度预测器通常需要大量的计算。为了解决这个问题，而不是使用一个准确的预测，我们提出了一种新的zero-shot指数称为Zen-Score排名的架构。Zen-Score表示网络表达能力，并与模型准确性呈正相关。Zen-Score的计算只需要通过随机初始化的网络进行少量的前向推理，而不需要训练网络参数。在Zen-Score的基础上，我们进一步提出了一种新的NAS算法，称为Zen-NAS，通过在给定的推理预算下最大化目标网络的Zen-Score。在不到半个GPU天的时间内，Zen-NAS能够以无数据的方式直接搜索高性能架构。与以前的NAS方法相比，所提出的Zen-NAS在多个服务器端和移动端GPU平台上的速度提高了数倍，在ImageNet上具有最先进的准确性。我们的源代码和预训练模型发布在https://github.com/idstcv/ZenNAS上。
2021-08-23 cs.CV cs.LG
Zero-Shot Sketch Based Image Retrieval using Graph Transformer
Indian Institute Of Technology Bombay（印度理工学院孟买分校）
zero-shot sketch-based image retrieval（基于草图的图像检索）任务的性能主要受到两个挑战的影响。图像和草图特征之间的实质性领域差距需要被弥合，而与此同时，侧信息必须被巧妙地选择。已有的文献表明，改变语义侧信息极大地影响了EST-SBIR的性能。为此，我们提出了一种新的图形Transformer为基础的zero-shot草图为基础的图像检索（GTQIR）框架，用于解决EST-SBIR任务，使用一种新的图形Transformer，以保持在语义空间中的类的拓扑结构和传播的视觉空间的嵌入功能内的类的上下文图。为了弥合视觉特征之间的领域差距，我们建议最小化学习领域共享空间中图像和草图之间的Wasserstein距离。我们还提出了一种新的兼容性损失，进一步对齐两个视觉域桥接的域间隙的一个类相对于训练集中的所有其他类的域间隙。在扩展的Sketchy、TU-Berlin和QuickDraw数据集上获得的实验结果显示，与现有的最先进的方法相比，在BS-SBIR和广义BS-SBIR中都有明显的改进。
2022-05-28 cs.CV cs.LG
Zero-shot Learning for Audio-based Music Classification and Tagging
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）；NAVER Corp.（NAVER公司）
基于音频的音乐分类和标记通常基于具有固定标签集的分类监督学习。这本质上不能处理看不见的标签，如新添加的音乐流派或语义词，用户任意选择的音乐检索。零样本学习可以通过利用标签的附加语义空间来解决这个问题，其中关于标签的边信息用于揭示彼此之间的关系。在这项工作中，我们研究了音乐领域的零样本学习，并组织了两种不同的边信息设置。一种是使用基于Free Music Archive和OpenMIC-2018数据集的人工标记属性信息。另一种方法是利用基于Million Song Dataset和Last.fm标签标注的通用词语义信息。考虑到在音乐分类和标签数据集中，音乐曲目通常是多标签的，我们还提出了一个多标签零样本学习的数据分割方案和相关的评估设置。最后，我们报告实验结果，并讨论了零样本学习在音乐领域的有效性和新的可能性。
2020-03-19 cs.LG cs.MM cs.SD
Zero-shot Concept Bottleneck Models
Kyoto University（京都大学）
本文提出零样本概念瓶颈模型，通过大规模概念库实现无需训练的跨领域概念与标签预测，提供可解释的干预概念。
2026-04-03 cs.AI cs.CV cs.LG
Knowledge-aware Zero-Shot Learning: Survey and Perspective
Zhejiang University（浙江大学）；University of Oxford（牛津大学）；The University of Edinburgh（爱丁堡大学）
零样本学习（Zero-shot learning，缩写为ZRL），其目标是使用外部知识（也称为“零样本学习”）预测在训练期间从未出现过的类。侧信息）已经被广泛研究。本文从外部知识的角度对外语学习进行了文献综述，对外语学习中的外部知识进行了分类，对各种外部知识的研究方法进行了综述，并对不同外部知识进行了比较。通过文献回顾，我们进一步讨论和展望了符号知识在解决机器学习和其他机器学习样本不足问题中的作用。
2021-05-10 cs.AI cs.LG
Towards a Better Understanding of Variations in Zero-Shot Neural Machine Translation Performance
University of Amsterdam（阿姆斯特丹大学）
本文通过40种语言、1560个语言方向的实验，揭示零样本神经机器翻译性能高度变化的三个关键因素：目标端翻译能力、词汇重叠和语言属性，并指出偏离目标问题只是零样本性能不足的症状。
2023-10-31 cs.CL cs.LG
Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出在音频编码器中引入可训练提示以捕获任务特定声学特征，与文本提示结合提升少样本适应性能，在11个数据集上验证有效性。
2026-06-16 cs.LG cs.MM cs.SD
Ontology-guided Semantic Composition for Zero-Shot Learning
University of Oxford（牛津大学）；INRIA（法国国家信息与自动化研究所）；Zhejiang University（浙江大学）；The University of Edinburgh（爱丁堡大学）；The University of Aberdeen（阿伯丁大学）
零样本学习（ZSL）是一个热门的研究问题，旨在利用带有一些辅助信息的类间关系来预测那些在训练阶段从未出现过的类。在这项研究中，我们提出了一个OWL（Web本体语言）本体建模的组成和表达语义的类标签，并进一步开发了一个新的本体嵌入的OWL框架。动物图像分类和视觉问答的初步实验验证了该方法的有效性。
2020-06-30 cs.AI cs.LG
Zero-shot Learning and Knowledge Transfer in Music Classification and Tagging
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NAVER Corp.（NAVER公司）
音乐分类和标记是通过具有固定标签集的分类监督学习进行的。原则上，这不能对看不见的标签进行预测。零样本学习是一种利用语义标签的边信息来解决该问题的方法。我们最近通过将音频和标签空间投影到单个语义空间上，研究了音乐分类和标记任务中的零样本学习概念。在这项工作中，我们将工作扩展到验证零样本学习模型的泛化能力进行知识转移到不同的音乐语料库。
2019-06-20 cs.IR cs.LG cs.MM
One-Bit Compressed Sensing via One-Shot Hard Thresholding
Stevens Institute of Technology（斯蒂文斯理工学院）
本文关注的问题，1位压缩感知，其目标是估计稀疏信号的一些二进制测量。我们研究了一个非凸稀疏约束的程序，并提出了一种新颖而简洁的分析，远离广泛使用的高斯宽度的概念。我们表明，一个简单的算法，保证以高概率产生一个准确的近似下的$\ell_2$度量的归一化信号的兴趣。最重要的是，我们建立了一个新的结果，解决范数估计，支持恢复和模型误指定的合奏。在计算方面，它表明，非凸规划可以解决通过一步硬阈值，这是显着有效的时间复杂度和内存占用。在统计方面，它表明，我们的估计享有接近最佳的出错率在标准条件下。数值实验证实了理论结果。
2020-07-09 cs.LG cs.NA math.NA
Meta-learning with differentiable closed-form solvers
FiveAI（FiveAI公司）；University of Oxford（牛津大学）
由于标准微调程序的高计算要求，使深度网络适应少数例子中的新概念是具有挑战性的。因此，大多数关于少样本学习的工作都集中在简单的自适应学习技术上，例如最近邻或梯度下降。尽管如此，机器学习文献包含了大量非常有效地学习非深度模型的方法。在本文中，我们建议使用这些快速收敛的方法作为少样本学习的主要适应机制。其主要思想是教深度网络使用标准的机器学习工具，如岭回归，作为其内部模型的一部分，使其能够快速适应新数据。这需要通过求解器步骤反向传播误差。虽然通常在这样一个过程中涉及的矩阵运算的成本将是显着的，通过使用伍德伯里恒等式，我们可以使少量的例子对我们有利。我们提出了封闭形式和迭代求解器，基于岭回归和逻辑回归组件。我们的方法构成了解决少样本学习问题的简单而新颖的方法，并在三个基准测试中实现了与最新技术水平相竞争或优于最新技术水平的性能。
2019-07-24 cs.CV cs.LG stat.ML
Can Vision-Language Models Judge Olympic Diving? From Reasoning to Scores in Zero-Shot Action Quality Assessment
ESPOL Polytechnic University（ESPOL理工大学）；University of Granada（格拉纳达大学）；Universidad de Las Palmas de Gran Canaria（拉斯帕尔马斯·德·大加那利大学）；Michigan Technological University（密歇根理工大学）
本研究提出基于回归的框架，利用开源视觉语言模型对奥运跳水视频进行零样本动作质量评估，通过集成学习将Spearman相关性从低于0.32提升至0.67，证明VLM可作为可解释的半自动体育评估辅助工具。
2026-09-18 cs.AI cs.CV cs.LG
Symbolic Regression with a Learned Concept Library
UT Austin（德克萨斯大学奥斯汀分校）；Foundry Technologies（Foundry科技公司）；MIT（麻省理工学院）；University of Cambridge（剑桥大学）
提出 LaSR 符号回归方法，通过 LLM 零样本查询构建并演化抽象概念库，结合进化搜索提升假设发现，在 Feynman 等基准上超过现有方法并发现新的 LLM 缩放定律。
2024-12-10 cs.AI cs.LG cs.NE
