SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University(南洋理工大学);Amazon Web Services(亚马逊云科技)
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括,从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理,已经提出了诸如提示微调的参数高效微调方法。然而,现有的提示微调方法可能缺乏通用性。我们提出了SPT,半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体,从该存储体中基于离散提示检索存储器提示。大量的实验,如(i)微调一个完整的语言模型与SPT的31个不同的任务,从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和(ii)预训练SPT的GLUE数据集和评估微调SuperGLUE数据集,证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
Multitask Learning for Network Traffic Classification
University of California Davis(加州大学戴维斯分校)
流量分类在当今的互联网中具有各种应用,从ISP中的资源分配、计费和QoS目的到客户端中的防火墙和恶意软件检测。经典的机器学习算法和深度学习模型已被广泛用于解决流量分类任务。然而,训练这样的模型需要大量的标记数据。标记数据通常是构建分类器中最困难和最耗时的过程。为了解决这一挑战,我们重新制定的流量分类到一个多任务的学习框架,带宽需求和持续时间的流预测随着流量类。这种方法的动机是双重的:首先,带宽需求和持续时间是有用的,在许多应用中,包括路由,资源分配,和QoS供应。其次,这两个值可以很容易地从每个流中获得,而不需要在受控和隔离的环境中人工标记或捕获流。我们表明,大量的易于获得的数据样本的带宽和持续时间的预测任务,只有少数数据样本的流量分类任务,可以达到很高的精度。我们用ISCX和QUIC公共数据集进行了两个实验,并展示了我们的方法的有效性。
2020-05-08 cs.LG stat.ML
A Principled Approach for Learning Task Similarity in Multitask Learning
Université Laval(拉瓦尔大学);University of Pennsylvania(宾夕法尼亚大学)
多任务学习的目的是同时解决一组相关的任务,通过利用共享的知识来提高单个任务的性能。因此,多任务学习的一个重要方面是理解一组任务中的相似性。先前的工作已经明确地结合了这种相似性信息(例如,每个任务的加权损失)或隐式地(例如,特征适应的对抗性损失),以实现良好的经验性能。然而,添加任务相似性知识的理论动机往往缺失或不完整。本文从理论的角度给出了不同的视角来理解这种做法。我们首先提供了一个上限的泛化误差的多任务学习,显示的好处,明确和隐含的任务相似性知识。我们系统地推导出两个不同的任务相似性度量的基础上的界限:H分歧和Wasserstein距离。基于这些理论结果,我们重新审视了对抗性多任务神经网络,提出了一种新的训练算法来迭代学习任务关联系数和神经网络参数。我们评估我们的新算法经验上的几个基准,不仅表明我们发现有趣的和强大的任务关系,但所提出的方法优于基线,重申算法设计的理论见解的好处。
2019-05-31 cs.LG stat.ML
Multitask Prompted Training Enables Zero-Shot Task Generalization
Hugging Face;Brown University(布朗大学);Snorkel AI;BigScience;KFUPM(法赫德国王石油与矿业大学);IRISA(法国信息与随机系统研究所);IMATAG;Hyperscience;SAP(思爱普);NTU(南洋理工大学);UCSD(加州大学圣地亚哥分校);SambaNova Systems;Walmart Labs(沃尔玛实验室);VU Amsterdam(阿姆斯特丹自由大学);University of Virginia(弗吉尼亚大学);ASUS(华硕);ZEALS;NYU(纽约大学);IBM Research(IBM研究院);UC Berkeley(加州大学伯克利分校);Parity;Inria(法国国家信息与自动化研究所);Naver Labs Europe(Naver欧洲实验室);BITS Pilani(博拉理工学院);University of Rome(罗马大学);Stanford(斯坦福大学);Charles River Analytics(查尔斯河分析公司);Booz Allen(博思艾伦);EleutherAI
大语言模型最近已经被证明在不同的任务集合上获得合理的zero-shot泛化(Brown等人,2020年)。已经假设这是语言模型的预训练中的内隐多任务学习的结果(Radford等人,2019年)。zero-shot泛化是否可以直接通过外显多任务学习来诱导?为了大规模地测试这个问题,我们开发了一个系统,可以轻松地将任何自然语言任务映射到人类可读的提示形式。我们转换了大量的监督数据集,每个数据集都有多个不同措辞的提示。这些提示的数据集允许对模型执行完全保留任务的能力进行基准测试。我们微调预训练的编码器-解码器模型(Raffel等人,2020; Lester等人,2021年)在这个多任务混合覆盖各种各样的任务。该模型在几个标准数据集上实现了强大的zero-shot性能,通常优于高达16倍大小的模型。此外,我们的方法在BIG-Bench基准测试的一部分任务上获得了很好的性能,比模型的性能高出6倍。所有经过训练的模型都可以在https://github.com/bigscience-workshop/t-zero上找到,所有提示都可以在https://github.com/bigscience-workshop/promptsource上找到。
2022-03-17 cs.CL cs.LG
Operator-Theoretic Generalization Bounds for Multitask Deep Learning
Free University of Bozen–Bolzano(博尔扎诺自由大学)
该研究针对多任务深度学习,通过算子理论推导泛化界,分析不同假设空间的复杂度,构建跨任务共享算子学习并验证相关代理。
2026-08-18 cs.LG
Saliency-Regularized Deep Multi-Task Learning
Emory University(埃默里大学)
多任务学习是一个框架,它强制多个学习任务共享知识,以提高他们的泛化能力。虽然浅层多任务学习可以学习任务关系,但它只能处理预定义的特征。现代深度多任务学习可以联合学习潜在特征和任务共享,但它们在任务关系上是模糊的。此外,它们还限制了哪些层和神经元应该在任务中共享,并且不能自适应地学习。为了应对这些挑战,本文提出了一种新的多任务学习框架,通过补充现有的浅层和深层多任务学习场景的优势,联合学习潜在特征和显式任务关系。具体来说,我们建议建模的任务之间的相似性输入梯度的任务关系,与他们的等价性的理论分析。此外,我们创新性地提出了一个多任务学习目标,明确学习任务关系的一个新的正则化。理论分析表明,由于所提出的正则化器的推广误差已减少。在多个多任务学习和图像分类基准测试上的实验表明,该方法有效、高效,并且在学习到的任务关系模式中具有合理性。
2022-07-03 cs.LG
ATOM: A Pretrained Neural Operator for Multitask Molecular Dynamics
The University of Sydney(悉尼大学);Data61 CSIRO(Data61 物理研究所);University of Cambridge(剑桥大学)
本文提出ATOM,一种准等变的预训练Transformer神经算子,通过时间注意力并行解码多未来状态,并在TG80数据集上预训练,实现多任务分子动力学模拟的零样本泛化,性能超越现有基准。
2025-10-07 cs.LG
Integrating Contrastive Learning into a Multitask Transformer Model for Effective Domain Adaptation
Nanyang Technological University(南洋理工大学);University of Southern Queensland(南昆士兰大学)
针对语音情感识别跨语料库泛化难题,提出融合对比学习与信息最大化损失的多任务Transformer域适配方法,经IEMOCAP等数据集验证,在跨语料库SER任务上达当前最优性能。
2023-10-07 cs.CL cs.HC cs.LG
Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks
Harvey Mudd College(哈维穆德学院);University of Southern California(南加州大学);Institute for Creative Technologies(创意技术研究所)
对于机器学习算法来说,自动评估人类语音中的情感效价历来是一项艰巨的任务。说话者的声音中指示积极或消极情绪状态的微妙变化通常被与情绪强度或情绪激活有关的声音特征“掩盖”。在这项工作中,我们探索了一个表示学习的方法,自动推导出的情感语音的歧视性表示。特别是,我们研究了两种机器学习策略来提高分类器性能:(1)使用深度卷积生成对抗网络(DCGAN)利用未标记数据,以及(2)多任务学习。在我们广泛的实验中,我们利用多任务注释的情感语料库以及大型未标记的会议语料库(约100小时)。我们的独立于说话人的分类实验表明,特别是在我们的调查中使用未标记的数据提高了分类器的性能,两种完全监督的基线方法都大大优于。我们改进了情绪效价的分类,在离散的5点量表上为43.88%,在3点量表上为49.80%,这与最先进的表现具有竞争力。
2017-04-22 cs.CL cs.LG stat.ML
Neural Network Multitask Learning for Traffic Flow Forecasting
East China Normal University(华东师范大学)
传统的神经网络方法用于交通流预测通常是单任务学习(STL)模型,没有利用相关任务提供的信息。与STL相比,多任务学习(MTL)具有通过在额外任务的训练信号中传递信息来提高泛化能力的潜力。本文将基于MTL的神经网络用于交通流预测。对于神经网络MTL,通过将多个连续时刻的业务流合并到输出层中来构建反向传播(BP)网络。输出层中的节点可以看作是不同但密切相关的STL任务的输出。通过对城市车辆交通流数据的综合实验以及与STL的比较表明,BP神经网络中的MTL是一种有前途的、有效的交通流预测方法。
2017-12-24 cs.CL cs.LG
Rademacher Generalization Bounds for Classifier Chains
University Grenoble Alps(格勒诺布尔阿尔卑斯大学);LIG - CNRS(格勒诺布尔信息学实验室—法国国家科学研究中心);LJK - CNRS(让·库隆实验室—法国国家科学研究中心);Institut Elie Cartan de Lorraine(洛林埃利·嘉当研究所)
在本文中,我们提出了一个新的框架来研究与多个和相互依赖的类标签相关联的观察训练的分类器链的泛化性能。结果是基于Rio在2000年提出的弱相依序列Lipschitz函数的大偏差不等式。我们认为,由此产生的泛化误差界带来了许多优点,并可以适应其他框架,考虑相互依赖的输出。首先,它显式地展示了类标签之间的依赖关系。其次,它提供了洞察链的顺序对算法的泛化性能的影响。最后,两个依赖系数,出现在界也可以用来设计新的策略,以决定链的顺序。
2018-07-26 cs.LG stat.ML
Crosslingual Generalization through Multitask Finetuning
Hugging Face;EleutherAI;Google Research(谷歌研究院);Booz Allen Hamilton(博思艾伦汉密尔顿);Nanyang Technological University(南洋理工大学);UC Berkeley(加州大学伯克利分校);Brown University(布朗大学);Yale University(耶鲁大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);PSAU(萨塔姆·本·阿卜杜勒阿齐兹亲王大学);University of Cambridge(剑桥大学);KFUPM(法赫德国王石油与矿产大学)
本文通过对多语言 BLOOM 和 mT5 模型进行多任务提示微调,提出 BLOOMZ 和 mT0,并引入 46 种语言的 xP3 数据集,实现了跨语言零样本任务泛化并取得多项最先进结果。
2023-05-29 cs.AI cs.CL cs.LG
PAC-Bayesian Generalization Guarantees for Fairness on Stochastic and Deterministic Classifiers
CNRS(法国国家科学研究中心);Institut d Optique Graduate School(高等光学学院);Inria(法国国家信息与自动化研究所);Institut Universitaire de France(法国大学研究院);Universite Claude Bernard Lyon 1(里昂第一大学);Univ Rennes(雷恩大学)
本文提出了一种PAC-Bayesian框架,用于推导公平性的泛化界,适用于随机和确定性分类器,并通过实验验证了其有效性。
2026-02-12 cs.LG stat.ML
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University(卡内基梅隆大学)
理解深度学习泛化的一个主要挑战是解释为什么(随机)梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明,即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间,当数据分布具有某种潜在的空间结构时,具有卷积层的网络可以比另一个网络更好地泛化。我们认为,这种差异是由卷积架构、数据分布和梯度下降的组合造成的,所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数,给定的梯度下降的优化算法,然后解释使用具体的例子的结果。实验结果表明,我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
Safe Multitask Molecular Graph Networks for Vapor Pressure and Odor Threshold Prediction
Department of Civil, Environmental and Geomatic Engineering, University College London(伦敦大学学院土木、环境与地理工程系);Metanovas Biotech, Inc.(MetaNovas生物技术公司)
提出一种安全多任务方法,以蒸气压为主任务、气味阈值为辅助任务,结合A20/E17分子图特征和PNA骨干网络,在Bemis-Murcko骨架划分下实现最优蒸气压泛化性能。
2026-01-23 cs.LG
Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning
EPFL(洛桑联邦理工学院);American University of Beirut(贝鲁特美国大学);Université de Nice Sophia-Antipolis(尼斯索菲亚安提波利斯大学);Northwestern Polytechnical University(西北工业大学)
同时学习多个相关任务的问题在几个领域受到了相当大的关注,特别是在机器学习中,所谓的多任务学习问题或学习学习问题[1],[2]。多任务学习是归纳迁移学习的一种方法(使用针对一个问题所学到的知识来帮助解决另一个问题),并且通过使用相关任务的训练信号中包含的域信息作为归纳偏差来帮助提高相对于单独学习每个任务的泛化性能。在这个社区内,已经得出了几个策略的假设下,所有的数据都可以事先在融合中心。然而,近年来,以分布式和流式方式收集数据的能力不断提高。这就需要设计新的策略,从分布式(或网络化)系统的流数据中共同学习多个任务。本文概述了网络学习和适应的多任务策略。这些策略的工作假设是,代理人被允许相互合作,以学习不同的,但相关的任务。本文展示了合作如何引导网络限制点,以及不同的合作规则如何促进不同的任务相关性模型。它还解释了如何以及何时多任务网络上的合作优于非合作策略。
2021-09-21 cs.LG cs.MA eess.SP
Efficient Estimation of Generalization Error and Bias-Variance Components of Ensembles
Facebook(脸书);Microsoft Corporation(微软公司);Microsoft Research(微软研究院);University of Washington(华盛顿大学)
对于许多应用,基分类器的集成是一种有效的解决方案。其参数的调整(类的数量,每个分类器要训练的数据量等)需要G,即给定系综的泛化误差。G的有效估计是本文研究的重点。其关键思想是在输入特征空间中的每个点x处通过正态分布/贝塔分布来近似基本分类器的类得分/概率的方差与训练子集施加的随机性。我们使用一个小的随机选择的基分类器的分布参数估计,并使用这些参数,G。我们给经验证据的质量的各种估计。我们还证明了它们的有用性,如在合奏的分类器的数量和用于训练,需要达到一定的值的泛化误差的数据子集的大小的设计选择。我们的方法也有很大的潜力,设计分布式集成分类器。
2017-11-15 cs.LG stat.ML
Margin-Based Generalization Lower Bounds for Boosted Classifiers
Aarhus University(奥胡斯大学);UC Berkeley(加州大学伯克利分校)
Boosting是机器学习中最成功的思想之一。对于诸如AdaBoost之类的boosting算法的低泛化误差,最广为接受的解释来自裕度理论。在提升算法的背景下对边缘的研究是由Schapire,Freund,Bartlett和Lee(1998)发起的,并且启发了许多提升算法和泛化边界。迄今为止,已知最强的推广(上界)是高和周(2013)的$k$ th边缘界。尽管在过去的二十年中已经证明了许多推广的上界,但对这些界的紧密性一无所知。在本文中,我们给出了提升分类器的泛化误差的第一个基于边缘的下界。我们的下界几乎匹配的$k$ th边缘界,从而几乎解决了提升分类器的泛化性能的边缘。
2020-05-07 cs.DS cs.LG stat.ML
Point-TTA: Test-Time Adaptation for Point Cloud Registration Using Multitask Meta-Auxiliary Learning
University of Manitoba(曼尼托巴大学);Concordia University(康考迪亚大学)
Point-TTA提出一种基于多任务元辅助学习的测试时自适应框架,通过三个自监督辅助任务联合优化,使点云配准模型在测试时适应未知分布,提升泛化性能并超越现有方法。
2023-09-01 cs.AI cs.CV cs.LG
On the Koopman-Based Generalization Bounds for Multi-Task Deep Learning
Free University of Bozen-Bolzano(博兹纳-博尔扎诺自由大学);University of Catania(卡塔尼亚大学);University of Florida(佛罗里达大学)
本文利用算子理论技术建立多任务深度神经网络的泛化界,通过利用权重矩阵的小条件数并引入定制的Sobolev空间作为扩展假设空间,提出比传统范数方法更紧的界,该界在单输出设置下仍有效且优于现有Koopman界。
2026-05-22 cs.AI cs.LG
Metalearning with Very Few Samples Per Task
Department of Computer Science, Rice University(莱斯大学计算机科学系);Department of Computer Science at Boston University(波士顿大学计算机科学系);Khoury College of Computer Sciences at Northeastern University(东北大学库利计算机科学学院);Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗 G. 艾伦计算机科学与工程学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本文研究每个任务仅有极少样本时的元学习问题,证明在共享线性表示和半空间分类器设置下,每个任务仅需 k+2 个样本即可元学习误差为 ε 的表示,并给出元学习与多任务学习之间的归约。
2024-04-01 cs.DS cs.LG
Bend-Net: Bending Loss Regularized Multitask Learning Network for Nuclei Segmentation in Histopathology Images
University of Idaho(爱达荷大学);Hunan University of Technology of Business(湖南工商大学)
分离重叠的细胞核是组织病理学图像分析中的主要挑战。最近发表的方法已经取得了可喜的整体性能的细胞核分割,但是,他们的性能分离重叠的细胞核是相当有限的。为了解决这个问题,我们提出了一种新的多任务学习网络与弯曲损失正则化分离重叠的核准确。新提出的多任务学习架构通过从三个任务学习共享表示来增强泛化:实例分割、核距离图预测和重叠核距离图预测。所提出的弯曲损失定义了高的惩罚与大曲率的凹轮廓点,并适用于小曲率的凸轮廓点的小惩罚。使弯曲损失最小化避免生成包含多个核的轮廓。此外,两个新的定量指标,聚合Jaccard重叠核指数(AJIO)和重叠核的准确性(ACCO),被设计用于评价重叠核分割。我们使用七个定量指标在CoNSeP和MoNuSegv 1数据集上验证了所提出的方法:聚合Jaccard指数,骰子,分割质量,识别质量,Panoptic质量,AJIO和ACCO。大量的实验表明,所提出的Bend-Net优于八个国家的最先进的方法。
2021-09-30 cs.CV cs.LG eess.IV
The Cells Out of Sample (COOS) dataset and benchmarks for measuring out-of-sample generalization of image classifiers
University of Toronto(多伦多大学);Vector Institute(向量研究所);Sunnybrook Research Institute(桑尼布鲁克研究所)
理解分类器是否泛化到样本外数据集是机器学习的核心问题。显微镜图像提供了一种标准化的方法来衡量图像分类器的泛化能力,因为我们可以在日益不同但受控的变化因素下对相同类别的对象进行成像。我们创建了一个包含132,209张小鼠细胞图像的公共数据集,COOS-7(Cells Out Of Sample 7-Class)。COOS-7提供了一个分类设置,其中四个测试数据集具有递增程度的协变量偏移:一些图像是训练数据的随机子集,而其他图像来自几个月后重现的实验,并由不同的仪器成像。我们使用不同的表示方法对一系列分类模型进行了基准测试,包括转移的神经网络特征、使用监督深度CNN的端到端分类以及来自自监督CNN的特征。虽然大多数分类器在与训练数据集相似的测试数据集上表现良好,但所有分类器都未能将其性能推广到具有更大协变量偏移的数据集。这些基线突出了图像数据中协变量偏移的挑战,并建立了用于提高图像分类器泛化能力的度量。
2020-01-06 cs.CV cs.LG stat.ML
Generalization Error of Invariant Classifiers
University College London(伦敦大学学院);Tel-Aviv University(特拉维夫大学);Duke University(杜克大学)
研究了不变分类器的推广误差。特别是,我们考虑了常见的情况下,分类任务是不变的输入的某些变换,分类器被构造(或学习)是不变的这些变换。我们的方法依赖于将输入空间分解为一个基空间和一组变换的乘积。我们发现,而非不变分类器的泛化误差是成比例的输入空间的复杂性,不变分类器的泛化误差是成比例的基础空间的复杂性。我们还得到了一组充分条件的几何基础空间和一组的转换,以确保基础空间的复杂性是远远小于输入空间的复杂性。我们的分析适用于一般分类器,如卷积神经网络。我们证明了这种分类器的实验MNIST和CIFAR-10数据集的发展理论的影响。
2017-07-02 cs.AI cs.CV cs.LG
Training Well-Generalizing Classifiers for Fairness Metrics and Other Data-Dependent Constraints
Google AI(谷歌人工智能);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Cornell University(康奈尔大学);Kakao Mobility(Kakao出行)
分类器可以用数据相关的约束来训练,以满足公平性目标,减少流失,实现有针对性的误报率或其他策略目标。我们研究了这种约束优化问题的泛化性能,考虑到它们在训练时得到满足,在评估时约束得到满足的程度。为了提高泛化性能,我们将问题框定为两个玩家的游戏,其中一个玩家在训练数据集上优化模型参数,另一个玩家在独立的验证数据集上执行约束。我们建立在最近的工作在两个球员的约束优化表明,如果使用这种两个数据集的方法,那么约束泛化可以显着提高。正如我们实验所示,这种方法不仅在理论上,而且在实践中。
2018-09-28 cs.LG stat.ML
Small Sample Inference for Generalization Error in Classification Using the CUD Bound
University of Michigan(密歇根大学)
当使用小训练样本来构造分类器时,泛化误差的置信度度量是至关重要的。一种常见的方法是通过重采样估计泛化误差,然后假设重采样估计量遵循已知分布以形成置信集[Kohavi 1995,Martin 1996,Yang 2006]。或者,可以引导泛化误差的重新采样估计量以形成置信集。不幸的是,这些方法不能可靠地提供所需置信度的集合。差的性能似乎是由于缺乏作为学习分类器的函数的泛化误差的平滑性。这导致估计的泛化误差的非正态分布。我们构造了一个置信集的泛化误差之间的偏差的重采样估计和泛化误差的光滑上界。置信度集是通过自举这个上界形成的。在分类器的近似类可以表示为参数添加剂模型的情况下,我们提供了一个计算效率高的算法。该方法在一系列测试和模拟数据集上表现出优越的性能。
2012-06-13 cs.LG stat.ML
Approximation and generalization properties of the random projection classification method
该研究针对低复杂度随机投影分类器,分析其逼近能力与泛化间隙,证明其误差可收敛至贝叶斯误差,且泛化间隙上界更优,为部分分类问题提供了泛化性能提升的新思路。
2024-09-11 cs.LG math.PR stat.ML
Reinforcing Medical Image Classifier to Improve Generalization on Small Datasets
Hankuk University of Foreign Studies(韩国外国语大学)
随着深度学习的发展,使用复杂的判别模型改进图像分类已经成为可能。然而,这种复杂性增加的深度模型需要大量的标记样本来泛化训练。由于训练数据有限,这种分类模型在应用于医学图像时很容易过拟合,这是医学图像分析领域的一个常见问题。本文提出并研究了一种增强型分类器,以提高在少量可用训练数据下的泛化能力。部分遵循强化学习的思想,所提出的分类器使用来自训练数据的子集的泛化反馈来更新其参数,而不是仅使用关于训练数据的传统交叉熵损失。我们评估了改进的分类器,通过将其应用于三个不同的分类问题,对标准的深度分类器配备现有的过拟合预防技术。除了分类性能的整体改善,所提出的分类器表现出显着的广义学习的特点,它可以在医学分类任务有很大的潜力。
2019-10-07 cs.CV cs.LG eess.IV
PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification
Aix-Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在这项工作中,我们提出了一个PAC-Bayes界的推广风险的吉布斯分类器在多类分类框架。我们的工作的新颖性是关键使用的混淆矩阵的分类器作为错误的措施,这把我们的贡献,在工作线,旨在处理比单纯的标量标准,如误分类率更丰富的性能指标。由于最近和美丽的结果矩阵集中不等式,我们得到两个界限表明,真正的混淆风险的吉布斯分类器的上限是由其经验风险加上一项取决于在每个类中的训练样本的数量。据我们所知,这是第一个基于混淆矩阵的PAC-Bayes界。
2013-10-22 cs.LG stat.ML
Uniform convergence may be unable to explain generalization in deep learning
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
为了解释超参数化深度网络令人惊讶的良好泛化行为,最近的工作已经为深度学习开发了各种泛化范围,所有这些都基于一致收敛的基本学习理论技术。虽然众所周知,这些现有的边界中有许多在数值上很大,但通过大量的实验,我们揭示了这些边界的一个更令人关注的方面:在实践中,这些边界可以随着训练数据集的大小{ \em增加}。在我们的观察的指导下,我们提出了过参数化线性分类器和梯度下降(GD)训练的神经网络的例子,其中一致收敛可证明不能“解释泛化”-即使我们考虑到GD { \em尽可能大的范围}的隐式偏差。更准确地说,即使我们只考虑GD输出的分类器集,在我们的设置中,这些分类器的测试误差小于一些小的$ε$,我们表明,在这组分类器上应用(双侧)一致收敛只会产生大于$1-ε$的空洞的泛化保证。通过这些发现,我们对基于一致收敛的泛化界限的能力表示怀疑,以提供过度参数化深度网络泛化良好的完整解释。
2021-10-17 cs.LG stat.ML
A Novel Approach to Regularising 1NN classifier for Improved Generalization
BITS Pilani KK Birla Goa Campus(BITS Pilani KK Birla Goa 果阿校区);Université Gustave Eiffel(古斯塔夫·埃菲尔大学)
本文提出Watershed Classifiers,通过贪心策略正则化1NN分类器,在保持任意边界拟合能力的同时大幅降低VC维以提升泛化,并设计损失函数超越NCA基线。
2024-02-13 cs.LG
The Role of Mutual Information in Variational Classifiers
Facultad de Ingeniería, Universidad de Buenos Aires(布宜诺斯艾利斯大学工程学院);CSC, CONICET(国家科学技术研究委员会计算机科学中心);International Laboratory on Learning Systems (ILLS)(国际学习系统实验室);Mila(米拉人工智能研究所)
本文从信息论角度研究变分分类器的泛化误差,推导出泛化误差可由输入特征与潜在表示之间的互信息所界定的条件,为 KL 正则化项提供理论依据,并通过 MNIST 和 CIFAR 实验验证互信息能有效反映泛化行为。
2023-04-13 cs.LG stat.ML
Domain Generalization via Invariant Feature Representation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
本文研究领域泛化:如何从任意数量的相关领域获得知识,并将其应用到以前看不见的领域?我们提出了域不变分量分析(DICA),一种基于内核的优化算法,通过最小化域之间的相异性来学习不变变换,同时保留输入和输出变量之间的函数关系。学习理论分析表明,减少相异度提高了分类器在新领域的预期泛化能力,激励所提出的算法。在合成数据集和真实数据集上的实验结果表明,DICA成功地学习了不变特征,提高了分类器的性能。
2013-01-10 cs.LG stat.ML
Gentle Local Robustness implies Generalization
Hanoi University of Science and Technology(河内理工大学);VinBigdata Institute(VinBigdata研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文指出现有基于鲁棒性的误差界对Bayes最优分类器无效且无法收敛,提出了一类依赖模型且更紧的新界限,能随样本量增加收敛至最佳分类器真实误差,并在ImageNet预训练深度神经网络上验证了其非无效性。
2025-02-24 cs.LG stat.ML
Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework
Xi’an Jiaotong University(西安交通大学);Arizona State University(亚利桑那州立大学);Tongji University(同济大学)
针对 GNN 在大规模图推理中的高时空开销及图知识蒸馏到 MLP 时的位置信息丢失、泛化不足问题,提出融合位置编码、Neural Heat Kernels 与隐藏层匹配的三阶段多任务蒸馏框架。
2026-10-14 cs.AI cs.LG
Tight Margin-Based Generalization Bounds for Voting Classifiers over Finite Hypothesis Sets
Aarhus University(奥胡斯大学)
本文提出了一种针对有限假设集的投票分类器的紧边际泛化界限,解决了在假设集大小、边际、训练点比例、样本数量和失败概率之间的权衡问题。
2025-11-25 cs.LG math.ST stat.TH
Predicting the Accuracy of a Few-Shot Classifier
IMT Atlantique(大西洋高等电信学校);Lab-STICC(布列塔尼电子与电信通信科学实验室);MILA, Université de Montréal(蒙特利尔大学MILA人工智能研究所);Université Cote d’Azur(蔚蓝海岸大学);École Normale Supérieure de Lyon(里昂高等师范学院)
在少样本学习的背景下,由于标记样本的数量很少,无法使用验证集来测量训练的分类器的泛化能力。在本文中,我们感兴趣的是寻找替代方案来回答这个问题:我的分类器是否可以很好地推广到以前看不见的数据?我们首先分析了泛化性能变化的原因。然后,我们研究使用基于转移的解决方案的情况,并考虑三种设置:i)监督,我们只能访问一些标记的样本,ii)半监督,我们可以访问一些标记的样本和一组未标记的样本,iii)无监督,我们只能访问未标记的样本。对于每一个设置,我们提出了合理的措施,我们的经验表明,与考虑分类器的泛化能力。我们还表明,这些简单的措施可以用来预测泛化到一定的信心。我们在标准的Few-Shot视觉数据集上进行实验。
2020-07-08 cs.CV cs.LG stat.ML
Improved Margin Generalization Bounds for Voting Classifiers
Aarhus University(奥胡斯大学)
本文为投票分类器提出更紧的间隔泛化界,并据此推导出期望误差达到理论下界的最优 Majority-of-3 弱到强学习器,为 AdaBoost 等算法提供更强保证。
2025-06-03 cs.DS cs.LG math.ST
Do Neural Networks Generalize from Self-Averaging Sub-classifiers in the Same Way As Adaptive Boosting?
Stanford University(斯坦福大学)
近年来,神经网络(NN)在许多领域都取得了巨大的飞跃。NN通常被称为黑箱算法,因为我们无法解释它们的经验成功。我们的基础研究试图解释为什么神经网络泛化。最近的一项进展导出了一种互信息度量,用于通过一系列日益复杂的函数来解释深度NN的性能。我们展示了深度NN学习一系列提升分类器,其泛化通常归因于越来越多的插值子分类器的自平均。据我们所知,我们是第一个建立提升分类器中的泛化和深度NN中的泛化之间联系的作者。我们的实验证据和理论分析表明,使用dropout训练的NN在插值子分类器上表现出类似的自平均行为,正如在boosting中对插值后泛化现象的流行解释中所引用的那样。
2023-02-14 cs.LG
Why do classifier accuracies show linear trends under distribution shift?
Massachusetts Institute of Technology(麻省理工学院)
最近对深度学习泛化的研究发现了一个令人困惑的趋势:模型在一个数据分布上的准确度近似于另一个分布上的准确度的线性函数。我们解释了这种趋势下的一个直观的假设模型相似性,这是在以前的工作经验验证。更准确地说,我们假设两个模型在预测中一致的概率高于我们仅从其准确性水平推断的概率。然后,我们表明,一个线性趋势时,必须发生在两个分布评估模型,除非分布偏移的大小是大的。这项工作强调了理解模型相似性的价值,这可能会对分类模型的泛化和鲁棒性产生影响。
2021-02-22 cs.LG stat.ML
Generalization Error Bounds for Multiclass Sparse Linear Classifiers
Tel Aviv University(特拉维夫大学)
我们考虑高维多类分类稀疏多项式逻辑斯谛回归。与二进制分类不同,在多类设置中,可以考虑与回归系数矩阵上的不同结构假设相关的稀疏度的整个可能概念谱。我们提出了一个计算上可行的特征选择过程的基础上惩罚的最大似然与凸处罚捕获一个特定类型的稀疏在手。特别是,我们认为全球稀疏性,双行稀疏性,低秩稀疏性,并表明,与适当选择的调整参数的派生插件分类器达到最小最大的泛化误差界(误分类过度风险)内相应的类的多类稀疏线性分类器。所开发的方法是通用的,也可以适用于其他类型的稀疏性。
2023-01-15 cs.LG math.ST stat.ME
ConfigX: Modular Configuration for Evolutionary Algorithms via Multitask Reinforcement Learning
South China University of Technology(华南理工大学);Massachusetts Institute of Technology(麻省理工学院);Singapore Management University(新加坡管理大学)
ConfigX提出一种基于多任务强化学习和模块化系统的通用进化算法配置框架,通过大规模预训练实现零样本泛化与终身学习,显著提升多种进化算法的性能。
2024-12-15 cs.LG cs.NE
For self-supervised learning, Rationality implies generalization, provably
Harvard University(哈佛大学)
我们证明了一个新的上界的泛化差距的分类器,获得第一次使用自我监督学习的训练数据的表示$r$,然后拟合一个简单的(例如,线性)分类器$g$与标记相关联。具体地说,我们表明(在下面描述的假设下),如果$\mathsf{C}(g) \ll n$,这种分类器的泛化差距趋于零,其中$\mathsf{C}(g)$是一个适当定义的简单分类器$g$的复杂性的措施,和$n$是训练样本的数量。我们强调,我们的界限是独立的复杂性的表示$r$。我们不对表征学习任务进行任何结构或条件独立性假设,它可以使用稍后用于分类的相同训练数据集。相反,我们假设训练过程满足某些自然的噪声鲁棒性(添加少量标签噪声会导致性能略有下降)和合理性(获得错误的标签并不比没有标签更好)条件,这些条件在许多标准架构中广泛适用。我们证明了我们的边界对于CIFAR-10和ImageNet上许多流行的基于表示学习的分类器来说是非空的,包括Simplified,AMDIM和MoCo。
2020-10-16 cs.LG cs.NE stat.ML
Are Deep Sequence Classifiers Good at Non-Trivial Generalization?
dMetrics(dMetrics公司)
用于序列分类的深度学习模型的最新进展极大地提高了其分类准确性,特别是当大训练集可用时。然而,一些作品表明,在某些设置下,这些模型的预测校准不良。在这项工作中,我们研究二进制序列分类问题,我们从不同的角度来看模型校准,提出这样一个问题:深度学习模型是否能够学习底层目标类分布?我们专注于稀疏序列分类,即目标类很少的问题,并比较了三种深度学习序列分类模型。我们开发了一种评估方法,可以衡量分类器学习目标类分布的程度。此外,我们的评估解开了良好的性能,实现了单纯的压缩训练序列与性能实现了适当的模型泛化。我们的研究结果表明,在这种二进制设置中,深度学习模型确实能够以非平凡的方式学习底层类分布,即通过超越数据压缩的适当泛化。
2022-11-11 cs.LG
HeMeNet: Heterogeneous Multichannel Equivariant Network for Protein Multitask Learning
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Ant Group(蚂蚁集团)
本文提出HeMeNet,一种E(3)等变的异构多通道图神经网络,并构建Protein-MT多任务基准,通过联合学习6个蛋白质任务提升性能并超越现有方法。
2024-04-02 cs.LG
CXR-Net: An Encoder-Decoder-Encoder Multitask Deep Neural Network for Explainable and Accurate Diagnosis of COVID-19 pneumonia with Chest X-ray Images
Manchester Metropolitan University(曼彻斯特城市大学);Brunel University(布鲁内尔大学);Whiston Hospital(惠斯顿医院);St Helens and Knowsley Teaching Hospitals NHS Trust(圣海伦斯和诺斯利教学医院国民保健服务信托);University of Sheffield(谢菲尔德大学)
准确和快速检测COVID-19肺炎对于患者的最佳治疗至关重要。胸部X光检查(CXR)是COVID-19肺炎诊断的一线成像测试,因为它快速,廉价且易于获得。受到深度学习(DL)在计算机视觉中的成功的启发,已经提出了许多DL模型来使用CXR图像检测COVID-19肺炎。不幸的是,这些深度分类器在解释发现时缺乏透明度,这可能会限制它们在临床实践中的应用。现有常用的视觉解释方法要么噪音太大,要么不精确,分辨率低,因此不适合诊断目的。在这项工作中,我们提出了一种新的可解释的深度学习框架(CXRNet),用于准确检测COVID-19肺炎,并从CXR图像中增强像素级视觉解释。建议的框架是基于一个新的编码器-解码器-编码器多任务架构,允许疾病分类和视觉解释。该方法已经在来自公共和私人数据源的真实世界CXR数据集上进行了评估,包括:健康,细菌性肺炎,病毒性肺炎和COVID-19肺炎病例。实验结果表明,所提出的方法可以达到令人满意的准确度,并提供精细分辨率的分类激活图,用于肺部疾病检测的视觉解释。COVID-19肺炎的平均准确率、精确率、召回率和F1得分分别达到0.879、0.985、0.992和0.989。我们还发现,使用肺部分割(CXR)图像可以帮助提高模型的性能。与目前最先进的视觉解释方法相比,所提出的方法可以为分类决策提供更详细的高分辨率视觉解释,并且具有很大的潜力可用于COVID-19肺炎诊…
2021-10-20 cs.CV cs.LG eess.IV
On the Generalization of Adversarially Trained Quantum Classifiers
Department of Computer Science, University of Birmingham, UK(英国伯明翰大学计算机科学系);KCLIP Lab Centre for Intelligent Information Processing Systems (CIIPS) Department of Engineering, King’s College London, UK(伦敦国王学院工程系智能信息处理系统中心)
本文研究对抗训练量子分类器的泛化误差,建立了受扰动约束对手下的新界限,证明额外误差随样本量按1/√m缩放,并揭示嵌入维度对样本复杂度的影响,且经数值实验验证。
2025-04-24 cs.LG quant-ph
A New Fuzzy Stacked Generalization Technique and Analysis of its Performance
Middle East Technical University(中东技术大学)
在这项研究中,提出了一种新的堆叠泛化技术,称为模糊堆叠泛化(FSG),以尽量减少N样本和大样本的最近邻分类器的分类错误之间的差异。建议FSG采用了一种新的分层远程学习策略,以尽量减少误差的差异。为了这个目的,我们首先构建一个合奏的基本层模糊k-最近邻(k-NN)分类器,其中每个接收从相同的样本集提取的不同的特征集。在每个模糊k-NN分类器的决策空间处计算的模糊隶属度值被连接以形成融合空间的特征向量。最后,将特征向量馈送到元层分类器以学习用于元层分类的基本层分类器的决策的准确度。而不是单独的基本层分类器的功率,分类器的多样性和合作成为一个重要的问题,以提高所提出的FSG的整体性能。如果弱基本层分类器能够在其自身的特征空间中识别未被其余分类器识别的样本,则弱基本层分类器可以比强分类器更多地提升整体性能。实验探索的类型之间的合作所需的个人分类器的建议架构的性能提高。在多特征真实世界数据集上的实验表明,该方法的性能优于现有的集成学习算法,如Adaboost,随机子空间和旋转森林。另一方面,在单特征多属性数据集上的实验中观察到兼容的性能。
2013-08-12 cs.CV cs.LG
Intermediate Layer Classifiers for OOD generalization
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学)
本文提出中间层分类器(ILCs),发现中间层表示在OOD泛化上显著优于倒数第二层,零样本性能可接近倒数第二层少样本重训练效果,揭示了中间层对分布偏移更鲁棒的特性。
2025-04-07 cs.LG
FADE: Towards Fairness-aware Generation for Domain Generalization via Classifier-Guided Score-based Diffusion Models
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);School of Informatics, Xiamen University(厦门大学信息学院);Department of Computer Science, Baylor University(贝勒大学计算机科学系);Departments of Biostatistics and Epidemiology, Harvard University(哈佛大学生物统计学与流行病学系)
本文提出FADE方法,通过预训练基于分数的扩散模型和分类器并引导生成公平数据,有效解决了公平感知领域泛化问题,在提升公平性的同时改善了分布偏移下的准确率。
2025-04-30 cs.AI cs.LG
MultiMed: Massively Multimodal and Multitask Medical Understanding
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
提出MultiMed基准,涵盖十种医学模态的256万样本与十一项任务,通过评估多模态多任务模型证明跨模态联合训练能提升医学预测性能与鲁棒性。
2024-08-22 cs.AI cs.CL cs.CV
Reconcile Certified Robustness and Accuracy for DNN-based Smoothed Majority Vote Classifier
National Mobile Communications Research Laboratory, Southeast University, China(东南大学国家移动通信研究中心);Department of Computer Science, University of Liverpool, UK(利物浦大学计算机科学系)
本文在 PAC-Bayesian 框架下为平滑多数投票分类器建立兼具认证鲁棒半径的泛化误差界,并提出低成本谱正则化器以兼顾鲁棒性与准确率。
2025-09-30 cs.AI cs.LG
Deep Networks as Logical Circuits: Generalization and Interpretation
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
深度神经网络(DNN)不仅是黑箱模型,而且我们经常将其概念化。我们对投入与产出之间的联系机制缺乏良好的解释。因此,我们发现很难用人类有意义的术语来分析(1)网络学到了什么,(2)网络是否学到了什么。我们将DNN离散分类映射分层分解为输入的中间(真/假)分类器的逻辑(AND/OR)组合。那些不能进一步分解的分类器,称为原子,是(可解释的)线性分类器。总之,我们得到了一个具有线性分类器输入的逻辑电路,它计算与DNN相同的标签。该电路在结构上不类似于网络架构,并且它可能需要少得多的参数,这取决于权重的配置。在这些情况下,我们同时获得了解释和泛化界(对于原始DNN),连接了历史上分别研究的两个方面。与压缩技术不同,我们的表示是。我们通过在简单的受控环境中研究DNN来激发这种观点的实用性,在这种环境中,尽管只使用组合信息(例如,没有边缘信息),我们仍然获得了优越的泛化边界。我们演示了如何在MNIST数据集上“打开黑盒”。我们表明,学习,内部,逻辑计算对应于语义有意义的(无标签)类别,允许DNN的描述在平原英语。我们通过解释、诊断和替换逻辑电路(即DNN)的组件来提高已经训练好的网络的泛化能力。
2020-06-26 cs.AI cs.LG stat.ML
Rethinking generalization of classifiers in separable classes scenarios and over-parameterized regimes
Technical University Berlin(柏林工业大学);University of Lübeck(吕贝克大学)
本文研究可分离类别与过参数化场景下分类器的泛化机制,证明坏全局最小值比例随训练数据量指数下降,并提出真实误差密度分布模型,其学习曲线与MNIST和CIFAR-10实验一致。
2024-10-22 cs.CV cs.LG