Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）
张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization
Beijing University of Posts and Telecommunications（北京邮电大学）；Tianjin University（天津大学）；University of Technology Sydney（悉尼科技大学）；University College London（伦敦大学学院）；Aalborg University（奥尔堡大学）
由于缺乏数据，过拟合普遍存在于深度神经网络（DNN）的实际应用中。我们提出了高级dropout，一种无模型方法，以减轻过拟合并提高DNN的性能。先进的辍学技术采用了一个无模型和易于实现的分布与参数先验，并自适应调整辍学率。具体而言，分布参数通过随机梯度变分贝叶斯优化，以进行端到端的训练。我们评估了高级dropout对七个计算机视觉数据集（五个小规模数据集和两个大规模数据集）与各种基础模型上的九个dropout技术的有效性。在所有数据集上，高级丢弃算法的性能都优于其他算法。我们进一步比较了它们的有效性，发现高级丢弃算法在大多数情况下都达到了最高的有效性。接下来，我们进行了一系列的辍学率特性的分析，包括自适应辍学率的收敛性，辍学面具的学习分布，并与辍学率生成没有显式分布的比较。此外，过拟合的预防能力进行了评估和确认。最后，我们将高级dropout的应用扩展到不确定性推理，网络修剪，文本分类和回归。所提出的先进的辍学也优于相应的参考方法。代码可在https://github.com/PRIS-CV/AdvancedDropout上获得。
2021-08-10 cs.LG stat.ML
Improved Dropout for Shallow and Deep Learning
The University of Iowa（爱荷华大学）；University of Central Florida（中佛罗里达大学）
Dropout在训练深度神经网络方面取得了巨大的成功，它通过独立地将神经元的输出随机归零。它也受到了对浅层学习的兴趣，例如，逻辑回归然而，为了收敛，丢弃的独立采样可能是次优的。在本文中，我们建议使用多项抽样的辍学，即，根据对于不同特征/神经元具有不同概率的多项分布对特征或神经元进行采样。为了展示最优的辍学概率，我们分析了浅学习与多项式辍学，并建立了随机优化的风险界。通过最小化风险界中的抽样相关因子，我们得到了一个分布相关的辍学与抽样概率依赖于数据分布的二阶统计量。为了解决深度学习中神经元分布不断变化的问题，我们提出了一种高效的自适应dropout（名为\textbf{evolutional dropout}），它可以从一小批样本中实时计算采样概率。在多个基准数据集上的实证研究表明，该方法不仅收敛速度快，而且测试误差小。例如，在CIFAR-100数据上，与标准dropout相比，进化dropout在预测性能上相对提高了10%以上，在收敛速度上相对提高了50%以上。
2016-12-04 cs.LG stat.ML
Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks
用于减少方差的Dropout正则化在深度学习模型中几乎无处不在。我们通过训练2,000个神经网络来探索丢失率和模型复杂度之间的关系，这些神经网络配置有丢失率和每个密集层中隐藏单元数量的随机组合，在我们选择的三个数据集上。所生成的图具有z轴上的二进制交叉熵损失和二进制精度，质疑了在增加丢失率的同时向密集层增加深度肯定会提高性能的常见假设。我们还发现了两个超参数之间的复杂相关性，我们通过构建额外的机器学习和深度学习模型来量化这些超参数，这些模型预测每个密集层中给定一些隐藏单元的最佳辍学率。线性回归和多项式逻辑回归需要使用任意阈值来选择回归中包括的成本数据点，并分别为成本数据点分配二元分类。这些机器学习模型的性能一般，因为它们的天真本质阻止了复杂决策边界的建模。转向深度学习模型，我们构建了神经网络，该网络可以在给定每个密集层中隐藏单元的数量、期望的成本和模型的期望精度的情况下预测最佳辍学率。然而，这种尝试遇到了一个数学错误，可以归因于垂直线测试的失败。最终的深度学习模型是一个神经网络，其决策边界代表了之前生成的2,000个数据点。这个最终的模型使我们设计出一种很有前途的方法来调整超参数，以最大限度地减少计算费用，同时最大限度地提高性能。该策略可以应用于任何模型超参数，并有望在工业模型中进行更有效的调整。
2021-08-26 cs.LG
Dropout as a Structured Shrinkage Prior
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）；University of California, Irvine（加州大学欧文分校）
深度神经网络的丢弃正则化是一种神秘而有效的防止过拟合的工具。其成功的解释范围从防止“共同适应”的权重，它是一种廉价的贝叶斯推断的形式。我们提出了一个新的框架来理解神经网络中的乘性噪声，考虑了连续分布以及伯努利噪声（即辍学）。我们发现，乘性噪声诱导结构化收缩先验网络的权重。我们通过尺度混合物的重新参数化性质得到等价性，而不需要调用任何近似。鉴于等价性，我们然后表明，辍学的蒙特卡罗训练目标接近边际MAP估计。我们利用这些见解，提出了一种新的收缩框架resnets，terning之前的“自动深度确定”，因为它是网络深度的自动相关性确定的自然模拟。最后，我们研究了两种推理策略，改进了回归基准中的MAP近似。
2019-05-29 cs.LG stat.ML
Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科技学院（Skoltech））；Yandex（Yandex（扬德克斯））
机器学习模型的不确定性估计在许多场景中非常重要，例如构建模型预测的置信区间和检测分布外或不利生成的点。在这项工作中，我们表明，修改神经网络中的辍学层的采样分布，提高了不确定性估计的质量。我们的主要思想包括两个主要步骤：计算神经元之间的数据驱动相关性和生成样本，其中包括最大限度地多样化的神经元。在模拟和真实世界的数据上进行的一系列实验中，我们证明了通过基于决定点过程的采样的多样化在回归和分类任务的不确定性估计中实现了最先进的结果。我们的方法的一个重要特征是，它不需要对模型或训练过程进行任何修改，可以直接应用于任何具有dropout层的深度学习模型。
2022-05-04 cs.LG stat.ML
Robust Neural Regression via Uncertainty Learning
School of Information Technology, Deakin University（迪肯大学信息技术学院）
深度神经网络往往会低估不确定性，并产生过于自信的预测。最近提出的解决方案，如MC Dropout和SDENet，需要复杂的训练和/或辅助分布外数据。我们提出了一个简单的解决方案，通过扩展经过时间考验的迭代加权最小二乘（IRLS）在广义线性回归。我们使用两个子网络参数化的预测和不确定性估计，使复杂的输入和非线性响应的简单处理。这两个子网络具有共享的表示，并通过两个互补的损失函数进行训练，用于预测和不确定性估计，并具有如合作游戏中的交错步骤。与更复杂的模型（如MC-Dropout或SDE-Net）相比，我们提出的网络更容易实现，更鲁棒（对变化的任意和认知不确定性不敏感）。
2021-10-12 cs.AI cs.LG stat.ML
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University（康奈尔大学）；MIT（麻省理工学院）；MGH（麻省总医院）
在分类应用中，我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术，最近已与贝叶斯推理联系起来，产生了一种有效的方法来量化神经网络模型中的不确定性。然而，如前所述，使用dropout的天真实现计算的置信度估计可能校准不良，特别是在使用卷积网络时。在本文中，通过集成学习的镜头，我们关联的校准误差与模型之间的相关性与辍学。受此启发，我们探索使用结构化的辍学，以促进模型的多样性和提高置信度校准。我们使用SVHN，CIFAR-10和CIFAR-100数据集，从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
Predicting Early Dropouts of an Active and Healthy Ageing App
Democritus University of Thrace（色雷斯德谟克利特大学）；Athena Research Center（雅典娜研究中心）
本研究提出一种基于机器学习的方法，利用动态和静态特征预测积极健康老龄化App用户的早期流失，通过SMOTE和ADASYN等过采样技术处理数据不平衡使分类性能提升10%，并在IFMBE Scientific Challenge 2022中获得第一名。
2023-08-01 cs.AI cs.LG
A Novel Regression Loss for Non-Parametric Uncertainty Optimization
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bochum（波鸿大学）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；University of Bonn（波恩大学）
量化不确定性是建立安全机器学习最有前途的方法之一。尽管它很重要，但它远未得到普遍解决，特别是对于神经网络。到目前为止，最常用的方法之一是蒙特卡罗丢弃，这是计算成本低，易于应用于实践。但是，它可能低估了不确定性。我们提出了一个新的目标，称为二阶矩损失（SML），以解决这个问题。虽然鼓励全网络对均值进行建模，但dropout网络明确用于优化模型方差。我们深入研究了新目标在各种UCI回归数据集上的性能。与最先进的深度集成相比，SML导致相当的预测精度和不确定性估计，而只需要一个单一的模型。在分布偏移下，我们观察到适度的改善。作为一个副作用，我们引入了一个直观的Wasserstein距离为基础的不确定性措施，是非饱和的，从而允许解决任何两个不确定性估计之间的质量差异。
2021-01-07 cs.LG stat.ML
Reliable Prediction Errors for Deep Neural Networks Using Test-Time Dropout
University of Cambridge（剑桥大学）
虽然深度学习在药物发现中的应用越来越受到关注，但缺乏计算神经网络预测中可靠错误的方法，阻碍了它们在识别不可靠预测至关重要的领域（例如精准医学）中指导决策的应用。在这里，我们提出了一个框架来计算可靠的误差预测神经网络使用测试时丢弃和共形预测。具体来说，该算法包括使用dropout训练单个神经网络，然后将其应用于验证集和测试集N次，在此步骤中也使用dropout。因此，对于验证和测试集中的每个实例，生成了预测集合。然后使用验证集的预测残差和绝对误差来计算使用保形预测的测试集实例的预测误差。我们使用来自ChEMBL 23的24个生物活性数据集表明，dropout Conformal Predictors是有效的（即，其真实值位于预测区间内的实例的分数与置信水平强相关）和有效，因为预测置信区间跨越的值集合比使用随机森林（RF）模型生成的共形预测器计算的值集合窄。最后，我们在回顾性虚拟筛选实验中显示，dropout和基于RF的共形预测因子导致活性化合物的检索率相当。总的来说，我们提出了一个计算效率高的框架（因为除了训练单个网络之外，只需要N次额外的向前传递）来利用测试时丢弃和共形预测框架，从而为深度神经网络生成可靠的预测误差。
2019-04-12 cs.LG stat.ML
QBDC: Query by dropout committee for training deep supervised architecture
Univ. Nice Sophia Antipolis（尼斯索菲亚·安提波利斯大学）；I3S, UMR UNS-CNRS 7271（I3S（法国国家科学研究中心与尼斯索菲亚·安提波利斯大学联合研究单位，UMR 7271））
虽然目前的趋势是增加神经网络的深度以提高其性能，但其训练数据库的大小必须相应地增长。我们注意到大量数据库的出现，尽管提供标签来构建训练集仍然是一项非常昂贵的任务。我们以在线方式处理选择要贴标签的样品的问题。本文提出了一种基于委员会查询和丢弃技术的主动学习策略来训练卷积神经网络（CNN）。我们推导出部分CNN的commmittee，其产生于初始CNN上的分批退出运行。我们在MNIST基准测试上评估了CNN的主动学习策略，特别是从注释数据库中选择不到30%就足以获得与在MNIST上使用完整训练集相似的出错率。我们还研究了我们的方法对对抗性示例的鲁棒性。
2015-11-26 cs.CV cs.LG
Deep Active Learning with a Neural Architecture Search
Technion – Israel Institute of Technology（以色列理工学院）
我们考虑深度神经网络的主动学习。大多数主动学习作品在这方面的重点是研究有效的查询机制，并假设一个合适的网络架构是先验已知的问题。我们挑战这一假设，并提出了一种新的主动策略，使学习算法搜索有效的架构上飞，同时积极学习。我们应用我们的策略使用三个已知的查询技术（softmax响应，MC-辍学，和coresets），并表明所提出的方法压倒性地优于使用固定架构的主动学习。
2019-09-05 cs.LG stat.ML
The Penalty Imposed by Ablated Data Augmentation
Google（谷歌）
有一组数据增强技术可以随机消融部分输入。这些包括输入丢失、切断和随机擦除。我们称这些技术为消融数据增强。虽然这些技术在精神上看起来相似，并且在各种领域都成功地提高了模型性能，但我们还没有像对L1或L2等其他正则化技术那样对这些技术之间的差异有数学上的理解。首先，我们研究了线性回归的平均消融数据增强和倒辍学的形式化模型。我们证明，消融数据增强相当于优化普通最小二乘目标，以及一个惩罚，我们称之为贡献协方差惩罚和倒dropout，一个更常见的实现比流行的框架中的dropout，相当于优化普通最小二乘目标以及修改L2。对于深度网络，如果我们将贡献替换为属性，将系数替换为平均梯度，我们将证明结果的经验版本，即，贡献协方差惩罚和修正的L2惩罚随着各种网络上相应的消融数据增强的增加而下降。
2020-06-08 cs.LG stat.ML
Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks
Sapienza University of Rome（罗马第一大学）；University of Genova（热那亚大学）；University of Cagliari（卡利亚里大学）
在贝叶斯方法中，蒙特卡罗丢弃提供了评估神经网络的认知不确定性的原则性工具。它的流行最近导致了开创性的工作，建议只在评估不确定性的推理过程中激活dropout层。这种方法，我们称之为dropout注入，提供了明显的优势，因为它允许人们获得任何现有网络的事后不确定性测量，而无需dropout，避免了额外的，耗时的训练过程。不幸的是，没有以前的工作比较注入和嵌入辍学，因此，我们提供了第一个彻底的调查，重点是回归问题。我们的工作的主要贡献是提供有效使用注入dropout的指导方针，使它可以成为一个实际的替代目前使用的嵌入式dropout。特别是，我们表明，其有效性强烈依赖于相应的不确定性措施的适当缩放，我们讨论了负对数似然和校准误差之间的权衡作为比例因子的函数。UCI数据集和人群计数基准的实验结果支持我们的主张，辍学注入可以有效地表现为一个有竞争力的事后不确定性量化技术。
2023-02-06 cs.AI cs.LG
Study of Dropout in PointPillars with 3D Object Detection
本文研究不同dropout率对PointPillars模型的影响，通过系统比较多种增强技术，以AP和AOS为指标评估回归性能与准确性，旨在缓解过拟合并提升自动驾驶3D目标检测的泛化能力。
2024-09-01 cs.CV cs.LG
A Graph-Based Approach for Active Learning in Regression
University of California, Davis（加利福尼亚大学戴维斯分校）；Biocomplexity Institute and Initiative, University of Virginia（弗吉尼亚大学生物复杂性研究所及计划）；University at Albany – SUNY（纽约州立大学奥尔巴尼分校）
主动学习旨在通过选择性地要求人类从未标记的池中注释最重要的数据点来减少标记工作，并且是人机交互的示例。虽然主动学习在分类和排序问题上得到了广泛的研究，但在回归问题上的研究相对较少。大多数现有的回归方法的主动学习使用在每个主动学习迭代中学习的回归函数来选择要查询的下一个信息点。这引入了若干挑战，例如处理噪声标签、参数不确定性和克服初始有偏的训练数据。相反，我们提出了一个以功能为中心的方法，制定顺序和批处理模式的主动回归作为一个新的二分图优化问题。我们在无噪声和有噪声的环境下进行实验。我们在基准数据集上的实验结果证明了我们所提出的方法的有效性。
2020-01-30 cs.LG stat.ML
Novel Uncertainty Framework for Deep Learning Ensembles
IBM Research（IBM研究院）
深度神经网络已成为许多机器学习任务（如分类和回归）的默认选择。Dropout是一种常用于提高深度神经网络收敛性的方法，它生成具有广泛权重共享的稀疏网络的集合。近年来的研究表明，dropout可以看作是高斯过程中的一种近似变分推断，并作为一种实用的工具来获得网络的不确定性估计。我们提出了一种新的统计力学为基础的框架辍学，并使用这个框架提出了一个新的通用算法，侧重于估计的损失的方差测量的合奏细化网络。我们的方法可以应用于广泛的深度神经网络架构和机器学习任务。在分类中，该算法允许生成未知答案，这可以增加分类器的可靠性。从经验上讲，我们证明了最先进的AUC结果公开可用的基准。
2019-04-09 cs.LG stat.ML
A Benchmark and Comparison of Active Learning for Logistic Regression
Delft University of Technology（代尔夫特理工大学）
逻辑斯谛回归是迄今为止在实际应用中使用最广泛的分类器。在本文中，我们基准的国家最先进的主动学习方法的逻辑斯谛回归，讨论和说明他们的基本特征。在三个合成数据集和44个真实数据集上进行了实验，深入了解了这些主动学习方法在学习曲线面积（将分类精度绘制为查询示例数量的函数）及其计算成本方面的行为。令人惊讶的是，最早和最简单的主动学习方法之一，即，不确定性抽样，总体表现非常好。另一个值得注意的发现是，随机抽样是改进的基本基线，在许多情况下并没有被个人主动学习技术所压倒。
2018-06-21 cs.LG stat.ML
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology（华中科技大学）
主动学习（AL）选择最有益的未标记样本进行标记，因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习（ALR）方法都是有监督的，这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR，即，如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法，迭代代表性多样性最大化（iRDM），以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归，当标记样本数量较少时，它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
Chernoff Sampling for Active Testing and Extension to Active Regression
UW-Madison（威斯康星大学麦迪逊分校）；Missouri S&T（密苏里科技大学）
主动学习可以减少执行假设检验和估计模型参数所需的样本数量。在本文中，我们重新审视的工作，描述了一个渐进的最优算法进行假设检验的Zeroff。我们获得了一个新的样本复杂性界的Zeroff的算法，与一个非渐近项，其特征在于在一个固定的置信水平的性能。我们还开发了一个扩展的Dupff采样，可用于估计各种各样的模型的参数，我们得到的估计误差的非渐近界。我们应用我们的扩展的Brackoff采样主动学习神经网络模型，并估计参数的真实数据的线性和非线性回归的问题，我们的方法表现良好的国家的最先进的方法。
2022-03-11 cs.LG stat.ML
Statistical Inference for Gradient Boosting Regression
School of Economics, Fudan University（复旦大学经济学院）；Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计与数据科学系）
本文提出融合 dropout/并行训练与正则化的梯度提升回归统计推断框架，基于中心极限定理构建区间估计与变量重要性检验。
2025-09-27 cs.LG math.ST stat.ME
Active Regression by Stratification
Ben Gurion University（本-古里安大学）；INRIA（法国国家信息与自动化研究所）
提出了一种新的随机设计参数线性回归的主动学习算法。我们提供有限样本收敛保证一般分布在错误指定的模型。这是第一个主动学习者为这个设置，可证明可以改善被动学习。与其他学习设置（如分类）不同，在回归中，$O(1/ε)$的被动学习率通常无法提高。然而，收敛速度的所谓“常数”，其特点是依赖于分布的风险，在许多情况下可以改进。对于给定的分布，实现最优风险需要分布的先验知识。在Monte-Carlo函数集成中倡导的分层技术之后，我们的主动学习者使用分段常数近似来接近最佳风险。
2014-10-22 cs.LG stat.ML
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
本文提出在高斯过程回归批量主动学习中利用导数信息，并借助预测协方差矩阵选择批次，理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Online Active Linear Regression via Thresholding
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
我们考虑在线主动学习的问题，以收集数据进行回归建模。具体来说，我们考虑一个有限的实验预算的决策者必须有效地学习一个潜在的线性人口模型。我们的主要贡献是一种新的阈值为基础的算法选择最翔实的意见，我们的性能和基本的下限。我们扩展的算法和它的保证稀疏线性回归在高维设置。仿真表明，该算法是非常强大的：它提供了显着的好处，在现实世界的数据集，表现出高非线性和高维被动随机采样-显着降低均方误差和方差。
2016-12-21 cs.LG stat.ML
Bayesian Active Learning for Censored Regression
Technical University of Denmark（丹麦技术大学）
针对删失回归中BALD难以估计的问题，推导了删失分布的熵与互信息，提出$\mathcal{C}$-BALD目标及估计方法，在多种数据集与模型上优于其他贝叶斯主动学习方法。
2024-02-19 cs.LG stat.ML
Single-shot Bayesian approximation for neural networks
Elektrobit Automotive GmbH（Elektrobit汽车有限公司）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
针对贝叶斯神经网络测试时因采样导致计算慢的问题，提出基于矩传播的单次MC dropout近似方法，无需重训即可将标准dropout训练的NN转为BNN，在保证预测与不确定性估计效果的同时实现实时部署，结合深度集成可进一步提升性能。
2023-08-24 cs.LG stat.ML
Integrating Informativeness, Representativeness and Diversity in Pool-Based Sequential Active Learning for Regression
Huazhong University of Science and Technology（华中科技大学）
在许多现实世界的机器学习应用中，未标记的样本很容易获得，但标记它们是昂贵的和/或耗时的。主动学习是减少这种数据标记工作的常用方法。它最佳地选择最好的几个样本进行标记，以便可以从相同数量的标记样本中训练出更好的机器学习模型。本文研究了回归问题的主动学习方法。ALR提出了三个基本标准--信息性、代表性和多样性。然而，文献中很少有方法同时考虑所有这三个方面。我们提出了三个新的ALR方法，与不同的战略，整合三个标准。在不同领域的12个数据集上进行的广泛实验证明了它们的有效性。
2020-03-26 cs.LG stat.ML
A Robust UCB Scheme for Active Learning in Regression from Strategic Crowds
Indian Institute of Science（印度科学学院）；IBM India Research Labs（IBM印度研究实验室）
我们研究了在预算约束下，通过从多个嘈杂的人群注释器中获取标签来训练准确的线性回归模型的问题。我们提出了一个贝叶斯模型的线性回归众包和使用变分推理的参数估计。为了最小化从注释器众包的标签数量，我们采用了主动学习方法。在这个特定的背景下，我们证明了充分研究的主动学习的标准，如熵最小化和预期的错误减少的等价性。有趣的是，我们观察到，我们可以解耦的问题，确定一个最佳的未标记的实例，并确定一个注释器来标记它。我们观察到一个有用的连接之间的多臂强盗框架和注释器选择主动学习。由于武器上的奖励分布的性质，我们使用鲁棒置信上限（UCB）计划与截断经验均值估计来解决注释器选择问题。这就产生了对遗憾的可证明的保证。我们进一步将我们的模型应用到注释者具有战略意义的场景中，并设计合适的激励措施来诱导他们尽最大努力。
2016-01-29 cs.LG stat.ML
Black-Box Batch Active Learning for Regression
University of Oxford（牛津大学）
本文提出仅依赖模型预测的黑盒批量主动学习方法，将BADGE、BAIT、LCMD等白盒方法扩展到随机森林等不可微模型，并在回归任务上取得优于白盒方法的性能。
2023-07-07 cs.LG stat.ML
Active Bias: Training More Accurate Neural Networks by Emphasizing High Variance Samples
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
自定进度学习和硬示例挖掘重新加权训练实例，以提高学习准确性。本文提出了两种改进的替代方案的基础上轻量级估计的样本不确定性的随机梯度下降（SGD）：方差预测概率的正确类跨迭代的小批量SGD，正确的类概率的决策阈值的接近。在六个数据集上进行的大量实验结果表明，我们的方法可靠地提高了各种网络架构的准确性，包括在其他流行的训练技术（如残差学习、动量、ADAM、批量归一化、dropout和蒸馏）之上的额外增益。
2018-01-06 cs.LG stat.ML
Dropout Training for SVMs with Data Augmentation
Tsinghua University（清华大学）
丢弃和其他特征噪声方案在通过人为破坏训练数据来控制过拟合方面显示出有希望的结果。虽然人们对广义线性模型进行了广泛的理论和实证研究，但对于监督学习最成功的方法之一支持向量机的研究却很少。本文提出了线性支持向量机和非线性扩展与潜在的表示学习的辍学训练。对于线性支持向量机，为了处理在破坏分布下的非光滑铰链损失的棘手期望，我们通过探索数据增强技术开发了迭代重加权最小二乘（IRLS）算法。我们的算法迭代最小化的期望重新加权最小二乘问题，其中重新的权重解析更新。对于非线性的潜在支持向量机，我们考虑学习一层的潜在表示的支持向量机和扩展的数据增强技术结合一阶泰勒展开，以处理棘手的预期非光滑铰链损失和非线性的潜在表示。最后，我们应用类似的数据增强的思想，开发了一个新的IRLS算法的预期逻辑损失下的腐败分布，我们进一步开发了一个非线性扩展的逻辑回归，通过纳入一层的潜在表示。我们的算法提供了关于辍学训练中铰链损失和逻辑损失之间的联系和差异的见解。几个真实数据集上的实验结果表明，辍学训练的有效性显着提高分类精度的线性和非线性支持向量机。此外，非线性支持向量机进一步提高了对几个图像数据集的预测性能。
2015-08-10 cs.LG
Active Learning for Manifold Gaussian Process Regression
Dept. of Applied Mathematics（应用数学系）；Illinois Institute of Technology（伊利诺伊理工学院）；Dept. of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Dept. of Mathematics（数学系）；University of California Riverside（加州大学河滨分校）
本文提出一种结合manifold学习和策略性数据选择的主动学习框架，用于高维空间中的高斯过程回归。通过联合优化神经网络和高斯过程回归器，提升预测准确性，实验显示优于随机顺序学习。
2025-06-26 cs.LG stat.ML
Unsupervised Pool-Based Active Learning for Linear Regression
Huazhong University of Science and Technology（华中科技大学）
在许多现实的机器学习应用场景中, 获取大量未标注的数据是很容易的, 但标注过程需要花费大量的时间和经济成本.因此，期望能够选择最优样本来标记，使得可以从最小量的标记数据训练好的机器学习模型。 目前, 主动学习(Active learning)已广泛应用于解决这种场景下的问题.然而，现有的大多数AL方法都是有监督的：它们从少量的标记样本中训练初始模型，基于该模型查询新的样本，然后迭代地更新模型。很少有人考虑完全无监督的AL问题，即，从零开始，如何在根本不知道任何标签信息的情况下最优地选择非常前几个样本来标记。 这种场景下, 主动学习问题变得更加困难, 因为无法利用任何标签信息.本文研究了线性回归问题的无监督基于池的自动分类算法。本文提出了一种新的自动分类方法，该方法同时考虑了自动分类中的信息性、代表性和多样性这三个基本标准。在来自不同应用领域的14个数据集上，使用三种不同的线性回归模型（岭回归、LASSO和线性支持向量回归）进行了大量的实验，证明了所提出方法的有效性。
2020-01-14 cs.LG stat.ML
Pool-Based Sequential Active Learning for Regression
DataNova LLC（DataNova有限责任公司）
主动学习是一种用于减少数据标记工作的机器学习方法。给定一个未标记的样本池，它试图选择最有用的样本进行标记，以便从它们构建的模型可以实现最佳性能。本文主要研究基于池的顺序主动学习回归算法（ALR）。我们首先提出了三个基本标准，ALR的方法应该考虑在选择最有用的未标记的样本：信息量，代表性和多样性，并比较现有的ALR方法对他们。然后，我们提出了一种新的ALR方法，使用被动采样，它既考虑了初始化和后续迭代的代表性和多样性。值得注意的是，这种方法也可以与文献中其他现有的ALR方法相结合，以进一步提高性能。在11个UCI，CMU StatLib和UFL Media Core数据集上进行了广泛的实验，验证了我们提出的ALR方法的有效性。
2018-05-12 cs.LG stat.ML
Enhancing Active Learning for Sentinel 2 Imagery through Contrastive Learning and Uncertainty Estimation
本文提出结合半监督学习、对比学习与MC Dropout不确定性估计的主动学习方法，在Sentinel-2影像分析中显著提高标注效率并保持高分类准确率。
2024-06-25 cs.CV cs.LG
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Distributionally Robust Active Learning for Gaussian Process Regression
Nagoya University（名古屋大学）；RIKEN AIP（日本理化学研究所AIP）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装株式会社）
本文针对高斯过程回归提出两种分布鲁棒主动学习方法，通过最小化目标分布候选集上的最坏情况期望误差，在理论上保证有限标签下误差可任意小，并在合成与真实数据上验证了有效性。
2025-07-07 cs.LG stat.ML
Streaming Active Learning for Regression Problems Using Regression via Classification
Hitachi, Ltd.（日立制作所）
针对回归任务流式主动学习研究不足的问题，本文提出用regression-via-classification框架将回归转分类，直接复用分类流式主动学习方法，在四个真实数据集上实现了相同标注成本下更高的回归精度。
2023-12-15 cs.LG
Projection based Active Gaussian Process Regression for Pareto Front Modeling
Fudan University（复旦大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
Pareto Front（PF）建模在经济学、医学或工程等所有领域的决策问题中都是必不可少的。在运筹学文献中，这一任务已经基于多目标优化算法得到了解决。然而，如果没有PF的学习模型，这些方法不能检查新提供的点是否位于PF上。本文从数据采掘的角度对这一课题进行了重新思考。提出了一种新的基于投影的主动高斯过程回归（P-aGPR）方法.首先，P-aGPR选择一系列维数从低到高排列的投影空间.接下来，在每个投影空间中，训练高斯过程回归（GPR）模型来表示PF在该空间中应满足的约束。此外，为了提高建模效率和稳定性，主动学习框架已开发利用GPR模型中获得的不确定性信息。与现有方法不同的是，我们提出的P-aGPR方法不仅可以提供一个生成的PF模型，而且可以快速检查一个提供的点是否位于PF上。数值结果表明，与现有被动学习方法相比，P-aGPR方法具有更高的建模精度和稳定性。
2020-01-20 cs.LG stat.ML
Dropout as an Implicit Gating Mechanism For Continual Learning
Washington State University（华盛顿州立大学）；DeepMind（深度思维）
近年来，神经网络已经证明了在各个领域实现复杂学习任务的出色能力。然而，当他们面对一系列的学习任务时，他们会遭受“灾难性遗忘“问题的困扰，他们在学习新任务时会忘记旧任务。这个问题也与“稳定性-塑性困境”高度相关。网络的可塑性越强，它就越容易学习新任务，但也会越快忘记以前的任务。相反，一个稳定的网络不能像一个非常可塑的网络那样快速地学习新任务。然而，保存它从以前的任务中学到的知识更可靠。已经提出了几种解决方案，以克服遗忘问题，使神经网络参数更稳定，其中一些已经提到了辍学的重要性，在持续学习。然而，它们之间的关系还没有得到充分的研究。在本文中，我们研究了这种关系，并表明一个稳定的网络与辍学学习门控机制，这样对于不同的任务，不同的路径的网络是活跃的。我们的实验表明，通过这种隐式门控实现的稳定性在导致与其他涉及的持续学习算法相当或更好的性能以克服灾难性遗忘方面起着非常关键的作用。
2020-04-24 cs.CV cs.LG cs.NE
Offline EEG-Based Driver Drowsiness Estimation Using Enhanced Batch-Mode Active Learning (EBMAL) for Regression
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；DCS Corp（DCS公司）；National Chiao-Tung University（国立交通大学）；University of Technology, Sydney（悉尼科技大学）
在现实世界的脑机接口（BCI）应用中存在许多重要的回归问题，例如，从EEG信号估计驾驶员困倦。本文考虑离线分析：给定一个在驾驶过程中记录的未标记的EEG epoch池，我们如何最佳地选择其中的一小部分进行标记，以便可以从它们中构建准确的回归模型来标记其余部分？主动学习是解决这个问题的一个很有前途的方法，但有趣的是，据我们所知，到目前为止，它还没有被用于脑机接口中的回归问题。本文提出了一种新的增强型批量模式主动学习（EBMAL）回归方法，该方法通过提高所选样本的可靠性、代表性和多样性来改进基线主动学习算法，以获得更好的回归性能。我们验证了其有效性，驾驶员的困倦估计从脑电信号。然而，EBMAL是一种通用方法，也可以应用于BCI之外的许多其他离线回归问题。
2018-05-12 cs.HC cs.LG stat.ML
On weight and variance uncertainty in neural networks for regression tasks
University of Tehran（德黑兰大学）；Ferdowsi University of Mashhad（马什哈德法尔多西大学）
本文提出在回归任务中引入方差不确定性以提升贝叶斯神经网络的预测性能，并通过实验验证其有效性。
2026-02-28 cs.LG stat.ML
Online Active Regression
School of Physical and Mathematical Sciences（物理与数学科学学院）；Nanyang Technological University（南洋理工大学）
主动回归考虑线性回归问题，其中学习者接收大量数据点，但只能观察少量标签。由于在线算法可以处理增量训练数据，并利用低计算成本，我们考虑的主动回归问题的在线扩展：学习者接收数据点一个接一个，并立即决定是否应该收集相应的标签。目标是用少量的标签查询预算有效地维护接收到的数据点的回归。我们提出了新的算法，这个问题下的$\ell_p$损失$p\in[1,2]$。为了实现一个$(1+ε)$近似的解决方案，我们提出的算法只需要$\tilde{\mathcal{O}}(ε^{-1} d \log(nκ))$查询的标签，其中$n$是数据点的数量和$κ$是一个数量，称为条件数，数据点。数值结果验证了我们的理论结果，并表明我们的方法具有可比的性能与离线主动回归算法。
2022-08-30 cs.DS cs.LG stat.ML
Disturbing Target Values for Neural Network Regularization
Institute of Computer Science（计算机科学研究所）；University of Hildesheim（希尔德斯海姆大学）
已经开发了各种正则化技术，例如L2正则化，Dropout，DisturbLabel（DL）以防止过拟合。DL是一个新来的人，他通过随机翻转一小部分目标标签，并在这个失真的数据上训练神经网络，从而不学习训练数据，来正则化损失层。据观察，在训练过程中的高置信度标签导致过拟合问题，DL随机选择干扰标签，而不管标签的置信度如何。为了解决DL的这一缺点，我们提出了一种新的正则化技术，即方向扰动标签（Directional DisturbLabel，简写为DIR），它利用类概率来推断置信标签，并使用这些标签来正则化模型。这种主动正则化在训练过程中利用模型行为，以更直接的方式对其进行正则化。为了解决回归问题，我们还提出了DisturbValue（DV）和DisturbError（DE）。DE仅使用预定义的置信标签来干扰目标值。DV类似于DL随机地将噪声注入目标值的一部分。在本文中，6和8个数据集分别用于验证我们的方法在分类和回归任务的鲁棒性。最后，我们证明了我们的方法与DisturbLabel，L2正则化和Dropout相当或优于它们。此外，我们通过将我们的方法与L2正则化或Dropout相结合，在超过一半的数据集中实现了最佳性能。
2021-10-11 cs.LG
Active Learning on Attributed Graphs via Graph Cognizant Logistic Regression and Preemptive Query Generation
McGill University（麦吉尔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
属性图中的节点分类在多种实际环境中是一项重要任务，但获取标签通常很困难或昂贵。主动学习可以在查询标签的数量上针对给定预算提高所实现的分类性能。最好的现有方法是基于图神经网络，但他们往往表现不佳，除非一个相当大的验证集的标记节点是可用的，以选择好的超参数。我们提出了一种新的基于图的主动学习算法的任务，节点分类的属性图，我们的算法使用图认知逻辑回归，相当于一个线性化的图卷积神经网络（GCN），预测阶段，并最大限度地提高了预期的错误减少查询阶段。为了减少与系统交互的贴标机所经历的延迟，我们推导出一个抢占式查询系统，该系统在贴标过程中计算新的查询，并解决学习开始时几乎没有标记数据的设置，我们还开发了一种混合算法，该算法执行标签传播和线性化GCN推理的自适应模型平均。我们在五个公共基准数据集上进行了实验，证明了对最先进方法的显着改进，并通过将其应用于私人微波链路网络数据集来说明该方法的实用价值。
2020-07-09 cs.LG stat.ML
Robust and Active Learning for Deep Neural Network Regression
Pennsylvania State University（宾夕法尼亚州立大学）；Riskfuel；Imperial College（帝国理工学院）
我们描述了一种基于梯度的方法来发现用于回归的深度神经网络（DNN）的局部误差最大化器，假设“oracle”能够为样本提供实值监督（回归目标）。例如，oracle可以是一个数值求解器，在操作上比DNN慢得多。给定一组发现的局部误差最大化器，DNN以主动学习的方式进行微调或重新训练。
2021-07-28 cs.LG
Active Learning for Regression Using Greedy Sampling
Huazhong University of Science and Technology（华中科技大学）；University of Technology, Sydney（悉尼科技大学）
回归问题在现实世界的应用程序中普遍存在。为了建立具有良好泛化能力的回归模型，通常需要大量的标记样本。然而，很多时候，收集大量未标记的样品相对容易，但标记它们耗时或昂贵。回归的主动学习（ALR）是一种通过选择最有益的样本来标记而不是随机选择来减少标记样本数量的方法。本文提出了两种新的基于贪婪采样（GS）的ALR方法。第一种方法（GSy）选择新样本以增加输出空间中的多样性，第二种方法（iGS）选择新样本以增加输入和输出空间中的多样性。在来自不同领域的12个UCI和CMU StatLib数据集上进行了广泛的实验，并对15个基于EEG的驾驶员困倦估计进行了实验，验证了它们的有效性和鲁棒性。
2018-08-08 cs.AI cs.LG stat.ML
Active Learning in Symbolic Regression with Physical Constraints
University of Rochester（罗切斯特大学）
本文提出将符号回归与基于委员会查询的主动学习及物理约束结合，以选择后续实验并在极少数据下恢复已知方程。
2024-08-09 cs.LG cs.NE physics.chem-ph
Active Learning for Regression based on Wasserstein distance and GroupSort Neural Networks
本文提出基于Wasserstein距离和GroupSort神经网络的主动回归模型，结合不确定性方法优化查询策略，实证表明其估计更精确且提升准确率更快。
2024-03-22 cs.LG math.ST stat.ML
Active Learning for Regression with Aggregated Outputs
NTT Communication Science Laboratories（NTT通信科学实验室）
由于隐私保护或数据收集的困难，我们无法观察每个实例的单独输出，但我们可以观察在一些现实世界应用程序中对多个实例进行汇总的聚合输出。为了降低这种聚合数据的回归模型训练的标记成本，我们提出了一种主动学习方法，该方法顺序选择要标记的集合，以提高具有较少标记集合的预测性能。对于选择度量，该方法使用互信息，通过观察聚合输出来量化模型参数的不确定性的减少。利用贝叶斯线性基函数对给定输入的输出进行建模，包括近似高斯过程和神经网络，我们可以有效地计算封闭形式的互信息。通过使用不同数据集的实验，我们证明了所提出的方法比现有方法具有更少的标记集，实现了更好的预测性能。
2022-10-04 cs.AI cs.LG stat.ML
Optimal Transport Dropout for Structured Predictive Uncertainty
提出最优传输Dropout（OTD），通过可学习流传输潜在扰动以学习结构化预测不确定性，无需后验推断或集成，在合成和真实回归基准上优于蒙特卡洛Dropout。
2026-09-29 cs.LG cs.NA math.NA
Near-Polynomially Competitive Active Logistic Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对主动逻辑回归问题，提出首个与最优算法多项式竞争（误差和域大小仅多对数因子）的算法，基于高效采样，并实验验证性能优于现有主动学习方法。
2026-10-30 cs.LG
Dynamic Exploration-Exploitation Trade-Off in Active Learning Regression with Bayesian Hierarchical Modeling
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
针对主动学习回归中探索与利用权衡难以自适应优化的问题，提出贝叶斯层次方法 BHEEM，并借助近似贝叶斯计算动态采样权衡参数，实验表明其稳定优于纯探索或纯利用策略。
2023-09-30 cs.LG stat.ML
