Active Learning in CNNs via Expected Improvement Maximization
Columbia University(哥伦比亚大学)
深度学习模型,如卷积神经网络(CNN),在各种领域都表现出了高水平的有效性,包括计算机视觉和最近的计算生物学。然而,训练有效的模型通常需要组装和/或标记大型数据集,这可能非常耗时或昂贵。基于池的主动学习技术有可能缓解这些问题,利用在有限数据上训练的模型来选择性地查询池中未标记的数据点,以尝试加快学习过程。在这里,我们提出了“基于辍学的预期IMprOvementS”(DEIMOS),一个灵活的和计算效率高的方法来主动学习,查询点,预计将最大限度地提高模型的改进在一个有代表性的样本点。所提出的框架使我们能够保持一个预测协方差矩阵捕捉模型的不确定性,并动态更新此矩阵,以生成不同批次的点在批量模式设置。我们的主动学习结果表明,DEIMOS在计算机视觉和基因组学的多重回归和分类任务中优于几个现有的基线。
2020-11-27 cs.AI cs.CV cs.LG
Beyond travel mode: urban context shapes active mobility's mental health effects over time
Martin Centre for Architectural and Urban Studies, University of Cambridge(剑桥大学马丁建筑与城市研究中心);Cambridge Public Health, University of Cambridge(剑桥大学剑桥公共卫生)
研究主动出行对心理健康的影响,用因果机器学习等方法分析英国成年人数据,发现主动出行对焦虑等的个体影响有不平等,且随时间扩大,受城市环境强烈影响,未考虑个体和环境差异会加剧健康不平等。
2026-07-28 cs.LG
Direct Acquisition Optimization for Low-Budget Active Learning
University of Chicago(芝加哥大学)
针对低预算主动学习性能下降问题,提出直接获取优化算法,利用影响函数与额外获取策略优化样本选择,在七个基准上超越现有方法。
2024-02-08 cs.LG
MLMC-based Resource Adequacy Assessment with Active Learning Trained Surrogate Models
Dept. of Electrical Sustainable Energy(电气可持续能源系)
针对电力系统资源充足性评估中MLMC框架下代理模型训练数据标记耗时的问题,提出计入训练时间的效率指标与委员会投票主动学习方法,在有限计算预算下大幅降低评估方差。
2025-07-30 cs.LG
Dimension Reduction Using Active Manifolds
科学家和工程师依靠精确的数学模型来量化他们的研究对象,这些对象通常是高维的。不幸的是,高维模型本质上是困难的,即当观察是稀疏的或昂贵的确定。解决这个问题的一种方法是用更少的输入维度来近似原始模型。我们的项目目标是恢复一个函数f,它接受n个输入并返回一个输出,其中n可能很大。对于任何给定的n元组,我们假设我们可以观察函数的梯度和输出的样本,但这样做的计算代价很高。该项目的灵感来自于一种称为Active Subspaces的方法,该方法通过线性投影到函数平均变化最大的线性子空间来工作。我们的研究提供了数学发展,为这个问题提供了一种新的算法。我们的方法,主动流形,通过寻求近似函数的非线性模拟来提高精度。我们的方法的好处是消除无原则的参数,选择,保证可访问的可视化,并提高估计精度。
2018-02-07 cs.LG math.CA stat.ML
Active Inference for Binary Symmetric Hidden Markov Models
Yerevan Physics Institute(埃里温物理研究所);USC Information Sciences Institute(南加州大学信息科学研究所)
我们考虑隐马尔可夫模型(HMM)的主动最大后验概率(MAP)推理问题,其中,给定隐序列的初始MAP估计,我们选择标记序列中的某些状态,以提高剩余状态的估计精度。我们开发了一种分析方法,这个问题的情况下,二进制对称HSPINGS,并获得了一个封闭的形式的解决方案,涉及到预期的误差减少模型参数下指定的主动推理计划。然后,我们使用这个解决方案,以确定最佳的主动推理方案减少错误,并检查这些计划的启发式原则的不确定性减少和解决方案的唯一性的关系。
2014-11-03 cond-mat.dis-nn cs.IT cs.LG
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法,例如近端策略优化或Q学习,通常需要与环境进行数千次交互,以近似最佳控制器,由于安全性和时间消耗,这在机器人技术中可能并不总是可行的。基于模型的方法,如PILCO或BlackDrops,虽然数据效率高,但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题,我们引入了基于主动不确定性减少的虚拟环境,它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理,这是用来作为一个度量自我改进的点,通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数,同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明,我们的方法提供了一个更好的建模能力,复杂的系统动力学相比,已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Why Can't I See My Clusters? A Precision-Recall Approach to Dimensionality Reduction Validation
Department of Mathematics and Computer Science, Eindhoven University of Technology(数学与计算机科学系,埃因霍温理工大学)
本文提出基于精确率和召回率的有监督指标,用于验证降维的关系阶段,可指导超参数调优、揭示投影伪影,解决降维中预期聚类结构缺失的问题。
2026-08-21 cs.LG
Active Clustering with Model-Based Uncertainty Reduction
SUNY at Buffalo(纽约州立大学布法罗分校)
半监督聚类试图通过结合人类专业知识提供的辅助信息来增强传统的聚类方法,以增加所得到的聚类的语义意义。然而,大多数当前的方法是\emph{passive},在这个意义上,边信息被预先提供并且被随机选择。这可能需要大量的约束,其中一些可能是冗余的,不必要的,甚至对聚类结果有害。因此,为了将这样的半监督算法扩展到更大的问题,期望追求\emph{active}聚类方法-即,通过仅在将具有最大影响的地方请求人的输入来最大化可用人力劳动的有效性的算法。在这里,我们提出了一个新的在线框架,主动半监督谱聚类,选择成对的约束聚类进行,基于不确定性减少的原则。使用一阶泰勒展开,我们分解成一个梯度和一个步骤规模,通过矩阵扰动理论和集群分配熵的应用程序计算,分别预期的不确定性降低问题。由此产生的模型用于估计数据集中每个样本的不确定性降低潜力。然后,我们提出的人类用户与成对查询,只有最好的候选样本。我们使用三种不同的图像数据集(人脸、树叶和狗)、一组常见的UCI机器学习数据集和一个基因数据集来评估我们的方法。结果验证了我们的分解公式,并表明我们的方法始终优于现有的最先进的技术,以及对噪声和未知数量的聚类具有鲁棒性。
2014-02-14 cs.CV cs.LG stat.ML
Active Sampling of Interpolation Points to Identify Dominant Subspaces for Model Reduction
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
针对大规模线性结构化系统模型降阶中求解主导可达与可观测子空间成本过高的问题,提出基于广义Sylvester方程的主动插值点采样方法,以低秩解估计子空间,实现17倍加速且精度基本无损。
2024-09-05 cs.LG cs.NA math.DS
False Positive Reduction by Actively Mining Negative Samples for Pulmonary Nodule Detection in Chest Radiographs
VUNO Inc.(VUNO公司);Imperial College London(帝国理工学院);Asan Medical Center(峨山医疗中心);University of Ulsan(蔚山大学)
在医学成像中生成大量高质量的标记数据是非常耗时且昂贵的。多年来,用于成像的各种任务的监督算法的性能已经大幅提高,然而用于训练这些算法的数据的可用性已经成为实施的主要瓶颈之一。为了解决这个问题,我们提出了一种半监督学习方法,其中使用来自未标记数据的伪阴性标签来进一步改进胸片中肺结节检测网络的性能。在使用所提出的网络进行训练后,假阳性率从0.4864降低到0.1266,同时保持灵敏度为0.89。
2018-07-26 cs.AI cs.CV cs.LG
Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model
临床研究人员经常使用基于混淆矩阵的标准机器学习度量来选择和评估风险预测模型。然而,如果这些模型被用来分配干预患者,从回顾性数据计算的标准指标只与模型效用(在减少结果方面)在某些假设。当预测在整个时间内重复传递时(例如,在患者就诊中),标准度量和效用之间的关系进一步复杂化。在文献中使用了几种评价方法,但并不清楚每种评价方法的估计目标是什么。我们综合这些方法,确定在每一个被估计,并讨论在什么假设下,这些估计是有效的。我们展示了我们的见解,使用模拟数据,以及在早期预警系统的设计中使用的真实数据。我们的理论和实证结果表明,没有干预数据的评估要么不估计有意义的数量,需要强有力的假设,或仅限于估计最佳情况下的边界。
2020-06-02 cs.LG stat.ML
Test Distribution-Aware Active Learning: A Principled Approach Against Distribution Shift and Outliers
University of Oxford(牛津大学)
在MacKay(1992)的基础上,我们认为传统的基于模型的主动学习方法(如BALD)有一个根本的缺陷:它们不能直接解释输入变量的测试时间分布。这可能导致采集策略中的病态,因为对于模型参数最大信息量的可能不是对于预测最大信息量的:例如,当池集中的数据比最终预测任务的数据更分散时,或者当池和测试样本的分布不同时。为了纠正这一点,我们重新审视了一种收购策略,该策略基于最大化获得的有关未来可能预测的预期信息,将其称为预期预测信息增益(EPIG)。由于EPIG不能很好地扩展批量收购,我们进一步研究了一种替代策略,BALD和EPIG之间的混合,我们称之为联合预期预测信息增益(JEPIG)。我们考虑在各种数据集上使用贝叶斯神经网络进行主动学习,检查池集中分布偏移下的行为。
2021-11-21 cs.LG stat.ML
Subspace-Distance-Enabled Active Learning for Efficient Data-Driven Model Reduction of Parametric Dynamical Systems
针对无控制方程的高保真动力系统反复求解问题,提出基于子空间距离的主动学习框架(SDE-AL),利用POD子空间距离引导挑选关键参数样本,动态构建降阶模型,有效提升了参数化物理模型的计算效率。
2025-06-25 cs.CE cs.LG cs.NA
Active-learning-based non-intrusive Model Order Reduction
Technical University of Munich(慕尼黑工业大学);Siemens Industrial Software GmbH(西门子工业软件有限公司);Siemens AG(西门子股份公司)
模型降阶(MOR)技术可以为快速仿真提供紧凑的数值模型。与侵入式MOR方法不同,非侵入式MOR不需要访问全阶模型(FOM),特别是系统矩阵。由于非侵入式MOR方法强烈依赖于FOM的快照,因此构建良好的快照集变得至关重要。在这项工作中,我们提出了一种新的主动学习方法,有两个新奇之处。一个新的想法,我们的方法是使用单时间步长快照从系统状态的估计减少的状态空间。这些状态是使用基于高斯过程回归(GPR)的误差估计器支持的贪婪策略选择的。此外,我们还引入了一种基于可能近似正确(PAC)学习的独立于用例的验证策略。在这项工作中,我们使用人工神经网络(ANN)来识别的降阶模型(ROM),但该方法可以类似地应用到其他ROM识别方法。通过二维热传导和三维真空炉模型测试了整个工作流程的性能。由于几乎不需要用户交互和独立于特定用例的训练策略,所提出的方法为工业用途提供了巨大的潜力,以创建所谓的可执行数字孪生(DT)。
2022-04-08 cs.CE cs.LG cs.NA
Active Uncertainty Reduction for Human-Robot Interaction: An Implicit Dual Control Approach
Princeton University(普林斯顿大学)
准确预测人类行为的能力对于机器人在交互式环境中的自主性的安全性和效率至关重要。不幸的是,机器人通常无法获得这些预测可能依赖的关键信息,例如人们的目标,注意力和合作意愿。对偶控制理论通过将预测模型的未知参数视为随机隐藏状态并使用系统操作期间收集的信息在运行时推断其值来解决这一挑战。虽然能够最佳地和自动地权衡探索和开发,但对于一般的交互式运动规划,双重控制在计算上是难以处理的,这主要是由于机器人轨迹优化和人类意图推理之间的基本耦合。在本文中,我们提出了一种新的算法方法,使主动减少不确定性的互动运动规划的基础上隐式双控制范式。我们的方法依赖于基于采样的随机动态规划的近似,从而导致一个模型预测控制问题,可以很容易地解决的实时梯度为基础的优化方法。由此产生的政策,以保持双控制效果的一类广泛的预测人类模型的连续和分类的不确定性。我们的方法的有效性与模拟驾驶的例子证明。
2022-06-05 cs.LG cs.RO cs.SY
Expected Sarsa($λ$) with Control Variate for Variance Reduction
Zhejiang University(浙江大学)
非策略学习对于强化学习来说是非常强大的。然而,离政策评估的高方差是一个关键的挑战,这导致离政策学习陷入不受控制的不稳定。为了减小方差,本文将控制变量技术引入到$\mathtt{Expected}$ $\mathtt{Sarsa}$($λ$)中,提出了表格式$\mathtt{ES}$($λ$)- $\mathtt{CV}$算法。我们证明了,如果值函数的估计量达到,则所提出的$\mathtt{ES}$($λ$)- $\mathtt{CV}$比$\mathtt{Expected}$ $\mathtt{Sarsa}$($λ$)具有更低的方差.为了将$\mathtt{ES}$($λ$)- $\mathtt{CV}$算法推广为具有线性函数逼近的收敛算法,我们提出了基于凸凹鞍点形式的$\mathtt{GES}$($λ$)算法.我们证明了$\mathtt{GES}$($λ$)的收敛速度达到了$\mathcal{O}(1/T)$,这匹配或优于许多最先进的基于梯度的算法,但我们使用了更宽松的条件。数值实验表明,该算法在较低方差的情况下比几种最先进的基于梯度的TD学习算法表现更好:$\mathtt{GQ}$($λ$)、$\mathtt{GTB}$($λ$)和$\mathtt{ABQ}$($ζ$)。
2019-09-06 cs.AI cs.LG stat.ML
Analysis of Self-Supervised Learning and Dimensionality Reduction Methods in Clustering-Based Active Learning for Speech Emotion Recognition
Unit of Computing Sciences, Tampere University, Finland(图皮大学计算科学系,芬兰);Helsinki University Hospital, Helsinki, Finland(赫尔辛基大学医院,芬兰)
本文研究了在语音情感识别中,利用自监督学习和降维方法提升基于聚类的主动学习性能,探讨了特征空间局部和全局拓扑结构对主动学习的影响,发现降维不影响性能且二维特征表现良好。
2022-06-21 cs.LG cs.SD eess.AS
Symmetry reduction for deep reinforcement learning active control of chaotic spatiotemporal dynamics
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
深度强化学习(RL)是一种数据驱动、无模型的方法,能够发现高维系统中宏观目标的复杂控制策略,使其在流控制方面的应用前景广阔。许多流控制感兴趣的系统都具有对称性,如果忽略这些对称性,就会显著抑制朴素深度RL方法的学习和性能。使用由Kuramoto-Sivashinsky方程(KSE)组成的测试平台,等距致动器,以及最小化耗散和功耗成本的目标,我们证明了通过将深度RL问题移动到一个简化的空间,我们可以减轻深度RL天真应用中固有的局限性。我们证明了,与朴素的深度RL发现的策略相比,减少冗余的深度RL提高了数据效率,并提高了控制策略的有效性。有趣的是,由对称性感知控制代理学习的策略将系统推向强制KSE的平衡状态,该平衡状态通过延续连接到非强制KSE的平衡,尽管没有给出关于其存在的明确信息。即,为了实现其目标,RL算法发现并稳定系统的平衡状态。最后,我们证明了减少的控制策略是强大的观察和驱动信号噪声,以及系统参数,它没有观察到之前。
2021-04-09 cs.LG nlin.CD
Stopping criterion for active learning based on deterministic generalization bounds
Kyushu Institute of Technology(九州工业大学);The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所人工智能研究中心)
主动学习是一种框架,学习机可以在其中选择要用于训练的样本。这种技术是有前途的,特别是当数据采集和标记的成本很高。在主动学习中,确定学习应该停止的时机是一个关键问题。在这项研究中,我们提出了一个自动停止主动学习的标准。提出的停止准则是基于期望泛化误差和假设检验的差异。我们推导出一个新的上限的差异,在获得一个新的训练数据的基础上的PAC-Bayesian理论的预期泛化误差。然而,与普通的PAC-贝叶斯边界不同,所提出的边界是确定性的;因此,在不等式的置信度和紧密度之间没有不可控的权衡。我们结合上界与统计测试,以获得主动学习的停止标准。我们通过人工和真实数据集的实验证明了所提出的方法的有效性。
2020-05-15 cs.LG stat.ML
PCA-Guided Autoencoding for Structured Dimensionality Reduction in Active Infrared Thermography
Khalifa University of Science and Technology(卡利法科技科学大学);Advanced Research and Innovation Center(先进研究与创新中心);Department of Aerospace Engineering(航空航天工程系);BioMedIA Lab(BioMedIA实验室);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Department of Information Systems and Operations Research(信息系统与运营管理系);Vienna University of Economics and Business(维也纳经济与商业大学);Department of Industrial and Information Engineering and Economics (DIIIE)(工业与信息工程与经济学系);University of L’Aquila(拉奎拉大学);Department of Industrial and Systems Engineering(工业与系统工程系)
针对主动红外热成像自编码器潜在空间缺乏结构的问题,提出PCA引导的结构化降维框架,通过PCA蒸馏损失对齐潜在表示,并引入神经网络评估指标,在PVC等样本上优于现有方法。
2025-08-11 cs.AI cs.CV cs.LG
Effective Version Space Reduction for Convolutional Neural Networks
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
在主动学习中,抽样偏差会造成严重的不一致性问题,阻碍算法找到最优假设。然而,用于神经网络的许多方法是假设空间不可知的,并且没有解决这个问题。我们通过版本空间缩减的原则性镜头来研究使用卷积神经网络的主动学习。我们确定了两种方法之间的连接-事先减少质量和直径减少-并提出了一种新的直径为基础的查询方法-最小吉布斯投票分歧。通过对版本空间直径和偏差的估计,说明了神经网络的版本空间是如何演化的,并检验了可实现性假设。通过在MNIST、Fashion-MNIST、SVHN和STL-10数据集上的实验,我们证明了直径缩减方法更有效地缩减了版本空间,并且比先前的质量缩减和其他基线表现得更好,吉布斯投票不一致与最佳查询方法相当。
2020-06-22 cs.CV cs.LG stat.ML
Harnessing the Power of Beta Scoring in Deep Active Learning for Multi-Label Text Classification
Monash University(莫纳什大学);VinUniversity(维新大学)
本文提出一种基于 Beta 评分规则和期望损失减少框架的深度主动学习方法,通过样本向量表示实现多样化信息样本选择,在多标签文本分类中优于现有采集技术。
2024-01-15 cs.AI cs.LG
Context Aware Image Annotation in Active Learning
Case Western Reserve University(凯斯西储大学)
用于主动学习的图像注释是劳动密集型的。提出了各种自动和半自动标记方法来节省标记成本,但是标记实例数量的减少并不能保证成本的降低,因为对学习者最有价值的查询可能是最困难或最模糊的情况,因此对于Oracle来说,准确标记是最昂贵的。在本文中,我们试图解决这个问题,使用图像元数据,提供更多的线索,预言机在注释过程中的图像。我们提出了一个上下文感知的图像注释框架(CAIAF),使用图像元数据作为相似性度量聚类图像成组进行注释。我们还提供了有用的元数据信息作为注释界面上每个图像的上下文。实验表明,与传统框架相比,它降低了CAIAF的标注成本,同时保持了较高的分类性能。
2020-02-06 cs.IR cs.LG
Active Subspace of Neural Networks: Structural Analysis and Universal Attacks
University of California Santa Barbara(加州大学圣巴巴拉分校);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Institute of Numerical Mathematics of Russian Academy of Sciences(俄罗斯科学院数值数学研究所)
主动子空间是一种在不确定性量化领域广泛使用的模型降阶方法。在本文中,我们提出了分析内部结构和脆弱性和深层神经网络使用主动子空间。首先,我们使用活动子空间来测量每个中间层的“活动神经元”的数量,并将神经元的数量从几千个减少到几十个。这促使我们改变网络结构,并开发一种新的、更紧凑的网络,称为{ASNet},其模型参数明显更少。其次,我们提出了使用活动子空间分析神经网络的脆弱性,并找到一个加性的通用对抗攻击向量,可以以很高的概率错误分类数据集。在CIFAR-10上的实验结果表明,ASNet可以实现23.98个$\times$参数和7.30个$\times$触发器的减少。在我们所有的数值实验中,与现有的方法相比,通用的主动子空间攻击向量可以实现约20%的攻击率。本文的PyTorch代码可以在线获得。
2020-04-29 cs.LG cs.NA math.NA
Bayesian Uncertainty and Expected Gradient Length -- Regression: Two Sides Of The Same Coin?
Mercedes-Benz Research and Development India(梅赛德斯-奔驰印度研发中心)
主动学习算法选择数据的子集进行注释,以在预算范围内最大化模型性能。一种这样的算法是预期梯度长度,顾名思义,它使用采样过程中每个示例引起的近似梯度。虽然预期梯度长度已成功用于分类和回归,但回归公式仍然是直观驱动的。因此,我们的理论贡献包括推导这个公式,从而支持实验证据。随后,我们证明了回归中的期望梯度长度等价于贝叶斯不确定性。如果某些假设是不可行的,我们的算法贡献(EGL++)近似的合奏与一个单一的确定性网络的效果。而不是计算每个输入的多个可能的推断,我们利用以前注释的样本来量化以前的标签是真实标签的概率。这种方法使我们能够将预期的梯度长度扩展到一个新的任务:人体姿态估计。我们在两个人体姿态数据集(MPII和LSP/LSPET)上进行了实验验证,突出了EGL++与不同的主动学习算法用于人体姿态估计的可解释性和竞争力。
2021-10-22 cs.CV cs.LG
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab(VERSES研究实验室)
该研究将期望自由能(EFE)置于信念MDP框架下,借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略,揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology(佐治亚理工学院)
本文提出ParBaLS方法,用于改进EPIG算法在大规模批量中的性能,通过实验验证其在固定预算下优于其他方法,适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
Level set learning with pseudo-reversible neural networks for nonlinear dimension reduction in function approximation
University of South Carolina(南卡罗来纳大学);Florida State University(佛罗里达州立大学);Oak Ridge National Laboratory(橡树岭国家实验室)
由于维数灾难和训练数据的限制,即使对于强大的深度神经网络,逼近高维函数也是一项非常具有挑战性的任务。受非线性水平集学习(NLL)方法的启发,本文提出了一种基于可逆残差网络(RevNet)的降维方法(DRiLLS)。我们的方法包含两个主要部分:一个是伪可逆神经网络(PRNN)模块,有效地将高维输入变量转换为低维活动变量,另一个是合成回归模块,用于在低维空间中基于转换后的数据近似函数值。PRNN不仅由于使用RevNet而放松了NLL方法中存在的非线性变换的可逆性约束,而且还自适应地加权每个样本的影响并控制函数对学习的活动变量的灵敏度。合成回归使用欧氏距离在输入空间中选择相邻样本,其在活动变量空间上的投影用于执行局部最小二乘多项式拟合。这有助于解决传统局部和全局回归中存在的数值振荡问题。大量的实验结果表明,我们的DRiLLS方法优于NLL和主动子空间方法,特别是当目标函数在其输入域内部具有临界点时。
2021-12-02 cs.LG cs.NA math.FA
Active operator inference for learning low-dimensional dynamical-system models from noisy data
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所)
噪声对学习动态系统模型提出了挑战,因为已经很小的变化可以扭曲轨迹数据所描述的动态。这项工作建立在科学机器学习的算子推理基础上,从被噪声污染的高维状态轨迹中推断出低维模型。分析表明,在一定条件下,推断的运营商是良好的研究基于投影的约简算子从传统的模型约简无偏估计。此外,操作员推理和基于投影的模型简化之间的连接使得能够限制使用学习模型相对于传统简化模型进行的预测的均方误差。该分析还激发了一个积极的运营商的推理方法,明智地采样高维轨迹的目的是通过减少噪声的影响,实现低均方误差。高维线性和非线性状态动力学的数值实验表明,主动算子推理得到的预测具有数量级较低的均方误差比传统的,等距采样的轨迹数据的算子推理。
2021-07-26 cs.LG cs.NA math.NA
Diversity Enhanced Active Learning with Strictly Proper Scoring Rules
Monash University(莫纳什大学)
本文研究了文本分类中主动学习的获取函数。预期损失减少(ELR)方法侧重于分类错误减少的贝叶斯估计,最近更新了不确定性的平均客观成本(MOCU)。我们将ELR框架转换为估计(严格正确)分数的增加,如对数概率或负均方误差,我们称之为平均正确分数的贝叶斯估计(BEMPS)。我们还证明了与MOCU借用技术的收敛结果。为了让更好的实验与新的采集功能,我们开发了一个互补的批量AL算法,它鼓励多样性的向量的预期变化的分数为未标记的数据。为了实现高性能的文本分类器,我们在预训练的语言模型上结合了集成和动态验证集的构建。广泛的实验评估,然后探讨这些不同的采集功能如何执行。结果表明,使用均方误差和对数概率与BEMPS产生强大的捕获功能,始终优于其他测试。
2021-10-27 cs.AI cs.CL cs.LG
A Fully Bayesian Gradient-Free Supervised Dimension Reduction Method using Gaussian Processes
Georgia Institute of Technology(佐治亚理工学院);GE Research(通用电气研究中心)
现代工程问题的普遍特征是复杂的计算机代码,这些代码将参数或输入映射到底层物理过程。在其他情况下,实验装置用于模拟实验室中的物理过程,确保高精度,同时在材料和物流方面成本高昂。在这两种情况下,通过在有限数量的输入或设计上查询昂贵的信息源,只能生成有限数量的数据。这个问题在高维输入空间的存在下进一步复杂化。现有技术的参数空间降维方法,例如主动子空间,旨在识别原始输入空间的子空间,该子空间足以解释输出响应。这些方法的限制,他们依赖于梯度评估或丰富的数据,使他们不足以昂贵的问题,没有直接访问梯度。所提出的方法是无梯度和完全贝叶斯,因为它量化的低维子空间和代理模型参数的不确定性。这使得认识的不确定性和鲁棒性有限的数据可用性的充分量化。它在来自工程和科学的多个数据集上进行了验证,并基于四个方面与其他两种最先进的方法进行了比较:a)活动子空间的恢复,b)确定性预测精度,c)概率预测精度和d)训练时间。比较表明,该方法提高了主动子空间恢复和预测精度,在确定性和概率意义上,只有少数模型观测可用于训练,在增加的训练时间的成本。
2021-07-01 cs.LG stat.ML
Unifying Approaches in Active Learning and Active Sampling via Fisher Information and Information-Theoretic Quantities
University of Oxford(牛津大学)
最近提出的数据子集选择方法,即主动学习和主动采样,使用Fisher信息,Hessians,基于梯度的相似性矩阵和梯度长度来估计数据对于模型训练的信息量。这些不同的方法是否有联系,如果有,是如何联系的?我们重新审视贝叶斯最优实验设计的基本原理,并表明这些最近提出的方法可以被理解为近似的信息理论量:其中,预测和模型参数之间的互信息,称为预期信息增益或BALD在机器学习,和收购候选人和测试样本的预测之间的互信息,称为预期预测信息增益。我们开发了一套全面的近似使用Fisher信息和观察到的信息,并得出一个统一的框架,连接看似不同的文献。虽然贝叶斯方法通常被视为独立于非贝叶斯方法,但在各种非贝叶斯目标中表达的有时模糊的“信息量”概念导致了相同的信息量,原则上,Lindley(1956)和MacKay(1992)已经知道了。
2022-11-06 cs.AI cs.IR cs.IT
ANALYTiC: Understanding Decision Boundaries and Dimensionality Reduction in Machine Learning
Memorial University of Newfoundland and Labrador(纽芬兰与拉布拉多纪念大学)
本文提出 ANALYTiC 方法,将降维与决策边界结合主动学习,在三个轨迹数据集上提升轨迹语义标注的效率和可解释性。
2023-12-29 cs.AI cs.IR cs.LG
Active Uncertainty Reduction for Safe and Efficient Interaction Planning: A Shielding-Aware Dual Control Approach
Princeton University(普林斯顿大学);Honda Research Institute(本田研究院)
本文提出一种基于隐式双控制和采样近似随机动态规划的交互式运动规划方法,结合改进的屏蔽感知鲁棒规划,在连续与类别不确定性下主动消减不确定性并保障安全,通过仿真和1/10比例自动驾驶车辆硬件实验验证其有效性。
2023-11-01 cs.LG cs.RO cs.SY
Information-Theoretic Active Learning for Content-Based Image Retrieval
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
我们提出了信息理论主动学习(ITAL),一种新的批处理模式的主动学习方法的二进制分类,并将其应用于获取有意义的用户反馈的背景下,基于内容的图像检索。我们的方法不是结合诸如不确定性、多样性或密度等不同的特征,而是基于最大化图像的预测相关性与关于所选批次的预期用户反馈之间的互信息。我们提出了合适的近似计算要求的问题,也整合了一个明确的用户行为模型,占可能不正确的标签和不可命名的实例。此外,我们的方法不仅考虑了数据的结构,而且还考虑了用户反馈引起的预期模型输出变化。与其他方法相比,ITAL具有高度灵活性,并在各种数据集(如MIRFLICKR和ImageNet)上提供最先进的性能。
2019-03-19 cs.CV cs.IR cs.LG
Learning a Policy for Opportunistic Active Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
主动学习识别要标记的数据点,这些数据点预计对改进监督模型最有用。启发式主动学习将主动学习结合到交互任务中,该交互任务在交互期间约束可能的查询。先前的工作已经表明,机会主义主动学习可以用于改善交互式对象检索任务中的自然语言描述的基础。在这项工作中,我们使用强化学习这样的对象检索任务,学习一个政策,有效地权衡任务完成与模型改进,将有利于未来的任务。
2018-08-29 cs.AI cs.CL cs.CV