Amortized Inference of Variational Bounds for Learning Noisy-OR
University of Southern California（南加州大学）；Google Research（谷歌研究院）
近似推理的经典方法依赖于巧妙设计的变分分布和边界。现代方法采用摊销变分推理，其使用神经网络来近似任何后验，而不利用生成模型的结构。在本文中，我们提出了摊销共轭后验（ACP），一种混合的方法，利用这两种类型的方法。具体来说，我们使用经典的方法来推导特定形式的后验分布，然后使用摊销推理学习变分参数。我们研究了所提出的方法的有效性上的噪声或模型和比较的古典和现代的近似推理和参数学习的方法。我们的研究结果表明，该方法优于或与其他方法持平。
2019-10-09 cs.LG stat.ML
Boosting Classifiers with Noisy Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Western Digital Research（西部数据研究院）；Technion–Israel Institute of Technology（以色列理工学院）
我们提出了一个原则性的框架，以解决资源分配实现提升算法与通信或计算噪声基板。增强分类器（例如，AdaBoost）通过对多个基本分类器（弱分类器）的输出进行加权投票来做出最终决策。假设基本分类器的输出是有噪声的或在有噪声的信道上通信;这些有噪声的输出将降低最终的分类精度。我们表明，这种退化可以有效地减少分配更多的系统资源，更重要的基础分类。我们制定资源优化问题的重要性指标的提升。此外，我们表明，优化的噪声提升分类器可以更强大的比装袋的噪声在推理（测试阶段）。我们提供了数字证据来证明我们的方法的好处。
2020-10-27 cs.LG stat.ML
Hide and Seek in Noise Labels: Noise-Robust Collaborative Active Learning with LLM-Powered Assistance
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
提出基于主动学习的协作框架NoiseAL，结合大模型与小模型，通过动态阈值策略划分子集并利用LLM纠正噪声标签，有效提升噪声标签学习的鲁棒性。
2025-04-03 cs.AI cs.LG
FINDER: Feature Inference on Noisy Datasets using Eigenspace Residuals
Boston University（波士顿大学）；Imperial College London（伦敦帝国学院）
FINDER利用随机分析和特征空间残差，为噪声数据集提供分类框架，在阿尔茨海默病分期和森林砍伐检测上取得突破。
2025-10-22 cs.CV cs.LG cs.NA
Active Imitation Learning with Noisy Guidance
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
模仿学习算法通过学习接近最优的搜索策略，在许多结构化预测任务上提供最先进的结果。这样的算法假设训练时间访问专家，可以在任何查询状态下提供最佳动作;不幸的是，这样的查询的数量往往是禁止的，经常使这些方法不切实际。为了对抗这种查询的复杂性，我们考虑一个主动学习设置中，学习算法有额外的访问一个便宜得多的嘈杂启发式，提供嘈杂的指导。我们的算法，LEAQI，学习一个差异分类器，预测当专家可能不同意的启发式，并询问专家只有在必要的时候。我们将LEAQI应用于三个序列标签任务，展示了对专家的查询显着减少，并且与被动方法相比具有相当（或更好）的准确性。
2020-05-26 cs.AI cs.CL cs.LG
Near-optimal Bayesian Active Learning with Correlated and Noisy Tests
ETH Zurich（苏黎世联邦理工学院）
我们考虑贝叶斯主动学习和实验设计问题，其目标是通过一系列信息丰富的噪声测试来学习一些未知目标变量的值。与以前的工作相比，我们专注于具有挑战性的，但实际相关的设置，测试结果可以有条件地依赖于给定的隐藏目标变量。在这样的假设下，常见的检验学，如最大限度地减少目标的不确定性的grenesty执行测试，往往表现不佳。在本文中，我们提出了ECED，一种新的，计算效率高的主动学习算法，并证明了强有力的理论保证，相关的，嘈杂的测试。ECED不是直接优化预测误差，而是在每一步中选择最大化代理目标增益的测试，这考虑了测试之间的依赖性。我们的分析依赖于一个信息理论的辅助功能，以跟踪ECED的进展，并利用自适应子模块，以达到近最优的界限。我们展示了强大的实证表现ECED两个问题的情况下，包括贝叶斯实验设计任务，旨在区分人们如何做出风险决策的经济理论，和一个积极的偏好学习任务，通过成对比较。
2016-07-11 cs.AI cs.LG
Near-Optimal Bayesian Active Learning with Noisy Observations
Caltech（加州理工学院）
我们解决了贝叶斯主动学习与噪声的基本问题，我们需要自适应地选择从一些昂贵的测试，以确定一个未知的假设采样从已知的先验分布。在无噪声观测的情况下，称为广义二进制搜索（GBS）的贪心算法被称为执行接近最优。我们表明，如果观察是嘈杂的，也许令人惊讶的是，GBS可以执行非常差。我们开发了EC2，一种新的，贪婪的主动学习算法，并证明了它是竞争的最优策略，从而获得第一竞争力保证贝叶斯主动学习与噪声观测。我们的界限依赖于最近发现的收益递减属性称为自适应次模块化，推广的经典概念的次模块集函数的自适应政策。即使测试具有非均匀成本并且它们的噪声是相关的，我们的结果也成立。我们还提出了EffECXtive，一个特别快的近似EC2，并评估它的贝叶斯实验设计问题，涉及人类受试者，旨在梳理除了竞争的经济理论，人们如何在不确定性下作出决定。
2013-12-16 cs.AI cs.DS cs.LG
Active Diagnosis via AUC Maximization: An Efficient Approach for Multiple Fault Identification in Large Scale, Noisy Networks
University of Michigan（密歇根大学）；University of Texas Medical Branch（德克萨斯大学医学部）；Institute for Translational Sciences（转化科学研究所）；Electrical Engineering and Computer Science（电气工程与计算机科学学院）
主动诊断的问题出现在诸如疾病诊断和计算机网络中的故障诊断的若干应用中，其中目标是快速识别一组对象的二进制状态（例如，故障或工作）通过顺序地选择和观察对二进制值查询的（噪声）响应。目前在这方面的算法依赖于循环的信念传播主动查询选择。这些算法具有指数级的时间复杂度，这使得它们在大型网络中变得缓慢甚至难以处理。我们提出了一个基于排名的贪心算法，顺序选择查询，使基于排名的输出的ROC曲线下的面积最大化。AUC准则允许我们做出一个简化的假设，显著降低了主动查询选择的复杂性（从指数到接近二次），而对性能质量几乎没有影响。
2012-02-14 cs.AI cs.LG stat.ML
Improve Cost Efficiency of Active Learning over Noisy Dataset
Kwansei Gakuin University（关西学院大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
针对二分类中正例标注成本高昂且数据含噪的问题，提出平移正态分布采样函数，以比不确定性采样更宽的范围采样，减少噪声标签和正标签选择，并在多个数据集上提升20%至32%的成本效率。
2024-03-02 cs.LG
Improved active output selection strategy for noisy environments
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Institute of Automotive Technology Dresden（德累斯顿汽车技术研究所）
利用测试设计的主动学习方法可以减少基于模型的校准所需的测试台时间。本文提出了一种改进的主动输出选择策略。这是在相同输入维度中学习多个模型的任务，适合校准任务的需要。与现有的策略相比，我们考虑到噪声估计，这是固有的高斯过程。三个不同的玩具的例子，该方法进行了验证。在每个示例中，与现有最佳策略相比的性能相同或更好。在最好的情况下，与所有其他主动或被动策略相比，新策略至少需要减少10%的测量。进一步的努力将评估该战略在现实世界中的应用。此外，将实现更复杂的主动学习策略的查询放置。
2021-01-10 cs.LG stat.ML
Noisy Natural Gradient as Variational Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。不幸的是，在廉价但简单的变分族（例如~完全因式分解的）或昂贵且复杂的推理过程。我们表明，自然梯度上升与自适应权重噪声隐式地适合变分后验最大化的证据下限（ELBO）。这种见解使我们能够分别使用自然梯度、Adam和K-FAC的噪声版本来训练全协方差、全因子分解或矩阵变量高斯变分后验，从而可以扩展到现代规模的ConvNets。在标准回归基准上，我们的噪声K-FAC算法比现有方法更好地预测和匹配Hamilton Monte Carlo的预测方差。其改进的不确定性估计导致主动学习中更有效的探索，以及强化学习的内在动机。
2018-02-26 cs.LG stat.ML
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；AItrics
大规模数据集可能包含相当大比例的噪声（不正确）类标签，并且众所周知，现代深度神经网络（DNN）很难从这种噪声训练数据集进行泛化。为了缓解这个问题，我们提出了一种新的推理方法，称为鲁棒生成分类器（RoG），适用于任何有区别的（例如，softmax）在噪声数据集上预训练的神经分类器。特别是，我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器，以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数，我们显着提高了分类精度，而无需重新训练深度模型，也无需改变其架构。假设特征为高斯分布，我们证明了RoG在噪声标签下比基线更好地推广。最后，我们提出了RoG的集成版本，通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性，给出了通过多种训练技术优化的不同学习模型，以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology（罗切斯特理工学院成像科学中心）；University of Aberdeen（阿伯丁大学）；Biomedical Engineering, Rochester Institute of Technology（罗切斯特理工学院生物医学工程系）
本文提出结合LNL与主动学习的两阶段标签精炼框架，引入梯度方差采样少数类，在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
Machine learning of network inference enhancement from noisy measurements
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
本文提出一种模型无关的机器学习框架，通过纠正噪声样本导致的参数更新偏差，显著提升基于模型与无模型的网络推断方法在非线性动力学、演化博弈和流行病传播等现实场景中的性能。
2024-05-05 cs.LG cs.SI
Efficient Bayesian Inference from Noisy Pairwise Comparisons
ETH Zurich, Switzerland（苏黎世联邦理工学院）
本文提出BBQ模型，通过贝叶斯方法处理噪声成对比较数据，改进了传统Bradley-Terry方法，提供更稳健和可解释的排名结果。
2026-05-12 cs.CV cs.LG
Statistical Inferences of Linear Forms for Noisy Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；Columbia University（哥伦比亚大学）
我们引入了一个灵活的框架，使一般线性型的大型矩阵的基础上，其条目的子集的噪声观测的推断。特别地，在弱正则性条件下，只要矩阵的入口一致估计可用，通过双样本去偏和低秩投影，我们给出了一个构造其线性型的渐近正态估计的通用方法.这些估计量允许我们随后构造置信区间，并检验关于线性型的假设。我们的建议是出于仔细的扰动分析的经验奇异空间下的噪声矩阵完成模型，这可能是独立的利益。我们提出的推理过程的实际优点都表现在模拟和现实世界的数据例子。
2020-06-11 cs.IT cs.LG math.IT
Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis
Waseda University（早稻田大学）
本文通过信息论框架将基于池的主动学习视为噪声性有损压缩问题，推导出标签复杂性和泛化误差的理论下界，为该领域提供了新的理论视角。
2026-02-05 cs.IT cs.LG math.IT
Noisy Neighbors: Efficient membership inference attacks against LLMs
Scuola Normale Superiore（比萨高等师范学校）；Meta Inc.（元公司）
针对大语言模型的隐私风险评估需求，提出一种仅需模型推理、通过嵌入空间加噪生成噪声邻居的高效成员推断攻击方法，效果媲美影子模型方法，适用于实际隐私审计。
2024-06-24 cs.CR cs.LG
Approximate Inference in Structured Instances with Noisy Categorical Observations
University of Waterloo（滑铁卢大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了在噪声观测存在的情况下，恢复具有分类随机变量的结构化实例的潜在地面真值标记的问题。我们提出了一个新的近似算法，实现低汉明误差的存在噪声的顶点和边的观察与分类变量的图。我们的主要结果表明，对数依赖的汉明误差的类别的随机变量的数量。我们的方法与具有固定数量的聚类的相关聚类相连接。我们的研究结果将Globerson et al.（2015）和Foster et al.（2018）的工作推广到了分类标签的情况，他们研究了二元标签下结构化预测的难度。
2019-07-06 cs.DS cs.LG stat.ML
Beyond Perturbation Stability: LP Recovery Guarantees for MAP Inference on Noisy Stable Instances
MIT（麻省理工学院）；Northwestern University（西北大学）
一些工作已经表明，扰动稳定的情况下，波茨模型的MAP推理问题，可以精确地解决使用自然的线性规划（LP）松弛。然而，大多数这些作品给很少（或没有）的LP解决方案的情况下，不满足相对严格的扰动稳定性定义的保证。在这项工作中，我们超越这些稳定性的结果表明，LP近似恢复MAP解决方案的一个稳定的实例，即使在该实例被噪声破坏。这种“嘈杂的稳定”模型实际上符合实际的MAP推理问题：我们设计了一个算法，寻找“接近”稳定的实例，并表明，从计算机视觉的几个现实世界的实例有附近的扰动稳定的实例。这些结果为LP弛豫在实际中的优异性能提供了新的理论解释。
2021-02-26 cs.LG stat.ML
Training Recurrent Neural Networks against Noisy Computations during Inference
Western Digital Research（西部数据研究院）
我们探讨了当网络中的计算是有噪声的时候，循环神经网络的鲁棒性。研究这个问题的动机之一是通过使用模拟神经形态电路来降低神经网络操作的传统计算的高功率成本。传统的以GPU/CPU为中心的深度学习架构在功耗受限的应用中表现出瓶颈，例如嵌入式系统中的语音识别。使用专门的神经形态电路，其中通过存储器单元阵列的模拟信号被感测以完成矩阵向量乘法，承诺大的功率节省和速度增益，但带来了有限的计算精度和不可避免的模拟噪声的问题。在本文中，我们提出了一种称为{ \em Deep Noise Injection training}的方法，用于训练RNN以获得一组权重/偏差，这些权重/偏差在推理过程中对噪声计算更具鲁棒性。我们探索了几种RNN架构，如香草RNN和长短期记忆（LSTM），并表明在深度噪声注入训练收敛后，训练的权重/偏差集在推理过程中进入网络的各种噪声功率范围内具有更一致的性能。令人惊讶的是，我们发现深度噪声注入训练提高了某些网络的整体性能，即使是在数字精确的推理方面。
2018-07-17 cs.LG stat.ML
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
我们考虑贝叶斯推断时，只有有限数量的噪声对数似然评价可以得到。例如，当将复杂的基于模拟器的统计模型拟合到数据时，会发生这种情况，并且使用合成似然（SL）方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题，其中的对数似然函数建模与分层高斯过程（GP）代理模型，这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机，我们开发了各种批量顺序的设计策略，允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明，我们的方法是强大的，高度并行化，样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）；California Institute of Technology（加州理工学院）
在异质等级聚合问题中，用户在比较项目对时往往表现出不同的准确度水平。因此，对用户的统一查询策略可能不是最佳的。为了解决这个问题，我们提出了一个基于淘汰的主动抽样策略，估计排名的项目，通过嘈杂的成对比较，从用户和提高用户的平均精度，通过保持一个活跃的用户集。我们证明了我们的算法可以返回的真实排名的项目以高概率。我们还提供了一个样本的复杂性界所提出的算法，这是优于文献中的非主动策略。实验表明，所提出的方法的经验优势，在国家的最先进的基线。
2021-10-08 cs.LG
Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples
Clova AI Research, NAVER Corp.（NAVER公司Clova人工智能研究院）；Search Solution Inc.（搜索解决方案公司）；Seoul National University（首尔大学）
为大型语音语料库标注译文的成本成为最大限度地享受基于深度神经网络的自动语音识别模型的潜在能力的瓶颈。在本文中，我们提出了一种新的训练管道，以提高传统的主动学习方法的目标是标签有效的学习，以解决上述问题。现有的主动学习方法只关注在标签预算下选择一组信息样本。更进一步，我们建议通过利用未标记的样本，超过标记预算，通过引入有效地补充监督损失的可配置的无监督损失，可以进一步提高训练效率。我们提出了新的无监督损失的一致性正则化的基础上，我们配置适当的增强技术的话语采用一致性正则化的自动语音识别任务。通过对真实世界数据集和真实使用场景的定性和定量实验，我们证明了所提出的训练管道可以提高主动学习方法的有效性，从而成功地降低了可持续的人工标记成本。
2020-11-05 cs.LG eess.AS
A Training and Inference Strategy Using Noisy and Enhanced Speech as Target for Speech Enhancement without Clean Speech
North Co., Ltd.（北方有限公司）；Academia Sinica（中央研究院）
针对纯净语音缺乏导致训练准则与评估指标不匹配的问题，提出一种改进含噪目标训练（NyTT）的训练与推理策略，通过重新混合教师模型估计的语音和噪声来训练学生模型，实验证明该方法优于多个基线，尤其在教师/学生推理中表现突出。
2023-05-22 cs.AI cs.CL cs.LG
RANA: Robust Active Learning for Noisy Network Alignment
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院）
针对网络对齐中常被忽视的结构与标签噪声问题，提出鲁棒主动学习框架RANA，通过设计噪声感知选择模块与多源融合标签去噪模块，有效应对噪声及锚点链接稀疏性，显著提升了对齐准确率。
2025-08-08 cs.LG
Active Learning for Noisy Data Streams Using Weak and Strong Labelers
Delft University of Technology（代尔夫特理工大学）
在机器学习中，正确标记数据是一项昂贵且具有挑战性的任务，特别是对于在线数据流。深度学习模型尤其需要大量干净的标记数据，这在现实世界的问题中是很难获得的。选择有用的数据样本进行标记，同时最大限度地降低标记成本，对于保持训练过程的效率至关重要。当面对多个贴标机具有不同的专业知识和各自的标签成本，决定选择哪个贴标机是不平凡的。在本文中，我们考虑了一种新的弱和强标签问题的启发，人类的自然能力的标签，在存在的数据流与噪声标签和有限的预算约束。我们提出了一个在线的主动学习算法，包括四个步骤：过滤，增加多样性，信息样本选择，标签选择。我们的目标是过滤掉可疑的噪音样本，并以具有成本效益的方式使用强标记器和弱标记器将预算用于各种信息数据。我们推导出一个决策函数，通过结合个体样本的信息量和模型置信度来衡量信息增益。我们评估我们提出的算法上著名的图像分类数据集CIFAR10和CIFAR100高达60%的噪声。实验表明，通过智能地决定查询哪个标签，我们的算法保持相同的准确性相比，只有一个可用的标签，而花费较少的预算的情况下。
2020-10-27 cs.LG
Noisy Computations during Inference: Harmful or Helpful?
我们研究了两个方面的噪声计算过程中的推理。第一个方面是如何减轻它们对自然训练的深度学习系统的副作用。研究这个问题的动机之一是通过使用模拟神经形态电路来降低神经网络的传统计算的高功率成本。传统的以GPU/CPU为中心的深度学习架构在功率受限的应用中表现出瓶颈（例如，嵌入式系统）。使用专门的神经形态电路，其中通过存储器单元阵列的模拟信号被感测以完成矩阵向量乘法，承诺大的功率节省和速度增益，但带来了有限的计算精度和不可避免的模拟噪声的问题。我们设法提高推理准确率从21.1%到99.5%的MNIST图像，从29.9%到89.1%的CIFAR 10，从15.5%到89.6%的MNIST中风序列与强噪声的存在下（信噪比为0 dB）通过噪声注入训练和投票方法。这一观察结果表明，神经网络对推理噪声不敏感，这降低了对神经形态电路的质量要求，对它们的实际使用至关重要。第二个方面是如何利用噪声推理作为一种防御体系结构，以抵御黑盒对抗攻击。在推理过程中，通过向神经网络中的信号注入适当的噪声，对抗性训练的神经网络对黑盒攻击的鲁棒性进一步提高了0.5%和1.13%，分别为MNIST和CIFAR 10的两个对抗性训练模型。
2018-11-26 cs.CR cs.CV cs.LG
Model-free inference of unseen attractors: Reconstructing phase space features from a single noisy trajectory using reservoir computing
Instituto de Física Interdisciplinar y Sistemas Complejos, IFISC (CSIC-UIB)（跨学科物理与复杂系统研究所 (IFISC (CSIC-UIB))）；The University of Tokyo（东京大学）；The Ohio State University（俄亥俄州立大学）；ResCon Technologies, LLC（ResCon Technologies公司）
水库计算机是混沌时间序列预测的有力工具。它们可以被训练成近似相空间流，因此可以高精度地预测未来的值，以及在不需要模型的情况下重建混沌吸引子的一般属性。在这项工作中，我们证明了学习复杂系统动力学的能力可以扩展到具有共存吸引子的系统，这里是著名的Lorenz混沌系统的4维扩展。我们证明了水库计算机可以推断出相空间的完全未探索的部分：一个适当训练的水库计算机可以预测吸引子的存在，这些吸引子在训练过程中从未接近过，因此被标记为看不见的。我们提供的例子中，吸引子推理是在训练后实现的一个单一的嘈杂的轨迹。
2021-10-01 cs.LG nlin.AO
Geometry of Friston's active inference
Araya Inc.（荒谷公司）
我们重建了卡尔弗里斯顿的积极推理，并给出了它的几何解释。
2018-11-20 cs.AI cs.LG
Deep Active Inference as Variational Policy Gradients
University of Edinburgh（爱丁堡大学）
主动推理是一种源自神经科学的行动理论，它将行动和规划视为一个贝叶斯推理问题，通过最小化单个量（变分自由能）来解决。主动推理承诺一个统一的行动和感知的帐户，加上生物学上合理的过程理论。尽管有这些潜在的优势，当前的主动推理实现只能处理小的、离散的策略和状态空间，并且通常需要知道环境动态。在本文中，我们提出了一种新的深度主动推理算法，该算法使用深度神经网络作为灵活的函数逼近器来近似密钥密度，这使得主动推理能够扩展到更大和更复杂的任务。我们在一套OpenAIGym基准测试任务上展示了我们的方法，并获得了与常见强化学习基线相当的性能。此外，我们的算法显示出与最大熵强化学习和策略梯度算法的相似性，这揭示了主动推理框架和强化学习之间有趣的联系。
2019-07-08 cs.LG cs.NE
Variational Bayesian Monte Carlo with Noisy Likelihoods
Department of Basic Neuroscience, University of Geneva（日内瓦大学基础神经科学系）
变分贝叶斯蒙特卡罗（VBMC）是最近引入的框架，其使用高斯过程代理在具有黑盒、非廉价似然的模型中执行近似贝叶斯推断。在这项工作中，我们扩展VBMC来处理噪声对数似然评估，如那些基于模拟的模型。我们引入了新的“全球”采集功能，如预期的信息增益（EIG）和变分位数范围（VIQR），这是强大的噪声，可以有效地评估内的VBMC设置。在一个新颖的，具有挑战性的，噪声推理基准，包括各种模型与来自计算和认知神经科学的真实数据集，VBMC+VIQR实现了最先进的性能恢复地面真理后验和模型证据。特别是，我们的方法大大优于“本地”采集功能和其他代理为基础的推理方法，同时保持一个小的算法成本。我们的基准测试证实了VBMC作为一种通用的技术，用于样本高效的黑盒贝叶斯推断，也与噪声模型。
2020-10-19 cs.LG q-bio.NC q-bio.QM
Deep Active Learning with Noisy Oracle in Object Detection
University of Wuppertal（伍珀塔尔大学）；Technical University of Berlin（柏林工业大学）
针对主动学习中标注预言机存在噪声的问题，提出含标签审查模块的复合目标检测框架，在同等标注预算下最高提升 4.5 mAP。
2023-09-30 cs.CV cs.LG
Differentially private inference via noisy optimization
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
该研究提出基于优化的差分隐私M估计计算框架与隐私置信域构建方法，结合稳健统计与噪声优化得到具收敛保证的最优隐私估计量，还构建了隐私渐近方差估计用于参数推断，经偏差校正提升了小样本性能。
2023-12-13 cs.CR cs.LG math.ST
Active Inference or Control as Inference? A Unifying View
RWTH Aachen University（亚琛工业大学）；Technical University Darmstadt（达姆施塔特工业大学）
主动推理（Active Inference，AI）是计算神经科学的一个有说服力的理论框架，旨在将动作和感知描述为基于推理的计算。然而，这个框架还没有提供实用的感觉运动控制算法，与其他方法竞争。在这项工作中，我们框架主动推理通过镜头的控制推理（CaI），身体的工作，提出了轨迹优化的推理。从“概率数值”的更广泛的角度来看，CaI提供了原则性的，数值上鲁棒的最优控制求解器，提供不确定性量化，并可以扩展到近似推理的非线性问题。我们表明，人工智能可以被框定为部分观察到的CaI时，成本函数被定义为具体的观察状态。
2020-10-01 cs.LG stat.ML
Variational hybridization and transformation for large inaccurate noisy-or networks
Baidu Research（百度研究院）
变分推理为贝叶斯网络中难以计算的后验分布提供了近似。噪声或贝叶斯网络的一个突出的医学应用是根据观察到的症状来推断潜在的疾病。以往的研究主要集中在用变分变换来近似少数复杂的病理情况。我们的目标是使用变分变换作为一种新的混合推理的一部分，在网络规模上提供可靠和实时的诊断。我们提出了一种混合推理，允许变分参数估计没有疾病后验或先验，使推理速度更快，其计算可回收。此外，我们提出了一个转换排名算法，是非常稳定的网络先验概率，在贝叶斯网络的医疗应用中出现的一个常见问题的大方差。在实验中，我们对一个大型的现实生活中的医疗网络进行了比较研究，并对一个更大的（36，000倍）合成网络进行了可扩展性研究。
2016-05-20 cs.AI cs.LG stat.ML
Amortized Noisy Channel Neural Machine Translation
New York University（纽约大学）；Genentech（基因泰克）；CIFAR（加拿大高等研究院）
噪声信道模型在神经机器翻译（NMT）中特别有效。然而，最近的方法，如“束搜索和重新排序”（BSR）在推理过程中产生显着的计算开销，使现实世界的应用不可行。我们的目标是研究是否有可能建立一个摊销的噪声信道NMT模型，使得当我们在推理过程中进行贪心解码时，翻译准确度在奖励（基于源到目标的日志概率和目标到源的日志概率）和质量（基于BLEU和BLEURT）方面与BSR相匹配。我们尝试了三种训练新模型的方法：知识蒸馏、一步偏差模仿学习和Q学习。第一种方法从伪语料库中获取有噪信道信号，后两种方法旨在直接优化有噪信道MT奖励。对于所有三种方法，生成的翻译都无法获得与BSR相当的回报，但BLEU和BLEURT近似的翻译质量与BSR生成的翻译质量相似。此外，这三种方法都将推理速度提高了1-2个数量级。
2022-07-18 cs.CL cs.LG
Interpretable Graph Convolutional Neural Networks for Inference on Noisy Knowledge Graphs
BenevolentAI（仁爱AI）
在这项工作中，我们提供了一个新的配方图卷积神经网络（GCNN）的链接预测的图形数据，解决了生物医学知识图谱（KG）的共同挑战。我们将正则化的注意力机制引入GCNN，不仅提高了干净数据集的性能，而且还有利地适应KG中的噪声，这是现实世界应用中普遍存在的问题。此外，我们探索了可解释建模的新可视化方法，并说明了如何利用学习的表示来自动化数据集去噪。结果显示在一个合成数据集，共同的基准数据集FB 15 k-237，和一个大型的生物医学知识图谱来自噪声和干净的数据源的组合。使用这些改进，我们可视化了一个学习模型的疾病囊性纤维化的代表性，并演示了如何询问神经网络，以显示PPARG作为类风湿性关节炎的候选治疗靶点的潜力。
2018-12-01 cs.LG stat.ML
Prior Preference Learning from Experts:Designing a Reward with Active Inference
POSTECH（浦项工科大学）
主动推理可以被定义为用代理的生物学上合理的模型对大脑进行贝叶斯建模。它的基本思想依赖于自由能原理和代理人的优先偏好。智能体将选择一个导致其对未来观察的优先偏好的动作。在本文中，我们声称，主动推理可以解释使用强化学习（RL）算法，并找到它们之间的理论联系。本文推广了主动推理中的核心量--期望自由能的概念，并指出期望自由能可以看作是一个负的价值函数。受先验偏好概念和理论联系的启发，我们提出了一种简单但新颖的方法，用于从专家那里学习先验偏好。这说明了逆RL的问题可以用主动推理的新视角来处理。先验偏好学习的实验结果显示了基于EFE的奖励的主动推理的可能性及其在逆向RL问题中的应用。
2021-12-13 cs.LG
Active Inference Meeting Energy-Efficient Control of Parallel and Identical Machines
Politecnico di Milano（米兰理工学院）；Rutgers University（罗格斯大学）
本研究将主动推理应用于制造系统节能控制，通过深度主动推理智能体控制并行同型机器，引入多步转移和混合视野方法应对随机性与延迟，实验验证了其有效性。
2024-11-13 cs.AI cs.LG
Inference and Uncertainty Quantification for Noisy Matrix Completion
Princeton University（普林斯顿大学）
噪声矩阵完备化的目的是估计一个低秩矩阵，只有部分和损坏的条目。尽管在设计有效的估计算法方面取得了实质性进展，但在很大程度上仍然不清楚如何评估所获得的估计的不确定性以及如何对未知矩阵（例如，为看不见的条目构造有效且短的置信区间）。本文采取了一个步骤的推理和不确定性量化噪声矩阵完成。我们开发了一个简单的程序来补偿广泛使用的凸和非凸估计的偏差。由此产生的去偏估计承认几乎精确的非渐近分布特征，这反过来又使置信区间\，/\，区域的最佳建设，说，丢失的条目和低秩的因素。我们的推理过程不依赖于样本分割，从而避免了不必要的数据效率损失。作为一个副产品，我们得到了我们的去偏估计，这是据我们所知，是第一个易于处理的算法，可证明达到充分的统计效率（包括preconstant）的估计精度的尖锐表征。本文的分析建立在凸优化和非凸优化之间的密切联系之上--这是\cite{chen2019noisy}最近发现的一个有吸引力的特征。
2019-11-14 cs.IT cs.LG eess.SP
Learning Perception and Planning with Deep Active Inference
Ghent University - imec（根特大学-imec）
主动推理是大脑的一种过程理论，它指出所有生物体都推断行动，以最大限度地减少其（预期）自由能。然而，目前的实验仅限于预定义的，往往是离散的，状态空间。在本文中，我们使用深度学习的最新进展来学习状态空间并近似必要的概率分布以进行主动推理。
2020-02-24 cs.AI cs.LG stat.ML
Variational Rectification Inference for Learning with Noisy Labels
本文提出变分校正推断（VRI），将损失函数的自适应校正建模为变分推断问题，在元学习框架下推导证据下界。通过将校正向量作为隐变量，利用额外的随机正则化提升对噪声标签的鲁棒性，并通过元网络近似后验分布，避免模型崩溃，提高泛化性能。
2026-03-18 cs.LG
Deep Active Inference for Autonomous Robot Navigation
IDLab, Department of Information Technology（信息技术系IDLab）
主动推理是一种支持生物主体在现实世界中感知和行动的理论。主动推理的核心是基于大脑是一个近似贝叶斯推理引擎的原则，建立一个内部生成模型，以驱动代理实现最小的惊喜。虽然这一理论已经在认知神经科学的基础上显示出有趣的结果，但它的应用仍然局限于小的、预定义的传感器和状态空间的模拟。在本文中，我们利用深度学习的最新进展来构建更复杂的生成模型，这些模型可以在没有预定义状态空间的情况下工作。状态表示是从真实世界的高维感知数据（如摄像机帧）中端到端学习的。我们还表明，这些生成模型可以用来从事积极的推理。据我们所知，这是深度主动推理在现实世界机器人导航任务中的首次应用。
2020-03-06 cs.AI cs.LG
QActor: On-line Active Learning for Noisy Labeled Stream Data
TU Delft（代尔夫特理工大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ABB Future Labs（ABB未来实验室）
对于不断发布在网络和社交媒体上的自我生成内容来说，嘈杂的标记数据更像是一种常态，而不是罕见的。由于隐私问题和政府法规，这样的数据流只能在有限的时间内存储和用于学习目的。为了克服这种在线情况下的噪声，我们提出了QActor，它结合了：通过质量模型选择理应干净的样本，并积极查询最翔实的真实标签的预言。虽然前者可能受到在线场景数据量低的影响，但后者受到人类专家可用性和成本的限制。QActor迅速结合了数据过滤质量模型和Oracle查询的优点，以清理信息量最大的数据。QActor的目标是利用严格的Oracle预算来最大限度地提高学习精度。QActor探索了结合不同查询分配和不确定性度量的各种策略。QActor的一个核心特性是根据每个数据批次的学习损失动态调整查询限制。我们广泛评估了输入分类器的不同图像数据集，这些数据集可以是标准的机器学习（ML）模型或深度神经网络（DNN），噪声标签比率在30%到80%之间。我们的研究结果表明，QActor几乎可以匹配仅使用干净数据实现的最佳准确度，其代价是最多额外增加6%的oracle地面真实数据。
2020-01-28 cs.LG stat.ML
Active Inference and Human--Computer Interaction
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
本文回顾了主动推理在人机交互中的应用，提出将其作为建模交互回路的连贯框架，为行为解释、概念测量及复杂系统设计提供新工具，并探讨了实现挑战。
2024-12-19 cs.HC cs.LG
Solving High-dimensional Inverse Problems Using Amortized Likelihood-free Inference with Noisy and Incomplete Data
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出基于归一化流的无似然概率反演方法，通过摘要网络与推断网络协同工作，在高维地下水反问题中以706个自由度准确估计参数后验分布，推断时间显著少于PEST-IES。
2024-12-26 cs.LG
Active Inference for Stochastic Control
IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什研究学院）；IIT Bombay（印度理工学院孟买分校）；Monash University（莫纳什大学）；UCL（伦敦大学学院）；CIFAR（加拿大高等研究院）
主动推理由于其直观的（概率的）形式主义而成为控制问题的一种替代方法。然而，尽管它的理论效用，计算实现在很大程度上被限制在低维，确定性的设置。本文强调，这是无法充分模拟随机过渡动态的后果，特别是当一个广泛的政策（即，动作轨迹）空间必须在规划期间进行评估。幸运的是，最近的进展提出了一个修改的规划算法有限的时间范围。我们在这项工作的基础上，评估随机控制设置的主动推理的效用。为此，我们模拟了经典的多风网格世界任务，增加了复杂性，即：1）环境随机性; 2）过渡动力学的学习; 3）部分可观测性。我们的研究结果表明，使用主动推理的优势，相比强化学习，在确定性和随机设置。
2021-08-27 cs.LG
Realising Active Inference in Variational Message Passing: the Outcome-blind Certainty Seeker
University of Kent（肯特大学）；University of Birmingham（伯明翰大学）
主动推理是神经科学中最先进的框架，提供了大脑功能的统一理论。它也被提议作为AI规划的框架。不幸的是，创建新模型所需的复杂数学可能会阻碍主动推理在神经科学和人工智能研究中的应用。本文解决了这个问题，提供了一个完整的数学处理的主动推理框架-在离散时间和状态空间-和任何新的模型的更新方程的推导。我们利用积极推理和变分信息传递之间的理论联系，如约翰·韦恩和克里斯托弗·M。2005年，主教。由于变分消息传递是一个定义明确的方法，推导贝叶斯信念更新方程，本文打开了大门，先进的生成模型的主动推理。我们表明，使用一个完全因式分解的变分分布简化了预期的自由能--这使先验的政策--使代理寻求明确的状态。最后，我们考虑未来的扩展，支持深度树搜索顺序策略优化-基于结构学习和信念传播。
2021-04-23 cs.LG cs.NE
Quantifying Uncertainty in Space Debris Capture with Active Tether-Net Systems Caused by Noisy Observations
Department of Mechanical and Aerospace Engineering, AIAA Student Member（机械与航空航天工程系，AIAA学生会员）；Department of Mechanical and Aerospace Engineering, AIAA Member（机械与航空航天工程系，AIAA会员）；Department of Mechanical and Aerospace Engineering, AIAA Senior Member（机械与航空航天工程系，AIAA高级会员）
针对主动绳网系统捕获空间碎片时因噪声观测导致的不确定性，提出基于Sobol方差分析和扰动法的量化框架，评估捕获质量指数的不确定性。
2026-05-26 cs.LG cs.SY eess.SY
Let Me At Least Learn What You Really Like: Dealing With Noisy Humans When Learning Preferences
学习人类的偏好提高了与人类交互的质量。可用于学习偏好的查询数量可能有限，特别是在与人交互时，因此主动学习是必须的。主动学习的一种方法是使用不确定性采样来决定查询的信息性。在本文中，我们提出了一个修改不确定性采样，使用预期的输出值，以帮助加快学习的偏好。我们比较我们的方法与不确定性抽样基线，以及进行消融研究，以测试我们的方法的每个组成部分的有效性。
2020-02-15 cs.HC cs.LG stat.ML
An empirical evaluation of active inference in multi-armed bandits
Technische Universität Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI), Technische Universität Dresden（德累斯顿工业大学触觉互联网与人机闭环研究中心）；Max Planck UCL Centre for Computational Psychiatry and Ageing Research, University College London（伦敦大学学院马克斯·普朗克计算精神病学与衰老研究中心）；Secondmind；University College London（伦敦大学学院）
在不确定性条件下，顺序决策的一个关键特征是需要在利用（根据现有知识选择最佳行动）和探索（获得有关其他行动价值的信息）之间取得平衡。多臂强盗问题，一个经典的任务，捕捉这种权衡，作为一个车辆在机器学习开发强盗算法，被证明是有用的，在许多工业应用。主动推理框架是最近在神经科学中开发的一种用于理解人类和动物行为的顺序决策方法，其特点是其复杂的策略，用于解决探索-开发权衡。这使得主动推理成为已经建立的强盗算法的令人兴奋的替代方案。在这里，我们推导出一个有效的和可扩展的近似主动推理算法，并比较它的两个国家的最先进的强盗算法：贝叶斯置信上限和乐观的汤普森采样。这种比较是在两种类型的强盗问题：一个固定的和动态的切换强盗。我们的经验评估表明，主动推理算法不会产生有效的长期行为在固定土匪。然而，在更具有挑战性的切换强盗问题的主动推理性能大大优于两个国家的最先进的强盗算法。这些结果为理论和应用机器学习的进一步研究开辟了令人兴奋的场所，并为主动推理作为研究人类和动物行为的一般框架提供了额外的可信度。
2021-08-04 cs.LG
Active Inference for Adaptive Traffic Signal Control in Noisy Nonstationary IoT Environments
Department of Computer Systems and Sciences（计算机系统与科学系）；Stockholm University（斯德哥尔摩大学）
提出一种基于主动推理的交通信号控制器，通过最小化期望自由能动态选择相位，在传感器遮挡、天气衰减和非平稳需求下优于深度Q网络和规则方法，降低空闲时间和CO2排放。
2026-06-15 cs.AI cs.LG cs.NI
A Concise Mathematical Description of Active Inference in Discrete Time
本文提出离散时间下主动推理的简明数学表述，含基础讲解、示例及附录数学细节，统一符号并关联权威参考，还提供兼容pymdp的Python实现代码。
2025-05-17 cs.LG q-bio.NC
