A DbC Inspired Neurosymbolic Layer for Trustworthy Agent Design
ExtensityAI
针对LLM缺乏可验证保证的问题，基于契约式设计与类型论原则提出神经符号契约层，通过概率补救机制调解LLM调用并验证语义合规性，为可信智能体设计提供了功能等价的保障。
2025-11-03 cs.AI cs.LG
BERT-Defense: A Probabilistic Model Based on BERT to Combat Cognitively Inspired Orthographic Adversarial Attacks
Center of Cognitive Science（认知科学中心）；Natural Language Learning Group（自然语言学习组）；Technische Universität Darmstadt（达姆施塔特工业大学）
对抗攻击暴露了深度学习系统的重要盲点。虽然单词级和重复级攻击场景主要处理查找欺骗NLP模型的输入的语义释义，但字符级攻击通常会将错别字插入输入流。人们普遍认为，这些更容易通过拼写纠正模块进行防御。在这项工作中，我们表明，标准的拼写检查器和Pappii等人的方法。（2019），训练以防止插入，删除和交换，在Eger和Benz（2020）最近提出的字符级基准上表现不佳，其中包括更具挑战性的攻击，如视觉和语音扰动以及丢失的分词分割。相比之下，我们表明，一种未经训练的迭代方法，它将上下文无关的字符级别信息与来自BERT的掩蔽语言建模的上下文相关信息相结合，可以与来自Amazon Mechanical Turk（AMT）的通过3次学习监督的人类人群工作者相提并论。
2021-06-02 cs.CL cs.LG
Probabilistic task modelling for meta-learning
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
我们提出了概率任务建模--一种用于元学习的任务集合的生成概率模型。该模型结合变分自动编码和潜在的Dirichlet分配模型的高斯分布在嵌入空间中的混合每个任务。这样的建模提供了一个明确的任务表示，通过其任务主题的混合。提出了一种基于变分推理方法的经验贝叶斯参数估计的有效近似推理方法。我们进行实证评估，以验证所提出的方法通过相关图的预测精度测试任务的任务不确定性和任务距离。我们还进行了实验的任务选择在元学习，以证明如何从所提出的模型推断的任务相关性，以促进元学习算法。
2022-03-18 cs.LG
Meta-Learning an Inference Algorithm for Probabilistic Programs
KAIST（韩国科学技术院）
我们提出了一个元算法学习后验推理算法的限制概率规划。我们的元算法采用了一组概率程序的训练集，这些程序用观察来描述模型，并试图学习一种有效的方法来推断类似程序的后验。我们的方法的一个关键特征是使用我们称之为白盒推理算法，直接从模型描述本身提取信息，作为程序。具体地说，我们的白盒推理算法配备了多个神经网络，一个用于每种类型的原子命令，并计算一个给定的概率程序通过分析使用这些网络的程序中的单个原子命令的近似后验。通过我们的元算法从训练集中学习网络的参数。我们的经验表明，学习推理算法概括以及新的参数和模型结构方面的程序，并报告的情况下，我们的方法实现更大的测试时间效率比替代方法，如HMC。总体结果显示了我们的方法的前景以及仍然存在的挑战。
2021-12-24 cs.LG
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley（加州大学伯克利分校）
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习（元RL）算法使代理从少量的经验学习新的技能，几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验，限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制，限制了它们在稀疏奖励问题中的有效性。在本文中，我们通过开发一种脱离策略的元RL算法来解决这些挑战，该算法可以解开任务推理和控制。在我们的方法中，我们执行潜在的任务变量的在线概率过滤，以推断如何解决一个新的任务，从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合，以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍，并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
Meta-probabilistic Modeling
本文提出元概率建模（MPM），通过分层结构学习生成模型结构，支持广泛概率模型并连接现有架构，实验显示其能有效适应数据并恢复有意义的潜在表示。
2026-04-07 cs.LG
Probabilistic Active Meta-Learning
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
数据高效的学习算法在数据汇集昂贵的许多实际应用中是必不可少的，例如，在机器人技术中的应用为了解决这个问题，元学习算法使用关于任务的先前经验来有效地学习新的相关任务。通常，假设给定或随机选择一组训练任务。然而，这种设置没有考虑到在现实生活中从头开始训练模型时自然产生的顺序性质：我们如何以数据高效的方式收集一组训练任务？在这项工作中，我们引入了任务选择的基础上先前的经验到一个元学习算法的概念化的学习者和积极的元学习设置使用概率潜在变量模型。我们提供的经验证据表明，与模拟机器人实验的强基线相比，我们的方法提高了数据效率。
2020-10-22 cs.LG stat.ML
Recommender systems inspired by the structure of quantum theory
Massachusetts Institute of Technology（麻省理工学院）
物理学家使用量子模型来描述物理系统的行为。量子模型的成功归功于它们的可解释性，它们与概率模型（经典模型的量子化）的关系以及它们的高预测能力。除了物理学之外，这些属性在一般数据科学中也很有价值。这促使人们使用量子模型来分析一般的非物理数据集。在这里，我们为量子模型在数据科学中的应用提供了经验和理论见解。在本文的理论部分，我们首先表明，量子模型可以指数比概率模型更有效，因为存在数据集，承认低维量子模型和只有指数高维概率模型。其次，我们解释了量子模型在什么意义上实现了压缩概率模型的有用放松。第三，我们证明了稀疏数据集允许低维量子模型，最后，我们介绍了一种计算用户属性的层次排序的方法（例如，个性特征）和项目（例如，电影类型）。在本文的实证部分，我们评估了项目推荐中的量子模型，并观察到量子推荐系统的预测能力可以与SVD++和PureSVD等最先进的推荐系统竞争。此外，我们利用量子模型的可解释性，通过计算用户和项目的属性的层次排序。这项工作建立了数据科学（项目推荐），信息论（通信复杂性），数学规划（半正定因子分解）和物理学（量子模型）之间的联系。
2016-01-22 cs.IT cs.LG math.IT
Compositional meta-learning through probabilistic task inference
Department of Basic Neurosciences, University of Geneva（日内瓦大学基础神经科学系）；Champalimaud Research, Champalimaud Foundation（恰帕拉米德研究，恰帕拉米德基金会）；Sainsbury Wellcome Centre, University College London（萨金斯堡沃来中心，伦敦大学学院）
针对元学习中少样本新任务求解问题，提出将任务显式表示为可复用计算单元结构化组合的组合式元学习模型，通过生成模型捕捉共享组件与统计特性，将新任务学习转化为概率推断问题，结合神经网络表达力与概率推断数据效率，实现单样本快速推断的高效组合式元学习。
2025-10-02 cs.LG q-bio.NC
Amortised Inference in Neural Networks for Small-Scale Probabilistic Meta-Learning
University of Cambridge（剑桥大学）
提出用实际数据替代诱导输入构建变分分布，利用推理网络实现摊销推理，在相关数据集上训练以元学习特定任务BNN的贝叶斯推理。
2023-10-24 cs.LG stat.ML
Meta-SVDD: Probabilistic Meta-Learning for One-Class Classification in Cancer Histology Images
University of Warwick（华威大学）；University Hospital Coventry and Warwickshire（考文垂和沃里克郡大学医院）
为了训练一个健壮的深度学习模型，通常需要在训练数据中使用一组平衡的类别。然而，在医学领域中获取的数据通常包含大量的健康患者，而不是少量的阳性异常病例。此外，阳性样本的注释需要来自医学领域专家的耗时输入。这种情况将表明一个类分类类型的方法的承诺。在这项工作中，我们提出了一个通用的组织学单类分类模型，该模型同时在多个组织学数据集上进行元训练，并且可以应用于新任务，而无需昂贵的重新训练。该模型可以很容易地由病理学领域的专家使用，并可能用于筛选目的。
2020-03-06 cs.CV cs.LG eess.IV
Indian Wedding System Optimization (IWSO): A Novel Socially Inspired Metaheuristic with Operational Design and Analysis
Department of Computer Science, the VIZJA University, Warsaw, 01-043, Poland（VIZJA大学计算机科学系）
本文提出了一种基于群体的元启发式算法IWSO，受印度传统婚礼的社会文化动态启发，通过家庭、候选人和牵线人的协作模拟匹配过程，采用匹配师引导影响策略和自适应淘汰重初始化机制，提升收敛性与多样性，实验表明其在高维多模态函数上的收敛速度、解质量及鲁棒性优于GA、PSO、DE等算法。
2026-05-05 cs.LG cs.NE
Meta-Learning Probabilistic Inference For Prediction
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google AI Berlin（谷歌人工智能柏林）；Microsoft Research（微软研究院）
本文介绍了一种新的数据高效和通用的学习框架。具体来说：1）我们开发了ML-PIP，这是一个元学习近似概率推理预测的通用框架。ML-PIP扩展了元学习的现有概率解释，以涵盖广泛的方法。2)我们介绍VERSA，框架的一个实例，采用灵活和通用的摊销网络，将Few-Shot学习数据集作为输入，具有任意数量的镜头，并在单个向前传递中输出任务特定参数的分布。VERSA在测试时用通过推理网络的前向传递来代替优化，分摊了推理的成本，并减轻了训练过程中对二阶导数的需求。3)我们在基准数据集上评估VERSA，该方法设置了新的最先进的结果，处理任意数量的镜头，并在训练和测试时进行分类，任意数量的类。然后通过具有挑战性的Few-Shot ShapeNet视图重建任务证明了该方法的强大功能。
2019-08-06 cs.LG stat.ML
Upstream Probabilistic Meta-Imputation for Multimodal Pediatric Pancreatitis Classification
本文提出UPMI方法，通过元特征空间中的概率元填补提升多模态儿童胰腺炎分类性能，实现AUC提升5%。
2025-11-19 cs.CV cs.LG
Probabilistic Meta-Representations Of Neural Networks
Uber AI Labs（优步人工智能实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
现有的神经网络的贝叶斯处理通常以弱先验分布和近似后验分布为特征，根据该分布，独立地提取所有权重。在这里，我们考虑一个更丰富的先验分布，其中网络中的单元由潜在变量表示，单元之间的权重根据这些变量的集合的值有条件地绘制。这允许相关权重之间具有丰富的相关性，并且可以被视为实现具有贝叶斯复杂性正则化器的函数先验，以确保简单的解决方案。我们说明了由此产生的元表示和表示，阐明了这个先验的力量。
2018-10-01 cs.AI cs.LG stat.ML
BIMRL: Brain Inspired Meta Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
样本效率是强化学习（RL）中的一个关键问题。一个高效的智能体必须能够利用其先前的经验来快速适应类似但新的任务和情况。Meta-RL是正式化和解决这个问题的一种尝试。受元RL最新进展的启发，我们引入了BIMRL，这是一种新型的多层架构，以及一种新型的大脑启发记忆模块，可以帮助智能体在几集内快速适应新任务。我们还利用这个记忆模块来设计一个新的内在奖励，将指导代理的探索。我们的架构受到认知神经科学发现的启发，并与大脑不同区域的连接和功能知识相兼容。我们经验验证我们提出的方法的有效性，通过竞争或超越性能的一些强大的基线在多个MiniGrid环境。
2022-10-29 cs.AI cs.LG cs.RO
Probabilistic Model-Agnostic Meta-Learning
UC Berkeley（加州大学伯克利分校）
用于少样本学习的元学习需要获取优于先前任务和经验的先验，使得从少量数据学习新任务。然而，少样本学习中的一个关键挑战是任务模糊性：即使可以从大量先前任务中元学习到强大的先验，新任务的小数据集也可能过于模糊而无法获取单个模型（例如，分类器）对于该任务是准确的。在本文中，我们提出了一个概率元学习算法，可以从一个模型分布的新任务的样本模型。我们的方法扩展了与模型无关的元学习，它通过梯度下降来适应新的任务，并结合了通过变分下界训练的参数分布。在元测试时，我们的算法通过一个简单的过程来适应，该过程将噪声注入梯度下降，并且在元训练时，模型被训练，使得这种随机适应过程从近似模型后验中产生样本。我们的实验结果表明，我们的方法可以采样合理的分类器和回归模糊少样本学习问题。我们还展示了如何推理模糊性也可以用于下游的主动学习问题。
2019-10-17 cs.AI cs.LG stat.ML
An Adaptive Approach for Probabilistic Wind Power Forecasting Based on Meta-Learning
Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
提出一种含离线元学习与在线增量学习的自适应概率风电功率预测方法，可实现不同提前时间和新建风电场场景的时间与空间适应，并在真实数据集上验证了优势。
2023-08-15 cs.LG cs.SY eess.SY
Data-Efficient Task Generalization via Probabilistic Model-based Meta Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
PACOH-RL通过元学习动态模型先验并利用不确定性引导探索，实现数据高效的任务泛化，在模拟和真实机器人上优于现有基线。
2024-02-06 cs.LG cs.RO
Stacking for Probabilistic Short-term Load Forecasting
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文提出基于Stacking元学习的概率性短期电力负荷预测方法，融合分位数线性回归、分位数回归森林与残差模拟后处理，并设计全局与局部变体，实验验证分位数回归森林最优。
2024-06-15 cs.AI cs.LG
Probabilistic Modeling with Matrix Product States
Tunnel
受基于量子线路的生成模型可以为序列建模任务提供有用的归纳偏差的可能性的启发，我们针对经典可模拟的量子线路模型的子集提出了一种高效的训练算法。无梯度算法，作为一系列精确可解的有效模型，是一个修改的密度矩阵重整化群程序适用于学习的概率分布。基于电路的模型为经典数据集提供了有用的归纳偏差的结论得到了奇偶学习问题的实验结果的支持。
2019-02-19 cs.LG quant-ph stat.ML
A Novel Predictive-Coding-Inspired Variational RNN Model for Online Prediction and Recognition
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究介绍了PV-RNN，一种受预测编码思想启发的新型变分RNN。该模型通过动态改变其潜在状态的随机性来学习提取隐藏在波动时间模式中的概率结构。它的架构试图解决变分贝叶斯RNN的两个主要问题：潜变量如何学习有意义的表示，以及推理模型如何将未来的观察转移到潜变量。PV-RNN通过引入反映训练数据的自适应向量来实现这两个目标，然后在评估期间可以不同地调整其值。此外，反向传播期间的预测误差，而不是正向计算期间的外部输入，用于向网络传达有关外部数据的信息。对于测试，我们引入了错误回归来预测未知序列，这是受到利用这些机制的预测编码的启发。该模型引入了一个加权参数，元先验，以平衡优化压力放在两个方面的边际似然序列数据的下限。我们在两个具有概率结构的数据集上测试了该模型，结果表明，在元先验值较高的情况下，网络会产生确定性混沌，通过这种混沌来模仿数据的随机性。对于低值，模型表现为随机过程。该网络在中间值上表现最好，并且能够以良好的泛化能力捕获潜在的概率结构。分析元先验对网络的影响，可以精确地研究在我们的模型中加入随机动态的理论价值和实际好处。我们展示了更好的预测性能的机器人模仿任务与我们的模型使用误差回归相比，标准的变分贝叶斯模型缺乏这样的程序。
2019-06-25 cs.AI cs.LG stat.ML
Golden Tortoise Beetle Optimizer: A Novel Nature-Inspired Meta-heuristic Algorithm for Engineering Problems
University of Tabriz（大不里士大学）；Shahed University（沙希德大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）；Australian Catholic University（澳大利亚天主教大学）
本文提出了一种新的自然启发式算法称为黄金甲虫优化（GTBO）来解决优化问题。它模仿金龟子通过改变颜色来吸引异性交配的行为，以及金龟子用一种肛门叉来阻止捕食者的保护策略。该算法是基于甲虫的双重吸引力和生存策略来生成新的优化问题的解决方案。为了衡量其性能，建议GTBO相比，其他五个自然启发的进化算法在24个著名的基准函数调查之间的权衡探索和利用，局部最优避免，并收敛到全局最优值是统计上显着的。我们特别应用GTBO两个著名的工程问题，包括焊接梁设计问题和齿轮训练设计问题。结果表明，新算法比五个基线算法更有效的两个问题。敏感性分析也进行了揭示不同的影响算法的关键控制参数和运营商的GTBO的性能。
2021-04-04 cs.AI cs.LG cs.NA
Meta-Learning surrogate models for sequential decision making
DeepMind（深度思维）
我们引入了一个统一的概率框架，用于解决从贝叶斯优化到上下文强盗和强化学习的顺序决策问题。这是通过一种基于概率模型的方法来实现的，该方法解释了观测数据，同时在决策过程中捕获了预测的不确定性。至关重要的是，这个概率模型被选为元学习系统，允许从相关问题的分布中学习，允许数据有效地适应目标任务。作为这个框架的一个合适的实例，我们探讨了由于统计和计算的需要而使用神经过程。我们将我们的框架应用于广泛的问题领域，例如控制问题，推荐系统和对RL代理的对抗性攻击，展示了一种有效和通用的黑盒学习方法。
2019-06-12 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Model-Assisted Probabilistic Safe Adaptive Control With Meta-Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；University of Exeter（埃克塞特大学）；Texas A & M University at Qatar（德州农工大学卡塔尔分校）；University of Technology Sydney（悉尼科技大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
提出融合元学习、贝叶斯线性回归与CBF的安全自适应控制框架，通过少量样本适配新任务并以悲观置信界和理论判据保证概率安全，实验证明其在多不确定约束下可高效安全探索。
2023-07-13 cs.LG cs.SY eess.SY
Diffusion Probabilistic Model Based Accurate and High-Degree-of-Freedom Metasurface Inverse Design
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen University（深圳大学）
针对超材料逆向设计中传统优化通用性不足及GAN训练不稳定、成本高的问题，提出基于扩散概率模型的高自由度超原子生成方法，可按S参数条件稳定生成高质量结构，并在收敛速度、精度和质量上优于代表性GAN。
2023-04-25 cs.LG physics.optics
Meta-Inverse Reinforcement Learning for Mean Field Games via Probabilistic Context Variables
针对平均场博弈中现有逆强化学习方法受智能体同质性假设限制、难处理异构目标演示的问题，提出基于深度潜变量的元逆强化学习方法，无需先验上下文知识即可跨相似任务推断奖励，在模拟和真实出租车定价场景中效果优于现有方法。
2025-09-04 cs.AI cs.GT cs.LG
Meta-Path-based Probabilistic Soft Logic for Drug-Target Interaction Prediction
Rutgers University（罗格斯大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出基于元路径和概率软逻辑的DTI预测方法，利用异构网络多源信息并减少规则实例，在三个数据集上AUPR和AUC指标优于五个基线。
2023-06-25 cs.LG q-bio.BM
Amortized Probabilistic Conditioning for Optimization, Simulation and Inference
University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
提出摊销条件化引擎（ACE），一种基于Transformer的元学习模型，通过显式表示潜在变量，支持运行时对观测数据、潜在变量和先验进行灵活条件化，并在图像补全、贝叶斯优化等任务中展现了优异性能。
2025-03-04 cs.LG stat.ML
MetaGreen: Meta-Learning Inspired Transformer Selection for Green Semantic Communication
School of Science and Engineering, University of Missouri-Kansas City（密苏里大学堪萨斯城分校科学与工程学院）
本文提出“能量优化语义损失”（EOSL）函数平衡语义信息丢失与能耗，受元学习启发实现动态情境下的Transformer模型选择，显著提升了相似度功率比，为绿色语义通信奠定基础。
2024-06-22 cs.AI cs.CL cs.LG
External Data-Enhanced Meta-Representation for Adaptive Probabilistic Load Forecasting
Department of Electrical, Computer and Energy Engineering, Arizona State University（电气、计算机与能源工程系，亚利桑那州立大学）；Laboratory for Information and Decision Systems, Massachusetts Institute of Technology（信息与决策系统实验室，麻省理工学院）
针对传统模型忽略外部因素异构性的问题，提出基于超网络的元表示框架M2oE2，将外部数据作为元知识动态调整深度学习模型参数，并结合混合专家机制提升效率与鲁棒性，在多个负荷数据集上显著提升了预测精度。
2025-06-29 cs.LG cs.SY eess.SY
Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming
Carnegie Mellon University（卡内基梅隆大学）；U-Mass, Amherst（马萨诸塞大学阿默斯特分校）
我们设计了一个新的近视策略的顺序实验设计（DOE）的问题，其中的目标是收集数据，以满足一定的问题的具体目标。我们的方法，近视后验采样（MPS），是受经典的后验（汤普森）采样算法的启发，多武装匪徒，并利用概率规划和近似贝叶斯推断的灵活性，以解决广泛的问题。从经验上讲，这种通用策略在各种DOE任务中与更专业的方法竞争，更重要的是，能够解决现有方法似乎不适用的复杂DOE目标。在理论方面，我们利用自适应子模块化和强化学习的思想来推导MPS实现次线性后悔的条件。
2018-05-25 cs.AI cs.LG stat.ML
Quantum-Inspired Vision: Leveraging Wave-Particle Duality for Low-Illumination Enhancement
Heriot-Watt University（赫瑞-瓦特大学）
本文通过将图像建模为概率波函数，形式化物理到AI的图像增强范式，扩展了数据相对论不确定性（DRU）框架，并利用波粒二象性解释其如何利用光的内在物理不确定性来减轻光照偏差并保持对数据噪声的鲁棒性。
2026-07-03 cs.CV cs.LG eess.IV
Bayes or Heisenberg: Who(se) Rules?
LMU Munich（慕尼黑莱茵河大学）
本文证明量子测量过程可重构为概率方程，并可用张量大脑模型的神经网络动力学近似，该模型为大脑感知记忆提供生物启发式符号整合机制。
2025-10-23 cs.AI cs.LG q-bio.NC
