Belief-Contraction-Driven Active Inverse Source Localization and Characterization
School of Engineering Mathematics and Technology, University of Bristol（布里斯托大学工程数学与技术学院）；Department of Computer Science & Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；School of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）；Department of Aeronautical and Automotive Engineering, Loughborough University（拉夫堡大学航空与汽车工程系）
该研究针对动态场主动逆源定位与表征问题，提出信念收缩驱动的ATT-PFRL方法，统一推断、停止与控制，在多场景下较基线方法实现更高完成度、更快收敛与更准定位。
2026-08-04 cs.AI cs.LG
Learning Belief Representations for Imitation Learning in POMDPs
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Uber AI Labs（优步人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
研究部分可观测马尔可夫决策过程中专家演示的模仿学习问题。信念表示，POMDP中的潜在状态的分布特征，已被建模使用递归神经网络和概率潜变量模型，并被证明是有效的强化学习POMDP。在这项工作中，我们研究的信念表示学习问题的生成对抗模仿学习POMDPs。我们没有像以前的工作中建议的那样分别训练信念模块和策略，而是使用任务感知的模仿损失来学习信念模块和策略，以确保表示与策略的目标更加一致。为了提高表示的鲁棒性，我们引入了几种信息信念正则化技术，包括动态和动作序列的多步预测。评估各种部分可观察的连续控制运动任务，我们的信念模块模仿学习方法（BMIL）大大优于几个基线，包括原来的GAIL算法和任务不可知的信念学习算法。广泛的消融分析表明，任务意识的信念学习和信念正规化的有效性。
2019-06-22 cs.LG stat.ML
Neural Recursive Belief States in Multi-Agent Reinforcement Learning
DeepMind（深度思维）
在多智能体强化学习中，学习行动的问题特别困难，因为合作者的策略可能严重依赖于仅由他们观察到的信息。另一方面，人类很容易形成关于同伴所拥有的知识的信念，并利用信念来为决策提供信息。这种能力是个人在各种马尔可夫博弈中成功的基础，从扑克牌中的虚张声势到囚徒困境中的有条件合作，再到桥牌中的惯例建立。经典方法通常不适用于复杂的领域，由于层次信念（即其他代理人的信念）的棘手性质。我们提出了一种可扩展的方法，使用递归深度生成模型来近似这些信念结构，并使用信念模型来获得对复杂任务有用的表示。我们用信念模型训练的代理优于无模型基线，具有相同的代表能力，使用常见的训练范式。我们还表明，高阶信念模型优于代理与低阶模型。
2021-02-03 cs.AI cs.LG cs.MA
Learning Generative Models for Active Inference using Tensor Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）；University of Vienna（维也纳大学）
主动推理为自主智能体的行为和学习提供了一个通用的框架。它指出，一个代理将试图最小化其变分自由能，定义在观察，内部状态和政策的信念。传统上，离散主动推理模型的每个方面都必须手动指定，即通过手动定义隐藏状态空间结构以及所需的分布，如似然和转移概率。最近，已经努力使用深度神经网络从观察自动学习状态空间表示。在本文中，我们提出了一种新的方法学习状态空间使用量子物理启发张量网络。张量网络表示量子态的概率性质以及减少大状态空间的能力使张量网络成为主动推理的自然候选者。我们展示了张量网络如何用作序列数据的生成模型。此外，我们展示了如何从这样的生成模型中获得信念，以及如何使用主动推理代理来计算预期的自由能。最后，我们证明了我们的方法在经典的T-迷宫环境。
2022-09-08 cs.AI cs.LG
Adversarial Conversational Shaping for Intelligent Agents
University College London（伦敦大学学院）
针对当前对话系统不稳定、准确性不足的问题，研究了两种基于对抗式对话塑造的智能对话增强模型，并在强化学习框架下结合不同训练细节探讨其性能。
2023-07-20 cs.CL cs.LG
Belief Embedding Tree Search
University of Alberta（阿尔伯塔大学）；Charles University（查理大学）；EquiLibre Technologies, Inc.（EquiLibre科技公司）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本研究提出信念嵌入树搜索（BETS），一种用生成式分布嵌入表示信念的蒙特卡洛规划器，在RockSample等6种POMDP任务上，BETS优于BetaZero等基线规划器，尤其在高维信念场景表现突出。
2026-10-14 cs.AI cs.LG
Implicit Generative Modeling for Efficient Exploration
Oregon State University（俄勒冈州立大学）；Horizon Robotics（地平线机器人）
有效的探索仍然是强化学习中具有挑战性的问题，特别是对于那些来自环境的奖励稀疏的任务。探索这种环境的一种常用方法是引入某种“内在”奖励。在这项工作中，我们专注于模型的不确定性估计作为一个内在的奖励，有效的探索。特别是，我们引入了一个隐式生成建模方法来估计贝叶斯不确定性的代理的信念的环境动态。从我们的生成模型中进行的每次随机抽取都是一个神经网络，它将动态函数实例化，因此多次抽取将近似于后验，并且基于该后验的未来预测的方差被用作探索的内在奖励。我们设计了一个基于摊余Stein变分梯度下降的生成模型的训练算法。在实验中，我们将我们的实现与最先进的基于内在奖励的探索方法进行比较，包括两种基于动态模型集成的最新方法。在具有挑战性的探索任务中，我们的隐式生成模型在探索数据效率方面始终优于竞争方法。
2020-07-14 cs.LG stat.ML
MAESTRO: Multi-Agent Environment Shaping through Task and Reward Optimization
Department of Mechanical and Industrial Engineering（机械与工业工程系）；University of Toronto（多伦多大学）
MAESTRO通过任务和奖励优化提升多智能体强化学习的环境塑造能力，结合LLM生成课程和奖励函数，提高性能和稳定性。
2025-12-10 cs.AI cs.LG
Temporal Difference Variational Auto-Encoder
DeepMind（深度思维）
为了在复杂的环境中行动和计划，我们认为智能体应该有一个具有三个特征的世界的心理模拟器：（a）它应该建立一个代表世界状况的抽象状态;（b）它应该形成一个代表世界不确定性的信念;（c）它应该超越简单的逐步模拟，并表现出时间抽象。由于缺乏满足所有这些要求的模型，我们提出了TD-VAE，这是一种生成序列模型，它学习包含关于未来几步状态的明确信念的表示，并且可以直接推出而无需单步转换。TD-VAE在时间上分离的时间点对上训练，使用强化学习中使用的时间差学习的模拟。
2019-01-02 cs.LG stat.ML
Adaptive Science Operations in Deep Space Missions Using Offline Belief State Planning
Department of Aeronautics and Astronautics, Stanford University, Stanford, CA, 94305, USA（斯坦福大学航空航天系）；Intelligent Systems Division, NASA Ames Research Center, Moffett Field, CA, 94035, USA（美国航空航天局阿姆斯研究中心智能系统分部）
本文提出基于POMDP的离线信念状态规划方法，用于深空任务中自适应科学仪器调度，通过整合贝叶斯网络提升数据可解释性与计算效率，并在Enceladus Orbilander任务中验证了其有效性。
2026-01-10 cs.AI cs.RO
Theory of Mind with Guilt Aversion Facilitates Cooperative Reinforcement Learning
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
如果人们认为自己让别人失望了，内疚厌恶会让他们产生效用损失的体验，这会促进人类的合作行为。在心理博弈论中，内疚厌恶需要对具有关于其他代理人想法的理论的代理人进行建模，也称为心理理论（ToM）。我们的目标是建立一种新的情感强化学习代理，称为心理理论与内疚厌恶代理（ToMAGA），它具有思考他人福祉而不仅仅是自我利益的能力。为了验证代理的设计，我们使用一个一般和游戏称为雄鹿狩猎作为测试床。由于标准的强化学习代理可以学习次优的政策，在社会困境，如猎鹿，我们建议使用基于信念的内疚厌恶作为奖励塑造机制。我们表明，我们的基于信念的内疚厌恶代理可以有效地学习合作行为在猎鹿游戏。
2020-09-16 cs.AI
Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）；INFIFORCE Intelligent Technology（INFIFORCE智能技术）；Princeton University（普林斯顿大学）
本文提出占用奖励塑造方法，通过提取世界模型中的时间信息，改进稀疏奖励下的信用分配问题，在13种长周期运动和操作任务中提升了2.2倍性能。
2026-04-22 cs.LG cs.RO
The Projected Belief Network Classfier : both Generative and Discriminative
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理和人机工程学研究所）
投影信念网络（PBN）是一种基于前馈神经网络（FF-NN）的具有易处理的似然函数的分层生成网络。因此，它可以与判别式分类器共享实施例，并且可以继承两种类型的网络的最佳质量。在本文中，一个卷积PBN构造，是完全歧视和完全生成，并测试语音命令的频谱。结果表明，无论是从判别还是生成的角度来看，该网络都具有优良的品质。随机数据合成和可见的数据重建低维隐变量，而分类器的性能接近一个正规化的判别网络。还演示了与传统的判别式CNN的组合。
2020-08-14 cs.LG stat.ML
Replicating Belief, Not Bits: Epistemic State Replication for Agentic Systems
研究智能分布式系统中确定性逐比特复制不足的问题，提出认知状态复制（ESR）方法，将复制边界从数据可见性转移到知识可见性，定义相关安全性概念并给出协议，通过原型设计和模拟验证了可行性及能减少二次认知故障。
2026-07-14 cs.AI cs.DC cs.LO
Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）
大型预训练生成语言模型的出现为AI故事生成提供了一个通用框架，通过对模型进行采样来创建继续故事的序列。然而，单靠抽样是不足以产生故事的。特别是，很难指导语言模型创建故事以达到特定的目标事件。我们提出了两种基于深度强化学习和奖励塑造的自动化技术来控制计算机生成故事的情节。第一个利用近端策略优化来微调现有的基于transformer的语言模型，以生成文本延续，但也是目标搜索。第二种方法从展开的故事中提取知识图谱，由具有图关注的策略网络使用该知识图谱来选择由语言模型生成的候选延续。我们报告了与故事实现给定目标事件的频率有关的自动化指标，以及与基线和消融相比的连贯性和整体故事质量的人类参与者排名。
2021-12-16 cs.AI cs.CL
Optimality Guarantees for Particle Belief Approximation of POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Stanford University（斯坦福大学）
本文界定了POMDP与其有限样本粒子信念MDP（PB-MDP）近似之间的误差，借此将基于采样的MDP算法适配至POMDP，提供了收敛性保证，并通过Sparse-PFT算法验证了其性能。
2023-10-19 cs.AI cs.RO cs.SY
Improved Classification Based on Deep Belief Networks
Northwestern University（西北大学）
为了更好地分类，生成模型用于在训练分类器之前初始化模型和模型特征。通常需要解决单独的无监督和监督学习问题。生成限制玻尔兹曼机和深度信念网络被广泛用于无监督学习。为了改进这种两阶段策略，我们开发了几种基于DBN的监督模型。修改损失函数，以考虑到相对于底层生成模型的期望，引入权重界限，和多级编程应用在模型开发。所提出的模型有效地捕获了无监督和有监督的目标。计算研究验证了我们的模型比两阶段训练方法更好。
2019-08-12 cs.LG stat.ML
U-Nets as Belief Propagation: Efficient Classification, Denoising, and Diffusion in Generative Hierarchical Models
University of California, Berkeley（加州大学伯克利分校）
本文通过树结构生成式层次模型将 U-Net 解释为信念传播去噪算法的自然实现，并给出样本复杂度界，同时统一了 ConvNets 与 U-Net 在分类和去噪任务中的角色。
2024-05-01 cs.AI cs.LG math.ST
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego（加利福尼亚大学圣迭戈分校）
将深度学习硬件算法用于嵌入式应用的特点是存在挑战，例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现，我们考虑针对嵌入式设备分类任务的深度学习算法（称为判别式深度信念网络（DDBN））的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时，推理数据具有相同的类结构，但统计上不同的训练数据，由于动态实时操作环境。基于我们的分析，我们提供了新的见解和建议，选择训练目标，位宽值，和准确性的敏感性相对于标记的数据量，以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
Generative AI-Based Probabilistic Constellation Shaping With Diffusion Models
University of Oulu（奥卢大学）
本文利用扩散模型的去噪生成特性进行概率星座整形，使发射与接收符号更匹配，在64-QAM下相比DNN方法余弦相似度提升30%、互信息提升三倍。
2023-11-15 cs.AI cs.IT cs.LG
Gaussian Process Deep Belief Networks: A Smooth Generative Model of Shape with Uncertainty Propagation
University of Bath（巴斯大学）；University of Bristol（布里斯托大学）
目标的形状是分割、检测和跟踪等视觉问题的重要特征。由于独立于外观，因此可以从少量数据中概括到大范围的对象。然而，由于复杂的似然函数导致难以处理的后验，表示为轮廓图像的形状是具有挑战性的建模。在本文中，我们提出了一个生成模型的形状，它提供了一个低维的潜在编码，重要的是驻留在一个光滑的流形上的轮廓图像。所提出的模型以原则性的方式传播不确定性，允许它从少量数据中学习，并提供具有相关不确定性的预测。我们提供的实验表明，我们提出的模型提供了有利的定量结果相比，国家的最先进的，同时提供了一个表示，驻留在一个低维的可解释的流形。
2018-12-13 cs.CV cs.LG stat.ML
Deep Temporal Sigmoid Belief Networks for Sequence Modeling
Duke University（杜克大学）
开发了深度动态生成模型来学习时间序列数据中的顺序依赖关系。多层模型的设计是通过构建一个层次的时间S形信念网络（TSBN），定义为一个顺序堆栈的S形信念网络（SBN）。每个SBN都有一个上下文隐藏状态，继承自序列中的前一个SBN，并用于调节其隐藏偏差。可扩展的学习和推理算法，通过引入识别模型，产生快速采样的变分后验。该识别模型与生成模型一起训练，通过最大化其对数似然的变分下限。在弹跳球、复调音乐、运动捕捉和文本流上的实验结果表明，该方法具有最佳的预测性能，并具有合成各种序列的能力。
2015-09-23 cs.LG stat.ML
Generative Modeling with Bayesian Sample Inference
School of Computation, Information；Technology \& Munich Data Science Institute, Technical University of Munich
本文提出一种基于贝叶斯采样推断的生成模型，通过迭代高斯后验推断提升样本质量，并在ImageNet32上优于BFNs和变分扩散模型。
2026-08-17 cs.LG stat.ML
A Non-negative VAE:the Generalized Gamma Belief Network
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出广义伽玛信念网络，通过扩展线性生成模型为非线性模型，解决原有GBN的表达能力限制，并采用Weibull推理网络近似后验分布，实验验证其在表达性和解耦表示学习中的性能。
2024-08-15 cs.AI cs.CV cs.LG
Shaping Inductive Bias in Diffusion Models through Frequency-Based Noise Control
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Valence Labs（瓦伦斯实验室）
本文提出基于频率的加噪算子，将可定制归纳偏置引入扩散模型训练与采样，并证明其能按数据集提升生成性能及在严重噪声损坏后恢复图像分布。
2025-03-12 cs.AI cs.LG
Deep Belief Network Training Improvement Using Elite Samples Minimizing Free Energy
Amirkabir University of Technology（阿米卡比尔理工大学）
如今，在机器学习中使用深度架构非常流行。深度置信网络（DBN）是使用受限玻尔兹曼机（RBM）堆栈来使用训练数据创建强大的生成模型的深度架构。在本文中，我们提出了一个改进的一个共同的方法，通常用于培训的RBM。该方法以自由能为准则，从生成式模型中获取精英样本。我们认为，这些样本可以更准确地计算训练数据的对数概率梯度。根据结果，在MNIST测试集上实现了0.99%的出错率。这一结果表明，所提出的方法优于第一篇论文中提出的方法，引入DBN（1.25%出错率）和一般的分类方法，如SVM（1.4%出错率）和KNN（1.6%出错率）。在使用ISOLET数据集的另一个测试中，字母分类错误率下降到3.59%，而使用该数据集的论文中的出错率为5.59%。所实现的方法可在“http://ceit.aut.ac.ir/~keyvanrad/DeeBNet Toolbox.html”上在线获得。
2014-11-14 cs.CV cs.LG
Projected Belief Networks With Discriminative Alignment for Acoustic Event Classification: Rivaling State of the Art CNNs
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理和人机工程学研究所）
本文提出带判别对齐的投影信念网络 PBN-DA，并引入 HMM 扩展，在空气与水下声学事件分类中达到或超过最先进 CNN，且与 CNN 融合可将错误降低一半。
2024-01-20 cs.LG cs.SD eess.AS
A brief survey on deep belief networks and introducing a new object oriented toolbox (DeeBNet)
如今，在机器学习中使用深度架构非常流行。深度置信网络（DBN）是使用受限玻尔兹曼机（RBM）堆栈来使用训练数据创建强大的生成模型的深度架构。DBN具有特征提取和分类等多种功能，广泛应用于图像处理、语音处理等领域。本文介绍了一种新的面向对象的MATLAB工具箱，它具有实现DBN所需的大部分功能。在新版本中，工具箱可以在Octave中使用。根据在MNIST（图像）、ISOLET（语音）和20个新闻组（文本）数据集上进行的实验结果，表明该工具箱可以从未标记的数据中自动学习输入的良好表示，并在不同类别之间具有更好的区分。此外，在所有数据集上，所获得的分类误差与最先进的分类器的分类误差相当。此外，该工具箱支持不同的采样方法（例如Gibbs，CD，PCD和我们的新FEPCD方法），不同的稀疏方法（二次，率失真和我们的新正常方法），不同的RBM类型（生成和判别），使用GPU等。http://ceit.aut.ac.ir/~keyvanrad/DeeBNet%20Toolbox.html
2016-01-06 cs.CV cs.LG cs.MS
Enhancing Semantic Communication with Deep Generative Models -- An ICASSP Special Session Overview
Sapienza University of Rome（罗马第一大学）；Sony Group Corporation（索尼集团公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文从机器学习视角综述了语义通信的挑战，指出深度生成模型能有效解决复杂语义信息提取、数据重建及信道鲁棒性问题，并为下一代生成式语义通信框架规划了新研究路径。
2023-09-05 cs.AI cs.LG eess.SP
