Spectrum concentration in deep residual learning: a free probability approach
Shanghai Jiaotong University(上海交通大学);Tennessee Technological University(田纳西理工大学)
我们通过向深度学习社区引入一种新的自由概率分析工具来重新审视深度残差网络(ResNets)的初始化。这个工具处理非厄米特随机矩阵,而不是他们的传统厄米特对应文献。因此,这个新工具使我们能够评估线性和非线性情况下完全连接的深度ResNet的输入-输出雅可比矩阵的奇异值谱。利用自由概率这一强有力的工具,我们对单层情况下的谱进行了渐近分析,然后将这种分析推广到任意层数的多层情况。特别是,我们建议通过剩余单元的数量来重新调整经典的随机初始化,使得频谱具有$O(1)$的阶数,与网络的大宽度和深度相比。我们的经验表明,建议的初始化方案学习的速度比经典的数量级更快,从而证明了这项调查的强大的实际意义。
2019-02-24 cs.LG stat.ML
Towards Arbitrary Noise Augmentation - Deep Learning for Sampling from Arbitrary Probability Distributions
Friedrich-Alexander-University Erlangen-Nuremberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
准确的噪声建模对于深度学习重建算法的训练非常重要。虽然噪声模型对于传统成像技术是公知的,但是新颖传感器的噪声分布可能难以先验地确定。因此,我们建议学习任意噪声分布。为此,本文提出了一个全连接的神经网络模型映射样本从一个均匀分布的任何明确已知的概率密度函数的样本。在训练过程中,模型输出的分布与目标分布之间的Jensen-Shannon散度被最小化。我们的实验表明,我们的模型收敛到所需的状态。它提供了一种替代现有的采样方法,如反演采样,拒绝采样,高斯混合模型和马尔可夫链蒙特卡罗。我们的模型具有很高的采样效率,很容易应用于任何概率分布,而不需要进一步的分析或数值计算。
2018-07-10 cs.LG stat.ML
Distributed Deep Transfer Learning by Basic Probability Assignment
Australian National University(澳大利亚国立大学)
迁移学习是深度神经网络中的一种流行实践,但由于分裂层之间神经元的复杂布线以及预训练和迁移域中数据分布的不平衡,大量参数的微调是一项艰巨的任务。由于跨神经元的互连的大小,目标域的原始布线的重建是一个沉重的负担。我们提出了一个分布式方案,分别调谐卷积滤波器,而反向传播他们联合通过基本概率分配。证据理论的一些最新进展表明,在各种各样的不平衡制度,优化的一些适当的目标函数来自列联矩阵防止偏向高先验类分布。因此,原始滤波器基于对目标域的整体性能的个体贡献而逐渐转移。这在很大程度上降低了迁移学习的预期复杂性,同时大大提高了精度。我们在标准基准测试和场景上的实验证实了我们的分布式深度迁移学习策略的持续改进。
2017-10-20 cs.LG stat.ML
Deep Online Probability Aggregation Clustering
Systems Engineering Institute, Xi’an Jiaotong University(西安交通大学系统工程研究所)
针对深度聚类交替训练的不稳定与高计算量问题,提出无中心概率聚合聚类算法PAC及在线模块,构建深度框架DPAC,实验证明其性能与鲁棒性优于现有方法。
2024-07-13 cs.CV cs.LG
High-Dimensional Probability Estimation with Deep Density Models
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
机器学习中的一个基本问题是从数据中估计概率分布。已经提出了许多技术来研究数据的结构,大多数情况下都是围绕着这样一个假设,即观测值位于高概率的低维流形上。然而,利用这种洞察力为高维数据构建明确的,易于处理的密度模型更加困难。本文介绍了一种新的密度估计方法--深度密度模型(DDM)。我们利用深度学习的见解来构建一个到表示空间的双射映射,在该映射下,数据分布的变换被近似分解,并且具有相同的已知边缘密度。该模型下的潜在分布的简单性使我们能够可行地探索它,并且映射的可逆性可以表征测量的收缩。这使我们能够计算样本外数据的归一化密度。这种易处理性和灵活性的结合使我们能够处理高维数据集上的各种概率任务,包括:在测试时快速计算归一化密度,而无需评估分区函数;在没有MCMC的情况下生成样本;以及表征数据的联合熵。
2013-02-20 cs.LG stat.ML
Information-Geometric Set Embeddings (IGSE): From Sets to Probability Distributions
CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室公司)
这封信介绍了一个抽象的学习问题,称为“集合嵌入”:目标是将集合映射到概率分布中,以减少信息丢失。我们将集合的并集和交集运算与相应的概率分布插值联系起来。我们还展示了一个初步的解决方案与实验结果的玩具集嵌入的例子。
2019-12-11 cs.LG stat.ML
Conformally Natural Families of Probability Distributions on Hyperbolic Disc with a View on Geometric Deep Learning
University of Montenegro(黑山大学);Faculty of Sciences and Mathematics(科学与数学学院)
本文提出双曲圆盘上一类在保圆盘共形映射群作用下不变的新颖概率分布族,为编码双曲数据不确定性提供便捷模型,并探讨其在几何深度学习、生物信息学及量子物理中的潜在应用。
2024-07-23 cs.LG math.CV
Analytical Probability Distributions and EM-Learning for Deep Generative Networks
Rice University(莱斯大学);Aix-Marseille Univ(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心)
深度生成网络(DGN)对其输出和潜在空间进行概率建模,目前通过变分自编码器(VAE)进行训练。在没有已知的分析形式的后验和似然期望,VAE诉诸近似,包括(摊销)变分推理(AVI)和蒙特卡洛(MC)抽样。我们利用连续分段仿射(CPA)属性的现代DGN推导出他们的后验和边缘分布,以及后者的第一时刻。这些发现使我们能够推导出一种分析期望最大化(EM)算法,该算法可以实现无梯度的DGN学习。我们的经验表明,EM训练的DGN产生更大的可能性比VAE训练。我们的研究结果将指导新的VAE AVI的设计,更好地近似真实的后验和开放的途径,应用标准的统计工具进行模型比较,异常检测和缺失数据插补。
2020-06-17 cs.LG stat.ML
Variational Probability Flow for Biologically Plausible Training of Deep Neural Networks
Singapore University of Technology and Design(新加坡科技设计大学)
对生物学上合理的深度学习的追求不仅是为了解释生物神经网络的实验观察特性,而且还希望发现更有效的方法来训练人工网络。在本文中,我们提出了一个新的算法命名为变分可能流(VPF),最小概率流的扩展训练二进制深度玻尔兹曼机(DBMs)。我们发现,在VPF的权重更新是本地的,只取决于相邻神经元的状态和发射率。与对比发散不同,不需要吉布斯虚构;与反向传播不同,不需要交替的前馈和反馈阶段。此外,学习算法是有效的训练DBM与层内连接之间的隐藏节点。MNIST和Fashion MNIST的实验表明,VPF快速学习合理的特征,更准确地重建受损图像,并生成具有高估计对数似然的样本。最后,我们注意到,有趣的是,如果存在VPF的不对称版本,则权重更新直接解释了尖峰定时依赖可塑性(STDP)的实验结果。
2017-11-21 cs.LG cs.NE stat.ML
Forecasting Probability Distributions of Financial Returns with Deep Neural Networks
TripleSun Krakow, Poland(波兰克拉科夫TripleSun)
本研究采用1D CNN与LSTM预测三种金融收益分布参数,在六大股指上验证表明深度学习模型分布预测准确,偏态t分布LSTM表现最优,可作为传统计量模型的风险评估替代方案。
2025-08-30 cs.LG q-fin.RM
Multi-Classification using One-versus-One Deep Learning Strategy with Joint Probability Estimates
Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港心脑血管健康工程研究中心);City University of Hong Kong(香港城市大学)
针对一对一多分类策略中投票机制限制准确率的问题,提出融合联合概率度量的深度学习OvO模型,经两阶段概率估计和距离最小化求解,在多场景下准确率优于现有主流模型。
2023-06-16 cs.AI cs.LG
Unfaithful Probability Distributions in Binary Triple of Causality Directed Acyclic Graph
Beihang University(北京航空航天大学)
本文在三元二元因果有向无环图(DAG)结构中构造了若干不忠实于Robins等人(2003)所描述的因果DAG的概率分布例子,并给出了具有多重独立性与条件独立性的一般不忠实概率分布。
2025-01-30 cs.AI cs.LG stat.ML
Deep generative models as the probability transformation functions
Cherkasy State Technological University(切尔卡西国立技术大学);Cherkasy Bohdan Khmelnytsky National University(切尔卡斯比多曼·赫梅尔尼茨基国立大学)
本文提出统一理论视角,将深度生成模型视为概率变换函数,揭示不同架构(自编码器、自回归模型、生成对抗网络、归一化流、扩散模型和流匹配)本质上均通过将简单预定义分布变换为复杂目标数据分布来运作。
2025-06-20 cs.LG
Approximating Poker Probabilities with Deep Learning
许多扑克系统,无论是用数学还是机器学习创建的,都依赖于获胜的概率作为关键输入。然而,使用组合数学计算精确的概率是一个棘手的问题,所以我们近似它。蒙特卡洛模拟是一种有效的技术,可以用来近似的概率,一个球员将赢得和/或平局。然而,如果不使用内存密集型查找表或超级计算机,在训练具有自我游戏的代理时,运行数百万次是不可行的。为了克服时空权衡,我们使用深度学习来近似从蒙特卡洛模拟中获得的高精度概率。学习的模型被证明是蒙特卡罗模拟的轻量级替代方案,最终允许我们在自我游戏期间有效地使用概率作为输入。源代码和优化的神经网络可以在https://github.com/brandinho/Poker-Probability-Approximation上找到
2018-08-23 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Surrogate Agent-Environment Interface
Wayne State University(韦恩州立大学)
本文提出了一种强化学习中的代理-环境接口(SAEI)。我们还指出,基于概率代理Agent-环境接口的学习提供了任务Agent-环境接口的最优策略。引入代理概率行为,提出了基于SAEI的概率代理行为确定性策略梯度(PSADPG)算法。该算法实现了对离散动作的连续控制。实验表明,PSADPG在初始训练阶段具有随机最优策略的性质,在某些任务上达到了DQN的性能。
2017-11-10 cs.LG
A Deep Learning Approach for the solution of Probability Density Evolution of Stochastic Systems
Sharif University of Technology(谢里夫理工大学)
概率密度演化的推导为许多随机系统的行为及其性能提供了宝贵的见解。然而,对于大多数实时应用,概率密度演化的数值确定是一项艰巨的任务。后者是由于所需的时间和空间离散方案,使大多数计算解决方案禁止和不切实际。在这方面,一个有效的计算代理模型的发展是至关重要的。最近的研究表明,一个合适的代理可以通过编码的物理洞察到一个深神经网络。为此,本工作引入了DeepPDEM,它利用物理信息网络的概念,通过提出一种深度学习方法来解决概率密度的演化。DeepPDEM学习随机结构的通用密度演化方程(GDEE)。这种方法为无网格学习方法铺平了道路,该方法可以在没有先验模拟数据的情况下解决密度演化问题。此外,它也可以作为一个有效的替代的解决方案中的任何其他时空点的优化方案或实时应用。为了证明所提出的框架的潜在的适用性,两个网络架构与不同的激活函数以及两个优化器进行了研究。三个不同问题的数值实现验证了所提出的方法的准确性和有效性。
2022-07-05 cs.LG math.DS math.PR
Probability-Density-Based Deep Learning Paradigm for the Fuzzy Design of Functional Metastructures
Innovative Institute, Huazhong University of Science and Technology(华中科技大学创新研究院);Institute of Acoustics, Tongji University(同济大学声学研究所);Advanced Science Research Center, City University of New York(纽约城市大学高级科学研究中心);Department of Mechanical Engineering, Hong Kong Polytechnic University(香港理工大学机械工程系);Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院)
在量子力学中,范数平方波函数可以被解释为描述粒子在给定位置或动量下被测量的可能性的概率密度。这种统计特性是微观世界模糊结构的核心。近年来,混合神经结构引起了人们的极大关注,产生了各种影响深远的智能系统。在这里,我们提出了一个基于概率密度的深度学习范例的功能元结构的模糊设计。与其他逆向设计方法相比,我们的基于概率密度的神经网络可以有效地评估和准确地捕捉所有可能的元结构在一个高维参数空间。概率密度分布中的局部最大值对应于最有可能满足期望性能的候选者。我们通过为每个目标透射谱设计多个元结构来验证这种通用自适应方法,但不限于声学,实验明确地证明了逆设计的有效性和通用性。
2020-11-11 cs.LG
Joint Distributions for TensorFlow Probability
Google Research(谷歌研究院)
概率编程的一个中心原则是,模型在推理算法可用的规范表示中只指定一次。我们描述了JointDistributions,这是TensorFlow Probability中有向图模型的声明性表示。
2020-01-22 cs.LG cs.PL stat.CO
WeatherBench Probability: A benchmark dataset for probabilistic medium-range weather forecasting along with deep learning baseline models
Technical University of Munich(慕尼黑工业大学);ClimateAi, Inc(ClimateAi公司)
WeatherBench是一个基准数据集,用于对位势、温度和降水进行中期天气预报,包括预处理数据、预定义的评估指标和一些基线模型。WeatherBench Probability通过添加一组已建立的概率验证指标(连续排名概率得分,扩展技能比和排名直方图)和使用ECWMF IFS集合预报的最先进的操作基线,将其扩展到概率预报。此外,我们还测试了三种不同的概率机器学习方法--蒙特卡洛退出、参数预测和分类预测,其中概率分布是离散化的。我们发现,简单的蒙特卡罗退出严重低估了不确定性。参数模型和分类模型都能产生质量相似的相当可靠的预测。参数模型的自由度更少,而分类模型在预测非高斯分布时更灵活。没有一个模型能够与业务IFS模型的技能相匹配。我们希望这个基准将使其他研究人员能够评估他们的概率方法。
2022-05-02 cs.LG physics.ao-ph
One-vs-Rest Network-based Deep Probability Model for Open Set Recognition
Yonsei University(延世大学)
在训练过程中看不到的未知示例经常出现在现实世界的计算机视觉任务中,智能自学习系统应该能够区分已知和未知示例。开集识别,解决了这个问题,已经研究了大约十年。然而,传统的基于深度神经网络(DNN)的开集识别方法缺乏识别后分数分析的基础。在本文中,我们提出了一种DNN结构,其中多个one-vs-rest sigmoid网络跟随卷积神经网络特征提取器。一个一对休息的网络,它是由整流的线性单位激活函数的隐藏层和一个单一的sigmoid目标类输出节点,可以最大限度地提高能力,从不匹配的例子学习信息。此外,该网络产生了一个复杂的非线性特征到输出的映射,在特征空间中是可解释的。通过引入基于极值理论的校准技术,非线性和可解释的映射提供了一个基础良好的类成员概率模型。我们的实验表明,one-vs-rest网络可以为未知的示例提供比常用的SoftMax层更多的信息隐藏表示。此外,所提出的概率模型在开集分类场景中优于最先进的方法。
2020-05-28 cs.CV cs.LG
Privacy-Preserving Distributed Parameter Estimation for Probability Distribution of Wind Power Forecast Error
Tsinghua University(清华大学);Bytedance(字节跳动)
建立风电预测误差的条件概率分布对风电场(WF)和独立系统运营商(ISO)都有利。建立风电功率的联合概率分布和相应的空间相关WFs预测数据是推导条件概率分布的基础。传统的概率分布参数估计方法需要收集所有工作流的历史数据。然而,在多区域互联电网的背景下,出于隐私或竞争考虑,区域ISO和WF都不能收集其他区域WF的原始数据。因此,本文首先提出了一种基于高斯混合模型的隐私保护分布式期望最大化算法来估计联合概率分布的参数。该算法由两种新颖的方法组成:(1)隐私保护的分布式求和算法和(2)隐私保护的分布式内积算法。然后,我们推导出每个WF的预测误差的条件概率分布的联合之一。通过该算法,工作流只需要进行局部计算和保护隐私的邻居通信就可以实现整体参数估计。这些算法进行了验证,使用风积分数据集公布的NREL。
2020-02-29 cs.CR cs.DC cs.LG
Geometric Gaussian Approximations of Probability Distributions
Tübingen AI Center, University of Tübingen, Germany(图宾根人工智能中心,图宾根大学,德国)
本文研究通过微分同胚或黎曼指数映射构造的几何高斯逼近,证明其可逼近任意概率分布,并探讨对给定分布族寻找共同微分同胚以获得一致高质量逼近的可能性。
2025-07-01 cs.LG math.DG math.PR