Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes
University of Oxford（牛津大学）；DeepMind（深度思维）
受电场或流体流等对象的启发，我们研究学习随机场的问题，即随机过程，其样本是物理和工程中发生的场。考虑到一般的变换，如旋转和反射，我们表明，随机场的空间不变性要求推理模型是等变的。利用最近的进展，从等方差文献，我们研究等方差在两类模型。首先，我们完全证明了等变高斯过程。其次，我们介绍了可操纵条件神经过程（SteerCNPs），神经过程家族的一个新的，完全等变的成员。在高斯过程向量场、图像和真实天气数据的实验中，我们观察到SteerCNP显著提高了以前模型的性能，等方差导致迁移学习任务的改进。
2021-07-17 cs.LG stat.ML
Learning conditional independence structure for high-dimensional uncorrelated vector processes
Aalto University（阿尔托大学）
我们制定和分析的图形模型选择方法推断的条件独立图的高维非平稳高斯随机过程（时间序列）从有限长度的观察。假设观察到的过程样本随时间不相关，并且具有随时间变化的边缘分布。该选择方法是基于测试的过程组件的小子集获得的条件方差。这允许应付高维制度，其中的样本量可以（大大）小于过程的尺寸。我们描述了所需的样本量，使得所提出的选择方法以高概率成功。
2016-09-13 cs.LG stat.ML
Conditional Risk Minimization for Stochastic Processes
IST Austria（奥地利科学技术研究所）
我们研究向非独立身份者学习的任务。数据特别是，我们的目标是学习预测器，最大限度地减少条件风险的随机过程，即预期损失的预测器上的下一个点的条件下，到目前为止观察到的训练样本集。对于非i.i.d.数据，训练集包含有关即将到来的样本的信息，因此可以期望关于条件分布的学习产生比从最小化边际风险的经典设置获得的更好的预测器。我们的主要贡献是基于非参数时间序列预测理论的条件风险的实用估计器，以及有限样本浓度界，该界在过程的某些规律性假设下建立了估计器对真实条件风险的一致收敛。
2016-03-13 cs.LG stat.ML
Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes
University of Cambridge（剑桥大学）；Invenia Labs（Invenia实验室）；Microsoft Research（微软研究院）
平稳随机过程（SP）是许多概率模型的关键组成部分，如那些离网时空数据。它们使潜在物理现象的统计对称性得到利用，从而有助于推广。这种模型中的预测可以被看作是从观测数据集到预测SP的翻译等变映射，强调平稳性和等变性之间的密切关系。在此基础上，我们提出了卷积神经过程（ConvNP），它赋予神经过程（NP）平移等方差，并扩展卷积条件NP以允许预测分布中的依赖性。后者使ConvNP能够部署在需要相干样本的设置中，例如Thompson采样或条件图像完成。此外，我们提出了一个新的最大似然目标，以取代标准的ELBO目标在NP，这在概念上简化了框架和经验上提高了性能。我们展示了ConvNP在一维回归，图像完成和真实时空数据的各种任务上的强大性能和泛化能力。
2020-11-20 cs.LG stat.ML
Learning Transition Kernels of Jump-Diffusion Processes with Conditional Diffusion Models
CNRS（法国国家科学研究中心）；Universite Paris-Dauphine（巴黎第九大学）；PSL（巴黎文理研究大学）
本文利用条件扩散模型学习跳跃扩散过程的转移核，从高频离散观测轨迹生成新样本路径，并给出理论误差界与数值验证。
2026-10-08 cs.LG stat.ML
Conditional Classification: A Solution for Computational Energy Reduction
George Mason University（乔治梅森大学）；University of California, Davis（加州大学戴维斯分校）
深度卷积神经网络已经在计算机视觉和其他应用中显示出高效率。然而，随着网络深度的增加，计算复杂性呈指数增长。在本文中，我们提出了一种新的解决方案，以减少计算复杂性的卷积神经网络模型用于多类图像分类。我们提出的技术将分类任务分为两个步骤：1）粗粒度分类，其中输入样本在一组超类中分类，2）细粒度分类，其中最终标签在第一步检测到的超类中预测。我们说明，我们提出的分类器可以达到最好的类分类模型报告的准确性水平，具有较低的计算复杂性（浮点数），只激活部分的模型，需要的图像分类。
2021-01-07 cs.LG stat.ML
Bayesian Image Classification with Deep Convolutional Gaussian Processes
在决策系统中，重要的是要有分类器，校准的不确定性，优化目标，可用于自动模型选择和培训。高斯过程（GP）提供了不确定性估计和边际似然目标，但它们的弱归纳偏差导致精度较差。这限制了它们在某些任务（例如图像分类）中的适用性。我们提出了一个对平移不敏感的卷积核，它放松了以前卷积GP施加的平移不变性约束。我们展示了如何使用边际似然来学习不敏感的程度。我们还将GP图像到图像的卷积映射重新表述为多输出GP，从而产生深度卷积GP。我们的实验表明，我们的新内核提高了单层和深层模型的性能。我们还证明了我们的完全贝叶斯方法在不确定性和边际似然估计方面优于基于丢弃的贝叶斯深度学习方法。
2020-03-04 cs.LG stat.ML
Group Equivariant Conditional Neural Processes
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目中心）
我们提出了组等变条件神经过程（EquivCNP），这是一种元学习方法，与传统的条件神经过程（CNP）一样，在数据集中具有排列不变性，并且在数据空间中也具有变换等变性。解释组等方差，如旋转和缩放等方差，提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理，这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中，我们使用李群卷积层构建架构以供实际实现。我们表明，翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外，我们证明，将适当的李群等方差，EquivCNP是能够zero-shot概括的图像完成任务，通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Conditional Neural Processes
DeepMind（深度思维）；Imperial College London（帝国理工学院）
深度神经网络擅长于函数逼近，但它们通常是为每个新函数从头开始训练的。另一方面，贝叶斯方法，如高斯过程（GP），利用先验知识在测试时快速推断新函数的形状。然而，GP在计算上是昂贵的，并且很难设计适当的先验。在本文中，我们提出了一系列的神经模型，条件神经过程（CNP），结合两者的好处。CNP的灵感来自于随机过程（如GP）的灵活性，但它被构造为神经网络，并通过梯度下降进行训练。CNP在仅观察少数训练数据点后就能做出准确的预测，但可以扩展到复杂的函数和大型数据集。我们展示了一系列典型的机器学习任务，包括回归，分类和图像完成的方法的性能和多功能性。
2018-07-04 cs.LG stat.ML
Calibrating Deep Convolutional Gaussian Processes
EURECOM（欧洲通信学院）；University of New South Wales（新南威尔士大学）；Columbia University（哥伦比亚大学）
卷积神经网络（CNN）在不确定性决策是基础的应用中的广泛采用，引起了人们对这些模型准确量化其预测中的不确定性的能力的极大关注。以前将CNN与高斯过程（GP）相结合的工作是在假设这些模型的预测概率经过良好校准的情况下开发的。在本文中，我们表明，事实上，目前CNN和GP的组合是错误的。我们提出了一种新的组合，大大优于以前的方法在这方面，同时实现最先进的图像分类任务的性能。
2018-05-26 cs.LG stat.ML
Practical Equivariances via Relational Conditional Neural Processes
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Manchester（曼彻斯特大学）
针对现有条件神经过程引入等变性后无法扩展到高维输入的问题，提出关系条件神经过程方法，可将等变性融入任意神经过程模型，扩展其适用范围，且在多类含等变性的任务中表现优异。
2023-11-05 cs.LG stat.ML
Graph Convolutional Gaussian Processes
Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题，其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入，同时保持可表达性，如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格，证明其通用性和有效性，相比现有的方法，尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
Adaptive Conditional Quantile Neural Processes
Texas A&M University（德州农工大学）；Google Cloud（谷歌云）
提出条件分位神经过程（CQNPs），通过分位回归建模任意分布并自适应估计信息分位数，克服高斯假设限制，显著提升预测性能与异质分布建模能力。
2023-07-03 cs.LG stat.ML
Deep Convolutional Networks as shallow Gaussian Processes
University of Cambridge（剑桥大学）
我们证明了在无限多个卷积滤波器的限制下，具有适当先验的（残差）卷积神经网络（CNN）的输出是一个高斯过程（GP），扩展了密集网络的类似结果。对于一个CNN，等价的核可以被精确地计算出来，并且与"深度核"不同，它的参数非常少：只有原始CNN的超参数。此外，我们表明，这个内核有两个属性，使它能够有效地计算;评估一对图像的内核的成本类似于通过原始CNN的单次前向传递，每层只有一个过滤器。相当于32层ResNet的内核在MNIST上获得了0.84%的分类错误，这是具有可比数量参数的GP的新记录。
2019-05-05 cs.LG stat.ML
Conditional Generative Modeling for High-dimensional Marked Temporal Point Processes
Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
针对高维标记点过程建模中表征能力受限和计算挑战的问题，提出了一种基于条件生成器的事件生成框架，无需显式指定条件强度或概率密度，能高效捕获复杂动态并生成高质量后续事件，实验证明性能优于现有基线。
2025-01-18 cs.LG stat.ML
Conditional Neural Processes for Molecules
University of Cambridge（剑桥大学）
神经过程（NPs）是迁移学习的模型，具有高斯过程（GP）的特性。它们擅长于对由相同输入空间上的许多相关函数的少量观测组成的数据进行建模，并通过最小化变分目标进行训练，这在计算上比GP所需的贝叶斯更新便宜得多。到目前为止，大多数关于NP的研究都集中在低维数据集上，这些数据集并不能代表现实的迁移学习任务。药物发现是一个应用领域，其特征在于由许多化学性质或功能组成的数据集，这些化学性质或功能很少被观察到，但依赖于分子输入的共享特征或表示。本文将条件神经过程（CNP）应用于DOCKSTRING，这是一个用于基准ML模型的对接分数数据集。相对于化学信息学中常见的监督学习基线，CNP在Few-Shot学习任务中表现出竞争力，以及基于预训练和精炼神经网络回归量的迁移学习的替代模型。我们提出了一个贝叶斯优化实验，展示了CNPs的概率性质，并讨论了该模型在不确定性量化方面的不足。
2023-02-23 cs.LG stat.ML
Graph Convolutional Gaussian Processes For Link Prediction
Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
链接预测旨在揭示图中缺失的边。我们通过高斯过程来解决这个任务，该过程使用简化的图卷积进行变换，以更好地利用域的归纳偏差。为了将高斯过程模型扩展到大型图，我们引入了一种变分诱导点方法，该方法将伪输入放置在图结构域上。我们评估了我们的模型上八个大图与多达数千个节点和报告一致的改进，现有的高斯过程模型以及竞争力的性能相比，最先进的图神经网络方法。
2020-02-11 cs.LG stat.ML
Learning the conditional law: signatures and conditional GANs in filtering and prediction of diffusion processes
Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
我们考虑扩散过程的滤波和预测问题。信号和观测由相关维纳过程驱动的随机微分方程（SDEs）建模。在经典估计理论中，测量值随机偏微分方程（SPDE）推导出的过滤和预测措施。这些方程可能很难用数值求解。我们提供了一个近似算法，使用条件生成对抗网络（GANs）结合签名，粗糙路径理论的对象。一条足够平滑的路径的特征完全决定了该路径。因此，在某些情况下，基于签名的GANs已被证明可以有效地近似随机过程的规律。对于我们的算法，我们扩展了这种方法的样本从条件的法律，噪声，部分观察。我们的发电机构造使用神经微分方程（NDEs），依靠其通用逼近器的属性。我们显示适定性提供了一个严格的数学框架。数值结果表明了算法的有效性。
2022-09-15 cs.LG math.OC stat.ML
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation（英特尔公司）
我们引入了一种新的编码器-解码器架构，将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码，以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程（CNP）模型。我们的架构采用了图神经网络的最新进展，以处理不规则采样的功能。因此，我们将我们的模型称为条件图神经过程（CGNP）。图神经网络可以有效地利用度量空间的“局部”结构，在度量空间上定义函数/过程。本文的贡献是双重的：（i）一种新的基于图的编码器-解码器架构的功能和过程嵌入，以及（ii）使用度量空间的结构，这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Modeling Inter-Dependence Between Time and Mark in Multivariate Temporal Point Processes
Mastercard, AI Garage（万事达卡 AI 车库）
本文针对带标记时间点过程中时间与标记条件独立假设的局限性，提出以当前事件标记为条件建模时间分布的多元TPP方法，并结合基于强度与无强度模型，在标准预测任务上取得优于现有模型的性能。
2024-11-23 cs.LG stat.ML
Graph Convolutional Networks for Classification with a Structured Label Space
Bombora Inc.（Bombora公司）；New York University（纽约大学）
在多类分类中，通常忽略类的结构信息。在本文中，我们提出了一个图卷积网络（GCN）增强神经网络分类器，利用一个已知的，底层的图形结构的标签。所提出的方法类似于（近似）推理过程，例如，条件随机场（CRF）。我们评估所提出的方法对文件分类和对象识别和报告的准确性和图论指标，对应于模型的预测的一致性。实验结果表明，所提出的模型优于基线方法，忽略了图形结构的标签空间的图论度量。
2018-02-22 cs.LG stat.ML
Contrastive Conditional Neural Processes
The University of New South Wales（新南威尔士大学）
Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{ \it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able…
2022-03-25 cs.LG stat.ML
Batch-Shaping for Learning Conditional Channel Gated Networks
Qualcomm AI Research（高通人工智能研究院）
我们提出了一种训练大容量神经网络的方法，具有显着提高的精度和较低的动态计算成本。我们通过在细粒度级别上门控深度学习架构来实现这一点。单个卷积映射根据网络中的特征有条件地打开/关闭。为了实现这一点，我们引入了一种新的残差块架构，以细粒度的方式对卷积通道进行门控。我们还介绍了一个普遍适用的工具$batch$ - $shaping$，匹配的边缘聚合后验的功能在神经网络预先指定的先验分布。我们使用这种新技术来迫使门对数据有更多的条件。我们在CIFAR-10和ImageNet数据集上进行图像分类，并在Cityscapes上进行语义分割。我们的结果表明，我们的方法可以有条件地精简大型架构，使数据的平均计算成本与较小的架构相当，但精度更高。特别是，在ImageNet上，我们的ResNet 50和ResNet 34门控网络获得了74.60%和72.55%的top-1准确率，而基线ResNet 18模型的准确率为69.76%，具有类似的复杂性。我们还表明，由此产生的网络自动学习使用更多的功能，困难的例子和简单的例子较少的功能。
2020-04-03 cs.CV cs.LG stat.ML
Graphical structure of conditional independencies in determinantal point processes
行列式点过程最近被用作机器学习中的模型，这引起了关于条件独立性的刻画的问题。在本文中，我们研究的条件独立性的特征。我们描述了一些条件的独立性，通过一个决定性的点过程的核的条件，并显示许多可以得到使用的$L$ -系综的核诱导的图。
2014-06-29 math.PR math.ST stat.ML
Deep Gaussian Processes with Convolutional Kernels
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Amazon Research（亚马逊研究院）
深度高斯过程（DGP）为标准参数深度学习模型提供了贝叶斯非参数替代方案。DGP是通过堆叠多个GP而形成的，从而导致函数的良好正则化组合。贝叶斯框架为模型提供了有吸引力的属性，例如隐式容量控制和预测不确定性，同时也使其与卷积结构相结合具有挑战性。这阻碍了DGP在计算机视觉任务中的应用，这是深度参数模型（即CNN）取得突破的领域。DGP中使用的标准内核（如径向基函数（RBF））不足以处理原始图像中的像素变化。在本文中，我们在最近的卷积GP的基础上开发了卷积DGP（CDGP）模型，该模型通过使用卷积核有效地捕获图像级特征，从而开辟了将DGP应用于计算机视觉任务的途径。我们的模型学习局部空间影响，并在多类图像分类上优于基于强GP的基线。我们还考虑了卷积核在图像块上的各种构造，分析了计算权衡，并为卷积DGP模型提供了一个有效的框架。在MNIST、矩形图像、CIFAR10和Caltech101等图像数据上的实验结果表明了所提方法的有效性。
2018-06-05 cs.AI cs.LG stat.ML
Large deviation principles for convolutional Bayesian neural networks
Politecnico di Milano（米兰理工大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究了卷积神经网络在无限通道极限下的大偏差原理，建立了条件协方差矩阵的大偏差原理，并推导了后验分布的大偏差原理，首次为卷积神经网络建立了此类原理。
2026-06-08 math.PR stat.ML
Generative Models for Stochastic Processes Using Convolutional Neural Networks
本文旨在演示卷积神经网络作为随机过程生成模型的使用，使来自广泛领域（如定量金融和物理）的研究人员能够开发一种通用的预测和模拟工具，而无需识别/假设特定的系统结构或估计其参数。
2018-01-09 cs.NE physics.comp-ph q-fin.CP
Workpiece Image-based Tool Wear Classification in Blanking Processes Using Deep Convolutional Neural Networks
Technical University of Darmstadt（达姆施塔特工业大学）
针对冲裁工艺中刀具磨损影响产品质量、易引发停机的问题，本研究提出用冲裁工件图像作为深度卷积神经网络输入来分类刀具磨损状态，实现了高预测准确率，为该类工艺的磨损监测提供了新路径。
2021-07-26 cs.LG eess.IV stat.ML
Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes
Inception Institute of Artificial Intelligence（初创人工智能研究所）；Aalborg University（奥尔堡大学）
图卷积神经网络~（GCNs）在基于图的半监督分类中取得了很好的效果，但对其理论性质的研究还很少。最近，几种深度神经网络，例如，本文证明了具有无限隐单元的全连通和卷积神经网络与高斯过程GP是等价的。为了利用GCN的强大的表征能力和GP的巨大表达能力，我们研究了无限宽GCN的类似性质。更具体地说，我们提出了一个基于GCN ~（GPGC）的GP回归模型，用于基于图的半监督学习。在这个过程中，我们制定的核矩阵计算的GPGC的迭代解析形式。最后，我们推导出一个条件分布的未观察到的节点的标签的基础上的图形结构，标签的观察到的节点，和所有节点的特征矩阵。我们进行了大量的实验来评估GPGC的半监督分类性能，并证明它在所有数据集上都明显优于其他最先进的方法，同时效率很高。
2020-02-26 cs.CV cs.LG stat.ML
Convolutional Bayesian Filtering
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；Department of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人系）；Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院）
本文提出卷积贝叶斯滤波框架，通过引入不等式条件将条件概率转化为卷积形式，统一并推广标准贝叶斯滤波，并展示了其在Kalman滤波等经典算法中的鲁棒改进。
2024-03-30 cs.LG cs.SY eess.SY
Conditional Deep Gaussian Processes: multi-fidelity kernel learning
Rutgers University（罗格斯大学）；Institute for Advanced Study（普林斯顿高等研究院）
深度高斯过程（DGPs）被提出作为一个表达贝叶斯模型能够数学接地估计的不确定性。DPG的表现力不仅来自于其组成特征，还来自于其在层次结构中的分布传播。最近，文献[1]指出DGP的层次结构非常适合于多保真度回归建模，其中一个模型提供了高精度的稀疏观测值和大量的低保真度观测值。我们提出了条件DGP模型，其中潜在的GP直接支持的固定的较低的保真度数据。然后利用文献[2]中的矩匹配方法，用一个GP来逼近条件DGP的边缘先验。所获得的有效核是较低保真度数据的隐函数，体现了层次结构内分布传播所带来的表现力。通过优化近似边缘似然来学习超参数。合成和高维数据的实验显示出与其他多保真度回归方法，变分推理和多输出GP相当的性能。我们得出结论，在低保真度数据和分层DGP结构的情况下，有效内核对真函数的归纳偏差进行编码，从而允许[3，4]中讨论的组合自由度。
2021-10-01 cond-mat.dis-nn cs.LG stat.ML
Learning flexible representations of stochastic processes on graphs
图卷积网络通过将卷积神经网络的卷积运算替换为依赖于图的线性运算来调整卷积神经网络的架构，以学习任意图上支持的数据的丰富表示。然而，这些依赖于图的线性运算是为无向图上支持的标量函数开发的。我们提出了一类用于图卷积网络的有向（或无向）图上的随机（时变）过程的线性运算。我们提出了一个参数化的线性运算使用功能演算，以实现任意低的学习复杂度。所提出的方法被证明是更丰富的行为模型，并显示更大的灵活性，在学习表示比产品图方法。
2018-03-13 eess.SP stat.ML
Ensemble-Conditional Gaussian Processes (Ens-CGP): Representation, Geometry, and Inference
Earth Signals and Systems Group（地球信号与系统组）；Earth, Atmospheric and Planetary Sciences（地球、大气与行星科学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出Ens-CGP，一种基于集成的条件高斯过程方法，通过将经验集成矩作为高斯先验进行精确条件化，为卡尔曼滤波等方法提供概率基础，并明确其与变分和集成视角的关系。
2026-02-14 cs.IT cs.LG math.IT
Iteratively reweighted adaptive lasso for conditional heteroscedastic time series with applications to AR-ARCH type processes
由于大数据的影响越来越大，收缩算法几乎在统计学的每个领域都非常重要。特别是时间序列分析受益于有效和快速的估计技术，如套索。然而，目前自回归时间序列模型的Lasso型估计仍然集中在残差为同方差的模型上。因此，在高维环境下，提出了一种用于条件异方差下时间序列模型估计的迭代加权自适应lasso算法。分析了所得估计量的渐近行为。据发现，建议的估计过程中执行实质上优于其同方差对应。该算法的一个特例适用于有效地计算估计的多元AR-均值型模型。扩展的模型，如周期AR-消隐，阈值AR-消隐或ARMA-GSTAR进行了讨论。最后，不同的模拟结果和应用程序的电力市场数据和金属价格的回报。
2015-12-05 q-fin.CP stat.AP stat.CO
