OceanMoE: Structured Conditional Sparse Computation for Long-Horizon Multivariate Ocean Forecasting
Hangzhou Institute for Advanced Study, University of the Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）
OceanMoE提出结构化条件稀疏混合专家框架，通过内容条件路由与地理偏差平衡共享背景与特化，在长时程ORAS5预报中降低误差并保持优势。
2026-09-18 cs.LG
Optimizing Speech Multi-View Feature Fusion through Conditional Computation
Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Meituan（美团）；Huawei Translation Services Center（华为翻译服务中心）；NiuTrans Research（NiuTrans研究中心）
针对自监督学习特征与传统频谱特征更新方向冲突的问题，提出带梯度敏感门控网络和多阶段dropout策略的条件计算特征融合框架，在MUSTC语音翻译任务上实现收敛加速且性能相当。
2025-01-14 cs.AI cs.CL cs.SD
GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
Google（谷歌）
在许多具有大量训练数据和计算的真实世界机器学习应用中，神经网络缩放对于提高模型质量至关重要。虽然这种缩放趋势被肯定是一种确保更好的模型质量的方法，但在这条道路上存在着挑战，例如计算成本，编程的易用性以及在并行设备上的有效实现。GShard是一个由一组轻量级注释API和XLA编译器扩展组成的模块。它提供了一种优雅的方式来表达广泛的并行计算模式，只需对现有模型代码进行最小的更改。GShard使我们能够使用自动分片扩展多语言神经机器翻译Transformer模型，其中包含超过6000亿个参数的稀疏门控专家混合模型。我们证明，这样一个巨大的模型可以在4天内在2048个TPU v3加速器上有效地训练，与现有技术相比，从100种语言翻译成英语的质量要高得多。
2020-06-30 cs.CL cs.LG stat.ML
Stable Parallel Training of Wasserstein Conditional Generative Adversarial Neural Networks
Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个稳定的，并行的方法来训练Wasserstein条件生成对抗神经网络（W-CGANs）的约束下，一个固定的计算预算。与以前的分布式GANs训练技术不同，我们的方法避免了进程间通信，降低了模式坍塌的风险，并通过使用多个生成器来增强可扩展性，每个生成器都同时在单个数据标签上进行训练。Wasserstein度量的使用还通过稳定每个生成器的训练来降低骑自行车的风险。我们在CIFAR 10，CIFAR 100和ImageNet 1 k数据集上说明了该方法，这三个标准的基准图像数据集保持了每个数据集图像的原始分辨率。在有限的固定计算时间和计算资源内的可扩展性和最终精度方面评估性能。为了测量准确性，我们使用初始分数，Frechet初始距离和图像质量。与通过在深度卷积条件生成对抗神经网络（DC-CGAN）上执行并行方法获得的先前结果相比，初始分数和Frechet初始距离有所改善，以及通过GANs方法创建的新图像的图像质量有所改善。在OLCF超级计算机Summit上使用多达2，000个NVIDIA V100 GPU在两个数据集上实现弱缩放。
2022-07-25 cs.AI cs.CV cs.DC
Controlling Computation versus Quality for Neural Sequence Models
Google Research（谷歌研究院）
大多数神经网络对每个例子都使用相同的计算量，而与输入的固有复杂性无关。此外，使计算量适应示例的方法集中于每个示例找到固定的推理时间计算图，忽略任何外部计算预算或变化的推理时间限制。在这项工作中，我们利用条件计算，使神经序列模型（Transformer）更有效和计算感知推理。我们首先修改了Transformer架构，使每组操作都可以根据学习的控制网络的输出有条件地执行。然后，我们在多任务设置中训练该模型，其中每个任务对应于特定的计算预算。这允许我们训练单个模型，该模型可以被控制以在计算质量权衡曲线的不同点上操作，这取决于推断时的可用计算预算。我们在两个任务上评估我们的方法：（i）WMT英法翻译和（ii）无监督表示学习（BERT）。我们的实验表明，所提出的条件计算Transformer（CCT）是有竞争力的香草Transformers时，允许利用其全部计算预算，同时提高显着的计算等效基线时，较小的计算预算。
2020-04-16 cs.CL cs.LG stat.ML
A Hybrid Approach on Conditional GAN for Portfolio Analysis
几十年来，马科维茨框架在投资组合分析中得到了广泛的应用，但它过于强调对市场不确定性的分析，而不是对趋势的预测。而生成对抗网络（GAN）、条件GAN（CGAN）和自动编码CGAN（ACGAN）已被探索用于生成金融时间序列并提取有助于投资组合分析的特征。CGAN或ACGAN框架的局限性在于过于强调生成序列和发现序列的内部趋势，而不是预测未来趋势。在本文中，我们介绍了一种基于深度生成模型的条件GAN混合方法，该方法在对市场不确定性和未来趋势建模的同时学习历史数据的内部趋势。我们评估了来自美国和欧洲市场的几个真实世界的数据集的模型，并表明，建议的HybridCGAN和HybridACGAN模型导致更好的投资组合分配相比，现有的Markowitz，CGAN和ACGAN的方法。
2022-07-13 cs.LG q-fin.PM
Conditional Generative Models for High-Resolution Range Profiles: Capturing Geometry-Driven Trends in a Large-Scale Maritime Dataset
STIM, Mines Paris, PSL University（STIM，巴黎 Mines，PSL 大学）
本文提出基于几何驱动因素的条件生成模型，用于在大规模海洋数据集中生成鲁棒的高分辨率距离剖面。
2026-02-09 cs.CV cs.LG
Autoencoding Conditional GAN for Portfolio Allocation Diversification
几十年来，马科维茨框架在投资组合分析中得到了广泛的应用，但它过于强调对市场不确定性的分析，而不是对趋势的预测。而生成对抗网络（GAN）和条件GAN（CGAN）已经被探索用于生成金融时间序列并提取有助于投资组合分析的特征。CGAN框架的局限性在于过于强调生成系列，而不是保留可以帮助生成器的功能。在本文中，我们介绍了一种基于深度生成模型的自动编码CGAN（ACGAN），它可以学习历史数据的内部趋势，同时对市场的不确定性和未来趋势进行建模。我们评估了来自美国和欧洲市场的几个真实世界的数据集的模型，并表明，拟议的ACGAN模型导致更好的投资组合分配，并产生一系列更接近真实的数据相比，现有的Markowitz和CGAN方法。
2022-06-17 cs.LG q-fin.PM
Conditional Denoising Meets Polynomial Modeling: A Flexible Decoupled Framework for Time Series Forecasting
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）
针对现有时间序列模型忽略趋势与季节成分差异的问题，提出CDPM框架，结合概率扩散模型与确定性线性模型，解耦建模并分别处理，在六个基准上验证了有效性。
2025-06-08 cs.LG
Memorization Capacity of Neural Networks with Conditional Computation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
许多实证研究已经证明了条件计算在神经网络中的性能优势，包括减少推理时间和功耗。我们从记忆能力的角度研究了神经条件计算的基本限制。对于没有条件计算的整流线性单元（ReLU）网络，已知的是，可以经由具有$O(\sqrt{n})$神经元的神经网络来完成记忆$n$输入-输出关系的集合。计算该神经网络的输出可以使用针对每个输入的加法、乘法和比较的$O(\sqrt{n})$基本算术运算来完成。使用条件ReLU网络，我们证明了每个输入仅使用$O(\log n)$操作就可以完成相同的任务。与没有条件计算的网络相比，这代表了几乎指数级的改进。我们还表明，$Θ(\log n)$率是最好的。我们的可扩展性结果利用了一种通用的方法，以计算效率高的方式从无条件网络中合成出一个条件网络，弥合了无条件和条件架构之间的差距。
2023-03-20 cs.LG
Improving confidence while predicting trends in temporal disease networks
Center for Data Anaytics and Biomedical Informatics, Temple University（天普大学数据分析与生物医学信息学中心）
对于高度敏感的现实世界预测分析应用，如医疗保健和医学，仅具有良好的预测准确性通常是不够的。这些类型的应用程序需要一个决策过程，使用不确定性估计作为输入，只要有可能。不确定性估计的质量是过度或不足置信预测的主题，这在许多模型中通常没有解决。在本文中，我们展示了高斯条件随机场模型的几个扩展，其目的是提供更高质量的不确定性估计。这些扩展应用于从HCUP获得的加利福尼亚州住院患者数据库（SID）构建的颞疾病图。我们的实验证明了使用图形信息建模的时间疾病属性以及改进的不确定性估计所提供的高斯条件随机场方法的扩展的好处。
2018-03-28 cs.LG stat.ML
Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting
KTH Royal Institute of Technology（瑞典皇家理工学院）；RISE Research Institutes of Sweden（瑞典RISE研究院）
我们提出了一个金融时间序列预测的表示学习框架。使用深度学习模型进行金融预测的一个挑战是在使用小数据集时缺乏可用的训练数据。使用在小数据集上训练的深度神经网络进行直接趋势分类容易受到过拟合问题的影响。在本文中，我们建议首先从时间序列数据中学习紧凑的表示，然后使用学习到的表示来训练一个更简单的模型来预测时间序列运动。我们考虑一类条件潜变量模型。我们训练一个编码器网络，以最大化潜在变量和以编码的观测变量为条件的趋势信息之间的互信息。我们表明，条件互信息最大化可以近似的对比损失。然后，问题被转化为一个分类任务，确定两个编码表示是否是从同一类或不采样。这相当于对训练数据点进行成对比较，从而提高了编码器网络的泛化能力。我们使用深度自回归模型作为编码器来捕获序列数据的长期依赖性。实证实验表明，我们提出的方法有可能提高最先进的性能。
2021-05-07 cs.LG stat.ML
Conditional Computation in Neural Networks for faster models
School of Computer Science（计算机学院）；McGill University（麦吉尔大学）
深度学习已成为许多应用中最先进的工具，但深度模型的评估和训练可能非常耗时且计算成本高昂。已经提出了条件计算方法来解决这个问题（Bengio等人，2013; Davis & Arel，2013）。它通过一次选择性地只激活网络的一部分来运行。在本文中，我们使用强化学习作为优化条件计算策略的工具。更具体地说，我们将学习依赖于激活的策略以丢弃单元块的问题作为强化学习问题。我们提出了一个由计算速度驱动的学习方案，捕获了想要在保持预测准确性的同时具有简约激活的想法。我们应用一个策略梯度算法来学习优化这个损失函数的策略，并提出了一个正则化机制，鼓励辍学政策的多样化。我们提出了令人鼓舞的实证结果表明，这种方法提高了计算速度，而不影响近似的质量。
2016-01-07 cs.LG
Low-Rank Approximations for Conditional Feedforward Computation in Deep Neural Networks
University of Tennessee（田纳西大学）
深度神经网络的可扩展性特性提出了关键的研究问题，特别是当考虑的问题变得更大，更具挑战性时。本文扩展了Bengio等提出的条件计算的思想。例如，其中深度网络的节点由一组选通单元来扩充，所述选通单元确定何时应当计算节点。通过将权重矩阵分解为低秩近似，可以有效地获得预非线性激活的符号的估计。对于使用整流线性隐藏单元的网络，这意味着可以完全省略具有估计的负预非线性的隐藏单元的计算，因为当应用非线性时，其值将变为零。对于稀疏神经网络，这可以导致相当大的速度增益。使用MNIST和SVHN数据集与一个完全连接的深度神经网络的实验结果表明，所提出的方案的性能鲁棒性的条件计算过程中引入的错误。
2014-01-28 cs.LG
An Empirical Study of Batch Normalization and Group Normalization in Conditional Computation
批量归一化已被广泛用于改进深度神经网络中的优化。虽然批量统计中的不确定性可以作为正则化器，但使用这些特定于训练集的数据集统计会损害某些任务的泛化。最近，已经提出了用于归一化神经网络中的特征激活的替代方法。其中，组归一化已被证明产生类似的，在某些领域甚至优于性能的批量归一化。所有这些方法都在归一化操作之后利用学习的仿射变换来增加表示能力。条件计算中使用的方法将这些转换的参数定义为条件信息的可学习函数。在这项工作中，我们研究是否以及在那里的条件制定组规范化可以提高泛化相比，条件批量归一化。我们评估了视觉问答、少样本学习和条件图像生成任务的表现。
2019-07-31 cs.CV cs.LG
Emerging trends in machine learning for computational fluid dynamics
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Washington（华盛顿大学）；Swedish e-Science Research Centre（瑞典电子科学研究中心）
本文探讨了机器学习为计算流体力学领域带来的新机遇，分析了两者间已显现效益的协同作用及未来潜力，并强调应保持谨慎乐观的平衡观点。
2023-04-05 cs.LG physics.flu-dyn
LRCC: Generalizing Low-Rank Compression with Conditional Computation
Sapienza University of Rome（罗马第一大学）
LRCC通过训练轻量级路由器为每个令牌选择嵌套低秩路径，在冻结低秩因子下优化路由器，在相同预算下提升语言模型性能，如Llama-2-7B下游准确率提高7.6个百分点。
2026-10-08 cs.AI cs.CL cs.LG
Towards Anytime Classification in Early-Exit Architectures by Enforcing Conditional Monotonicity
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世三角洲实验室）；University of Amsterdam（阿姆斯特丹大学）；University of Cambridge（剑桥大学）；Bosch Center for AI（博世人工智能中心）；University of Tübingen（蒂宾根大学）
本文针对早退网络在随时计算中预测质量不随计算时间单调提升的问题，提出基于专家乘积的事后修改方法，赋予模型条件单调性，在保持平均准确率的同时实现真正的随时预测。
2023-10-29 cs.AI cs.LG stat.ML
Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation
Université de Montréal（蒙特利尔大学）
随机神经元和硬非线性在深度学习模型中有很多用处，但在许多情况下，它们会带来一个具有挑战性的问题：如何估计损失函数相对于此类随机或非光滑神经元输入的梯度？即，我们能通过这些随机神经元“反向传播”吗？我们研究这个问题，现有的方法，并比较四个家庭的解决方案，适用于不同的设置。其中之一是随机二元神经元的最小方差无偏梯度估计（REINFORCE算法的一个特例）。第二种方法，在这里介绍，分解成一个随机的二进制部分和一个光滑的可微部分，这近似的纯随机二进制神经元的预期效果的二进制神经元的操作到一阶。第三种方法涉及在计算图中注入加性或乘性噪声，否则是可微的。第四种方法是直接复制关于随机输出的梯度，作为关于sigmoid参数的梯度的估计量（我们称之为直通估计量）。为了探索这些估计器有用的上下文，我们考虑{ \em条件计算}的小规模版本，其中稀疏随机单元形成gater的分布式表示，可以以多种组合方式关闭神经网络其余部分中执行的大块计算。在这种情况下，门控单元在大多数时间产生实际0是很重要的。由此产生的稀疏性可以被利用来大大降低大型深度网络的计算成本，条件计算将对其有用。
2013-08-15 cs.LG
Exponentially Increasing the Capacity-to-Computation Ratio for Conditional Computation in Deep Learning
Université de Montréal（蒙特利尔大学）
深度网络获得的许多最先进的结果都是通过可以训练的最大模型实现的，如果有更多的计算能力，我们可能能够利用更大的数据集来提高泛化能力。而在诸如决策树之类的学习算法中，参数的数量）与计算的比率是非常有利的（高达指数地多于计算的参数），对于深度神经网络，该比率基本上为1。条件计算已经被提出作为一种在不增加所需计算量的情况下增加深度神经网络的容量的方式，其通过在每个示例的基础上“按需”激活一些参数和计算。本文提出了一种新的神经网络权值矩阵参数化方法，它有可能使计算参数数的比率以指数方式增加。所提出的方法是基于打开一些参数（权重矩阵）时，获得特定的位模式的隐藏单元激活。为了更好地控制可能导致的过拟合，我们提出了一个参数化，是树结构的，其中树的每个节点对应于一个前缀的一个序列的符号位，或门控单元，与隐藏单元。
2014-06-28 cs.LG cs.NE stat.ML
Surprisal-Triggered Conditional Computation with Neural Networks
McGill University（麦吉尔大学）；Mila（米拉研究所）
自回归神经网络模型已成功地用于序列生成、特征提取和假设评分。本文提出了这些模型的另一种用途：将更多的计算分配给更困难的输入。在我们的模型中，一个自回归模型被用来提取特征和预测观测流的输入观测。根据自回归模型，作为当前观测的负对数似然测量的输入的概率被用作输入难度的度量。这反过来又决定了是使用小型快速网络还是大型慢速网络。两个语音识别任务的实验表明，我们的模型可以匹配的性能的基线，其中大网络总是使用15%的FLOP。
2020-06-02 cs.LG stat.ML
Conditional Classification: A Solution for Computational Energy Reduction
George Mason University（乔治梅森大学）；University of California, Davis（加州大学戴维斯分校）
深度卷积神经网络已经在计算机视觉和其他应用中显示出高效率。然而，随着网络深度的增加，计算复杂性呈指数增长。在本文中，我们提出了一种新的解决方案，以减少计算复杂性的卷积神经网络模型用于多类图像分类。我们提出的技术将分类任务分为两个步骤：1）粗粒度分类，其中输入样本在一组超类中分类，2）细粒度分类，其中最终标签在第一步检测到的超类中预测。我们说明，我们提出的分类器可以达到最好的类分类模型报告的准确性水平，具有较低的计算复杂性（浮点数），只激活部分的模型，需要的图像分类。
2021-01-07 cs.LG stat.ML
Adaptive Computation Modules: Granular Conditional Computation For Efficient Inference
IDEAS NCBR；Jagiellonian University（雅盖隆大学）；Sapienza University of Rome（罗马大学）；University of Warsaw（华沙大学）；University of Edinburgh（爱丁堡大学）
针对Transformer计算效率低的问题，提出自适应计算模块（ACM），通过门控机制按token动态调整计算负载，并利用蒸馏技术改造预训练模型，在视觉和语音任务中显著降低推理成本且不损失准确率。
2024-12-18 cs.LG
Conditional Computation for Continual Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；IVADO
连接主义神经网络的灾难性遗忘是由所有训练样本之间参数的全局共享引起的。在这项研究中，我们分析了参数共享的条件计算框架下，神经网络的参数是有条件的每个输入的例子。在一个极端，如果每个输入示例使用不相交的参数集，则不存在参数共享，因此不存在灾难性遗忘。在另一个极端，如果每个例子的参数都是相同的，它减少到传统的神经网络。然后，我们引入位于中间的Maxout网络的剪裁版本，即示例之间部分共享参数。基于参数共享分析，我们可以找到一个有限的一组样本，当学习一个新的例子时，受到干扰。我们建议在这个集合上进行排练，以防止遗忘，这被称为条件排练。最后，我们证明了所提出的方法的有效性，在一个在线的非平稳设置，其中更新后，每个新的例子和接收到的例子的分布随着时间的推移而变化。
2019-06-16 cs.LG cs.NE stat.ML
A Survey on Evolutionary Computation for Computer Vision and Image Analysis: Past, Present, and Future Trends
Zhengzhou University（郑州大学）；Victoria University of Wellington（惠灵顿维多利亚大学）；University of Granada（格拉纳达大学）；Andalusian Research Institute in Artificial Intelligence（安达卢西亚人工智能研究所）；Panacea Cooperative Research S.Coop.（Panacea合作研究合作社）；University of Parma（帕尔马大学）
计算机视觉是人工智能的一个重要领域，具有广泛的应用前景。图像分析是计算机视觉中的一项主要任务，旨在提取、分析和理解图像的视觉内容。然而，由于许多因素，图像相关的任务非常具有挑战性，例如，图像之间的高变化、高维度、领域专业知识要求和图像失真。演化计算方法在图像分析中得到了广泛的应用并取得了显著的成果。然而，目前还没有对现有的EC图像分析方法进行全面调查。为了填补这一空白，本文提供了一个全面的调查，涵盖所有重要的图像分析任务，包括边缘检测，图像分割，图像特征分析，图像分类，目标检测，和其他基本的EC方法。本调查旨在通过讨论不同方法的贡献以及探索如何以及为什么将EC用于CV和图像分析来更好地理解进化计算机视觉（ECV）。与此研究领域相关的应用，挑战，问题和趋势也进行了讨论和总结，为未来的研究提供进一步的指导方针和机会。
2022-09-14 cs.AI cs.CV cs.LG
Computation of conditional expectations with guarantees
ETH Zurich（苏黎世联邦理工学院）
在理论上，对于给定的$d$维随机向量$X$，平方可积随机变量$Y$的条件期望可以通过在所有Borel可测函数$f \colon \mathbb{R}^d \to \mathbb{R}$上最小化$Y$和$f(X)$之间的均方距离得到.然而，在许多应用中，这个最小化问题不能被精确地解决，相反，必须使用一种数值方法来计算一个合适的波莱尔函数的子族的近似最小值。结果的质量取决于子族的充分性和数值方法的性能。在本文中，我们推导出一个期望值表示的最小均方距离，在许多应用中，可以有效地近似与标准的蒙特卡罗平均。这使我们能够保证给定条件期望的任何数值近似的准确性。我们说明了该方法通过评估质量的近似条件期望得到的线性，多项式和神经网络回归在不同的具体例子。
2023-02-21 cs.LG cs.NA math.NA
Shapley Computations Using Surrogate Model-Based Trees
Wells Fargo（富国银行）
Shapley相关技术由于其理想的性质而作为全局和局部解释工具受到关注。然而，使用条件期望的计算在计算上是昂贵的。文献中提出的近似方法有局限性。本文提出了使用代理模型为基础的树计算Shapley和SHAP值的基础上的条件期望。仿真结果表明，该算法在准确性上有所提高，统一了全局Shapley和SHAP解释，阈值化方法提供了一种兼顾运行时间和准确性的方法。
2022-07-11 cs.LG stat.ML
Neural SDEs for Conditional Time Series Generation and the Signature-Wasserstein-1 metric
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Universitat de Barcelona（巴塞罗那大学）
（条件）生成对抗网络（GANs）近年来取得了巨大的成功，因为它们能够在极高维空间上近似（条件）分布。然而，它们对于训练来说是高度不稳定的并且计算上昂贵的，特别是在时间序列设置中。最近，已经提出了使用粗糙路径理论中的一个关键对象，称为路径的签名，它能够将（条件）GAN框架给出的最小-最大公式转换为经典的最小化问题。然而，这种方法在存储器成本方面极其昂贵，有时甚至变得令人望而却步。为了克服这一点，我们建议使用\textit{Conditional Neural Stochastic Differential Equations}，它具有作为深度函数的恒定内存成本，比传统的深度学习架构更高效。我们的经验测试，该模型是更有效的比其他经典的方法，无论是在内存成本和计算时间方面，它通常优于他们的性能。
2023-01-03 cs.LG math.PR stat.ML
Local Conditional Neural Fields for Versatile and Generalizable Large-Scale Reconstructions in Computational Imaging
Boston University（波士顿大学）；University of California, Berkeley（加州大学伯克利分校）
针对传统像素表征难以捕捉物体连续多尺度细节的问题，提出局部条件神经场LCNF框架，通过局部条件表征与编解码器结构，实现FPM大规模鲁棒可泛化的相位重建，可应用于生物样本实验测量。
2023-07-22 cs.LG eess.IV physics.comp-ph
