Persistently Trained, Diffusion-assisted Energy-based Models
University of Rutgers(罗格斯大学);Tsinghua University(清华大学)
针对EBM最大似然学习难以兼顾生成与密度估计的问题,提出融合扩散数据、持久对比散度和增强采样的diffusion assisted-EBMs,实现稳定训练后生成与优越OOD检测。
2023-04-21 cs.LG stat.ML
Learning the Stein Discrepancy for Training and Evaluating Energy-Based Models without Sampling
University of Toronto(多伦多大学);Vector Institute(向量研究院)
本文提出了一种新的评价和训练非归一化密度模型的方法。我们的方法只需要访问未归一化模型的对数密度的梯度。我们估计数据密度$p(x)$和模型密度$q(x)$之间的Stein差异,由数据的向量函数定义。我们用一个神经网络参数化这个函数,并拟合它的参数以最大化差异。这产生了一种新的拟合优度测试,它优于现有的方法对高维数据。此外,优化$q(x)$,以尽量减少这种差异产生了一种新的方法来训练非规范化的模型,比现有的方法更优雅的规模。学习和比较模型的能力是所提出的方法的一个独特功能。
2020-08-14 cs.LG stat.ML
Energy-based Generative Adversarial Network
New York University(纽约大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
我们介绍了“基于能量的生成对抗网络“模型(EBGAN),该模型将能量函数视为低能量的数据流形附近的区域和高能量的其他区域。与概率GANs类似,生成器被视为被训练以产生具有最小能量的对比样本,而训练训练GAN以将高能量分配给这些生成的样本。将该函数视为能量函数允许使用各种各样的架构和损失泛函,以及具有逻辑输出的通常的二元分类器。其中,我们展示了EBGAN框架的一个实例,使用自动编码器架构,能量是重建误差,而不是重建误差。我们表明,这种形式的EBGAN在训练过程中表现出比常规GANs更稳定的行为。我们还表明,可以训练单尺度架构来生成高分辨率图像。
2017-03-06 cs.LG stat.ML
Balanced Training of Energy-Based Models with Adaptive Flow Sampling
CMAP;CNRS(法国国家科学研究中心);Ecole Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
提出一种利用normalizing flows辅助采样的EBMs最大似然训练新算法,通过训练时将NF拟合到EBM以提供准确梯度,最终实现快速生成新数据的采样器。
2024-02-18 cs.LG stat.ML
Training Energy-Based Normalizing Flow with Score-Matching Objectives
National Tsing Hua University(国立清华大学);NVIDIA Corporation(英伟达公司);Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于能量的归一化流(EBFlow),利用分数匹配目标训练以绕过雅可比行列式计算,从而支持任意线性层并提升训练效率,实验表明其在速度和负对数似然上均优于最大似然方法。
2023-10-28 cs.LG stat.ML
Divergence Triangle for Joint Training of Generator Model, Energy-based Model, and Inference Model
Department of Statistics, UCLA(统计学系,加州大学洛杉矶分校(UCLA))
提出了发散三角形作为生成器模型、基于能量的模型和推理模型联合训练的框架。发散三角形是一个紧凑且对称(反对称)的目标函数,它将变分学习,对抗学习,唤醒-睡眠算法和对比发散无缝集成在统一的概率公式中。这种统一使得采样、推断、能量评估的过程容易获得,而不需要昂贵的马尔可夫链蒙特卡罗方法。我们的实验表明,发散三角形能够学习(1)具有格式良好的能量景观的基于能量的模型,(2)以生成器网络的形式直接采样,以及(3)忠实地重建观察到的前馈推理以及合成数据。发散三角形是一种强大的训练方法,可以从不完整的数据中学习。
2019-01-31 cs.CV cs.LG stat.ML
Dual Training of Energy-Based Models with Overparametrized Shallow Neural Networks
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Center for Computational Mathematics, Flatiron Institute(弗莱森计算数学中心)
基于能量的模型(EBM)是通常通过最大似然估计训练的生成模型。这种方法在训练的能量是非凸的一般情况下变得具有挑战性,因为需要对与该能量相关联的吉布斯分布进行采样。使用一般Fenchel对偶结果,我们得到变分原理双最大似然EBM浅overparametrized神经网络能量,无论是在功能学习和懒惰的线性化制度。在特征学习机制中,这种对偶公式证明了使用两个时间尺度梯度上升下降(GDA)训练算法的合理性,其中一个算法同时更新样本空间中的粒子和能量参数空间中的神经元。我们还考虑了该算法的一个变体,其中粒子有时会在从数据集中提取的随机样本中重新启动,并表明在每个迭代步骤中执行这些重新启动对应于分数匹配训练。这些结果在简单的数值实验中得到了说明,这表明GDA在使用相似的时间尺度更新特征和粒子时表现最好。
2022-02-15 cs.LG math.OC stat.ML
Generalized Energy Based Models
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单元)
我们介绍了广义能量为基础的模型(GEBM)的生成建模。这些模型结合了两个经过训练的组件:一个基本分布(通常是隐式模型),它可以学习高维空间中具有低内在维度的数据的支持;以及一个能量函数,用于细化学习支持的概率质量。能量函数和基共同构成最终模型,这与GANs不同,GANs仅保留基分布(“生成器”)。GEBM通过在学习能量和基础之间交替进行训练。我们证明了这两个训练阶段都是定义明确的:通过最大化广义似然来学习能量,并且由此产生的基于能量的损失为学习基础提供了信息梯度。来自训练模型的潜在空间上的后验样本可以通过MCMC获得,从而在该空间中找到产生更好质量样本的区域。从经验上讲,图像生成任务上的GEBM样本的质量要比单独学习生成器的质量好得多,这表明在所有其他条件相同的情况下,GEBM将优于相同复杂度的GAN。当使用标准化流作为基本度量时,GEBM成功地完成了密度建模任务,返回了与相同网络的直接极大似然相当的性能。
2021-12-21 cs.LG stat.ML
An empirical study of domain-agnostic semi-supervised learning via energy-based models: joint-training and pre-training
Tsinghua University(清华大学)
最近的一类半监督学习(SSL)方法严重依赖于特定领域的数据增强。相比之下,生成式SSL方法涉及基于生成模型的无监督学习,通过联合训练或预训练,并且从领域不可知的角度来看更有吸引力,因为它们本质上不需要数据增强。联合训练估计观测值和标签的联合分布,而预训练仅对观测值进行。最近,基于能量的模型(EBM)已经取得了可喜的成果,为生成式建模。已探索通过EBM进行SSL联合培训,在不同数据模式下取得了令人鼓舞的结果。在本文中,我们做了两个贡献。首先,我们通过EBM探索SSL的预培训,并将其与联合培训进行比较。其次,在图像分类和自然语言标注领域进行了一系列实验,以给出基于EBM的SSL方法性能的真实全貌。结果发现,联合培训EBM略优于培训前EBM,但几乎一致。
2020-10-25 cs.LG
Improved Contrastive Divergence Training of Energy Based Models
MIT(麻省理工学院);Google Brain(谷歌大脑)
对比发散是训练基于能量的模型的一种流行方法,但已知在训练稳定性方面存在困难。我们提出了一种自适应方法,通过仔细检查难以计算并且经常为了方便而忽略的梯度项来改善对比发散训练。我们表明,这个梯度项在数值上很重要,在实践中对于避免训练不稳定性很重要,同时易于估计。我们进一步强调如何数据增强和多尺度处理可以用来提高模型的鲁棒性和生成质量。最后,我们经验性地评估了模型架构的稳定性,并在许多基准测试和用例(如图像生成、OOD检测和组合生成)上显示出改进的性能。
2021-06-11 cs.LG
Improving Joint Training of Inference Networks and Structured Prediction Energy Networks
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);New York University(纽约大学)
基于深度能量的模型很强大,但对学习和推理构成了挑战(Belanger和McCallum,2016)。Tu和Gimpel(2018)通过训练“推理网络”来近似结构化推理,而不是使用梯度下降,为基于能量的模型开发了一个有效的框架。然而,他们的交替优化方法在训练过程中存在不稳定性,需要额外的损失项和仔细的超参数调整。在本文中,我们提供了几种策略来稳定和改进这种用于结构化预测的能量函数和推理网络的联合训练。我们设计了一个复合目标,共同训练成本增加和测试时间推理网络以及能量函数。我们提出了联合参数化的推理网络,鼓励他们在学习过程中捕捉互补的功能。我们经验验证我们的策略在两个序列标签任务,显示更容易的路径比以前的工作,以及进一步改善与全球能源方面的强劲表现。
2020-10-10 cs.CL cs.LG
Adversarial Stein Training for Graph Energy Models
University of Massachussets(马萨诸塞大学)
在图结构数据上学习分布是一项具有挑战性的任务,在生物学和化学中有许多应用。在这项工作中,我们使用基于能量的模型(EBM)的多通道图神经网络(GNN)的基础上学习图上的排列不变的非归一化密度函数。与标准的EBM训练方法不同,我们的方法是通过最小化对抗性斯坦差异来学习模型。该模型的样本可以通过基于Langevin动力学的MCMC获得。我们发现,这种方法实现了竞争力的结果相比,基准模型的图形生成。
2021-08-30 cs.LG
Energy-Based Reranking: Improving Neural Machine Translation Using Energy-Based Models
University of North Carolina Charlotte(北卡罗来纳大学夏洛特分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
之前已经针对自回归神经机器翻译(NMT)研究了最大似然估计(MLE)和诸如BLEU分数的任务测量之间的差异,并且产生了替代训练算法(Ranzato等人,2016; Norouzi等人,2016; Shen等人,2016年; Wu等人,2018年)。然而,MLE训练仍然是自回归NMT的事实上的方法,因为它的计算效率和稳定性。尽管训练目标和任务度量之间存在这种不匹配,但我们注意到,从基于MLE的训练NMT中提取的样本支持所需的分布-与波束解码输出相比,有些样本的BLEU分数要高得多。为了从这一观察中受益,我们训练基于能量的模型来模仿任务度量的行为(即,基于能量的模型将较低的能量分配给具有较高BLEU分数的样本),这导致基于从NMT提取的样本的重新排序算法:基于能量的重新排序(EBR)。我们使用边际能量模型(在目标句子)和联合能量模型(在源和目标句子)。我们的EBR与联合能量模型一致地提高了基于Transformer的NMT的性能:IWITOS '14德语-英语任务的BLEU分数为+4,僧伽罗语-英语任务的BLEU分数为+3.0,WMT'16英语-德语任务的BLEU分数为+1.2。
2021-09-20 cs.CL cs.LG stat.ML
THOR: A Generic Energy Estimation Approach for On-Device Training
Shanghai Jiao Tong University(上海交通大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Houston(休斯顿大学);Queen’s University Belfast(贝尔法斯特女王大学);Louisiana State University(路易斯安那州立大学)
本文提出THOR方法,通过利用DNN的逐层能耗可加性并结合高斯过程模型,实现了跨异构设备的通用端侧训练能耗估算,将MAPE降低高达30%,并成功指导能量感知剪枝将能耗降低50%。
2025-01-27 cs.LG
No MCMC for me: Amortized sampling for fast and stable training of energy-based models
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)
基于能量的模型(EBM)提供了一种灵活而有吸引力的方式来表示不确定性。尽管最近取得了进展,但在高维数据上训练EBM仍然是一个具有挑战性的问题,因为最先进的方法成本高,不稳定,需要大量的调整和领域专业知识才能成功应用。在这项工作中,我们提出了一种简单的方法来训练EBM的规模,使用熵正则化生成器来摊销通常用于EBM训练的MCMC采样。我们改进了先前MCMC为基础的熵正则化方法与快速变分近似。我们证明了我们的方法的有效性,用它来训练听话的似然模型。接下来,我们将我们的估计器应用于最近提出的联合能量模型(JEM),在该模型中,我们将原始性能与更快、更稳定的训练相匹配。这使我们能够将JEM模型扩展到来自各种连续域的表格数据的半监督分类。
2021-06-06 cs.AI cs.LG
Stabilized training of joint energy-based models and their practical applications
Brno University of Technology(布尔诺理工大学);Johns Hopkins University(约翰斯·霍普金斯大学)
最近提出的基于能量的联合模型(JEM)将区分训练的分类器$p(y|x)$解释为能量模型,其也被训练为描述输入观测$p(x)$的分布的生成模型。JEM训练依赖于“正例”(即来自训练数据集的示例)以及“负例”,负例是来自通过随机梯度朗之万动力学(SGLD)生成的建模分布$p(x)$的样本。不幸的是,SGLD在标准JEM训练期间通常无法提供足够质量的负样本,这导致在计算JEM更新的梯度时,正样本和负样本的贡献非常不平衡。因此,标准的JEM训练非常不稳定,需要仔细调整超参数,并在训练开始发散时频繁重启。这使得很难将JEM应用于不同的神经网络架构、模态和任务。在这项工作中,我们提出了一个训练过程,通过平衡正面和负面示例的贡献来稳定基于SGLD的JEM训练(ST-JEM)。我们还建议在训练目标中添加一个额外的“正则化”项--输入观察$x$和输出标签$y$之间的MI--这鼓励JEM分类器对输出标签做出更确定的决定。我们证明了我们的方法在CIFAR 10和CIFAR 100任务上的有效性。我们还考虑语音信号中的音素分类的任务,为此,我们不能训练JEM没有建议的稳定。我们表明,一个令人信服的语音可以从训练模型生成。或者,可以通过使用几次SGLD迭代使受损语音更接近建模语音分布来对受损语音进行降噪。我们还提出并讨论了训练模型的其他应用。
2023-03-07 cs.LG
Learning Proposals for Practical Energy-Based Regression
Uppsala University(乌普萨拉大学);ETH Zürich(苏黎世联邦理工学院)
针对基于能量的回归需手动设计提议分布、测试需初始估计的问题,提出自动学习提议分布的统一训练目标,还用于训练带能量教师的MDN,在4项视觉回归任务上优于传统方法。
2023-11-07 cs.CV cs.LG stat.ML
Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)
我们建议重新解释p(y)的标准判别分类器|x)作为联合分布p(x,y)的基于能量的模型。在这种设置中,可以容易地计算标准类概率以及p(x)和p(x)的非归一化值|y)。在这个框架内,可以使用标准的判别架构,并且模型也可以在未标记的数据上进行训练。我们证明了基于能量的联合分布训练提高了校准、鲁棒性和分布外检测,同时也使我们的模型能够生成与最近的GAN方法质量相媲美的样本。我们改进了最近提出的技术,用于扩展基于能量的模型的训练,并提出了一种方法,与标准分类训练相比,它增加了很少的开销。我们的方法是第一个在一个混合模型中实现与最先进的生成学习和判别学习相媲美的性能。
2020-09-15 cs.CV cs.LG stat.ML
Joint Training of Variational Auto-Encoder and Latent Energy-Based Model
Stevens Institute of Technology(史蒂文斯理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了一种联合训练方法来学习变分自动编码器(VAE)和基于潜在能量的模型(EBM)。VAE和潜在EBM的联合训练基于一个目标函数,该目标函数由潜在向量和图像上的三个联合分布之间的三个Kullback-Leibler发散组成,并且目标函数是一个优雅的对称和反对称形式的发散三角形,无缝集成了变分和对抗学习。在该联合训练方案中,潜在EBM作为生成器模型的评判器,而VAE中的生成器模型和推理模型分别作为潜在EBM的近似合成采样器和推理采样器。实验结果表明,联合训练大大提高了VAE的合成质量。它还使得能够学习能量函数,该能量函数能够检测出用于异常检测的样本示例。
2020-06-10 cs.CV cs.LG
Consistent Training via Energy-Based GFlowNets for Modeling Discrete Joint Distributions
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);IBM Thomas J Watson Research Center(IBM托马斯·J·沃森研究中心)
生成流网络(GFlowNets)已经证明了在给定奖励函数$R(x)$的情况下生成不同离散对象$x$的显著性能改进,该奖励函数指示对象的效用,并且通过监督学习独立于GFlowNet进行训练以预测给定$x$的期望属性$y$。我们假设,这可能会导致在训练$R$和训练GFlowNet中的归纳优化偏差之间的不兼容,可能导致更差的样本和对分布变化的缓慢适应。在这项工作中,我们建立在最近与GFlowNets联合学习基于能量的模型的基础上,并将其扩展到学习多个变量的联合,我们称之为基于能量的联合GFlowNets(JEBGFNs),例如肽序列及其抗菌活性。基于能量的模型的联合学习用作GFlowNet的奖励,可以解决不兼容的问题,因为奖励函数$R$和GFlowNet采样器都是联合训练的。我们发现,这种联合训练或联合基于能量的制剂导致产生抗微生物肽的显著改善。由于训练序列来自进化或人工选择高抗生素活性,因此推测序列分布中存在某种结构,揭示了有关抗生素活性的信息。这导致了对它们的联合生成建模相对于纯判别建模的优势。我们还评估了JEBGFN在主动学习环境中发现抗菌肽。
2022-11-02 cs.AI cs.LG
Energy-Based Models for Anomaly Detection: A Manifold Diffusion Recovery Approach
Korea Institute for Advanced Study(韩国高等研究院);Samsung Electronics(三星电子);Hanyang University(汉阳大学);Seoul National University(首尔大学);Saige Research
本文提出流形投影-扩散恢复(MPDR)方法,通过在低维流形附近生成高信息量负样本来训练基于能量的模型,从而更准确地学习数据分布边界并提升异常检测性能。
2023-10-28 cs.LG
Self-Adapting Noise-Contrastive Estimation for Energy-Based Models
Tsinghua University(清华大学)
利用噪声对比估计训练基于能量的模型在理论上是可行的,但在实践中具有挑战性。有效的学习要求噪声分布近似于目标分布,特别是在高维域中。先前的工作已经探索了将噪声分布建模为单独的生成模型,然后使用EBM同时训练该噪声模型。虽然这种方法允许更有效的噪声对比估计,但它以额外的内存和训练复杂度为代价。相反,本文提出了一种自适应的【形】NCE算法,它使用EBM沿其训练轨迹的静态实例作为噪声分布。在训练期间,这些静态实例逐渐收敛到目标分布,从而避免了同时训练辅助噪声模型的需要。此外,我们表示这种自适应的【形】NCE算法的Bregman分歧的框架,并表明它是EBM的最大似然学习的推广。我们的算法的性能进行了评估,在一系列的噪声更新间隔,实验结果表明,较短的更新间隔有利于更高的合成质量。
2022-11-03 cs.LG
Generative Adversarial Networks as Variational Training of Energy Based Models
Binghamton University(宾汉姆顿大学);IBM T.J. Watson Research Center(IBM T.J. Watson研究中心)
在本文中,我们研究了用于有效无监督学习的深度生成模型。我们提出了VGAN,它的工作原理是通过最小化一个基于能量的模型(EBM)的负对数似然(NLL)的变分下界,其中模型密度$p(\mathbf{x})$近似于一个变分分布$q(\mathbf{x})$,很容易从采样。VGAN的训练采用两步过程:给定$p(\mathbf{x})$,更新$q(\mathbf{x})$以最大化下限;然后用从$q(\mathbf{x})$提取的样本更新$p(\mathbf{x})$一步以减小下限。VGAN受到生成对抗网络(GANs)的启发,其中$p(\mathbf{x})$对应于生成器,$q(\mathbf{x})$对应于生成器,但有几个显着的差异。因此,我们将我们的模型命名为变分GANs(VGANs)。VGAN通过消除MCMC采样的需要,为在高维空间中训练深度EBM提供了一种实用的解决方案。从这个角度来看,我们也能够确定训练GANs的困难原因,并提出可行的解决方案。\footnote{Experimental code is available at https://github.com/Shuangfei/vgan}
2016-11-06 cs.LG
Directly Training Joint Energy-Based Models for Conditional Synthesis and Calibrated Prediction of Multi-Attribute Data
University of Toronto(多伦多大学);Vector Institute(向量研究所)
多属性分类是对分类的推广,对准确预测和量化不确定性提出了新的挑战。我们建立在最近的工作和多属性预测的架构可以重新解释为基于能量的模型(EBM)。虽然现有的EBM方法实现了很强的判别性能,但它们无法生成以新属性组合为条件的样本。我们提出了一个简单的扩展EBM生成准确的条件样本的能力。我们的方法,结合新开发的基于能量的模型训练技术,使我们能够直接最大化非归一化联合分布下的数据和标签的可能性。我们评估我们提出的方法对高维图像数据与高维二进制属性标签。我们发现我们的模型能够准确,校准的预测和高质量的条件合成的新属性组合。
2021-07-19 cs.CV cs.LG
Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning
Korea Institute for Advanced Study(韩国高等研究院);University of Seoul(首尔市立大学);Seoul National University(首尔国立大学);Hanyang University(汉阳大学);Saige Research(赛奇研究院)
本文提出 GCD 目标,将 EBM 与扩散模型联合训练建模为极小极大博弈,并建立其与逆强化学习的等价关系,从而无需 MCMC 即可训练 EBM 并改善扩散模型样本质量。
2023-12-06 cs.AI cs.LG
Understanding Adversarial Training with Energy-based Models
OmnAI Lab research group(OmnAI实验室研究组);Sapienza University of Rome(罗马萨皮恩扎大学);CVLab(计算机视觉实验室);University of Bologna(博洛尼亚大学);Eustema S.p.A.(Eustema公司)
本文通过基于能量的模型(EBM)框架分析对抗训练中的过拟合现象,发现样本能量变化与过拟合高度相关,提出Delta Energy Regularizer (DER)有效缓解灾难性和鲁棒过拟合,并改进了鲁棒分类器的生成能力。
2025-05-28 cs.CV cs.LG
How Robust Are Energy-Based Models Trained With Equilibrium Propagation?
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文首次在CIFAR-10/100上评估平衡传播训练的EBM,发现其无需对抗训练即可在白盒、黑盒攻击和自然扰动下具备强鲁棒性且保持干净准确率。
2024-01-21 cs.CV cs.LG
Scalable Energy-Based Models via Adversarial Training: Unifying Discrimination and Generation
MIT(麻省理工学院)
本文提出一种结合对抗训练的框架,解决传统能量模型在稳定性与生成质量上的不足,实现高分辨率数据集上的高效判别与生成性能。
2026-03-18 cs.AI cs.LG
Equilibrium Training of Energy-Based Models with Parallel Trajectory Tempering
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Escuela Técnica Superior de Ingenieros Industriales(工业工程师高等技术学院);Universidad Politécnica de Madrid(马德里理工大学);Universidad Complutense de Madrid(马德里康普顿斯大学)
该研究提出基于并行轨迹回火(PTT)的 EBM 训练算法,结合水库采样与自适应优化,可稳定快速训练,性能优于现有方法,使 EBM 的均衡最大似然训练更实用高效。
2026-09-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
SETGAN: Scale and Energy Trade-off GANs for Image Applications on Mobile Platforms
School of EECS, Washington State University(华盛顿州立大学电气与计算机工程学院)
我们考虑使用生成对抗网络(GANs)在移动平台上实现照片级真实感无条件图像生成(生成高质量,多样化的样本,携带与图像相同的视觉内容)的任务。在本文中,我们提出了一种新的方法来权衡图像生成精度的GAN的能量消耗(计算)在运行时称为规模能量权衡GAN(SET GAN)。GANs通常需要很长时间来进行训练,并消耗大量内存,因此很难在边缘设备上运行。图像生成任务的SETGAN背后的关键思想是,对于给定的输入图像,我们在远程服务器上训练一个GAN,并在边缘设备上使用经过训练的模型。我们使用SinGAN,这是一种单图像无条件生成模型,它包含一个完全卷积的GANs金字塔,每个GAN负责学习图像不同尺度下的补丁分布。在训练过程中,我们确定给定输入图像的最佳尺度数和目标边缘设备的能量约束。结果表明,利用SETGAN独特的基于客户端-服务器的架构,我们能够在损失3%至12% SSIM准确性的情况下实现56%的能量增益。此外,通过并行多尺度训练,我们在服务器上获得了大约4倍的训练时间增益。
2021-03-23 cs.CV cs.LG eess.IV
Explaining the effects of non-convergent sampling in the training of Energy-Based Models
University of Geneva(日内瓦大学);Universidad Complutense de Madrid(马德里康普顿斯大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
本文从第一性原理证明EBMs用非收敛短链训练可通过精确动力学过程复现数据统计量,解释了短链高效采样策略的机制,并在可解模型和卷积网络EBM、玻尔兹曼机上验证了理论预测。
2023-05-31 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Score-Based Training for Energy-Based TTS Models
University of Sheffield(谢菲尔德大学);School of Computer Science(计算机科学学院)
针对现有NCE、SSM训练能量基模型时未考虑对数似然形式、不适配推理阶段一阶优化的问题,提出一种新的分数学习准则,并通过实验验证了不同EBM训练方法的效果。
2026-10-15 cs.LG cs.SD eess.AS
Constraining Pseudo-label in Self-training Unsupervised Domain Adaptation with Energy-based Model
CIOMP, Chinese Academy of Sciences(中国科学院长春光学精密机械与物理研究所);Harvard University(哈佛大学);National University of Singapore(新加坡国立大学);China University of Mining and Technology(中国矿业大学);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Harvard Medical School(哈佛医学院);The Hong Kong Polytechnic University(香港理工大学)
深度学习通常是数据匮乏的,无监督的领域自适应(UDA)被开发出来,将标记源领域中的知识引入到未标记的目标领域。最近,深度自我训练为UDA提供了一种强大的手段,涉及预测目标域的迭代过程,然后将置信预测作为重新训练的硬伪标签。然而,伪标签通常是不可靠的,从而容易导致偏差的解决方案与传播的错误。在本文中,我们诉诸于基于能量的模型,并约束训练的未标记的目标样本的能量函数最小化的目标。它可以通过简单的额外正则化或基于能量的损失来实现。这个框架使我们能够获得基于能量的模型的好处,同时保持强有力的歧视性的性能后,即插即用的时尚。研究了算法的收敛性及其与分类期望最小化的关系。我们提供了广泛的实验上最流行的和大规模的UDA基准图像分类以及语义分割,以证明其通用性和有效性。
2022-08-26 cs.AI cs.CV cs.LG
E2-Train: Training State-of-the-art CNNs with Over 80% Energy Savings
Texas A&M University(德克萨斯农工大学);Rice University(莱斯大学)
卷积神经网络(CNN)已经越来越多地部署到边缘设备。因此,已经针对资源受限平台中的高效CNN推断做出了许多努力。本文试图探索一个正交方向:如何对CNN进行更节能的训练,从而实现设备上的训练。我们努力降低训练过程中的能量成本,通过从三个互补的层面上丢弃不必要的计算:数据层面上的随机小批量丢弃;模型层面上的选择性层更新;以及算法层面上的低成本,低精度反向传播的符号预测。广泛的模拟和消融研究,从FPGA板的实际能量测量,证实了我们提出的策略的优越性,并表现出显着的节能培训。例如,当在CIFAR-10上训练ResNet-74时,我们实现了>90%和> 60%的积极节能,同时分别只损失了约2%和1.2%的前1精度。当在CIFAR-100上训练ResNet-110时,在不降低推理准确性的情况下实现了超过84%的训练节能。
2019-12-06 cs.LG stat.ML
Layerwise Noise Maximisation to Train Low-Energy Deep Neural Networks
École Polytechnique de Montréal(蒙特利尔高等理工学院)
深度神经网络(DNN)依赖于大量参数的存储,这消耗了推理过程中使用的能量的重要部分。本文考虑的情况下,存储器元件的能量使用可以减少在降低可靠性的成本。提出了一种训练算法,以优化存储的可靠性分别为每一层的网络,而招致的复杂性开销相比,传统的随机梯度下降训练可以忽略不计。对于指数能量-可靠性模型,与可靠的实现相比,所提出的训练方法可以在等精度下将具有二进制参数的DNN的内存能耗降低3.3 $\times$。
2019-12-23 cs.LG stat.ML
Energy-Constrained Compression for Deep Neural Networks via Weighted Sparse Projection and Layer Input Masking
University of Rochester(罗切斯特大学);Kwai AI Lab(快手人工智能实验室)
深度神经网络(DNN)越来越多地部署在高度能源受限的环境中,如自主无人机和可穿戴设备,同时必须实时运行。因此,降低能耗已成为DNN训练中的主要设计考虑因素。本文提出了第一个端到端DNN训练框架,通过加权稀疏投影和输入掩蔽提供定量能耗保证。其关键思想是将DNN训练公式化为一个优化问题,其中能量预算施加了以前未考虑的优化约束。我们将定量DNN能量估计集成到DNN训练过程中,以辅助约束优化。我们证明了一个近似算法可以有效地解决优化问题。与现有的最佳节能方法相比,我们的框架训练的DNN在相同或更低的能量预算下提供更高的准确性。代码是公开的。
2019-06-02 cs.LG stat.ML
Deep-Energy: Unsupervised Training of Deep Neural Networks
Technion Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
深度学习的成功在很大程度上要归功于大型注释数据集的可用性。因此,当前学习管道中的一个主要瓶颈是耗时的人工数据注释。在无法收集此类输入-输出对的情况下,通常使用模拟来代替,从而导致合成数据和真实数据之间的域转移。这项工作提供了一种无监督的替代方案,它依赖于特定任务的能量函数的可用性,取代了通用的监督损失。这样的能量函数被假定为导致期望的标签作为它们的最小值给定的输入。所提出的方法被称为“深度能量”,训练深度神经网络(DNN)来近似任何选定输入的最小化。一旦经过训练,一个简单而快速的前馈计算就可以提供推断的标签。这种方法允许我们只使用真实世界的输入来执行DNN的无监督训练,而不需要手动注释的标签,也不需要合成创建的数据。本文在三个不同的任务上展示了“深度能量”-种子分割,图像抠图和单个图像去雾-揭示了其通用性和广泛的适用性。我们的实验表明,由网络提供的解决方案往往比通过直接最小化能量函数获得的解决方案的质量要好得多,这表明在我们的方案中增加了正则化属性。
2019-08-20 cs.LG stat.ML
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在结构化输出预测任务中,标记地面实况训练输出通常是昂贵的。然而,对于许多任务,即使真正的输出是未知的,我们也可以使用标量奖励函数来评估预测,这可以很容易地从人类知识或不可微管道中组装出来。但是,搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中,我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络(SPEN),它使用基于梯度的搜索在平滑的,学习的分数景观表示上提供有效的测试时推理,并且以前已经在结构化预测中产生了最先进的结果。特别是,这种截断随机搜索的奖励函数产生以前未知的局部改进,提供有效的监督SPEN,避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Adversarial Training Improves Joint Energy-Based Generative Modelling
MIPT(莫斯科物理技术学院);ITMO(圣光机大学);Artificial Intelligence Research Institute(人工智能研究所)
我们提出了新的框架生成建模使用混合能源为基础的模型。在我们的方法中,我们结合了鲁棒分类器和Langevin动力学的可解释输入梯度进行采样。使用对抗训练,我们不仅提高了训练的稳定性,而且提高了联合能量模型的鲁棒性和生成建模。
2022-07-18 cs.LG
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Rice University(莱斯大学)
深度神经网络(DNN)的破纪录性能伴随着大量的参数化,导致外部动态随机存取存储器(DRAM)用于存储。DRAM访问的高能耗使得在资源受限的设备上部署DNN变得非常重要,这就要求最大限度地减少重量和数据移动,以提高能效。我们提出了SmartDeal(SD),这是一个算法框架,可以用更高成本的内存存储/访问来换取更低成本的计算,以便积极提高推理和训练的存储和能源效率。SD的核心是一种具有结构约束的新颖权重分解,精心制作以释放硬件效率潜力。具体来说,我们将每个权重张量分解为小基矩阵和大结构稀疏系数矩阵的乘积,该系数矩阵的非零被量化为2的幂。由此产生的稀疏和量化的DNN大大减少了数据移动和权重存储的能量,由于稀疏位操作和成本有利的计算,恢复原始权重的开销最小。除了推论之外,我们还采取了另一个飞跃,接受节能培训,引入创新技术来解决培训中出现的独特障碍,同时保留可持续发展结构。我们还设计了一个专用的硬件加速器,充分利用SD结构,以提高真正的能源效率和延迟。我们在不同的设置中对多个任务,模型和数据集进行实验。结果表明:1)应用于推理,SD实现了高达2.44倍的能源效率,通过实际硬件实现评估; 2)应用于训练,SD导致存储和训练能量减少10.56倍和4.48倍,与最先进的训练基线相比,准确性损失可以忽略不计。我们的源代码可以在网上找到。
2021-12-21 cs.LG stat.ML
Adaptive Precision Training for Resource Constrained Devices
Agency for Science, Technology and Research(新加坡科技研究局)
原位学习是Edge AI的一个增长趋势。在边缘设备上训练深度神经网络(DNN)具有挑战性,因为能量和内存都受到限制。低精度训练有助于降低单个训练迭代的能量成本,但这并不一定转化为整个训练过程的能量节省,因为低精度可能会减慢收敛速度。一个证据是,大多数用于低精度训练的作品在训练期间保留了模型的fp32副本,这反过来又对边缘设备提出了内存要求。在这项工作中,我们提出了自适应精度训练。它能够同时节省总的训练能量成本和内存使用。我们使用相同精度的模型进行正向和反向传递,以减少训练的内存使用。通过评估训练进度,APT动态分配逐层精度,使模型在更长时间内学习更快。APT为用户提供了一个特定于应用程序的超参数,以在训练能量成本、内存使用和准确性之间进行权衡。实验结果表明,APT算法在保证准确率的前提下,节省了50%以上的训练能量和内存。可以节省20%的训练能量和内存使用,以换取1%的准确率损失。
2020-12-23 cs.LG
Reducing Energy Bloat in Large Model Training
University of Michigan(密歇根大学);University of Washington(华盛顿大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对大模型训练中的能量浪费问题,提出Perseus训练系统,利用基于图割的算法获取时间-能量权衡前沿并调度计算能耗,在无吞吐量损失和硬件修改下将能耗降低达30%。
2024-09-23 cs.DC cs.LG
Zeus: Understanding and Optimizing GPU Energy Consumption of DNN Training
University of Michigan(密歇根大学)
训练深度神经网络(DNN)每年都变得越来越资源和能源密集。不幸的是,现有的工作主要集中在优化DNN训练,以更快地完成,通常没有考虑对能源效率的影响。在本文中,我们观察到,提高训练性能的常见做法往往会导致能源使用效率低下。更重要的是,我们证明,有一个权衡之间的能源消耗和性能优化。为此,我们提出了Zeus,一个优化框架,通过自动为重复的DNN训练作业找到最佳的作业和GPU级配置来导航这种权衡。Zeus使用在线探索开发方法与即时能源分析相结合,避免了昂贵的离线测量,同时适应数据随时间的漂移。我们的评估表明,对于不同的工作负载,Zeus可以将DNN训练的能源效率提高15.3%-75.8%。
2022-09-29 cs.AI cs.DC cs.LG
A Game-Theoretic Framework for Incentive-Compatible AI training Under Renewable-Energy Constraints
Athens University of Economics and Business(雅典经济与商业大学)
本文提出博弈论框架,使AI训练智能体在可再生能源约束下策略性决策,通过激励机制消除电网能耗并保持模型性能,显著降低碳排放。
2026-09-15 cs.ET cs.LG
Kareus: Joint Reduction of Dynamic and Static Energy in Large Model Training
University of Michigan(密歇根大学)
针对AI训练能耗高昂问题,提出Kareus系统,通过联合优化细粒度内核调度与频率缩放,协同降低动态和静态能耗,在相同训练时间下节能28.3%,或相同能耗下提速27.5%。
2026-06-12 cs.DC cs.LG
Revisiting DNN Training for Intermittently-Powered Energy-Harvesting Micro-Computers
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
针对能量采集微型计算机的间歇供电问题,提出动态dropout训练方法,结合设备模型与能量概况优化训练,在额外计算低于5%时提升6-22%准确率。
2025-01-26 cs.LG
Energy Consumption in Parallel Neural Network Training
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究了并行化参数对神经网络训练能耗的影响,通过对ResNet50和FourCastNet进行扩展实验,发现能耗与GPU小时数近似线性相关,且受模型、硬件及每GPU小时样本数和梯度更新次数影响,为可持续AI发展提供参考。
2025-08-11 cs.AI cs.LG
Energy-Aware Decentralized Learning with Intermittent Model Training
EPFL(洛桑联邦理工学院);Centre Tecnològic de Telecomunicacions de Catalunya(加泰罗尼亚电信技术中心)
本文提出SkipTrain算法,通过在去中心化学习中策略性跳过训练轮次并替换为同步轮次,在256个节点的实验中相比D-PSGD降低50%能耗并提升最高12%精度。
2024-07-01 cs.DC cs.LG
Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training
Ca’ Foscari University of Venice(威尼斯大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Cagliari(卡利亚里大学);University of Genoa(热那亚大学)
提出基于梯度的能量感知训练算法EAT,利用$\ell_0$范数可微近似作为稀疏惩罚,在三个数据集和两个深度神经网络上实现了分类性能与能效的更优权衡。
2023-07-01 cs.AI cs.CV cs.LG
Compute, Time and Energy Characterization of Encoder-Decoder Networks with Automatic Mixed Precision Training
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度神经网络在许多不同的领域都取得了巨大的成功。这些网络的训练可能需要大量的时间、计算和能量。随着数据集变得越来越大,模型变得越来越复杂,对模型架构的探索变得令人望而却步。在本文中,我们研究的计算,能量和时间成本的训练基于UNet的深度神经网络的问题,预测短期天气预报(称为降水临近预报)。通过利用数据分布式和混合精度训练的组合,我们探索了这个问题的设计空间。我们还表明,更大的模型具有更好的性能来在一个潜在的增量成本,如果使用适当的优化。我们表明,在不牺牲模型性能的情况下,通过利用混合精度训练,可以显著提高训练时间。此外,我们发现,对于具有4个编码层的UNet,网络的可训练参数数量增加了1549%,而能量使用增加了相对较小的63.22%。
2020-08-18 cs.DC cs.LG
An Optimized and Energy-Efficient Parallel Implementation of Non-Iteratively Trained Recurrent Neural Networks
American University of Beirut(贝鲁特美国大学)
循环神经网络(RNN)已成功应用于各种顺序决策任务、自然语言处理应用和时间序列预测。这种网络通常通过时间反向传播(BPTT)进行训练,这是非常昂贵的,特别是当时间依赖性的长度和隐藏神经元的数量增加时。为了减少训练时间,极端学习机(ELM)最近被应用于RNN训练,在某些应用中达到了99%的加速。由于其非迭代性质,ELM训练在并行化时有可能达到比BPTT更高的加速比。在这项工作中,我们提出了\opt,一个优化的并行RNN训练算法的基础上ELM,利用GPU共享内存和并行QR分解算法,有效地达到最优解。该算法在六种RNN架构上进行了理论分析,包括LSTM和GRU,并在十个时间序列预测应用程序上对其性能进行了实证测试。\opt ~被证明达到高达845倍的加速比其顺序对应,并需要高达20倍的时间比并行BPTT少训练。
2019-11-26 cs.DC cs.LG stat.ML
A principled approach for energy-efficient training via phase-aware GPU frequency tuning
INESC TEC(葡萄牙系统与计算机工程研究所(北葡萄牙分部));U. Minho(米尼奥大学);McGill University(麦吉尔大学)
PAFT通过相位感知的动态GPU频率调优,在训练瓶颈期降低时钟频率,以最小性能开销实现高达46%的能耗节省。
2026-09-22 cs.DC cs.LG
Ultra-low Precision Multiplication-free Training for Deep Neural Networks
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Cambricon Technologies(寒武纪科技);Institute of Software, CAS(中国科学院软件研究所)
深度神经网络(DNN)的训练需要巨大的能量消耗,这限制了深度学习的发展,也增加了碳排放。因此,研究DNN的节能训练是必要的。在训练中,线性层消耗最多的能量,因为在乘法累加(MAC)中大量使用了耗能的全精度(FP 32)乘法。节能工作试图降低乘法的精度或用节能操作(如加法或按位移位)取代乘法,以减少FP 32乘法的能耗。然而,现有的能量有效的作品不能取代所有的FP 32乘法在前向和后向传播与低精度的能量有效的操作。在这项工作中,我们提出了一种自适应逐层缩放PoT量化(ALS-POTQ)方法和一种免乘法MAC(MF-MAC),以取代所有的FP 32乘法与INT 4加法和1位XOR运算。此外,我们还提出了权重偏差校正和参数化比率裁剪技术,以实现稳定的训练和提高准确性。在我们的训练方案中,所有上述方法都不会引入额外的乘法,因此我们在训练过程中减少了线性层高达95.8%的能耗。在实验中,我们在ImageNet上的CNN模型和WMT En-De任务上的Transformer模型的准确性下降不到1%。总之,我们在能源效率和准确性方面都明显优于现有方法。
2023-02-28 cs.AI cs.LG
An Analysis of Optimizer Choice on Energy Efficiency and Performance in Neural Network Training
University of Waterloo(滑铁卢大学)
本文通过360次实验分析了八种优化器在三个基准数据集上的能效与性能,发现AdamW和NAdam一致高效,SGD在复杂数据集上性能更优但排放较高,为平衡性能与可持续性提供了见解。
2025-09-16 cs.LG