Training Deep Boltzmann Networks with Sparse Ising Machines
University of California, Santa Barbara(加州大学圣巴巴拉分校);Google Quantum AI(谷歌量子人工智能);Google Research(谷歌研究院)
本文提出使用稀疏异步的大规模并行概率比特伊辛机,在FPGA混合计算系统中训练深度玻尔兹曼网络,以极少的参数实现高分类准确率并具备生成能力,速度远超GPU/TPU。
2024-01-23 cs.ET cs.LG cs.NE
Ising Models with Latent Conditional Gaussian Variables
Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学)
伊辛模型描述了二元特征变量向量的联合概率分布。通常情况下,并非所有的变量都相互作用,人们对学习相互作用变量的稀疏网络结构感兴趣。然而,在潜在变量的存在下,学习稀疏模型的传统方法可能会失败。这是因为潜变量引起了观测变量的间接相互作用。在只有几个潜在的条件高斯变量的情况下,这些虚假的相互作用有助于一个额外的低秩分量的观察到的伊辛模型的相互作用参数。因此,我们建议使用凸正则化似然问题来学习伊辛模型参数的稀疏+低秩分解。我们表明,同样的问题可以得到一个最大熵的问题与一种新类型的放松,其中样本的手段共同需要匹配的预期值只有一个给定的公差的对偶。凸优化问题的解决方案在高维环境中具有一致性,其中允许观察到的二进制变量的数量和潜在条件高斯变量的数量随着训练样本的数量而增长。
2019-07-08 cs.LG stat.ML
Dense for the Price of Sparse: Improved Performance of Sparsely Initialized Networks via a Subspace Offset
Mathematical Institute, University of Oxford(牛津大学数学研究所);The Alan Turing Institute(艾伦图灵研究所)
神经网络可以被修剪到高稀疏度并保持高精度是公认的。最近的研究工作集中在修剪后立即初始化,以便允许稀疏提供的计算节省扩展到训练过程。在这项工作中,我们引入了一个新的“DCT加稀疏”层架构,即使剩下0.01%的可训练内核参数,它也能保持信息传播和可训练性。我们表明,使用这些层构建的网络的标准训练,并在初始化时修剪,在各种基准网络架构和数据集上实现了最先进的极端稀疏精度。此外,这些结果仅使用简单的算法来确定可训练参数在网络中的位置来实现,并且因此不必初始地存储或计算完整的未修剪的网络,如竞争的初始化修剪算法所要求的。从标准稀疏层切换到DCT+稀疏层不会增加网络的存储空间,并且只会产生少量的额外计算开销。
2021-06-15 cs.LG
Improved sparse PCA method for face and image recognition
CREATORY
人脸识别是模式识别领域中一个非常重要的研究方向。它在军事和金融方面有多种应用,仅举几例。在本文中,稀疏PCA与最近邻方法(和核岭回归方法)的组合将被提出,并将被应用于解决人脸识别问题。实验结果表明,稀疏PCA方法的结合具有较高的准确性例如,在某些情况下,PCA方法(使用邻近梯度方法和FISTA方法)和一个特定分类系统的组合的准确性可能低于PCA方法和一个特定分类系统的组合的准确性,但有时稀疏PCA方法和一个特定分类系统的组合的准确性可能低于PCA方法和一个特定分类系统的组合的准确性。(使用近端梯度方法或FISTA方法)和一个特定的分类系统导致更好的准确性。此外,我们认识到,使用FISTA方法计算稀疏PCA算法的过程总是比使用邻近梯度方法计算稀疏PCA算法的过程快。
2021-12-01 cs.CV cs.LG
First-Order Sparse Convex Optimization: Better Rates with Sparse Updates
本文提出通过稀疏更新实现一阶方法在稀疏最优解下的线性收敛速度,提升运行效率并简化实现。
2026-03-19 cs.LG math.OC
High-Magnetization Sampling at Low Temperatures: Ising Models and Bayesian Sparse Linear Regression
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出利用稀疏性的采样框架,用于高磁化汉明切片上的伊辛模型和贝叶斯稀疏线性回归,分别改进了低温SK模型采样和测量复杂度。
2026-09-09 cs.DS cs.LG math.PR
Fast L1-Minimization Algorithm for Sparse Approximation Based on an Improved LPNN-LCA framework
City University of Hong Kong(香港城市大学)
稀疏逼近的目的是根据测量矩阵和观测向量估计稀疏信号。它在数据分析、图像处理、通信等领域有着广泛的应用,到目前为止,人们已经在这方面做了大量的研究,提出了许多现成的算法。但是,大多数都不能提供实时解决方案。这在一定程度上限制了它的应用前景。为了解决这个问题,我们设计了一个新的稀疏近似算法的基础上拉格朗日规划神经网络(LPNN),局部竞争算法(LCA),投影定理。LPNN和LCA都是模拟神经网络,可以帮助我们获得实时解决方案。不可微的目标函数可以通过LCA的概念来求解。利用投影定理,我们进一步修改的动力学,并提出了一个新的系统具有全局渐近稳定性。仿真结果表明,所提出的稀疏近似方法具有令人满意的MSE的实时解。
2018-05-30 cs.LG eess.SP
Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning
MediaTek Research(联发科研究院);National University of Singapore(新加坡国立大学)
核岭回归和高斯过程等基于核的模型在用于回归和优化的机器学习应用中是普遍存在的。众所周知,基于内核的模型的一个主要缺点是计算成本高;给定$n$样本的数据集,成本随着$\mathcal{O}(n^3)$而增长。现有的稀疏近似方法可以显著降低计算成本,在某些情况下有效地将实际成本降低到低至$\mathcal{O}(n)$。尽管这一显着的经验成功,显着的差距仍然存在于现有的结果的分析界限的误差,由于近似。在这项工作中,我们提供了新的置信区间的Nyström方法和稀疏变分高斯过程近似方法,我们建立使用新的解释近似(替代)后验方差的模型。我们的置信区间导致在回归和优化问题的性能界限改善。
2022-06-18 cs.LG stat.ML
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
学习具有稀疏和组合特征的视觉信息的生成模型一直是理论神经科学和机器学习社区的挑战。稀疏编码模型在解释具有稀疏激活潜在表征的哺乳动物初级视皮层感受野方面取得了巨大的成功。在本文中,我们专注于最近提出的模型,稀疏编码变分自编码器(SVAE)(Barello等人,2018年),并表明SVAE的端到端训练方案导致一大群解码滤波器没有完全优化噪声类感受野。我们提出了一些算法来改进SVAE的训练,并表明解码器上的单位$L_2$范数约束对于产生稀疏编码滤波器至关重要。这种正常化可以被认为是皮层中的局部侧抑制。我们在自然图像补丁和MNIST数据集上验证了这一说法,并表明将滤波器投影到单位范数上会大大增加有源滤波器的数量。我们的研究结果强调了权重归一化对从数据中学习稀疏表示的重要性,并提出了一种减少VAE学习中不活跃潜在组件数量的新方法。
2021-01-23 cs.LG q-bio.NC
Improved Sparse Low-Rank Matrix Estimation
New York University(纽约大学)
我们解决的问题估计稀疏低秩矩阵从其噪声观测。我们提出了一个目标函数的数据保真度项和两个参数化的非凸罚函数。此外,我们展示了如何设置非凸罚函数的参数,以确保目标函数是严格凸的。与利用核范数和$\ell_1$范数之和的凸方法相比,所提出的目标函数更好地估计稀疏低秩矩阵。我们推导出一种算法(作为ADMM的实例)来解决所提出的问题,并在适当设置标量增广拉格朗日参数的情况下保证其收敛性。我们证明了所提出的方法去噪的音频信号和邻接矩阵表示蛋白质相互作用的“大肠杆菌”细菌。
2017-04-12 cs.LG math.OC stat.ML
Sparse and Smooth: improved guarantees for Spectral Clustering in the Dynamic Stochastic Block Model
CNRS(法国国家科学研究中心);GIPSA-lab(格勒诺布尔交互作用物理与声学实验室);IMB, Université de Bourgogne(勃艮第大学数学研究所)
在本文中,我们分析的谱聚类(SC)算法在动态随机块模型(DSBM)的经典变种。现有的研究结果表明,在相对稀疏的情况下,期望的程度增长的nodes的数量,保证在静态的情况下,可以扩展到动态的情况下,并产生改进的误差界时DSBM是足够光滑的时间,也就是说,社区不改变太多的两个时间步长之间。我们通过在DSBM的稀疏性和平滑性之间建立一个新的联系来改进这些结果:DSBM越规则,它就越稀疏,同时仍然保证一致的恢复。特别是,一个温和的光滑条件允许治疗的稀疏情况下有界的程度。我们还将这些保证扩展到归一化拉普拉斯算子,并作为我们分析的副产品,我们获得了据我们所知的最佳光谱浓度范围,可用于具有独立伯努利条目的归一化拉普拉斯矩阵。
2020-02-10 cs.LG math.ST stat.ML
Sparse Perturbations for Improved Convergence in Stochastic Zeroth-Order Optimization
Heidelberg University(海德堡大学)
随机零阶(SZO)方法的兴趣最近在黑盒优化场景中重新燃起,例如对深度神经网络的对抗性黑盒攻击。SZO方法只需要在随机输入点处对目标函数求值的能力,然而,它们的弱点是它们的收敛速度依赖于待求值函数的维数。我们提出了一种稀疏SZO优化方法,该方法将该因子降低到学习过程中随机扰动的预期维度。我们给出了一个证明,证明了这种减少稀疏SZO优化的非凸函数,而不作任何假设的目标函数或梯度的稀疏性。此外,我们提出的实验结果,神经网络MNIST和CIFAR的训练损失和测试精度的收敛速度更快,和一个更小的距离的梯度近似的真实梯度稀疏SZO相比,密集SZO。
2020-06-29 cs.LG math.OC stat.ML
Linear Spatial Pyramid Matching Using Non-convex and non-negative Sparse Coding for Image Classification
Center for Information in BioMedicine(生物医学信息中心);China Center for Applied Mathematics(中国应用数学中心)
近年来,稀疏编码在图像分类中取得了巨大的成功,这主要是由于它能够结合图像表示的稀疏性。本文提出了一种基于线性空间金字塔匹配(SPM)和尺度不变特征变换(SIFT)描述子的稀疏编码模型。新颖之处在于同时将非凸和非负特征加入到稀疏编码模型中。我们的数值实验表明,使用非凸和非负稀疏编码的改进方法优于原始的ScSPM[1]在几个典型的数据库。
2015-04-27 cs.CV cs.LG
Sparse DNNs with Improved Adversarial Robustness
Intel Labs China(英特尔中国研究院);Tsinghua University(清华大学);Peking University(北京大学)
深度神经网络(DNN)是计算/内存密集型的,容易受到对抗攻击的攻击,这使得它们在一些现实世界的应用中受到限制。通过将密集模型转换为稀疏模型,修剪似乎是一个很有前途的解决方案,以减少计算/内存成本。本文研究了分类模型,特别是基于DNN的分类模型,以证明它们的稀疏性和对抗鲁棒性之间存在内在的关系。我们的分析表明,无论是理论上还是经验上,基于DNN的非线性分类器在$l_2$攻击下的行为与一些线性分类器不同。我们进一步证明,适当较高的模型稀疏性意味着非线性DNN具有更好的鲁棒性,而过度稀疏的模型可能更难以抵抗对抗性示例。
2019-11-06 cs.CR cs.CV cs.LG
Revisiting the Bethe-Hessian: Improved Community Detection in Sparse Heterogeneous Graphs
GIPSA-lab(GIPSA实验室);UGA(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);L2S(信号与系统实验室);CentraleSupélec(中央理工-高等电力学院);University of Paris Saclay(巴黎萨克雷大学)
谱聚类是图上社区发现的最流行但尚未完全理解的方法之一。本文研究了基于Bethe-Hessian矩阵$H_r = (r^2-1)I_n + D-rA$的谱聚类算法,该算法适用于稀疏异构图(遵循度校正随机块模型)的两类集.对于一个特定的值$r = ζ$,聚类被证明是不敏感的程度异质性。然后,我们研究的行为的信息特征向量的$H_ζ$,作为一个结果,预测聚类精度。文章最后概述了对两个以上类别的推广,以及对合成和真实网络的广泛模拟,证实了我们的发现。
2019-10-09 cs.LG cs.SI physics.soc-ph
Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging
Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
本文提出 Sparse Model Soups (SMS) 方法,通过以上一阶段平均模型启动每个剪枝-重训练周期来合并共享相同稀疏连接性的模型,在保持稀疏性的同时显著提升了泛化能力和 OOD 性能。
2024-03-23 cs.AI cs.LG
Improved error rates for sparse (group) learning with Lipschitz loss functions
我们研究了一类稀疏估计,定义为一些经验Lipschitz损失函数的最小值-其中包括铰链损失,逻辑损失和分位数回归损失-与凸,稀疏或组稀疏正则化。特别地,我们考虑系数上的L1范数,其排序斜率版本和L1-L2群扩展。我们提出了一个新的理论框架,使用文献中的共同假设,同时获得新的高维L2估计上界的所有三个正则化方案。%,并改善现有的结果。对于L1和Slope正则化,我们的边界尺度为$(k^*/n) \log(p/k^*)$ -- $n\times p$是设计矩阵的大小,$k^*$是理论损失最小化器$\Bβ^*$的维数--并且匹配最小二乘情况下实现的最优极大极小速率。对于组L1-L2正则化,我们的边界缩放为$(s^*/n) \log\left( G / s^* \right) + m^* / n$ -- $G$是组的总数,$m^*$是包含$\Bβ^*$的$s^*$组中的系数的数量--并且在最小二乘情况下有所改进。我们表明,当信号是强组稀疏,组L1-L2优于L1和斜率。此外,我们调整我们的方法,以子高斯线性回归框架,并达到最佳的最小最大速率的Lasso,并提高速率的Group-Lasso。最后,我们发布了一个加速的近似算法,当变量的数量是$100,000s$的顺序时,该算法计算感兴趣的九个主要凸估计。
2021-09-22 cs.LG stat.ML stat.OT
High-dimensional structure estimation in Ising models: Local separation criterion
University of California Irvine(加州大学欧文分校);Institute for Infocomm Research(资讯通信研究院);National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
我们考虑高维Ising(图形)模型选择的问题。我们提出了一个简单的算法的基础上阈值的经验条件变化距离的结构估计。我们引入了一个新的标准,易处理的图的家庭,这种方法是有效的,基于存在的稀疏的本地分隔符之间的节点对在底层图。对于这样的图,所提出的算法具有$n=Ω(J_{\min}^{-2}\log p)$的样本复杂度,其中$p$是变量的数量,并且$J_{\min}$是模型中的最小(绝对)边缘势。我们还建立了结构估计的非渐近充分必要条件。
2012-08-20 cs.LG math.ST stat.ML
Graph Conditioned Sparse-Attention for Improved Source Code Understanding
University of Southern California(南加州大学)
Transformer体系结构已成功用于学习源代码表示。像抽象树(AST)和源代码序列之间的融合图表示使得使用当前的方法计算上难以处理的大输入序列长度。源代码可能具有长范围依赖关系,需要更长的序列长度才能有效地建模。目前的方法具有相对于序列长度的计算和存储器成本的二次增长。在实际场景中使用这样的模型是困难的。在这项工作中,我们提出了一个源代码片段与其图形模态的条件,通过使用图形邻接矩阵作为一个稀疏的自我注意力机制和使用的图形扩散机制模型较长范围的令牌依赖的注意力掩码。我们的模型在BLEU,METEOR和ROUGE-L指标中达到了最先进的结果,用于代码摘要任务,在变量误用任务中达到了接近最先进的准确性。我们的模型的内存使用和推理时间相对于输入序列长度线性增长相比,以前的作品的二次增长。
2021-12-03 cs.LG cs.PL
Ternary and Binary Quantization for Improved Classification
Shandong University(山东大学)
降维和数据量化是降低数据复杂度的两种重要方法。本文研究了在分类领域中广泛应用的随机投影降维方法,并将其量化为三进制或二进制编码。通常,量化会严重降低分类的准确性,由于高量化误差。然而,有趣的是,我们观察到,量化可以提供相当的,往往是更高的精度,因为要量化的数据是用常见的滤波器生成的稀疏特征。此外,如果特征和随机投影矩阵都足够稀疏,则这种量化属性可以在稀疏特征的随机投影中保持。通过进行大量的实验,我们验证和分析这个有趣的属性。
2022-03-31 cs.CV cs.LG
DensePANet: An improved generative adversarial network for photoacoustic tomography image reconstruction from sparse data
Shiraz University(设拉子大学)
针对光声层析成像稀疏数据重建易产生伪影的问题,提出基于FD-UNet++生成器的端到端生成对抗网络DensePANet,在体内与模拟数据集上表现优于其他主流深度学习技术。
2024-04-19 cs.AI cs.CV cs.LG