Q-SpiNN: A Framework for Quantizing Spiking Neural Networks
Technische Universität Wien (TU Wien)(维也纳工业大学(TU Wien));New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校(NYUAD))
量化是减少脉冲神经网络(SNN)内存占用而不显著降低精度的一种重要技术。然而,现有技术仅集中于直接从特定量化方案(即,训练后量化(PTQ)或训练中量化(ITQ),并且不考虑(1)量化其它SNN参数(例如,神经元膜电位),(2)探索量化方法的不同组合(即,量化方案、精度水平和舍入方案),以及(3)在最后选择具有良好的存储器-精度折衷的SNN模型。因此,由这些现有技术提供的用于满足目标准确度的存储器节省是有限的,从而阻碍了在资源受限的系统(例如,物联网边缘设备)。为此,我们提出了Q-SpiNN,一种新的量化框架的内存效率SNN。Q-SpiNN的关键机制是:(1)基于不同SNN参数对准确度的重要性,对不同SNN参数采用量化,(2)探索量化方案、准确度水平和舍入方案的不同组合,以找到有效的SNN模型候选,以及(3)开发量化由候选获得的存储器-准确度折衷的益处的算法,选择帕累托最优的一个实验结果表明,对于无监督网络,Q-SpiNN减少了约10%的内存占用。4x,同时保持MNIST数据集上基线的准确度在1%以内。对于有监督的网络,Q-SpiNN减少了约10%的内存。2x,同时将精度保持在DVS-Gesture数据集上基线的2%以内。
2021-07-05 cs.AR cs.LG cs.NE
Art and Science of Quantizing Large-Scale Models: A Comprehensive Overview
Peking University(北京大学);Nankai University(南开大学);Beijing Institute of Technology(北京理工大学);University of Leeds(利兹大学);Harbin University of Commerce(哈尔滨商业大学)
本文综述大规模神经网络模型量化的原理、挑战与方法,分析PTQ、QAT及LLM-QAT等前沿算法应对异常值等问题的效果,助力模型高效低损部署。
2024-09-18 cs.AI cs.LG
Greedy Shallow Networks: An Approach for Constructing and Training Neural Networks
Oak Ridge National Laboratory(橡树岭国家实验室);University of Tennessee at Knoxville(田纳西大学诺克斯维尔分校)
我们提出了一种基于贪婪的方法来构建一个高效的单隐藏层神经网络,其ReLU激活近似于目标函数。在我们的方法中,我们得到一个浅层网络,利用贪心算法与规定的字典提供的可用训练数据和一组可能的内部权重。为了方便贪婪的选择过程中,我们采用了一个整体表示的网络,脊波变换的基础上,显着降低字典的基数,从而促进贪婪的选择的可行性。我们的方法允许构建高效的架构,这些架构可以被视为改进的初始化,以代替基于随机的替代方案,或者在某些情况下作为完全训练的网络,从而可能消除对反向传播训练的需求。数值实验证明了所提出的概念的可行性和它的优势相比,传统的技术选择结构和初始化的神经网络。
2021-09-30 cs.LG stat.ML
Growing axons: greedy learning of neural networks with application to function approximation
Fraunhofer ITWM(弗劳恩霍夫信息技术与数学研究所);Technical University Kaiserslautern(凯泽斯劳滕工业大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种基于贪婪学习方法的学习深度神经网络模型的新方法:我们一次添加一个基函数,并生成一个新的基函数作为应用于先前基函数的线性组合的非线性激活函数。这种方法(一次生长一个神经元的深度神经网络)允许我们为函数逼近中的几个模型问题计算更精确的逼近。
2020-02-16 cs.LG cs.NA math.NA
Understanding Deep Neural Function Approximation in Reinforcement Learning via $ε$-Greedy Exploration
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文对在线环境下基于$ε$贪婪探索的强化学习(RL)中的深度神经函数逼近进行了理论研究。这个问题设置的动机是成功的深度Q网络(DQN)框架,属于这一制度。在这项工作中,我们从函数类和神经网络架构的角度(例如,深度和宽度)超出“线性”范围。具体而言,我们专注于基于值的算法与$ε$贪婪探索通过深(和两层)神经网络赋予Besov(和Barron)函数空间,分别,其目的是近似$d$维特征空间中的$α$ -光滑Q-函数。我们证明,使用$T$情节,缩放深度RL的神经网络的宽度$m = \widetilde{\mathcal{O}}(T^{\frac{d}{2α+ d}})$和深度$L=\mathcal{O}(\log T)$足以在Besov空间中进行次线性遗憾学习。此外,对于由Barron空间赋予的两层神经网络,缩放宽度$Ω(\sqrt{T})$是足够的。为了实现这一点,我们分析中的关键问题是如何估计深度神经函数近似下的时间差误差,因为$ε$贪婪探索不足以确保"乐观“。我们的分析重新制定的时间差误差的$L^2(\mathrm{d}μ)$ -可积空间在一定的平均测量$μ$,并将其转化为一个推广问题下的非iid设置。这可能对RL理论有自己的兴趣,以便更好地理解深度RL中的$ε$ -贪婪探索。
2022-10-16 cs.LG
Can Neural Networks Provide Latent Embeddings for Telemetry-Aware Greedy Routing?
Autonomous Learning Robots, Karlsruhe Institute of Technology, Germany(自主学习机器人,卡尔斯鲁厄大学技术与科学学院)
Placer通过信息传递网络将网络状态转换为潜在嵌入,实现高效贪心路由并可视化网络事件对路由决策的影响。
2026-02-13 cs.AI cs.LG cs.NI
Resolution-Consistent Greedy Neural Approximation on Infinite-Dimensional Spaces
Universidad Tecnológica Atlántico Mediterráneo – UTAMED(大西洋地中海科技大学(UTAMED));Universidad Cardenal Herrera-CEU, CEU Universities(红衣主教埃雷拉-CEU大学(CEU大学));CUNEF Universidad(库内夫大学)
该研究针对含有限坐标观测的无限维输入浅层神经模型,构建了构造性近似与学习保证,通过完全修正贪心方法实现经验回归的统计复杂度与输入分辨率一致,并经合成实验验证了相关参数范围。
2026-08-24 cs.LG math.FA
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.(LeapMind公司);Woven by Toyota, Inc.(丰田旗下Woven公司);Mirai Hoshu K.K.(Mirai Hoshu株式会社)
提出像素嵌入方法,通过可微查找表将输入像素替换为低比特向量,实现完全量化神经网络,在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
Trainable Greedy Decoding for Neural Machine Translation
The University of Hong Kong(香港大学);New York University(纽约大学)
神经机器翻译的最新研究主要集中在两个方面:神经网络架构和端到端学习算法。然而,解码的问题却很少受到研究界的关注。在本文中,我们只专注于一个训练的神经机器翻译模型的解码问题。而不是试图建立一个新的解码算法的任何特定的解码目标,我们提出了可训练的解码算法的想法,其中我们训练解码算法,以找到一个翻译,最大限度地提高任意解码目标。更具体地说,我们设计了一个演员,观察和操纵的神经机器翻译解码器的隐藏状态,并建议训练它使用确定性的策略梯度的变体。我们广泛评估所提出的算法,使用四种语言对和两个解码目标,并表明我们确实可以训练一个可训练的贪婪解码器,产生一个更好的翻译(在目标解码目标方面),以最小的计算开销。
2017-02-08 cs.CL cs.LG
GNAS: A Greedy Neural Architecture Search Method for Multi-Attribute Learning
Zhejiang University(浙江大学);Southwest Jiaotong University(西南交通大学);Carnegie Mellon University(卡内基梅隆大学)
深度多属性学习的一个关键问题是有效地发现属性间的关联结构。通常,传统的深度多属性学习方法遵循基于特定任务的专业知识先验知识和仔细的网络调谐手动设计网络架构的管道,从而导致实践中各种复杂场景的可扩展性。为了解决这个问题,我们提出了一种高效的贪婪神经架构搜索方法(GNAS),以自动发现用于多属性学习的最佳树状深度架构。GNAS以贪婪的方式将全局结构的优化逐步分解为单个连接的优化。通过迭代地更新本地架构,全局树状架构得到收敛,其中底层在相关属性之间共享,并且顶层中的分支更多地编码特定于属性的特征。在三个基准多属性数据集上的实验表明了GNAS构造的神经网络结构的有效性和紧凑性,同时也证明了GNAS在搜索神经网络结构方面的有效性。
2018-08-01 cs.CV cs.LG cs.NE
Orthogonal greedy algorithm for linear operator learning with shallow neural network
School of Mathematics, Jilin University(吉林大学数学学院);Department of Mathematics, Texas State University(德克萨斯州立大学数学系)
本文将正交贪心算法扩展到线性算子学习,提出核估计与逐点核估计方法,显著提升精度并给出最优近似速率理论保证。
2025-01-06 cs.LG cs.NA math.NA
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google(谷歌)
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构,权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位,即使不支持8位算法,也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试,并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上,如采用HVX的Qualcomm QDSP,可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进,在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位,精度损失范围从2%到10%,对于较小的网络,精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具,并回顾了量化感知训练的最佳实践,以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议,未来的处理器和硬件加速器优化推理支持精度为4,8和16位。
2018-06-21 cs.CV cs.LG stat.ML
A Greedy PDE Router for Blending Neural Operators and Classical Methods
Department of Statistics(统计系);University of Michigan(密歇根大学);Ann Arbor, MI 48104, USA(安阿伯, MI 48104, 美国)
本文提出一种贪心PDE路由器,通过在每次迭代中选择求解器来融合神经算子和经典方法,减少计算误差和误差曲线面积,提升求解效率与稳定性。
2026-10-16 cs.LG stat.ME stat.ML
Reply to: Inability of a graph neural network heuristic to outperform greedy algorithms in solving combinatorial optimization problems
Amazon Quantum Solutions Lab(亚马逊量子解决方案实验室);AWS Center for Quantum Computing(AWS量子计算中心)
我们对Stefan Boettcher [arXiv:2210.00623]撰写的评论提供了全面的回复,并认为该评论挑出了一个特定的非代表性示例问题,完全集中在稀疏图上的最大割问题(MaxCut)上,预计贪心算法将表现良好。相反,我们强调了我们原始工作背后更广泛的算法开发,并(在我们原始的框架内)提供了额外的数值结果,显示了我们原始数据的显著改进,从而反驳了评论的原始性能陈述。此外,已经证明物理启发的图神经网络(PI-GNN)可以胜过贪心算法,特别是在硬的、密集的实例上。我们还认为,图神经网络的内部(并行)解剖是非常不同的贪心算法的(顺序)性质,并(基于他们的使用在现实世界的社交网络的规模)指出,图神经网络已经证明了他们的潜力,优越的可扩展性相比,现有的算法,如极值优化。最后,我们得出结论,强调我们的工作的概念新颖性,并概述了一些潜在的扩展。
2023-02-03 cond-mat.dis-nn cs.AI cs.LG
Neural Greedy Pursuit for Feature Selection
KTH Royal Institute of Technology(瑞典皇家理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
提出神经贪婪追踪(NGP)算法,通过神经网络预测器在迭代损失最小化中逐一顺序选择特征,有效解决非线性预测中 $N \ll P$ 的特征选择问题,性能优于多种方法并展现相变行为。
2022-07-19 cs.LG stat.ML
Joint RNN-Based Greedy Parsing and Word Composition
Idiap Research Institute(伊迪亚普研究所);Facebook AI Research(Facebook人工智能研究院)
本文介绍了一种基于神经网络的贪婪语法分析器,它利用了一种新的组合子树表示。贪婪解析器和组合过程是联合训练的,并且紧密依赖于彼此。合成过程输出一个向量表示,它总结了语法(解析标签)和语义(单词)的子树。组合和标记是通过连续(单词或标签)表示和递归神经网络实现的。我们达到F1性能与著名的现有解析器,同时具有速度的优势,由于贪婪的性质的解析器。我们提供了一个完整的功能实现本文中所描述的方法。
2015-04-10 cs.CL cs.LG cs.NE
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University(国立台湾大学)
卷积神经网络(CNN)在广泛的领域中取得了卓越的性能。然而,激活的密集存储器访问引入了相当大的能量消耗,阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性,从而实现降维。然而,在激进的降维的情况下,这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡,我们提出了一个压缩感知投影系统,它采用了可学习的投影来补偿重建损失。此外,贪婪的选择度量被引入到优化逐层压缩比分配,同时考虑精度和#比特减少。测试结果表明,在MobileNetV 2/ResNet 18/VGG 16上,本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问,而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Reply to: Modern graph neural networks do worse than classical greedy algorithms in solving combinatorial optimization problems like maximum independent set
Amazon Quantum Solutions Lab(亚马逊量子解决方案实验室);AWS Center for Quantum Computing(AWS量子计算中心)
我们对Chiara Angelini和Federico Ricci-Tersenghi [arXiv:2206.13211]所写的评论提供了全面的回复,并认为该评论挑出了一个特定的非代表性示例问题,完全集中在稀疏图上的最大独立集(MIS)上,贪婪算法有望表现良好。相反,我们强调了我们原始工作背后更广泛的算法发展,并(在我们原始的框架内)提供了额外的数值结果,显示了比我们原始结果有相当大的改进,从而反驳了评论的性能陈述。我们还提供的结果显示运行时的缩放优于Angelini和Ricci-Tersenghi提供的结果。此外,我们表明,所提出的一组随机d-正则图不提供一个通用的基准实例集,也不贪婪算法提供一个通用的算法基线。最后,我们认为,图神经网络的内部(并行)解剖是非常不同的贪婪算法的(顺序)性质,并强调,图神经网络已经证明了其潜力,优越的可扩展性相比,现有的并行回火。最后,我们讨论了我们的工作的概念新颖性,并概述了一些潜在的扩展。
2023-02-03 cond-mat.dis-nn cs.AI cs.LG
Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks
New York University(纽约大学);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);Courant Institute of Mathematical Sciences(库朗数学科学研究所);Genentech(基因泰克);CIFAR LMB(加拿大高等研究院分子生物学实验室)
我们假设,由于多模态深度神经网络中学习的贪婪性质,这些模型往往只依赖于一种模态,而不适合其他模态。正如我们根据经验观察到的那样,这种行为是违反直觉的,并且损害了模型的泛化。为了估计模型对每种模态的依赖性,我们计算当模型除了另一种模态之外还可以访问它时的准确性增益。我们把这种收益称为条件利用率。在实验中,我们始终观察到在多个任务和架构之间的模态条件利用率的不平衡。由于在训练过程中无法有效地计算条件利用率,因此我们根据模型从每种模态学习的速度(我们称之为条件学习速度)为其引入了一个代理。我们提出了一种算法来平衡训练过程中模态之间的条件学习速度,并证明它确实解决了贪婪学习的问题。该算法改进了模型在三个数据集上的泛化:Colored MNIST、ModelNet 40和NVIDIA Dynamic Hand Gesture。
2022-09-16 cs.CV cs.LG
FairEdit: Preserving Fairness in Graph Neural Networks through Greedy Graph Editing
University of Michigan(密歇根大学)
图神经网络(GNN)已被证明在底层数据是图的预测建模任务中表现出色。然而,随着GNN在以人为中心的应用中的广泛使用,公平性问题已经出现。虽然边删除是一种用于促进GNN公平性的常用方法,但它没有考虑数据何时本质上缺少公平连接。在这项工作中,我们认为未探索的方法,边添加,伴随着删除,以促进公平。我们提出了两个模型无关的算法来执行边缘编辑:蛮力方法和连续近似方法,FairEdit。FairEdit通过利用公平性损失的梯度信息来找到提高公平性的边缘,从而执行有效的边缘编辑。我们发现,FairEdit在许多数据集和GNN方法上的表现优于标准训练,同时对许多最先进的方法进行了测试,证明了FairEdit在许多领域和模型中提高公平性的能力。
2022-02-16 cs.LG
Graph Neural Network based scheduling : Improved throughput under a generalized interference model
Université Côte d’Azur(蔚蓝海岸大学);INRIA Sophia Antipolis - Méditeranée(法国国家信息与自动化研究所索菲亚-安提波利斯-地中海中心);Univ of Avignon(阿维尼翁大学);LINCS Lab(LINCS实验室);IIT Madras(马德拉斯印度理工学院);IIT Kanpur(坎普尔印度理工学院)
在这项工作中,我们提出了一个基于图卷积神经网络(GCN)的adhoc网络调度算法。特别是,我们认为一个广义的干扰模型称为$k$容忍冲突图模型和设计一个有效的近似著名的最大权重调度算法。这项工作的一个显着特点是,所提出的方法不需要标记的数据集(NP-难以计算)训练神经网络。相反,我们设计了一个损失函数,利用现有的贪婪方法和训练GCN,提高贪婪方法的性能。我们广泛的数值实验表明,使用我们的GCN方法,我们可以显着($4$ - $20$百分比)提高传统的贪婪方法的性能。
2021-10-31 cs.IT cs.LG cs.NI
Learned Greedy Method (LGM): A Novel Neural Architecture for Sparse Coding and Beyond
The Computer Science Department - The Technion - Israel(以色列理工学院计算机科学系)
信号和图像处理领域受到深度神经网络的深刻影响。这些都成功地部署在广泛的现实世界的应用,获得最先进的结果,并超越了众所周知的和完善的经典方法。尽管它们取得了令人印象深刻的成功,但许多神经网络中使用的架构并没有明确的理由。因此,这些通常被视为“黑盒”机器,缺乏任何类型的可解释性。针对这一缺点的建设性补救措施是通过展开众所周知的迭代算法来系统地设计此类网络。这种方法的一个流行的代表是迭代收缩保持算法(ISTA)及其学习版本- LISTA,旨在处理信号的稀疏表示。在本文中,我们重新审视这个稀疏编码任务,并提出了一个展开版本的贪婪追求算法为同一目标。更具体地说,我们专注于著名的搜索匹配追踪(OMP)算法,并介绍其展开和学习的版本。我们的学习贪婪方法(LGM)的主要特点是能够容纳动态数量的展开层,和基于表示错误的停止机制,两者都适应于输入。我们开发了几个变种的建议LGM架构和测试他们中的一些在各种实验中,展示了他们的灵活性和效率。
2020-10-20 cs.LG eess.SP stat.ML
GN-SINDy: Greedy Sampling Neural Network in Sparse Identification of Nonlinear Partial Differential Equations
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
本文提出GN-SINDy方法,将贪心采样与深度神经网络融入SINDy框架,以降低非线性偏微分方程稀疏识别中的计算成本并提升模型发现效果。
2025-09-21 cs.LG math.DS
Deep greedy unfolding: Sorting out argsorting in greedy sparse recovery algorithms
Department of Mathematics and Statistics, Concordia University(数学与统计学系,康科迪亚大学);Department of Applied Mathematics and Theoretical Physics, University of Cambridge(应用数学与理论物理系,剑桥大学)
该研究针对贪心稀疏恢复算法中不可微的argsort算子问题,提出基于排列变体的Soft-OMP和Soft-IHT,开发出对应的可训练网络架构,实现与神经网络训练的兼容,还可提取数据的潜在稀疏模式。
2026-08-27 cs.LG cs.NA cs.NE
Modern graph neural networks do worse than classical greedy algorithms in solving combinatorial optimization problems like maximum independent set
Sapienza Università di Roma(罗马第一大学);Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所);Institute of Nanotechnology (NANOTEC) - CNR(意大利国家研究委员会纳米技术研究所)
最近的工作“Combinatorial Optimization with Physics-Inspired Graph Neural Networks "[Nat Mach Intell 4(2022)367]引入了一种物理启发的无监督图神经网络(GNN)来解决稀疏图上的组合优化问题。为了测试这些GNNs的性能,作者的工作显示了两个基本问题的数值结果:最大割和最大独立集(MIS)。他们的结论是,“图神经网络优化器的性能与现有的求解器相当或优于现有的求解器,具有超越现有技术的能力,可以解决数百万个变量的问题。“在这篇评论中,我们证明了一个简单的贪心算法,在几乎线性的时间内运行,可以找到比GNN质量好得多的MIS问题的解决方案。对于具有一百万个变量的问题,贪心算法相对于GNN快$10^4$倍。我们没有看到任何好的理由来解决MIS与这些GNN,以及使用大锤敲坚果。一般来说,许多关于神经网络在解决组合问题方面优越性的说法都有不够可靠的风险,因为我们缺乏基于真正困难问题的标准基准。我们提出了一个这样的硬基准,我们希望看到未来的神经网络优化器在这些问题上进行测试,然后再提出任何优越性。
2023-01-02 cond-mat.dis-nn cs.AI cs.LG
Spectral Greedy Coresets for Graph Neural Networks
University of Maryland(马里兰大学);University of Virginia(弗吉尼亚大学)
本文提出谱贪心图核心集(SGGC),通过两阶段贪心选择自我图,加速大规模图上的GNN训练,无需预训练,适用于低同质性图,并在十个数据集上显著优于现有方法。
2024-05-27 cs.AI cs.LG stat.ML
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Intel Labs(英特尔研究院)
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索(NAS)的最新进展显示了很大的希望。然而,发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题,我们引入了顺序贪婪结构搜索(SGAS),一种有效的神经结构搜索方法。通过将搜索过程划分为子问题,SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络(CNN)和图卷积网络(GCN)的搜索架构。大量的实验表明,SGAS是能够找到国家的最先进的架构任务,如图像分类,点云分类和蛋白质相互作用图中的节点分类,以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
ProxQuant: Quantized Neural Networks via Proximal Operators
Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能);UC Santa Barbara(加州大学圣巴巴拉分校)
为了使深度神经网络在资源受限的环境(如移动设备)中可行,通过使用低精度权重来优化模型是有益的。一种用于量化神经网络的常用技术是直通梯度法,其使得能够通过量化映射进行反向传播。尽管它在经验上取得了成功,但人们对直通梯度法的原理知之甚少。基于一个新的观察,即直通梯度方法实际上与众所周知的Nesterov的双平均算法在量化约束优化问题上是相同的,我们提出了一种更有原则的替代方法,称为ProxQuant,它将量化网络训练制定为正则化学习问题,并通过梯度方法对其进行优化。ProxQuant在底层全精度向量上进行反向传播,并在随机梯度步骤之间应用有效的E-T算子以鼓励量化。对于量化ResNets和LSTM,ProxQuant在二进制量化方面优于最先进的结果,在多位量化方面与最先进的结果不相上下。对于二进制量化,我们的分析在理论上和实验上都表明ProxQuant比直通梯度方法(即BinaryConnect)更稳定,挑战了直通梯度方法的不可或缺性,并提供了一个强大的替代方案。
2019-03-05 cs.LG stat.ML
Learning Structural Hardness for Combinatorial Auctions: Instance-Dependent Algorithm Selection via Graph Neural Networks
Department of Electrical and Computer Engineering(电气电子工程系)
针对组合拍卖中的胜者确定问题,提出学习实例难度预测方法,结合图神经网络与贪心算法实现实例相关算法选择,显著降低最优性差距。
2026-06-25 cs.LG
Inability of a graph neural network heuristic to outperform greedy algorithms in solving combinatorial optimization problems like Max-Cut
Emory University(埃默里大学)
在Nature Machine Intelligence 4,367(2022)中,Schuetz等人提供了一种采用图神经网络(GNN)作为启发式算法来解决各种经典的NP难组合优化问题的方案。它描述了如何在样本实例上训练网络,并使用广泛使用的技术评估生成的GNN启发式算法,以确定其成功的能力。显然,利用这种网络的强大能力,以这种不干涉的方式“学习”复杂的多模式能源景观的错综复杂,这一想法似乎很诱人。并且基于观察到的性能,该启发式算法有望具有高度可扩展性,其计算成本与输入大小$n$成线性关系,尽管由于GNN本身的原因,前因子中可能存在显著的开销。然而,更仔细的检查表明,该GNN的报告结果仅比梯度下降的结果好一点点,并且被贪婪算法(例如Max-Cut)超越。讨论还强调了我认为是一些常见的误解,在评估的竞争力。
2022-10-02 cond-mat.dis-nn cs.AI cs.LG
Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough
UT Austin(德克萨斯大学奥斯汀分校(UT Austin))
尽管深度学习取得了巨大的成功,但最近的研究表明,大型深度神经网络通常具有高度冗余性,并且可以显著缩小规模。然而,在给定精确度下降的特定容限的情况下,我们可以修剪神经网络多少的理论问题仍然是开放的。本文通过提出一种基于贪婪优化的剪枝方法,为这个问题提供了一个答案。该方法保证了修剪后的网络与原始网络之间的差异以指数快速衰减。修剪网络的大小,在适用于大多数实际设置的弱假设下。从经验上讲,我们的方法改进了修剪各种网络架构的现有技术,包括ResNet,ImageNet上的MobilenetV 2/V3。
2020-10-29 cs.LG math.OC stat.ML
Distributed Scheduling using Graph Neural Networks
Rice University(莱斯大学);US Army’s CCDC Army Research Laboratory(美国陆军CCDC陆军研究实验室)
无线网络设计中的一个基本问题是以分布式方式有效地调度传输。主要的挑战源于这样一个事实,即最优链路调度涉及解决最大加权独立集(MWIS)问题,这是NP-难。对于实际的链路调度方案,分布式贪婪方法通常用于近似的MWIS问题的解决方案。然而,这些贪婪的方案大多忽略了重要的无线网络的拓扑信息。为了克服这一限制,我们提出了一个分布式MWIS求解器的基础上图卷积网络(GCN)。简而言之,可训练的GCN模块在调用贪婪求解器之前学习与网络权重相结合的拓扑感知节点嵌入。在具有数十个链路的中小型无线网络中,即使是基于浅GCN的MWIS调度器也可以利用图的拓扑信息来将分布式贪婪求解器的次优性差距减少一半,同时具有良好的跨图泛化能力和最小的复杂性增加。
2021-02-06 cs.LG eess.SP
GreedyPixel: Fine-Grained Black-Box Adversarial Attack Via Greedy Algorithm
National Institute of Informatics(日本信息学研究所);University of Melbourne(墨尔本大学)
GreedyPixel通过贪心算法实现细粒度黑盒对抗攻击,在保持高精度和稀疏性的同时,有效提升对抗攻击的实用性。
2026-01-15 cs.CR cs.CV cs.LG
SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization
University of California San Diego(加州大学圣地亚哥分校);Halıcıoğlu Data Science Institute(哈利西奥卢数据科学研究所)
本文提出SPFQ随机量化算法,以线性计算复杂度量化大型神经网络权重,并首次在无限字母表条件下建立全网络误差界,证明过参数化程度越高误差线性衰减,且仅需约loglogN比特即可达到无限字母表情形下的误差界。
2023-09-20 cs.LG stat.ML
Decoupled Greedy Learning of CNNs
MILA(蒙特利尔学习算法研究所);University of California, Berkeley(加州大学伯克利分校);CNRS(法国国家科学研究中心)
一个经常被引用的反向传播神经网络训练的低效率是更新锁定问题:每一层都必须等待信号在更新之前通过整个网络传播。已经提出了几种可以缓解这个问题的替代方案。在这种情况下,我们考虑一个更简单,但更有效的替代品,使用最小的反馈,我们称之为解耦贪婪学习(DGL)。它基于联合训练目标的贪婪松弛,最近在大规模图像分类的卷积神经网络(CNN)的背景下被证明是有效的。我们考虑对这个目标进行优化,使我们能够解耦层训练,允许网络中的层或模块在层中进行潜在的线性并行化训练。使用一个重放缓冲区,我们表明这种方法可以扩展到异步设置,模块可以操作可能很大的通信延迟。我们从理论上和经验上表明,这种方法收敛。然后,我们实证发现,它可以导致更好的推广比顺序贪婪优化。我们在CIFAR-10数据集和大规模ImageNet数据集上证明了DGL对替代方法的有效性。
2020-06-19 cs.LG stat.ML
A Greedy Algorithm to Cluster Specialists
最近的几个深度神经网络实验利用了通才-专家范式进行分类。然而,没有正式的研究比较了不同的聚类算法的类分配的性能。在本文中,我们进行了这样的研究,建议稍微修改的聚类过程,并提出了一种新的算法,旨在优化的性能的专家通才分类系统。我们在CIFAR-10和CIFAR-100数据集上的实验使我们能够研究类似数据上不同数量的类的情况。我们发现,我们的\emph{greedy pairs}聚类算法始终优于其他替代品,而混淆矩阵的选择对最终的性能影响不大。
2016-09-13 cs.LG stat.ML
Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks
University of Notre Dame(圣母大学);Google LLC(谷歌有限责任公司)
提出一种针对边缘计算的全可微混合精度量化方法,通过硬件感知异构量化、定向梯度修改和多阶段学习,在ImageNet上以低于4.3MB的权重和激活实现最佳准确率。
2023-08-29 cs.CV cs.LG
Large Neighborhood Search meets Iterative Neural Constraint Heuristics
Department of Mechanical \& Industrial Engineering, University of Toronto Vector Institute
本文将迭代神经启发式与大邻域搜索结合,改进ConsFormer方法,通过实验发现该方法在Sudoku、图着色和MaxCut任务中性能提升显著,揭示了LNS在设计迭代神经方法中的有效性。
2026-03-21 cs.LG
Greedy AutoAugment
Rutgers University(罗格斯大学);Georgia Institute of Technology(佐治亚理工学院)
数据增强中的主要问题是确保生成的新样本覆盖搜索空间。这是一个具有挑战性的问题,需要探索数据增强策略,以确保它们在覆盖搜索空间方面的有效性。在本文中,我们提出了贪婪AutoAugment作为一个高效的搜索算法,以找到最佳的增强策略。我们使用一个贪婪的方法来减少可能的试验数量的指数增长线性增长。贪婪搜索还可以帮助我们将搜索引向结果更好的子策略,这最终有助于提高准确性。该方法可以作为对现有人工神经网络的可靠补充。我们在四个数据集(Tiny ImageNet,CIFAR-10,CIFAR-100和SVHN)上的实验表明,Greedy AutoAugment提供了更好的准确性,同时使用的计算资源减少了360倍。
2020-10-07 cs.CV cs.LG stat.ML
Learning Optimal Dynamic Matching via Graph Neural Networks
该研究针对动态匹配市场问题,开发基于残差图的图神经网络强化学习框架,在两类基准中均优于传统贪心匹配策略,可自适应调整匹配决策。
2026-08-18 cs.GT cs.LG econ.TH
Module-wise Training of Neural Networks via the Minimizing Movement Scheme
Criteo(Criteo公司);Sorbonne Université(索邦大学);Thales(泰雷兹集团);ETH Zurich(苏黎世联邦理工学院)
针对神经网络逐模块训练的停滞问题,提出受最小化运动方案启发的输运正则化贪心学习TRGL方法,理论证明其正则性与任务渐进性,实验显示其提升多架构准确率且内存占用最多降60%。
2023-10-05 cs.LG
Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection
the University of Texas, Austin(得克萨斯大学奥斯汀分校);the University of Chicago(芝加哥大学);Google Research(谷歌研究院)
最近的实证研究表明,大型深度神经网络通常是高度冗余的,人们可以找到更小的子网络,而不会显着降低准确性。然而,大多数现有的网络修剪方法都是经验和启发式的,这使得是否存在好的子网络,如何有效地找到它们,以及网络修剪是否可以证明优于使用梯度下降的直接训练。我们积极回答这些问题,提出了一个简单的贪婪的选择方法,找到好的子网络,从一个空的网络和greenerous添加重要的神经元从大的网络。这与现有的基于向后消除的方法不同,后者从大型网络中删除冗余神经元。从理论上讲,在足够大的{预训练}网络上应用贪婪选择策略可以保证找到比直接用梯度下降训练的网络损失更低的小子网。我们的结果也适用于修剪随机加权网络。实际上,我们改进了现有的网络修剪技术,在ImageNet上学习紧凑的神经架构,包括ResNet,MobilenetV 2/V3和ProxylessNet。我们在MobileNet上的理论和实证结果表明,我们应该微调修剪的子网,以利用来自大型模型的信息,而不是像\citet{liu2018rethinking}中建议的那样从新的随机初始化重新训练。
2020-10-19 cs.LG stat.ML
Gradient-Based Neural DAG Learning
Mila;DIRO;Université de Montréal(蒙特利尔大学)
我们提出了一种新的基于分数的方法来学习有向无环图(DAG)从观测数据。我们适应最近提出的连续约束优化配方,允许变量之间的非线性关系,使用神经网络。这种扩展允许对复杂的交互进行建模,同时避免问题的组合性质。除了将我们的方法与现有的连续优化方法进行比较之外,我们还提供了与非线性贪婪搜索方法的经验比较。在合成和真实世界的数据集上,这种新方法在大多数任务上都优于当前的连续方法,同时在因果推理的重要指标上与现有的贪婪搜索方法竞争。
2020-02-18 cs.LG stat.ML
PikeLPN: Mitigating Overlooked Inefficiencies of Low-Precision Neural Networks
Brown University(布朗大学);Google(谷歌公司)
本文提出PikeLPN模型及ACEv2指标,通过QuantNorm、双重量化和分布异构量化等技术解决低精度神经网络中非量化逐元素操作导致的效率瓶颈,实现效率-精度帕累托最优,效率提升达3倍。
2024-03-29 cs.CV cs.LG
Q-Diffusion: Quantizing Diffusion Models
UC Berkeley(加州大学伯克利分校);Nanjing University(南京大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学)
针对扩散模型噪声估计网络推理慢、传统PTQ量化效果差的问题,提出含时间步感知校准与分裂捷径量化的新型PTQ方法,首次实现4位权重的Stable Diffusion高质量生成。
2023-06-08 cs.CV cs.LG
PEREGRiNN: Penalized-Relaxation Greedy Neural Network Verifier
University of California, Irvine(加州大学尔湾分校)
神经网络(NN)具有与其在现实世界应用中的扩散相称的日益明显的安全性影响:意外的以及对抗性的错误分类都可能导致致命的结果。因此,形式化验证技术已被公认为是设计和部署安全神经网络的关键。在本文中,我们介绍了一种新的方法来正式验证ReLU NN最常见的安全规范-即网络输入和输出的多面体规范。像其他一些方法一样,我们使用一个放松的凸规划来减轻问题的组合复杂性。然而,我们的方法的独特之处在于,我们不仅使用凸解算器作为线性可行性检查器,而且还作为惩罚解决方案中允许的松弛量的手段。特别地,我们通过通常的线性约束对每个ReLU进行编码,并将其与凸目标函数相结合,该凸目标函数对每个神经元的输出与其松弛之间的差异进行惩罚。该凸函数进一步构造成迫使最大弛豫出现在最接近输入层的地方;这提供了进一步的好处,即当逐层调节时,尽可能早地调节最有问题的神经元。可以利用这种范例来创建一种验证算法,该算法不仅在一般情况下比竞争方法更快,而且还能够验证更多的安全属性;我们在标准MNIST鲁棒性验证套件上评估了PEREGRiNN,以证实这些声明。
2021-04-18 cs.FL cs.LG stat.ML
Automatic Induction of Neural Network Decision Tree Algorithms
Faculty of Engineering and Information Technology(工程与信息技术学院);University of Technology Sydney(悉尼科技大学)
本文提出了一种基于神经网络结构的非贪婪决策树的自动归纳方法。这种构造可以用于在增长或修剪决策树时转移权重,允许非贪婪决策树算法自动学习和适应理想架构。在这项工作中,我们研究了集成建模和贝叶斯模型平均的基础思想,使我们的神经网络通过权重转移渐近接近理想的体系结构。实验结果表明,该方法提高了决策树模型和决策森林模型在固定的超参数集的模型。
2019-04-25 cs.LG stat.ML
A Continuous Relaxation of Beam Search for End-to-end Training of Neural Sequence Models
Carnegie Mellon University(卡内基梅隆大学);Deepmind
束搜索是神经序列模型测试时解码算法的理想选择,因为它潜在地避免了由简单贪婪方法造成的搜索错误。然而,这些模型的典型交叉熵训练过程不直接考虑最终解码方法的行为。因此,对于交叉熵训练模型,与贪心解码相比,波束解码有时会产生降低的测试性能。为了训练模型,可以更有效地利用束搜索,我们提出了一个新的训练过程,侧重于最终的损失度量(例如汉明损失)评估的输出束搜索。虽然定义明确,但这一"直接损失"目标本身是不连续的,因此难以优化。因此,在我们的方法中,我们通过引入束搜索解码过程的新的连续近似来形成次可微代理目标。在实验中,我们表明,优化这个新的训练目标产生了更好的结果,在两个序列任务(命名实体识别和CCG超级标记)相比,交叉熵训练的贪心解码和交叉熵训练的波束解码基线。
2017-10-06 cs.CL cs.LG cs.NE
SWIS -- Shared Weight bIt Sparsity for Efficient Neural Network Acceleration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
量化是神经网络计算系统性能和效率提高的先锋,正在向商品硬件迈进。我们提出了SWIS -共享权重位稀疏,有效的神经网络推理加速提供了改进的性能和存储压缩,通过离线权重分解和调度算法的量化框架。SWIS可以实现高达54.3%(19.8%)的点精度提高相比,权重截断时量化MobileNet-v2到4(2)位后训练(与再训练)显示利用共享位稀疏的权重的强度。SWIS加速器给出了高达6倍的加速比和1.9倍的能源改善,超过了最先进的位串行架构。
2021-03-03 cs.LG
Decoupled Greedy Learning of CNNs for Synchronous and Asynchronous Distributed Learning
Concordia University(康考迪亚大学);Mila(米拉人工智能研究所);Sorbonne University(索邦大学);Ecole Polytechnique(巴黎综合理工学院);McGill University(麦吉尔大学);Flatiron Institute(弗莱提荣研究所);CNRS(法国国家科学研究中心)
使用反向传播的神经网络训练的一个常见的低效率是更新锁定问题:每一层在更新之前必须等待信号通过整个网络传播。已经提出了几种可以缓解这个问题的替代方案。在这种情况下,我们考虑一种基于最小反馈的简单替代方案,我们称之为解耦贪婪学习(DGL)。它是基于一个经典的贪婪松弛的联合训练目标,最近被证明是有效的卷积神经网络(CNN)的大规模图像分类的上下文中。我们考虑对这个目标进行优化,使我们能够解耦层训练,允许网络中的层或模块以潜在的线性并行化进行训练。使用一个重放缓冲区,我们表明,这种方法可以扩展到异步设置,模块可以操作,并继续更新可能会有很大的通信延迟。为了解决带宽和内存问题,我们提出了一种基于在线矢量量化的方法。这允许大幅减少模块之间的通信带宽和重放缓冲器所需的存储器。我们从理论上和经验表明,这种方法收敛,并比较它的顺序求解器。我们在CIFAR-10数据集和大规模ImageNet数据集上证明了DGL对替代方法的有效性。
2021-06-11 cs.DC cs.LG
Positive-Unlabeled Learning using Random Forests via Recursive Greedy Risk Minimization
The University of Queensland(昆士兰大学);RIKEN(理化学研究所)
从正的和未标记的数据中学习的需求,或PU学习,出现在许多应用中,并引起了越来越多的兴趣。虽然已知随机森林在具有正数据和负数据的许多任务上表现良好,但最近的PU算法通常基于深度神经网络,并且基于树的PU学习的潜力未被充分开发。在本文中,我们提出了新的随机森林算法的PU学习。我们的方法的关键是一个新的解释决策树算法的积极和消极的数据为\emph{recursive greedy risk minimization algorithms}。我们将这种观点扩展到PU设置,以开发新的决策树学习算法,直接最大限度地减少PU数据的估计预期风险。这使我们能够开发一个有效的PU随机森林算法,PU额外的树。我们的方法具有三个理想的属性:它是强大的损失函数的选择,在这个意义上,各种损失函数导致相同的决策树;它需要很少的超参数调整相比,基于PU学习的神经网络;它支持一个功能的重要性,直接衡量一个功能的风险最小化的贡献。我们的算法在几个数据集上表现出强大的性能。我们的代码可在\url{https://github.com/puetpaper/PUExtraTrees}上找到。
2022-10-16 cs.LG stat.ML
Learning Combinatorial Node Labeling Algorithms
ETH Zurich(苏黎世联邦理工学院)
我们提出了一种新的神经架构来解决图优化问题,其中解决方案由任意节点标签组成,使我们能够解决像图着色这样的难题。我们使用强化学习来训练我们的模型,特别是策略梯度,它为我们提供了一个贪婪和概率策略。我们的架构建立在一个图形注意力网络,并使用几个归纳偏见,以提高解决方案的质量。我们学习的图着色的确定性算法比经典的基于度的贪婪算法给出了更好的解决方案,并且只需要几秒钟就可以应用于具有数万个顶点的图。此外,我们的概率策略优于所有贪婪的最先进的着色基线和机器学习基线。最后,我们表明,我们的方法也推广到其他问题,通过评估它的最小顶点覆盖和优于两个贪婪算法。
2022-05-10 cs.LG
Greedy and Transformer-Based Multi-Port Selection for Slow Fluid Antenna Multiple Access
University of A Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心);Defense University Center at the Spanish Naval Academy(西班牙海军学院国防大学中心);University of Granada(格拉纳达大学);Research Centre for Information and Communication Technologies (CITIC-UGR)(信息与通信技术研究中心(CITIC-UGR))
本文提出两种策略:贪心前向选择与基于Transformer的神经网络,提升流体天线多址接入的频谱效率。
2026-04-06 cs.AI cs.LG
Compression with Bayesian Implicit Neural Representations
University of Cambridge(剑桥大学)
本文提出用变分贝叶斯神经网络过拟合数据并结合相对熵编码进行压缩,通过最小化β-ELBO直接优化率失真性能,在图像和音频压缩上表现优异。
2023-10-29 cs.IT cs.LG math.IT