Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用研究所);Alcatel-Lucent Enterprise(阿尔卡特朗讯企业)
LST通过轻量级侧边网络实现高效微调,比QLoRA更节省内存,同时在多个任务中保持竞争力。
2026-08-27 cs.CL cs.LG
Multi-Task Generative Adversarial Nets with Shared Memory for Cross-Domain Coordination Control
Institute of Automation, Chinese Academy(中国科学院自动化研究所);FUJITSU(富士通);China Academy of Telecommunication Research of MIIT(工业和信息化部电信研究院)
从大量的测量过程数据中生成顺序决策过程,充分利用这些在线或离线过程数据直接设计灵活的决策策略,并进行性能评估,是协同工厂自动化的未来研究方向。序贯决策过程面临的主要挑战是在线直接生成序贯决策策略,以及跨任务域的知识传递。在离散时间非线性系统中,大多数多任务策略生成算法都存在不能充分生成跨任务共享结构的问题。针对离散非线性系统,提出了一种多任务共享记忆生成对抗网络,该网络能够直接从所有任务的原始感知输入中生成顺序决策策略,并在线评估系统行为的性能。实验已经使用部署在中国潍柴动力智能工厂内的专业柔性制造测试平台进行。对三组离散时间非线性控制任务的仿真结果表明,该模型可以有效地提高任务的性能,并与其他相关任务相结合。
2018-07-01 cs.AI cs.DC cs.LG
Reduced-Precision Strategies for Bounded Memory in Deep Neural Nets
University of Toronto(多伦多大学);University of British Columbia(不列颠哥伦比亚大学)
这项工作研究了在卷积神经网络(CNN)中使用精度降低的数据如何影响分类过程中的网络精度。更具体地说,本研究考虑了每层可能使用不同精度数据的网络。我们的关键结果是观察到CNN对精度降低的数据的容忍度不仅在网络之间存在差异,而且在网络内部也存在差异。调整每层的精度是有吸引力的,因为它可以实现能源和性能的改善。在本文中,我们研究如何跨层的容错变化,并提出了一种方法,找到一个低精度的网络配置,同时保持高精度。分析了一组不同的CNN,结果表明,与所有层使用32位浮点表示的传统实现相比,相对准确度损失不到1%,这些网络所需的数据足迹平均可以减少74%,最高可达92%。
2016-01-08 cs.LG cs.NE
Adafactor: Adaptive Learning Rates with Sublinear Memory Cost
Google Brain(谷歌大脑);University of California, Berkeley(加利福尼亚大学伯克利分校)
在最近提出的几种随机优化方法(例如RMSProp,Adam,Adadelta)中,参数更新通过过去梯度平方的指数移动平均值的平方根倒数进行缩放。维护这些每个参数的二阶矩估计需要的内存等于参数的数量。对于神经网络权重矩阵的情况下,我们建议只保持这些移动平均值的每行和每列的总和,并估计每个参数的二阶矩的基础上,这些总和。我们的经验表明,这种方法产生类似的结果的基线。其次,我们表明,当二阶矩累加器的衰减速率太慢时,自适应方法可以产生比预期更大的更新。我们提出了更新裁剪和逐渐增加的衰减率计划作为补救措施。结合这些方法和降低动量,我们在WMT 2014英语-德语机器翻译任务上训练Transformer模型时获得了与已发布的Adam机制相当的结果,同时在优化器中使用了很少的辅助存储器。最后,我们建议根据参数本身的规模来缩放参数更新。
2018-04-11 cs.AI cs.LG stat.ML
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化(COCO-M),提出首次实现亚线性后悔和亚线性累积约束违反的算法,适用于时间变化约束,且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
Network Inversion of Binarised Neural Nets
IIT Bombay(印度理工学院孟买分校)
本文提出将训练好的二值化神经网络编码为CNF公式以实现推理与网络反演,为揭示黑盒性质和确保安全场景下的可信度提供新方法。
2024-02-19 cs.LG
Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets
Facebook AI Research(Facebook人工智能研究院)
尽管最近在机器学习方面取得了一些成就,但我们离实现真正的人工智能还很远。在本文中,我们讨论了标准深度学习方法的局限性,并表明其中一些局限性可以通过学习如何以结构化的方式增加模型的复杂性来克服。具体来说,我们研究了最简单的序列预测问题,这些问题超出了标准递归网络的可学习范围,算法生成的序列只能通过具有计数和记忆序列能力的模型来学习。我们表明,一些基本的算法可以从序列数据中学习,使用与可训练记忆相关的递归网络。
2015-06-01 cs.LG cs.NE
Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of reservoir recurrent neural networks
Graduate School of Informatics, Kyoto University(京都大学信息科学研究生院)
本文研究储层递归神经网络中神经元相关性如何决定记忆容量次线性标度及非线性计算能力的顺序增长,为可扩展储层计算设计提供理论基础。
2025-08-14 cond-mat.dis-nn cs.LG q-bio.NC
Magnetoresistive RAM for error resilient XNOR-Nets
Spin Memory, Inc.(Spin Memory公司)
我们在各种数据集(MNIST,CIFAR-10,CIFAR-100,扩展SVHN,ImageNet)上使用易错激活训练了三种二进制卷积神经网络架构(LeNet-4,Network-In-Network,AlexNet),并在没有错误的情况下测试了它们,以研究训练过程的弹性。除了在ImageNet数据集上训练AlexNet之外,我们发现训练过程中百分之几的比特出错率不会降低测试精度。此外,通过在ImageNet类的逐渐较小的子集上训练AlexNet,我们观察到对激活错误的容忍度增加。以高BER操作的能力对于降低现有硬件中的功耗和促进新兴存储器技术至关重要。我们讨论如何在中等BER下运行才能使磁阻RAM具有更高的耐久性、速度和密度。
2019-05-24 cs.LG stat.ML
Sublinear Time and Space Algorithms for Correlation Clustering via Sparse-Dense Decompositions
Rutgers University(罗格斯大学)
我们提出了一种新的方法来解决(最小分歧)的相关聚类,结果在次线性算法与高效的时间和空间复杂度为这个问题。特别是,我们获得了以下算法的$n$ -顶点$(+/-)$ -标记的图形$G$:-一个次线性时间算法,以高概率返回一个恒定的近似聚类的$G$在$O(n\log^2{n})$时间假设访问的邻接列表的$(+)$ -标记的边缘$G$(这几乎是二次方快于甚至读取输入一次)。以前,没有次线性时间算法是已知的这个问题的任何乘法近似保证。--半流算法,其以高概率返回$G$在$O(n\log{n})$空间中的恒定近似聚类和在图$G$的边缘上的单次通过(该存储器几乎是输入大小的二次方)。以前,没有一个单遍算法与$o(n^2)$空间是已知的这个问题的任何近似保证。我们的方法的主要成分是一个新的连接到稀疏密集图分解,广泛用于图着色文献。据我们所知,这种连接是这些分解超出图着色的第一个应用,特别是相关聚类问题,可以独立的兴趣。
2021-09-29 cs.DS cs.LG
From Bayesian Sparsity to Gated Recurrent Nets
Peking University(北京大学);Microsoft Research(微软研究院)
许多一阶算法的迭代,当应用于最小化常见的正则化回归函数时,通常类似于具有预先指定的权重的神经网络层。这一观察结果促进了基于学习的方法的发展,这些方法旨在用增强的代理来取代这些迭代,这些代理是从可用的训练数据中伪造为DNN模型的。例如,重要的NP难稀疏估计问题最近受益于这种类型的升级,简单的前馈或递归网络取代了基于梯度的迭代。类似地,本文证明了用于促进稀疏性的更强大的贝叶斯算法,它依赖于复杂的多循环优化-最小化技术,反映了更复杂的长短期记忆(LSTM)网络的结构,或先前为序列预测设计的替代门控反馈网络。作为这一发展的一部分,我们研究了在优化过程中跨多个时间尺度运行的潜在变量轨迹之间的相似性,以及旨在自适应地对这些特征序列进行建模的深层网络结构中的激活。由此产生的见解导致一种新的稀疏估计系统,当授予训练数据,可以有效地估计最佳解决方案的制度,其他算法失败,包括实际的方向到达(DOA)和3D几何恢复问题。我们揭示的基本原则也暗示了其他领域中更丰富的多循环算法的学习过程。
2017-08-02 cs.LG
Learning Deep Matrix Representations
Applied AI Institute(应用人工智能研究所);Deakin University(迪肯大学)
我们在深度神经网络中提出了一种新的分布式表示,其中信息以原生形式表示为矩阵。这与依赖于向量表示的当前神经架构不同。我们认为矩阵是架构的核心,它们组成了输入层、隐藏层和输出层。模型表示更加紧凑和优雅-参数的数量只随着传入层的最大维度而增长,而不是隐藏单元的数量。我们推导出几种新的深度网络:(i)将输入矩阵映射到输出矩阵的前馈网络,(ii)将输入矩阵序列映射到输出矩阵序列的递归网络。我们还重新解释现有的模型(iii)记忆增强网络和(iv)使用矩阵符号的图形。对于图,我们演示了如何新的符号导致简单而有效的扩展与多个注意。手写数字识别,人脸重建,序列到序列学习,EEG分类,和基于图的节点分类的大量实验证明了矩阵架构的有效性和紧凑性。
2018-02-05 cs.LG
Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对核化在线成对学习,提出有限内存方差缩减OGD算法,利用分层样本和随机傅里叶特征降低梯度方差,实现改进的次线性遗憾,实验验证其优越性。
2023-10-10 cs.LG
Wide Compression: Tensor Ring Nets
Purdue University(普渡大学);Technicolor Research(泰克尼科尔研究(Technicolor Research));Adobe(Adobe公司);Duke University(杜克大学)
深度神经网络已经在各种现实世界的应用中展示了最先进的性能。为了获得性能增益,这些网络变得越来越大,越来越深,包含数百万甚至数十亿个参数和上千层。代价是这些大型架构需要大量的内存、存储和计算,从而限制了它们的可用性。受最近的张量环分解的启发,我们引入了张量环网络(TR-Nets),它显著压缩了深度神经网络的全连接层和卷积层。我们的研究结果表明,我们的TR-网络方法{能够通过$11\times$压缩LeNet-5而不损失准确性},并且可以通过$243\times$压缩最先进的Wide ResNet,在{Cifar 10图像分类}中只有2.3\%的退化。总的来说,这种压缩方案在科学计算和深度学习中显示出了前景,特别是对于新兴的资源受限设备,如智能手机,可穿戴设备和物联网设备。
2018-02-25 cs.CV cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Microsoft Research(微软研究院)
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为,后悔的标准定义变得不够,如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾,试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置,我们表明,没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面,如果对手的记忆是有界的,我们提出了一个一般的技术,转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体,如转换后悔,内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University(莱斯大学)
我们提出了第一个次线性记忆草图,可以查询,以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图,其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希(LSH)为基础的估计,在线核密度估计,压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡,我们的草图,它完全由短整数数组,在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案,同时保留报告的能力,最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
Universal Approximation of Input-Output Maps by Temporal Convolutional Nets
University of Illinois(伊利诺伊大学)
最近序列到序列建模从递归网络架构转移到卷积网络架构,这是由于在训练和操作中的计算优势,同时仍然实现了有竞争力的性能。对于具有有限的长期时间依赖性的系统,递归网络的近似能力基本上等同于时间卷积网络(TCN)。我们证明了TCN可以近似一个大类的输入-输出映射具有近似有限的内存任意容错。此外,我们根据网络的宽度和深度以及原始输入-输出映射的连续性模量推导出深度ReLU TCN的定量近似率,并将这些结果应用于允许有限维状态空间实现的系统的输入-输出映射(即,循环模型)。
2019-10-27 cs.LG cs.SY eess.SY
Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity
University of Maryland(马里兰大学)
针对图神经网络训练复杂度随图规模线性增长的问题,提出基于多项式张量草图理论的Sketch-GNN,结合可训练局部敏感哈希技术,实现亚线性训练复杂度,在大规模图基准上取得有竞争力的性能。
2024-06-21 cs.AI cs.LG stat.ML
Memory-Reduced Meta-Learning with Guaranteed Convergence
Xiamen University(厦门大学)
本文提出一种无需历史参数或梯度的元学习算法,显著降低内存开销,并证明其具有次线性收敛性及与现有方法匹配的计算复杂度,实验验证了其有效性。
2024-12-16 cs.LG math.OC
One Pass Streaming Algorithm for Super Long Token Attention Approximation in Sublinear Space
Adobe Research(奥多比研究院);Fuzhou University(福州大学);Sun Yat-sen University(中山大学)
针对超长上下文注意力计算中O(n²)空间瓶颈,提出单遍流式算法,用亚线性空间存储草图矩阵,在内存近乎恒定的同时误差随长度增加而减小,适用于流式LLM部署。
2024-02-05 cs.CL cs.LG stat.ML
Invertible Memory Flow Networks
VECTOR Labs(VECTOR实验室)
IMFN通过分解长序列压缩问题为成对合并,利用二叉树结构的清扫器模块实现O(log N)深度的高效压缩,适用于长序列数据的处理。
2026-01-31 cs.LG
Memory-Efficient Optimization with Factorized Hamiltonian Descent
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对自适应优化器内存开销大的问题,提出基于哈密顿动力学的新型优化器 H-Fac,通过秩为1参数化将内存降至次线性水平,兼具理论保证与竞争力。
2024-10-17 cs.LG
Efficient Memory Management for Deep Neural Net Inference
Google Research(谷歌研究院)
虽然深度神经网络推理被认为是仅用于服务器的任务,但最新的技术进步允许将推理任务转移到移动和嵌入式设备上,这是出于从延迟到隐私等各种原因而需要的。这些设备不仅受到其计算能力和电池的限制,而且还受到其劣质物理内存和缓存的限制,因此,高效的内存管理器成为边缘深度神经网络推理的关键组件。我们探索了各种策略,以便在深度神经网络中的中间张量之间智能地共享内存缓冲区。采用这些技术可以使内存占用比现有技术减少11%。
2020-02-16 cs.CV cs.LG
Sub-Linear Memory: How to Make Performers SLiM
University of Cambridge(剑桥大学);Google Brain(谷歌大脑);Columbia University(哥伦比亚大学);DeepMind(深度思维);Stanford University(斯坦福大学);Alan Turing Institute(艾伦·图灵研究所)
Transformer架构彻底改变了对序列数据的深度学习,在各种应用的最先进解决方案中无处不在。然而普通的Transformers是出了名的资源昂贵,需要作为输入长度$L$的函数的串行时间和存储器中的$O(L^2)$。最近的工作提出了各种线性的自我注意机制,缩放串行计算仅为$O(L)$。我们进行了彻底的分析,最近的Transformer机制与线性自我关注,表演者,在整体计算复杂性。我们观察到一个显着的计算的灵活性:前向和后向传播可以进行没有近似使用次线性存储器作为$L$的函数(除了可以忽略的存储输入序列),在并行设置中的更大的时间复杂度的成本。在极端情况下,Performer在训练期间仅消耗$O(1)$内存,并且仍然需要$O(L)$时间。这种发现的时间-内存权衡可以用于训练,或者由于完全向后兼容性,可以用于低内存设备(例如智能手机或早期GPU)上的微调,从而有助于分散和民主化的深度学习。
2020-12-21 cs.LG
Training Quantized Nets: A Deeper Understanding
University of Maryland, College Park(马里兰大学帕克分校);Cornell University(康奈尔大学)
目前,深度神经网络部署在低功耗便携式设备上,首先使用强大的硬件训练全精度模型,然后导出相应的低精度模型,用于在这种系统上进行有效推理。然而,直接使用粗略量化的权重训练模型是在计算资源、内存容量和功耗有限的嵌入式平台上学习的关键一步。最近有许多出版物研究了训练量化网络的方法,但这些研究大多是经验性的。在这项工作中,我们调查的量化神经网络的训练方法从理论的观点。我们首先探讨了凸性假设下训练方法的精度保证。然后,我们研究了这些算法在非凸问题上的行为,并表明利用高精度表示的训练算法具有纯粹量化训练方法所缺乏的重要贪婪搜索阶段,这解释了使用低精度算法进行训练的困难。
2017-11-13 cs.CV cs.LG stat.ML
A Graph Theoretic Framework of Recomputation Algorithms for Memory-Efficient Backpropagation
Preferred Networks, Inc.(Preferred Networks公司);The University of Tokyo(东京大学)
重新计算算法统称为旨在通过选择性地丢弃前向传播的中间结果并根据需要重新计算丢弃的结果来减少反向传播的内存消耗的方法家族。在本文中,我们将提出一种新的和有效的重新计算方法,可以适用于更广泛的神经网络比以前的方法。我们使用图论的语言来形式化的一般重计算问题的最小化的计算开销在一个固定的内存预算约束下,并提供了一个动态规划解决方案的问题。在各种基准网络上,该方法可以将峰值内存消耗降低36%~ 81%,优于其他方法。
2019-05-28 cs.LG stat.ML
Parallelizing Linear Recurrent Neural Nets Over Sequence Length
Future of Humanity Institute, University of Oxford(牛津大学人类未来研究所)
递归神经网络(RNN)被广泛用于对序列数据进行建模,但它们在序列元素之间的非线性依赖关系阻止了序列长度上的并行训练。我们证明了只有线性顺序依赖关系的RNN的训练可以使用并行扫描算法在序列长度上并行化,从而即使在小的minibatch大小下也可以快速训练长序列。我们开发了一个并行线性递归CUDA内核,并表明它可以立即将几种最先进的RNN架构的训练和推理速度提高9倍。我们将最近关于线性RNN的工作抽象成一个新的线性代理RNN框架,并为长短期记忆单元GILR-LSTM开发了一个线性代理模型,该模型利用并行线性递归。我们将序列学习扩展到新的极长序列机制,这些机制以前是无法实现的,我们成功地在具有一百万时间步依赖性的合成序列分类任务上训练了GILR-LSTM。
2018-02-22 cs.AI cs.LG cs.NE
Graph Neural Networks Extract High-Resolution Cultivated Land Maps from Sentinel-2 Image Series
Silesian University of Technology(西里西亚工业大学);KP Labs(KP实验室);European Space Agency(欧洲空间局)
通过优化农业管理实践来保持农场的可持续性,有助于建立更环保的环境。新兴的卫星任务可以获取多光谱和高光谱图像,这些图像可以捕获有关扫描区域的更详细的光谱信息,从而使我们能够在农业应用的分析过程中受益于细微的光谱特征。本文介绍了一种利用紧凑图卷积神经网络从10 m Sentinel-2多光谱图像序列中提取2.5 m耕地图的方法。实验表明,我们的模型不仅通过提供更高质量的分割图来超越经典和深度机器学习技术,而且与U-Nets相比,还大大减少了内存占用(我们模型的近8 k个可训练参数,U-Nets的参数高达31 M)。这种内存节约在任务中至关重要,这些任务允许我们在人工智能卫星进入轨道后将模型上传到人工智能卫星上,因为由于时间限制,发送大型网络是不可能的。
2022-08-03 cs.CV cs.LG eess.IV
Predictive Business Process Monitoring via Generative Adversarial Nets: The Case of Next Event Prediction
The University of Melbourne(墨尔本大学)
预测过程监控旨在预测正在进行的过程案例的未来特征,例如案例结果或剩余时间戳。最近,已经提出了几种基于深度学习的预测过程监控方法,例如长短期记忆或卷积神经网络,以解决下一个事件预测的问题。然而,由于训练数据不足或次优网络配置和架构,这些方法不能很好地概括手头的问题。本文提出了一种新的对抗训练框架来解决这一缺点,基于生成对抗网络(GANs)对顺序时态数据领域的适应。训练的工作原理是在两个玩家的游戏中让一个神经网络与另一个神经网络对抗(因此具有对抗性),这导致预测与地面事实无法区分。我们正式表明,所提出的方法的最坏情况下的准确性至少等于在非对抗性设置中实现的准确性。从实验评估中可以看出,尽管使用了简单的网络架构和朴素的特征编码,但该方法在预测的准确性和早期性方面系统地优于所有基线。此外,该方法更鲁棒,因为其准确性不受案例长度波动的影响。
2020-04-01 cs.LG stat.ML
NetScore: Towards Universal Metrics for Large-scale Performance Analysis of Deep Neural Networks for Practical On-Device Edge Usage
Waterloo Artificial Intelligence Institute, University of Waterloo(滑铁卢大学滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
深度神经网络设计的大部分焦点都集中在提高准确性上,导致更强大但高度复杂的网络架构难以在实际场景中部署,特别是在边缘设备上,如移动和其他消费设备,因为它们的计算和内存要求很高。因此,最近人们对设计用于评估深度神经网络的定量指标很感兴趣,这些指标不仅仅将模型准确性作为网络性能的唯一指标。在这项研究中,我们继续讨论评估深度神经网络在实际设备边缘使用中的性能的通用指标。特别是,我们提出了一个新的平衡度量称为NetScore,这是专门设计的,以提供一个定量评估之间的平衡精度,计算复杂性,和网络架构复杂性的深度神经网络,这是很重要的设备上的边缘操作。在文献中最大的深度神经网络之间的比较分析中,在ImageNet大规模视觉识别挑战(ILSVRC 2012)数据集上,在60个不同的深度卷积神经网络的不同集合中比较了NetScore指标、前1准确度指标和流行的信息密度指标,用于图像分类。本研究报告介绍了这三个指标对这一多样化网络的评价结果,以作为该领域从业人员的参考指南。拟议的NetScore指标以及其他测试指标绝不是完美的,但希望将对话推向更好的通用指标,以评估在实际设备边缘场景中使用的深度神经网络,以帮助指导从业者为此类场景设计模型。
2018-08-26 cs.CV cs.LG stat.ML
LAMP: Large Deep Nets with Automated Model Parallelism for Image Segmentation
NVIDIA(英伟达)
深度学习(DL)模型正在变得越来越大,因为模型大小的增加可能会提供显着的准确性增益。为了能够训练大型深度网络,数据并行和模型并行是并行训练的两种众所周知的方法。但是,数据并行无助于减少每个设备的内存占用。在这项工作中,我们引入了具有自动模型并行(LAMP)的大型深度3D ConvNets,并研究了输入和深度3D ConvNets的大小对分割精度的影响。通过自动化模型并行,可以用大的输入块甚至整个图像来训练大型深度3D ConvNet。大量的实验表明,通过自动化的模型并行,可以通过增加模型大小和输入上下文大小来提高分割精度,并且与小块的滑动窗口相比,大输入在推理中会产生显著的推理加速。代码为\footnote{https://monai.io/research/lamp-automated-model-parallelism}。
2020-09-15 cs.CV cs.DC cs.LG
Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization
IBM Research(IBM研究院)
学习记忆长序列仍然是循环神经网络的一项具有挑战性的任务。寄存器记忆和注意力机制都被提出来解决这个问题,要么高计算成本,以保持记忆的可微性,或通过折扣的RNN表示学习编码更短的本地上下文比鼓励长序列编码。联想记忆研究的是在一个固定大小的存储器中压缩多个模式,近年来很少被考虑。虽然最近的一些工作试图在RNN中引入联想记忆,并模仿Hopfield网络中的能量衰减过程,但它继承了基于规则的记忆更新的缺点,并且记忆容量有限。本文提出了一种结合任务目标学习记忆更新规则的方法,以提高对长序列的记忆能力。此外,我们提出了一个架构,使用多个这样的联想记忆更复杂的输入编码。与其他RNN架构相比,我们在一些经过充分研究的序列学习任务中观察到了一些有趣的事实。
2017-10-03 cs.AI cs.LG stat.ML
Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors
Google Brain(谷歌大脑);Duke University(杜克大学);University of Toronto(多伦多大学);University of California, San Diego(加州大学圣迭戈分校)
贝叶斯神经网络(BNN)在提高现代深度学习的鲁棒性和不确定性量化方面取得了可喜的成功。然而,它们通常在规模和参数效率方面与欠拟合作斗争。另一方面,深度集成已经成为不确定性量化的替代方案,虽然在某些问题上优于BNN,但也存在效率问题。目前尚不清楚如何结合这两种方法的优势并解决其共同问题。为了解决这一挑战,我们提出了一个秩1参数化的BNN,其中每个权重矩阵只涉及一个秩1子空间上的分布。我们还重新审视了使用混合近似后验来捕获多个模式,与典型的混合不同,这种方法允许显着较小的内存增加(例如,对于尺寸10的ResNet-50混合物仅增加0.4%)。我们进行了系统的实证研究的先验,变分后验的选择,并提高培训的方法。对于ImageNet上的ResNet-50,CIFAR-10/100上的Wide ResNet 28-10和MIMIC-III上的RNN,rank-1 BNN在测试集和分布外变量的对数似然,准确性和校准方面实现了最先进的性能。
2020-08-14 cs.LG stat.ML
One-Shot High-Fidelity Imitation: Training Large-Scale Deep Nets with RL
DeepMind(深度思维)
人类是高保真模仿的专家--密切模仿演示,通常是一次尝试。人类使用这种能力来快速解决任务实例,并引导学习新任务。在自主智能体中实现这些能力是一个开放的问题。在本文中,我们引入了一种非策略RL算法(MetaMimic)来缩小这一差距。MetaMimic可以学习(i)高保真一次性模仿各种新技能的策略,以及(ii)使代理能够比演示者更有效地解决任务的策略。MetaMimic依赖于将所有经验存储在内存中并重放这些经验的原理,通过离线策略RL来学习大量深度神经网络策略。据我们所知,本文介绍了现有最大的深度RL神经网络,并表明需要更大的归一化网络来实现具有挑战性的操作任务的一次性高保真模拟。研究结果还表明,这两种类型的政策可以从视觉中学习,尽管任务奖励稀疏,并没有获得示范行动。
2018-10-11 cs.AI cs.CV cs.LG
On learning history based policies for controlling Markov decision processes
McGill University(麦吉尔大学);Mila(米拉研究所)
强化学习(RL)的民间传说认为,基于历史的函数逼近方法,如递归神经网络或基于历史的状态抽象,比它们的无记忆同行表现得更好,因为马尔可夫决策过程(MDP)中的函数逼近可以被视为诱导部分可观察MDP。然而,这种基于历史的算法很少有正式的分析,因为大多数现有的框架只专注于无记忆功能。在本文中,我们介绍了一个理论框架,学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外,我们使用这个框架来设计一个实用的RL算法,我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Compressing Neural Networks with the Hashing Trick
Washington University in St. Louis(圣路易斯华盛顿大学);NVIDIA(英伟达)
随着深度网络越来越多地用于适合移动设备的应用程序中,一个基本的困境变得明显:深度学习的趋势是增加模型以吸收不断增加的数据集大小;然而,移动设备的内存设计很少,无法存储如此大的模型。我们提出了一种新的网络架构,哈希网络,利用固有的冗余神经网络,以实现大幅减少模型的大小。HashedNets使用低成本的哈希函数将连接权重随机分组到哈希桶中,同一哈希桶中的所有连接共享一个参数值。这些参数经过调整,以适应训练期间具有标准反向传播的HashedNets权重共享架构。我们的散列过程不会引入额外的内存开销,并且我们在几个基准数据集上证明了HashedNets大幅缩减了神经网络的存储需求,同时大部分保留了泛化性能。
2015-04-19 cs.LG cs.NE
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto(多伦多大学);Stanford Unviersity(斯坦福大学)
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中,每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置,产生任意灵活的近似后验。我们还得到了一个新的梯度估计,接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较,同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
HadaNets: Flexible Quantization Strategies for Neural Networks
Birla Institute of Technology and Science, Pilani(贝拉理工学院(皮拉尼))
无人机上的机载处理元件目前不足以进行深度神经网络的训练和推理。这在很大程度上是由于在这样的网络中的存储器访问的能量消耗。HadaNets通过将全精度张量与Hadamard乘积形式的二进制张量配对,引入了一种灵活的从头训练张量量化方案。与更广泛的降低精度的神经网络模型不同,我们保留了训练时间参数计数,因此在没有训练时间记忆损失的情况下性能优于XNOR网络。这种训练例程在半监督在线学习任务中可以看到很大的效用。我们的方法在模型压缩方面也具有优势,因为我们在不使用任何其他压缩技术的情况下,将ResNet-18的模型大小减少了7.43倍。我们还展示了一个'阿达玛二进制矩阵乘法'内核,它提供了一个10倍的性能提高全精度矩阵乘法与类似的优化内核。
2019-05-26 cs.CV cs.LG
Online Learning with Recency: Algorithms for Sliding-window Streaming Multi-armed Bandits
Johns Hopkins University(约翰霍普金斯大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Texas A&M University(德克萨斯农工大学)
针对在线学习中的近因效应,研究单遍滑动窗口流式多臂老虎机问题,提出纯探索和遗憾最小化算法,并给出记忆-遗憾权衡。
2026-06-08 cs.DS cs.LG
Compression Barriers for Autoregressive Transformers
Boston University(波士顿大学)
该研究证明无结构假设下自回归Transformer的KV缓存无法实现次线性空间,给出不同维度下的空间下界,分析稀疏性假设的作用并提出滑动窗口注意力的KV压缩新算法,还证明非自适应算法无法在线次线性计算注意力。
2025-02-21 cs.AI cs.CC cs.DS
Scalable Plug-and-Play ADMM with Convergence Guarantees
Washington University in St. Louis(圣路易斯华盛顿大学);California Institute of Technology(加州理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
即插即用先验(Plug-and-Play Priors,PIPE)是一种广泛适用的方法,通过利用指定为降噪器的统计先验来解决逆问题。最近的工作报告了PADER算法的最新性能,该算法使用预先训练的深度神经网络作为许多成像应用中的去噪器。然而,目前的Pestrian算法是不切实际的,在大规模的设置,由于其沉重的计算和内存的要求。这项工作通过提出广泛使用的PnP-ADMM算法的增量变体来解决这个问题,使其可扩展到大规模数据集。我们从理论上分析了一组明确的假设下,该算法的收敛性,扩展最近的理论结果在该地区。此外,我们展示了我们的算法的有效性与非光滑的数据保真度条款和深度神经网络先验,其快速收敛相比,现有的Pestrian算法,其可扩展性方面的速度和内存。
2021-01-22 cs.LG math.OC stat.ML
A Memory Efficient Unified Algorithm for Online Learning of Linear Dynamical Systems
Tel Aviv University(特拉维夫大学);Princeton University(普林斯顿大学)
针对低不稳定性复杂度的线性动力系统,提出一种在线预测算法,参数复杂度为Õ(k),实现亚线性遗憾,内存适应内在复杂度而非全状态维度。
2026-11-09 cs.LG cs.SY eess.SY