Progressive Neural Image Compression with Nested Quantization and Latent Ordering
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通技术公司高通人工智能研究院);University of California Irvine(加州大学欧文分校);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司高通人工智能研究院)
我们提出了PLONQ,一种渐进式神经图像压缩方案,它通过允许使用单个比特流进行质量可伸缩编码来推动可变比特率压缩的边界。与现有的学习可变比特率解决方案(为每种质量产生单独的比特流)相比,它能够更容易地进行速率控制,并且需要更少的存储。利用基于潜在缩放的可变比特率解决方案,我们引入嵌套量化,一种用嵌套量化网格定义多个量化级别的方法,并从粗量化到最细量化级别逐步细化所有潜在值。为了在任何两个量化级别之间实现更精细的渐进性,潜在元素以速率失真意义上定义的重要性排序递增地细化。据我们所知,PLONQ是第一个基于学习的渐进图像编码方案,它优于SPIHT,一个著名的基于小波的渐进图像编解码器。
2021-02-04 cs.CV cs.LG
Relational Graph Neural Network Design via Progressive Neural Architecture Search
The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);The Hong Kong Polytechnic University(香港理工大学)
针对图神经网络(GNNs)的表示学习中长期存在的一个难题,提出了一种新的解决方案:如何有效地捕获和表示嵌入在长距离节点中的有用信息,以提高低同质性节点的性能,而不会导致高同质性节点的性能下降。这种困境限制了现有GNN的泛化能力。直观地说,与远距离节点的交互比与近邻节点的交互引入更多的噪声。然而,在大多数现有的作品中,在节点之间传递的消息混合在一起,从通信的角度来看,这是低效的。我们的解决方案是基于一种新颖的,简单的,但有效的聚合方案,从而在一个梯形的GNN架构,即LADDER-GNN。具体来说,我们将来自不同跳点的消息分开,为它们分配不同的维度,然后将它们连接起来以获得节点表示。这种解开的表示有助于提高从不同跳传递的消息的信息噪声比。为了探索一个有效的跳-维关系,我们开发了一个条件渐进的神经结构搜索策略。基于搜索结果,我们进一步提出了一个有效的近似跳维关系函数,以促进建议的梯形GNN的快速配置。我们在七个不同的半监督节点分类数据集上验证了所提出的LADDER-GNN。实验结果表明,我们的解决方案实现了更好的性能比大多数现有的GNN。我们进一步分析了我们的聚合方案与两种常用的GNN架构,结果证实,我们的计划优于现有的计划在分类低同质性节点的大幅度。
2022-02-16 cs.LG
RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search
Sandia National Laboratories(桑迪亚国家实验室);University of California Santa Barbara(加州大学圣巴巴拉分校)
早期的神经网络架构是由所谓的“研究生血统”设计的。从那时起,神经架构搜索(NAS)领域的发展目标是在算法上设计为感兴趣的数据集量身定制的架构。最近,已经创建了基于梯度的NAS方法来快速执行搜索。与替代NAS方法相比,基于代理的方法对搜索施加了更多的结构,从而实现了更快的搜索阶段优化。在现实世界中,衡量神经架构性能的不仅仅是高精度。人们越来越需要高效的神经架构,其中还必须考虑模型大小或延迟等资源。基于代理的NAS也适用于这种多目标优化。在这项工作中,我们扩展了一个流行的基于梯度的NAS方法,以支持一个或多个资源成本。然后,我们进行深入的分析,发现满足单资源约束的分类CIFAR-10的架构。
2019-11-08 cs.LG
PNN: A Novel Progressive Neural Network for Fault Classification in Rotating Machinery under Small Dataset Constraint
针对小数据集场景下旋转机械故障检测难题,提出新型渐进式神经网络PNN,通过逐层追加高阶精炼固定尺寸特征控制模型复杂度,在8类数据集上实现最优故障分类性能,适配数据稀缺的工业场景。
2025-03-24 cs.LG
Rethinking Continual Learning with Progressive Neural Collapse
Department of Computer Science, University of Houston, USA(德克萨斯大学休斯顿分校计算机科学系);Department of Computer Science, University of North Carolina at Charlotte, USA(北卡罗来纳大学夏洛特分校计算机科学系)
本文提出渐进神经崩溃(ProNC)框架,通过动态扩展ETF目标,缓解连续学习中的灾难性遗忘问题,实现更灵活高效的模型学习。
2026-03-06 cs.LG
cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series
DEIB, Politecnico di Milano(DEIB,米兰理工学院)
cPNN通过连续渐进神经网络有效处理流时间序列中的概念漂移和时间依赖性,避免灾难性遗忘,提升模型适应性与鲁棒性。
2026-03-03 cs.AI cs.LG
Adaptive Progressive Attention Graph Neural Network for EEG Emotion Recognition
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education(教育部智能感知与图像理解重点实验室);School of Artificial Intelligence(人工智能学院);Xidian University(西安电子科技大学)
提出自适应渐进式注意力图神经网络(APAGNN),通过三个专门专家逐步分析大脑拓扑结构并结合权重生成器整合输出,在多个数据集上提升了EEG情绪识别性能。
2025-04-29 cs.LG eess.SP
Subset Sampling For Progressive Neural Network Learning
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
渐进式神经网络学习是一类基于训练数据增量地构造网络拓扑并优化其参数的算法。虽然这种方法免除了用户设计和验证多个网络拓扑的手动任务,但它通常需要大量的计算。在本文中,我们建议加快这一进程,利用子集的训练数据在每个增量训练步骤。根据不同的标准,提出了三种不同的抽样策略选择训练样本,并进行了评估。我们还建议在网络进展期间执行在线超参数选择,这进一步减少了整体训练时间。在对象,场景和人脸识别问题的实验结果表明,所提出的方法大大加快了优化过程,同时操作与基线方法利用整个训练过程中的整个训练集。
2020-05-25 cs.LG stat.ML
pTNAS: Progressive Neural Architecture Search for Tabular Data
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
提出首个针对表格数据的渐进式神经架构搜索方法pTNAS,采用过滤-精炼优化策略,结合零成本代理和固定预算调度算法,实现架构快速识别与性能持续提升,相比其他NAS方法加速高达82.75倍。
2026-06-05 cs.LG
Interpretable Climate Change Modeling With Progressive Cascade Networks
Colorado State University(科罗拉多州立大学)
典型的深度学习方法对高维数据进行建模,通常会产生复杂的模型,这些模型不容易揭示对数据的新理解。深度学习领域的研究正在积极寻求新的方法来解释深度神经网络并降低其复杂性。这里描述了一种方法,它从线性模型开始,只在数据支持的情况下逐步增加复杂性。一个应用程序中,全球温度和降水映射到年的模型进行训练,以调查与气候变化相关的模式。
2022-05-12 cs.LG
SAPE: Spatially-Adaptive Progressive Encoding for Neural Optimization
Tel Aviv University(特拉维夫大学);ETH Zurich(苏黎世联邦理工学院)
多层感知器(MLP)被称为与高频的学习功能斗争,并且在宽频带的特定情况下。我们提出了一个空间自适应渐进编码(SAPE)方案的MLP网络的输入信号,这使他们能够更好地适应广泛的频率,而不牺牲训练稳定性或需要任何特定域的预处理。SAPE随着频率的增加逐渐揭开信号分量的面纱,作为时间和空间的函数。在整个神经优化过程中,通过反馈回路来监测频率的渐进暴露,从而允许变化在信号空间的局部空间部分之间以不同的速率传播。我们展示了SAPE在各种领域和应用中的优势,包括低维信号和图像的回归,占用网络的表示学习,以及3D形状之间的网格传输的几何任务。
2021-05-28 cs.CV cs.GR cs.LG
DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures
National Tsing-Hua University(国立清华大学);Google(谷歌)
神经架构搜索(NAS)的最新突破已经在图像分类和语言建模等应用中实现了最先进的性能。然而,这些技术通常忽略与设备相关的目标,例如推断时间、存储器使用和功耗。针对设备相关目标优化神经架构对于在计算资源有限的便携式设备上部署深度网络至关重要。我们提出了DPP-Net:用于Pareto最优神经架构的设备感知渐进式搜索,优化设备相关(例如,推断时间和存储器使用)和设备不可知(例如,精度和模型尺寸)目标。DPP-Net采用了受当前最先进的移动CNN启发的紧凑搜索空间,并通过采用渐进式搜索进一步提高了搜索效率(Liu et al. 2017)。在CIFAR-10上的实验结果将证明DPP-Net发现的Pareto最优网络在三种不同设备上的有效性:(1)使用Titan X GPU的工作站,(2)NVIDIA Jetson TX 1嵌入式系统,以及(3)使用ARM Cortex-A53的手机。与CondenseNet和NASNet(Mobile)相比,DPP-Net具有更好的性能:在各种设备上具有更高的准确性和更短的推理时间。额外的实验结果表明,DPP-Net发现的模型在ImageNet上也取得了非常好的性能。
2018-07-25 cs.CV cs.LG
A multi-stream convolutional neural network for classification of progressive MCI in Alzheimer's disease using structural MRI images
Universitat Oberta de Catalunya(加泰罗尼亚开放大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
提出一种基于解剖标志点提取图像块的多流卷积神经网络,通过迁移学习弥补数据不足,实现了稳定型与进展型MCI的高效分类。
2022-03-03 cs.CV cs.LG eess.IV
PRDP: Progressively Refined Differentiable Physics
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对可微物理求解器迭代微分计算负担重的问题,提出渐进式精化可微物理方法PRDP,自适应调整物理精化水平,在不损失精度的前提下最高可将训练时间缩短62%。
2025-11-13 cs.LG
Progressive Neural Network for Multi-Horizon Time Series Forecasting
The University of Sydney(悉尼大学)
提出 ProNet,通过潜在变量分段并自适应结合 AR 与 NAR 预测,在四个大型数据集上同时提升多视界时间序列预测的精度与速度。
2024-08-09 cs.LG
Progressive multi-fidelity learning with neural networks for physical system predictions
The Alan Turing Institute(艾伦·图灵研究所);Centre for Mathematical Sciences(数学科学中心);Department of Civil and Environmental Engineering(土木与环境工程系);MOX -- Department of Mathematics(数学系)
本文提出一种渐进多保真替代模型,利用神经网络整合多模态数据,提升物理系统预测的准确性和泛化能力。
2026-02-05 cs.LG
Kernel Based Progressive Distillation for Adder Neural Networks
Noah’s Ark Lab, Huawei Technologies(华为诺亚方舟实验室);The University of Sydney(悉尼大学)
加法器神经网络(ANN)只包含加法,为低能耗的深度神经网络的开发提供了一条新的途径。不幸的是,当用加法器滤波器替换所有卷积滤波器时,精度会下降。这里的主要原因是使用$\ell_1$ -范数的ANN的优化困难,其中反向传播中的梯度估计是不准确的。在本文中,我们提出了一种新的方法,通过渐进的核为基础的知识蒸馏(PKKD)方法,进一步提高人工神经网络的性能,而不增加可训练的参数。同时初始化和训练一个具有相同结构的卷积神经网络(CNN)作为教师网络,将ANN和CNN的特征和权值转换到一个新的空间,以消除精度下降。相似性是在高维空间进行的,使用基于核的方法来解开它们的分布的差异。最后,所需的人工神经网络学习的基础上,从地面实况和教师的信息,逐步。所提出的方法的有效性,学习神经网络具有更高的性能,然后在几个基准得到很好的验证。例如,使用所提出的PKKD方法训练的ANN-50在ImageNet数据集上获得了76.8%的top-1准确率,比ResNet-50高出0.6%。
2020-10-15 cs.CV cs.LG
Structure-Aware Audio-to-Score Alignment using Progressively Dilated Convolutional Neural Networks
Queen Mary University of London(伦敦玛丽女王大学);Institute for Research and Coordination in Acoustics/Music(声学/音乐研究与协调研究所)
音乐演奏和乐谱之间的结构差异的识别是音频-乐谱对齐的一个具有挑战性但不可或缺的步骤,音频-乐谱对齐是音乐信息检索的一个重要子任务。我们提出了一种新颖的方法,使用逐渐扩大的卷积神经网络来检测给定音乐作品的乐谱和演奏之间的差异。我们的方法在不同层采用不同的膨胀率来捕获短期和长期的上下文,并且可以在有限的注释数据的情况下成功地使用。我们进行实验的真实表演,从结构上不同的分数的音频记录,我们的结果表明,我们的模型优于标准方法的结构感知音频到分数对齐。
2021-02-14 cs.LG cs.SD eess.AS
Convolutional Neural Network Simplification with Progressive Retraining
State University of Campinas(坎皮纳斯州立大学)
核修剪方法已经被提出来加速、简化和改进卷积神经网络(CNN)模型的解释。然而,简化模型的有效性往往低于原始模型。在这封信中,我们提出了新的方法的基础上,客观和主观的相关性标准的核消除在一个逐层的方式。在该过程中,仅当当前层被完全简化时,通过将权重从下一层调整到第一层并保留该过程中不涉及的后续层的权重,才重新训练CNN模型。我们称这种策略为\emph{progressive retraining},与内核修剪方法不同,后者通常在每个简化操作后重新训练整个模型-例如,去除一个或几个核。我们的主观相关性标准利用人类识别视觉模式的能力,提高了设计师对简化过程的理解。适当的相关性标准和渐进式再训练的组合表明,我们的方法可以提高有效性与相当大的模型简化。我们还证明,我们的方法可以提供更好的结果比两个流行的和另一个从国家的最先进的使用四个具有挑战性的图像数据集。
2021-01-12 cs.CV cs.LG
PGCN: Progressive Graph Convolutional Networks for Spatial-Temporal Traffic Forecasting
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出PGCN交通预测框架,通过在训练和测试阶段逐步适应在线输入数据构建渐进式邻接矩阵,结合膨胀因果卷积提取时空特征,在七个真实数据集上取得一致的最先进性能。
2024-03-21 cs.LG
AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks
EPFL(洛桑联邦理工学院)
神经网络的大容量使它们能够学习复杂的函数。然而,为了避免过拟合,网络需要大量的训练数据,这可能是昂贵和耗时的收集。一个常见的实用方法来衰减过拟合是使用网络正则化技术。我们提出了一种新的正则化方法,在训练过程中逐步惩罚激活的幅度。由给定层中的所有神经元产生的组合激活信号形成该特征空间中的输入图像的表示。我们建议在分类层之前的最后一个特征层中正则化此表示。我们的方法的推广效果进行了分析与标签随机化测试和累积消融。在标准基准数据集上的实验结果表明,与常用的正则化器相比,我们的方法具有优势。
2020-03-07 cs.CV cs.LG stat.ML
Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability
Tsinghua University(清华大学)
最近的研究结果(例如,arXiv:2103.00065)证明了通过全批梯度下降训练的现代神经网络通常会进入称为稳定边缘(EOS)的状态。在这种情况下,锐度,即,最大Hessian特征值首先增加到值2/(步长)(渐进锐化阶段),然后围绕该值振荡(EOS阶段)。本文旨在分析GD动力学和沿优化轨迹的锐度。我们的分析自然地将GD轨迹分为四个阶段,这取决于锐度的变化。我们凭经验确定输出层权重的范数作为锐度动态的有趣指标。基于这一经验观察,我们试图从理论和经验上解释导致EOS每个阶段锐度变化的各种关键量的动力学。此外,基于一定的假设,我们提供了一个理论证明的清晰度行为在EOS制度的两层全连接线性神经网络。我们还讨论了其他一些实证结果和我们的理论结果的局限性。
2022-11-03 cs.LG
Batch Normalization-Free Fully Integer Quantized Neural Networks via Progressive Tandem Learning
Department of Information Technology, WAVES Research Group, Ghent University(信息科技系、WAVES研究组、根特大学);Institute for Infocomm Research (I 2 R), Agency for Science, Technology and Research (A*STAR)(信息与通信研究所(I2R)、科技研究局(A*STAR))
本文提出一种无BN的全整数量化神经网络,通过渐进式逐层知识蒸馏实现端到端整数运算推理,适用于边缘和嵌入式设备。
2025-12-18 cs.LG eess.SP
Progressive Growing of Neural ODEs
University of California, San Diego(加州大学圣地亚哥分校);SRI International(SRI国际)
神经常微分方程(NODE)已被证明是一个强大的建模工具,用于近似(内插)和预测(外推)不规则采样的时间序列数据。然而,当应用于真实世界的数据时,它们的性能大幅下降,特别是具有复杂行为的长期数据(例如,跨年的长期趋势、跨月的中期季节性和跨天的短期局部变化)。为了解决这种复杂的数据在不同的频率(时间跨度)不同的行为建模,我们提出了一种新的渐进学习范式的NODE的长期时间序列预测。具体来说,我们遵循课程学习的原则,随着训练的进行,逐步增加数据的复杂度和网络容量。我们的实验与合成数据和真实的交通数据(PeMS湾区交通数据)表明,我们的训练方法一致提高了超过64%的香草节点的性能。
2020-03-08 cs.LG cs.NE stat.ML
Progressive Element-wise Gradient Estimation for Neural Network Quantization
Oakland University(奥克兰大学)
针对量化感知训练中STE忽略离散化误差导致低比特下精度下降的问题,提出渐进式逐元素梯度估计PEGE,通过对数课程驱动的混合精度替换与协同优化框架提升量化模型精度,在多数据集和架构上性能优于现有方法,低精度模型精度可匹配甚至超越全精度模型。
2025-08-27 cs.CV cs.LG
Network Cooperation with Progressive Disambiguation for Partial Label Learning
Jiangsu Key Lab of Image Technology(江苏省图像技术重点实验室)
部分标签学习(PLL)的目标是当每个训练实例与一组候选标签相关联时训练分类器,其中只有一个是正确的,但在训练阶段不可访问。处理这种模糊标签信息的常见策略是消除候选标签集的歧义。然而,现有的方法忽略了实例的消歧困难,并采用单一趋势的训练机制。前者会导致模型对假阳性标签的脆弱性,后者可能会引起错误积累问题。为了弥补这两个缺点,本文提出了一种新的方法,称为“网络合作与渐进消歧”(NCPD)的锁相环。具体而言,我们设计了一个渐进的消歧策略,首先对简单的实例进行消歧操作,然后逐渐对更复杂的。因此,通过对简单实例的学习,增强了模型的消歧能力,有效地缓解了复杂实例的误报带来的负面影响。此外,通过采用人工神经网络作为骨干,我们利用网络合作机制,训练两个网络合作,让他们相互作用。由于两个网络具有不同的消歧能力,这种交互有利于两个网络减少各自的消歧错误,因此比现有的单一趋势训练过程的算法要好得多。在各种基准数据集和实际数据集上的大量实验结果表明,我们的NCPD优于其他国家的最先进的PLL方法。
2020-02-22 cs.LG
PLOT: Progressive Localization via Optimal Transport in Neural Causal Abstraction
Cornell University(康奈尔大学)
PLOT通过最优传输框架实现因果变量的定位,能够在不同复杂度的实验中高效定位因果抽象,提升因果解释的效率和准确性。
2026-10-06 cs.AI cs.LG stat.ML
Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering
Sea AI Lab(Sea人工智能实验室);University of Washington(华盛顿大学);National University of Singapore(新加坡国立大学)
在这项工作中,我们开发了一个通用的和有效的神经辐射场(NeRF)管道高保真自由视点人体合成稀疏相机视图的设置下。现有的基于NeRF的方法虽然可以合成相当逼真的人体细节,但当输入具有自遮挡时,特别是对于稀疏视图下看不见的人,它们往往会产生较差的结果。此外,这些方法往往需要大量的采样点进行渲染,这导致效率低,限制了它们的实际应用。为了应对这些挑战,我们提出了一个几何引导的渐进NeRF(GP-NeRF)。特别是,为了更好地解决自遮挡,我们设计了一种几何引导的多视图特征集成方法,利用估计的几何之前,从输入视图中整合不完整的信息,并构建一个完整的几何体的目标人体。同时,为了提高绘制效率,引入了基于几何引导的渐进式绘制流水线,利用几何特征量和预测密度值,逐步减少采样点数,加快绘制速度。在ZJU-MoCap和THUman数据集上的实验表明,我们的方法在多个泛化设置上的性能明显优于现有技术,而通过应用我们高效的渐进式渲染管道,时间成本降低了70%以上。
2022-03-30 cs.CV cs.GR cs.LG
PDA: Progressive Data Augmentation for General Robustness of Deep Neural Networks
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
对抗性图像旨在误导深度神经网络(DNN),近年来引起了极大的关注。虽然有几种防御策略对对抗性样本具有令人鼓舞的鲁棒性,但它们中的大多数都未能提高对常见损坏的鲁棒性,例如噪声,模糊和天气/数字效果(例如霜冻,像素化)。为了解决这个问题,我们提出了一种简单而有效的方法,称为渐进式数据增强(PDA),它通过在训练过程中逐步注入不同的对抗性噪声来实现DNN的一般鲁棒性。换句话说,使用PDA训练的DNN能够获得比最近最先进的方法更强的抵抗对抗攻击以及常见腐败的鲁棒性。我们还发现,PDA比现有技术更有效,并且能够在不被攻击的情况下防止干净样本的准确性下降。此外,我们从理论上证明了PDA可以控制扰动界,并保证更好的推广能力比现有的工作。在CIFAR-10,SVHN和ImageNet等许多基准上进行的大量实验表明,PDA在各种实验设置中的表现明显优于其同行。
2020-02-24 cs.CV cs.LG stat.ML
Neural Progressive Meshes
University of Toronto(多伦多大学);Adobe Research(奥多比研究院)
本文提出神经渐进网格方法,利用共享学习生成空间和基于细分的编码器-解码器架构渐进传输3D网格细节,在压缩率与重建质量上优于基线。
2023-08-10 cs.AI cs.CV cs.GR
Second-order regression models exhibit progressive sharpening to the edge of stability
Google Research(谷歌研究院)
最近对具有大步长的梯度下降的研究表明,通常存在一种状态,该状态具有损失Hessian的最大特征值的初始增加(渐进锐化),随后是特征值在允许收敛的最大值附近的稳定(稳定边缘)。这些现象本质上是非线性的,并且不会发生在恒定神经切线核(NTK)机制中的模型中,因为该机制的预测函数在参数方面近似线性。因此,我们考虑下一类最简单的预测模型,即那些参数为二次的模型,我们称之为二阶回归模型。对于二维二次目标,我们证明了这个二阶回归模型表现出渐进锐化的NTK特征值的值略有不同的稳定性,我们明确计算的边缘。在更高的维度上,即使没有神经网络的特定结构,该模型通常也表现出类似的行为,这表明渐进锐化和稳定边缘行为不是神经网络的独特特征,并且可能是高维非线性模型中离散学习算法的更一般属性。
2022-10-10 cs.AI cs.LG math.OC
Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University.(人机混合增强智能国家重点实验室,人工智能与机器人研究院,西安交通大学);MiLM Plus, Xiaomi Inc.(小米MiLM Plus);North China University of Technology, Beijing.(华北电力大学(北京));Zhongguancun Academy, Beijing, China(中关村学院,北京,中国)
本文提出SPARK方法,通过显式选择功能因素并条件化编辑,减少功能耦合影响,提升神经架构搜索的样本效率和OOD准确性。
2026-07-01 cs.AI cs.LG
Graph Attribute Aggregation Network with Progressive Margin Folding
Peking University(北京大学);Temple University(天普大学)
图卷积神经网络(GCNN)由于其在图结构推理方面的巨大潜力而引起了越来越多的研究关注。然而,还没有足够的努力致力于不同卷积图层之间的聚合方法。在本文中,我们介绍了一个图属性聚合网络(GAAN)的架构。与传统的池化操作不同,提出了一种基于图变换的聚合策略-渐进边折叠(PMF),用于集成图特征。通过区分内部元素和边缘元素,我们提供了一种迭代实现折叠的方法。并设计了渐进折叠过程中局部结构的保持机制。此外,一个超图为基础的表示被引入到不同的层之间传递的聚合信息。我们应用于公共分子数据集的实验表明,所提出的GAAN优于现有的GCNN模型,具有显着的有效性。
2019-05-14 cs.LG stat.ML
ProGAP: Progressive Graph Neural Networks with Differential Privacy Guarantees
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
本文提出差分隐私图神经网络 ProGAP,通过渐进式训练方案将模型分割为重叠子模型,结合聚合扰动技术,在限制隐私成本的同时提升表达能力,实现边级与节点级隐私保证,准确率较现有最优方法提升 5-10%。
2023-10-20 cs.CR cs.LG
Progressive Fourier Neural Representation for Sequential Video Compilation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
提出渐进式傅里叶神经表示(PFNR),通过傅里叶空间稀疏编码和权重冻结迁移,实现多视频顺序编码中的持续累积与无损解码,在UVG8/17和DAVIS50基准上超越持续学习基线。
2024-02-07 cs.AI cs.CV cs.LG
Progressive Latent Replay for efficient Generative Rehearsal
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
我们引入了一种新的内部重放方法,该方法根据网络的深度来调制排练的频率。虽然重放策略减轻了神经网络中灾难性遗忘的影响,但最近关于生成重放的研究表明,仅在网络的更深层进行排练可以提高持续学习的性能。然而,生成式方法引入了额外的计算开销,限制了其应用。由于观察到神经网络的较早层不会突然忘记,我们建议在重放期间使用中间级别的特征以不同的频率更新网络层。这通过省略生成器的较深层和主模型的较早层的计算来减少计算负担。我们将我们的方法命名为Progressive Latent Replay,并表明它在使用更少资源的同时优于内部重播。
2022-07-05 cs.CV cs.LG
Progressive Stochastic Binarization of Deep Networks
Johannes Gutenberg-University of Mainz(美因茨约翰内斯·古腾堡大学)
最近的大量研究都集中在通过降低(i)数值表示(例如,通过确定性或随机量化)和(ii)算术运算(例如,通过权重的二进制化)的复杂性来提高深度网络的内存占用和推理速度。我们提出了一种用于深度网络的随机二进制化方案,该方案通过将自身限制为小整数和固定移位的加法来实现对硬件的有效推理。与以前的方法不同,潜在的随机近似是渐进的,从而允许在运行时对每个操作的准确性进行自适应控制。在低精度设置中,我们匹配先前二值化方法的精度。我们的表示是无偏的-它接近连续计算,随着样本量的增加。在高精度的制度,计算成本是有竞争力的与以前的量化方案。渐进随机二值化还允许在单个网络内进行局部化的动态精度控制,从而为自适应地集中计算注意力提供了一种新的工具。我们在各种架构的网络上评估我们的方法,这些网络已经在ImageNet上进行了预训练。与代表性的成本与以前的计划相比,我们获得的精度接近原来的浮点实现。这包括修剪网络,除了某些类型的分离卷积的已知特殊情况。通过使用渐进式采样集中计算注意力,我们将ImageNet上的推理成本进一步降低了33%(在网络修剪之前)。
2019-04-03 cs.LG stat.ML
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说,我们提出了一种新型的通用网络层,称为修剪层,以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示:一个是实值,另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作,而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层,并根据稀疏性标准实现通道选择,以利于修剪更多的通道。我们还开发了一个成本感知机制,以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
Progressive Spatio-Temporal Graph Convolutional Network for Skeleton-Based Human Action Recognition
Aarhus University(奥胡斯大学)
图卷积网络(GCN)在基于骨架的人体动作识别中非常成功,其中骨架序列被建模为图。然而,该领域中的大多数基于GCN的方法训练具有固定拓扑结构的深度前馈网络,这导致高计算复杂性并限制其在低计算场景中的应用。在本文中,我们提出了一种方法来自动找到一个紧凑的和特定问题的拓扑空间-时间图卷积网络在渐进的方式。在两个广泛使用的人体动作识别数据集上的实验结果表明,该方法具有竞争力,甚至更好的分类性能与国家的最先进的方法相比,具有更低的计算复杂性.
2021-04-26 cs.CV cs.LG
Efficient Progressive High Dynamic Range Image Restoration via Attention and Alignment Network
AntGroup(蚂蚁集团)
HDR是计算摄影技术的重要组成部分。在本文中,我们提出了一个轻量级的神经网络,称为有效的注意力和注意力引导渐进网络(EAPNet)的挑战NTIRE 2022 HDR轨道1和轨道2。我们引入了一个多维度的轻量级编码模块来提取特征。此外,我们提出了渐进扩张U形块(PDUB),可以是一个渐进的即插即用模块,用于动态调整MAcs和PSNR。最后,我们使用快速和低功耗的特征对齐模块来处理错位问题,而不是耗时的变形卷积网络(DCN)。实验结果表明,该方法对MAccs图像的压缩比达到了20倍左右,且具有更好的μ PSNR和PSNR。我们在测试阶段获得了两条赛道的第二名。图1.显示了NTIRE 2022 HDR挑战的可视化结果。
2022-04-20 cs.CV cs.LG eess.IV
Multi-Contrast Super-Resolution MRI Through a Progressive Network
Rensselaer Polytechnic Institute(伦斯勒理工学院)
磁共振成像(MRI)广泛用于筛查、诊断、图像引导治疗和科学研究。MRI相对于其他成像方式(如计算机断层扫描(CT)和核成像)的一个显著优势是,它可以清楚地显示软组织的多重对比。与其他医学图像超分辨方法相比,多对比度超分辨研究可以将多个对比度图像进行协同处理,从而获得更好的超分辨效果。在本文中,我们提出了一个一级的非渐进神经网络的低上采样多对比度超分辨率和两级渐进网络的高上采样多对比度超分辨率。多对比度信息在高层特征空间中组合。我们的实验结果表明,所提出的网络可以产生MRI超分辨率图像具有良好的图像质量,并优于其他多对比度超分辨率方法的结构相似性和峰值信噪比。此外,渐进式网络产生比非渐进式网络更好的SR图像质量,即使原始低分辨率图像被高度下采样。
2019-08-06 cs.LG eess.IV physics.med-ph
FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints
University of Waterloo(滑铁卢大学)
深度因子分解和量化已经成为设计高效深度卷积神经网络(CNN)架构的两个主要策略,该架构专为边缘上的低功耗推理而定制。然而,对于不同的深度因子分解选择如何影响CNN中每层的最终训练分布,特别是在量化权重和激活的情况下,仍然缺乏详细的了解。在这项研究中,我们引入了一个渐进的深度分解策略,在量化约束下有效的CNN架构探索。通过以渐进的方式在算法上增加深度因子分解的粒度,所提出的策略能够对逐层分布进行细粒度的低级分析。因此,在固定精度量化下,能够获得对效率-准确性权衡的深入、层级见解。这种渐进式深度因子分解策略还使得能够基于期望的效率-准确性要求来有效地识别最佳深度因子分解的宏架构设计(我们在这里将其称为FactorizeNet)。
2020-11-30 cs.CV cs.LG
Solving Raven's Progressive Matrices with Multi-Layer Relation Networks
Institute for Neuro- and Bioinformatics(神经与生物信息学研究所);University of Lübeck(吕贝克大学)
Raven's Progressive Matrices是一个测试人类认知能力的基准。它最近被用来测试机器学习系统中的关系推理。为此目的,建立了所谓的过程生成矩阵数据集,这是迄今为止最困难的关系推理基准之一。在这里,我们展示了深度神经网络能够解决这个基准,通过将野生关系网络与多层关系网络相结合,并引入幅度编码(一种为后期融合架构设计的编码方案),达到了98.0%的准确率,超过了先前最先进的62.6%。
2020-03-25 cs.LG stat.ML
Progressive Weight Pruning of Deep Neural Networks using ADMM
Syracuse University(雪城大学);Northeastern University(东北大学);George Mason University(乔治梅森大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院MIT-IBM沃森人工智能实验室)
深度神经网络(DNN)虽然在许多领域实现了人类水平的性能,但具有非常大的模型大小,这阻碍了它们在边缘计算设备上的更广泛应用。已经对DNN模型压缩或修剪进行了广泛的研究工作。然而,大多数以前的工作采取启发式的方法。本文提出了一种基于ADMM(Alternating Direction Method of Multipliers,交替方向乘法)的渐进式权重剪枝方法,该方法是处理具有潜在组合约束的非凸优化问题的一种强有力的技术。该方法受动态规划的启发,通过使用具有中等剪枝率的部分剪枝,达到了极高的剪枝率。因此,它解决了精度下降和收敛时间长的问题时,追求极高的剪枝率。它对ImageNet数据集的剪枝率高达34倍,对MNIST数据集的剪枝率高达167倍,显著高于文献工作所达到的剪枝率。在相同的迭代次数下,该方法具有更快的收敛速度和更高的压缩比。代码和修剪的DNN模型在链接bit.ly/2zxdlss中发布
2018-11-04 cs.CV cs.LG cs.NE
Progressive Learning for Physics-informed Neural Motion Planning
Purdue University(普渡大学)
针对物理信息神经运动规划在复杂高维场景中效果差、难扩展的问题,本文提出新的 Eikonal 方程形式与渐进式学习策略,无需专家数据即可训练,并在速度、路径质量和成功率上显著优于现有方法。
2023-06-01 cs.LG cs.RO
Progressive Learning for Systematic Design of Large Neural Networks
KTH Royal Institute of Technology(瑞典皇家理工学院);Sharif University of Technology(谢里夫理工大学);Cold Spring Harbor Laboratory(冷泉港实验室)
我们开发了一个算法,系统设计的一个大型人工神经网络使用的进展性质。我们发现,某些非线性函数,如整流器线性单位及其导数,持有的性质。系统的设计解决了网络规模的选择和参数的正则化。网络中的节点和层的数量随着持续降低适当成本的目标而逐渐增加。每一层都是一次优化的,其中使用凸优化来学习适当的参数。凸优化的正则化参数不需要大量的手动调整。我们还对一些权重矩阵使用随机实例,这有助于减少我们学习的参数数量。由于适当的正则化和在层中使用随机权重,所开发的网络预计将显示出良好的泛化能力。这一预期是验证了广泛的实验分类和回归问题,使用标准数据库。
2017-10-23 cs.CV cs.LG cs.NE
Simulating progressive intramural damage leading to aortic dissection using an operator-regression neural network
Brown University(布朗大学);Yale University(耶鲁大学)
主动脉夹层通过壁的中间层的分层进行。尽管这一过程很复杂,但通过体外和计算机模拟研究流体注射对壁内空间的准静态加压驱动的夹层进展,已经获得了一些见解,这表明夹层的差异倾向可能受到连接相邻弹性板的结构显著层间支柱的空间分布的影响。特别是,不同的组织学微观结构可能导致解剖过程中的差异力学行为,包括注射流体的压力-体积关系和相邻椎板之间的位移场。在这项研究中,我们开发了一个数据驱动的代理模型的分层过程中的差分支柱分布使用DeepONet,一个新的运营商-回归神经网络。训练代理模型以预测注入流体的压力-体积曲线和给定支柱的空间分布的壁的损伤进展场,其中计算机数据由相场有限元模型生成。结果表明,DeepONet可以为不同的支柱分布提供准确的预测,这表明这种复合分支-主干神经网络可以有效地提取独特的微观结构与其力学性能之间的潜在函数关系。更广泛地说,DeepONet可以促进基于代理模型的分析,以量化生物变异性,改进逆向设计,并基于多模态实验数据预测机械性能。
2021-08-25 cs.CE cs.LG
Patch-based Progressive 3D Point Set Upsampling
ETH Zurich(苏黎世联邦理工学院);Shenzhen University(深圳大学);Tel Aviv University(特拉维夫大学)
我们提出了一个细节驱动的深度神经网络点集上采样。高分辨率的点集对于基于点的绘制和表面重建是必不可少的。受最近神经图像超分辨率技术的成功启发,我们逐步训练了一系列基于补丁的上采样网络,这些网络具有不同的端到端细节水平。我们提出了一系列的架构设计的贡献,导致一个显着的性能提升。消融研究中证实了每种技术贡献的效果。定性和定量实验表明,我们的方法显着优于最先进的基于学习和优化的方法,无论是在处理低分辨率的输入和揭示高保真的细节。
2019-03-21 cs.CV cs.GR cs.LG
Progressive Multi-stage Interactive Training in Mobile Network for Fine-grained Recognition
细粒度视觉分类(FGVC)旨在从子类别中识别对象。这是一个非常具有挑战性的任务,因为阶级之间的微妙差异。现有的研究采用大规模的卷积神经网络或视觉Transformers作为特征提取器,这是非常昂贵的计算。事实上,细粒度识别的真实场景通常需要一个可以离线使用的更轻量级的移动网络。然而,基本的移动网络特征提取能力弱于大规模模型。本文基于轻量级的MobilenetV 2,提出了一种基于递归马赛克生成器的渐进式多阶段交互训练方法(RMG-PMSI)。首先,我们提出了一个递归的马赛克生成器(RMG),生成图像的不同粒度在不同的阶段。然后,不同阶段的特征通过多阶段交互(MSI)模块,该模块加强和补充了不同阶段的相应特征。最后,使用渐进式训练(P),可以充分利用模型在不同阶段提取的特征并相互融合。在三个著名的细粒度基准上的实验表明,RMG-PMSI可以显着提高性能,具有良好的鲁棒性和可移植性。
2021-12-08 cs.CV cs.LG
Progressive Graph Convolutional Networks for Semi-Supervised Node Classification
Aarhus University(奥胡斯大学)
图卷积网络已经成功地解决了基于图的任务,如半监督节点分类。现有的方法使用由用户定义的网络结构,基于实验,每层具有固定数量的层和神经元,并采用逐层传播规则来获得节点嵌入。设计一个自动过程来定义图卷积网络的问题相关架构可以极大地帮助减少在训练过程中手动设计模型结构的需要。在本文中,我们提出了一种方法来自动构建紧凑和特定任务的图卷积网络。在广泛使用的公开数据集上的实验结果表明,该方法在分类性能和网络紧凑性方面优于基于卷积图网络的相关方法。
2021-01-20 cs.LG stat.ML
Progressive Approximation in Deep Residual Networks: Theory and Validation
Department of Computing, the Hong Kong Polytechnic University(香港理工大学计算机系)
本文提出层间渐进近似理论,揭示残差网络通过分步细化实现逼近,而非端到端映射,并在多种任务中验证其有效性,支持高效浅层推理。
2026-04-27 cs.AI cs.LG
Progressive Neural Compression for Adaptive Image Offloading under Timing Constraints
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出渐进式神经压缩(PNC),通过多目标无速率自编码器按推理重要性排序特征,在可变带宽和时序约束下自适应传输图像特征,从而最大化边缘服务器上图像分类的推理性能。
2023-10-08 cs.CV cs.DC cs.LG
Bidirectional Progressive Neural Networks with Episodic Return Progress for Emergent Task Sequencing and Robotic Skill Transfer
Bogazici University(博阿齐奇大学);Ozyegin University(奥兹耶金大学);Osaka University(大阪大学)
提出 ERP-BPNN 多任务强化学习框架,利用软性 ERP 内在动机自主切换任务,并通过 BPNN 支持形态不同机器人间的双向技能迁移,仿真显示其收敛更快且各项指标更优。
2024-03-06 cs.AI cs.LG cs.RO
Progressive Tempering Sampler with Diffusion
Department of Computer Science, Aalto University, Finland(阿姆斯特丹大学计算机科学系,芬兰);Department of Engineering, University of Cambridge, United Kingdom(剑桥大学工程系,英国);Department of Empirical Inference, Max Planck Institute for Intelligent Systems, Tübingen, Germany(智能系统研究所经验推断系,德国)
针对神经采样器目标评估效率不及 PT、而 PT 样本相关且重复计算成本高的问题,提出 PTSD,按温度顺序训练扩散模型并复用样本信息,以少量 MCMC 精化生成不相关样本,提升评估效率。
2025-10-20 cs.LG stat.ML