Surfing: Iterative optimization over incrementally trained deep networks
Yale University(耶鲁大学)
我们研究了一个顺序优化过程,以最小化某些深度网络家族$G_θ(x)$的经验风险泛函$f_{\hatθ}(x) = \frac{1}{2}\|G_{\hatθ}(x) - y\|^2$。该方法是使用在训练过程的不同阶段获得的网络参数来优化目标函数的序列。当初始化随机参数$θ_0$,我们表明,目标$f_{θ_0}(x)$是“好”,易于优化梯度下降。随着学习的进行,我们获得了一系列生成网络$x \mapsto G_{θ_t}(x)$和相关的风险函数$f_{θ_t}(x)$,其中$t$表示训练期间的随机梯度下降阶段。由于网络的参数在每一步中变化不大,因此曲面的演化速度很慢,可以逐步优化。该算法的形式化和分析的一个家庭的可扩展网络。我们称这个过程为{ \it surfing},因为它沿着进化的(负的)经验风险函数的峰值行进,从学习开始时的光滑表面开始,在学习完成后以波浪形非凸表面结束。实验表明,即使在最终学习网络上的直接梯度下降失败时,冲浪也可以用于找到全局最优值和压缩感知。
2019-07-19 cs.LG stat.ML
Iterative Feature Exclusion Ranking for Deep Tabular Learning
Universiti Sains Malaysia(马来西亚理科大学);Al-Quds Open University(圣城开放大学)
本文提出迭代特征排除模块,通过迭代排除特征并计算注意力分数,提升表格数据中特征重要性排名和分类性能。
2025-12-18 cs.LG
Sliced Iterative Normalizing Flows
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们开发了一种迭代(贪婪)深度学习(DL)算法,该算法能够将任意概率分布函数(PDF)转换为目标PDF。该模型基于一系列1D切片的迭代最优传输,在每个切片上将边缘PDF与目标相匹配。正交切片的轴被选择为在每次迭代时使用Wasserstein距离来最大化PDF差异,这使得算法能够很好地扩展到高维。作为该算法的特例,我们引入了两个切片迭代归一化流(SINF)模型,该模型从数据映射到潜在空间(GIS),反之亦然(SIG)。我们表明,SIG能够生成高质量的图像数据集样本,这些样本与GAN基准相匹配,而GIS在密度估计任务上获得了与密度训练的NF相比具有竞争力的结果,并且在小训练集上训练时更稳定,更快,并且实现了更高的$p(x)$。SINF方法显著偏离当前DL范例,因为它是贪婪的并且不使用诸如最小梯度、随机梯度下降和通过深层的梯度反向传播的概念。
2021-06-14 cs.LG stat.ML
Bayesian Optimization for Iterative Learning
University of Oxford(牛津大学)
深度(强化)学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵,通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能,而忽略了早期训练步骤的中间信息。在本文中,我们提出了一个贝叶斯优化(BO)的方法,利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数,根据训练成功和稳定性,将训练过程中任何阶段的学习进度压缩为单个数值分数。然后,我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Iterative Label Improvement: Robust Training by Confidence Based Filtering and Dataset Partitioning
University of Kassel(卡塞尔大学);Robert Bosch GmbH(罗伯特博世有限公司)
最先进的高容量深度神经网络不仅需要大量的标记训练数据,它们还非常容易受到该数据中的标记错误的影响,通常导致大量的工作和成本,因此限制了深度学习的适用性。为了缓解这个问题,我们提出了一种新的Meta训练和标记方案,该方案能够利用深度神经网络的泛化能力,使用廉价的未标记数据。我们的实验表明,仅依靠一个网络架构和我们提出的迭代训练和预测步骤的方案,标签质量和所得模型的准确性都可以显着提高。我们的方法实现了最先进的结果,同时与架构无关,因此具有广泛的适用性。与其他处理错误标签的方法相比,我们的方法既不需要训练另一个网络,也不一定需要额外的高度准确的参考标签集。我们的技术不是从标记的集合中删除样本,而是使用额外的传感器数据,而无需手动标记。此外,我们的方法可以用于半监督学习。
2020-07-17 cs.CV cs.LG stat.ML
Signed iterative random forests to identify enhancer-associated transcription factor binding
University of California, San Francisco(加州大学旧金山分校);Cornell University(康奈尔大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Berkeley(加州大学伯克利分校)
针对 ChIP-seq 可重复峰未必具有功能调控意义的问题,提出可解释的 siRF 方法,用于推断黑腹果蝇增强子周围转录因子调控相互作用与功能结合特征。
2023-07-12 cs.LG stat.ML
Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms
UBTECH Sydney AI Centre, School of Computer Science, Faculty of Engineering, the University of Sydney(悉尼大学工程学院计算机科学学院优必选悉尼人工智能中心);University of Science and Technology of China(中国科学技术大学)
本文分两步研究了迭代学习算法中泛化与隐私保护的关系。我们首先建立了任何学习算法的泛化和隐私保护之间的对齐。我们证明了$(\varepsilon, δ)$ -差分隐私意味着多数据库学习算法的平均泛化界,从而进一步导致任何学习算法的高概率界。这种高概率的界限也意味着一个PAC学习的保证差分私人学习算法。然后,我们研究了大多数学习算法共享的迭代性质如何影响隐私保护和进一步推广。提出了三个合成定理,通过迭代算法每次迭代的差分隐私来近似迭代算法的差分隐私。通过整合上述两个步骤,我们最终提供迭代学习算法的泛化界,这表明可以同时增强隐私保护和泛化。我们的结果比现有的工作严格。特别是,我们的泛化边界不依赖于模型大小,这在深度学习中是非常大的。这有助于理解深度学习的普遍性。这些结果适用于广泛的学习算法。在本文中,我们将它们应用到随机梯度朗之万动力学和不可知联邦学习的例子。
2020-08-07 cs.CR cs.LG stat.ML
Deep Learning-Guided Image Reconstruction from Incomplete Data
Washington University in Saint Louis(圣路易斯华盛顿大学)
提出了一种将深度学习结合在迭代图像重建框架内以从严重不完整的测量数据重建图像的方法。具体来说,我们利用卷积神经网络(CNN)作为最小二乘最小化过程中的准投影运算符。训练CNN以编码关于被成像的图像类别的高级信息;该信息用于减轻通过使用迭代法产生的中间图像中的伪影。该方法的结构受到邻近梯度下降方法的启发,其中邻近算子被深度CNN代替,并且通过使用线性重建算子来推广梯度下降步骤。它表明,这种方法提高了图像质量的几种情况下,有限的视图图像重建和使用CNN的迭代法相比,传统的图像重建方法的性能提高。我们测试我们的方法在几个有限的视图图像重建问题。定性和定量结果证明了最先进的性能。
2017-09-02 cs.CV cs.LG
Deep Iterative Phase Retrieval for Ptychography
Universität Hamburg(汉堡大学);DESY(德国电子同步加速器研究所)
衍射成像领域中最突出的挑战之一是相位恢复(PR)问题:为了从衍射图案重建物体,必须计算逆傅里叶变换。这仅在给定完整复值衍射数据(即,幅度和相位)的情况下才可能。然而,在衍射成像中,通常只有幅度可以直接测量,而相位需要估计。在这项工作中,我们特别考虑重叠关联,衍射成像的一个子领域,其中物体从多个重叠的衍射图像重建。我们提出了一种增强现有的迭代相位恢复算法与神经网络设计用于细化每次迭代的结果。为此,我们适应和扩展最近提出的架构,从语音处理领域。评估结果表明,所提出的方法提供了改进的收敛速度的迭代次数和算法运行时间。
2022-02-17 cs.LG eess.AS eess.IV
i-IF-Learn: Iterative Feature Selection and Unsupervised Learning for High-Dimensional Complex Data
SUSTech(华南理工大学);NUS(国立大学)
本文提出i-IF-Learn框架,通过迭代特征选择与聚类,有效识别高维数据中的关键特征,提升聚类性能并增强下游模型表现。
2026-07-07 cs.LG stat.ME
Unsupervised Deep Unfolded PGD for Transmit Power Allocation in Wireless Systems
Aalborg University(奥尔堡大学)
本文提出一种基于深度展开投影梯度下降的无监督低复杂度发射功率控制算法,通过在线或离线学习优化步长,在密集D2D场景中以更少迭代实现更优性能。
2023-06-20 cs.LG eess.SP
A Hybrid Iterative Deep Ritz Method for Elliptic Interface Problems
The Chinese University of Hong Kong(香港中文大学);Shanghai Normal University(上海师范大学)
提出混合迭代深度Ritz方法,基于混合形式和水平集神经网络求解椭圆界面问题,避免界面采样,数值实验表明在高维、复杂界面和低正则性问题上优于现有神经求解器。
2026-09-24 cs.LG cs.NA math.NA
Iterative temporal differencing with random synaptic feedback weights support error backpropagation for deep learning
University of Rhode Island(罗德岛大学)
这项工作表明,一个可微的激活函数是不必要的错误反向传播。激活函数的导数可以由使用固定随机反馈对准的迭代时间差分代替。使用具有迭代时间差分的固定随机突触反馈对齐将传统的误差反向传播转换为用于学习深度神经网络架构的更生物学上合理的方法。这可能是在深度学习中集成基于STDP的误差反向传播的一大步。
2019-07-15 cs.LG cs.NE
Deep Joint Source-Channel Coding with Iterative Source Error Correction
University of Michigan(密歇根大学)
本文提出了一种基于深度学习的联合信源-信道编码(Deep JSCC)的迭代信源纠错(ISEC)解码方案。给定通过信道接收的噪声码字,我们使用深度JSCC编码器和解码器对迭代地更新码字以找到(修改的)最大后验(MAP)解决方案。为了有效的MAP解码,我们利用一个基于神经网络的去噪器来近似码字空间的对数先验密度的梯度。尽管优化问题的非凸性,我们提出的方案从传统的单次(非迭代)深度JSCC解码基线改进了各种失真和感知质量指标。此外,该方案产生更可靠的源重建结果相比,基线时的信道噪声特性不匹配的训练过程中使用的。
2023-02-17 cs.LG
An Iterative Deep Ritz Method for Monotone Elliptic Problems
The Chinese University of Hong Kong(香港中文大学)
提出迭代深度 Ritz 方法(IDRM)求解单调椭圆问题,通过编码函数空间几何并引入凸惩罚提升性能,在收敛性理论上有所突破,且在精度上优于现有神经 PDE 求解器。
2025-01-25 cs.LG cs.NA math.NA
Deep Iterative and Adaptive Learning for Graph Neural Networks
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
在本文中,我们提出了一个端到端的图学习框架,即图神经网络的深度迭代和自适应学习(DIAL-GNN),用于同时联合学习图结构和图嵌入。我们首先将图结构学习问题转换为相似性度量学习问题,并利用自适应图正则化来控制生成的图的平滑性,连通性和稀疏性。我们进一步提出了一种新的迭代法,用于搜索一个隐藏的图结构,增强了初始图结构。我们的迭代法动态停止时,学习的图形结构接近足够接近的最佳图。我们广泛的实验表明,所提出的DIAL-GNN模型在下游任务性能和计算时间方面都可以始终优于或匹配最先进的基线。所提出的方法可以处理两个转导学习和归纳学习。
2019-12-17 cs.LG stat.ML
Demystifying Deep Learning: A Geometric Approach to Iterative Projections
North Carolina State University(北卡罗来纳州立大学);U.S. Army Research Office(美国陆军研究办公室)
参数化学习方法,如深度学习(DL),在非线性回归中非常流行,尽管随着复杂性的增加(例如DL中的层数),它们的训练非常困难。在本文中,我们提出了一个替代的半参数框架,放弃了通常需要的反馈,通过引入几何正则化的新思想。我们表明,某些深度学习技术,如残差网络(ResNet)架构与我们的方法密切相关。因此,我们的技术可以用来分析这些类型的深度学习。此外,我们提出的初步结果证实,我们的方法可以很容易地训练,以获得复杂的结构。
2018-03-22 cs.LG stat.ML
Iterative Deep Learning Based Unbiased Stereology With Human-in-the-Loop
University of South Florida(南佛罗里达大学);University of Southern Maine(南缅因大学);SRC Bioscience(SRC生物科学公司)
缺乏足够的标记数据是构建基于机器学习的模型时的主要问题,手动注释(标记)是容易出错的,昂贵的,繁琐的,耗时的。在本文中,我们介绍了一种基于迭代深度学习的方法,以改进基于无偏体视学的细胞分割和计数,该方法应用于扩展景深(EDF)图像的感兴趣区域。该方法使用称为自适应分割算法(ASA)的现有机器学习算法来生成EDF图像的掩模(由用户验证)以训练深度学习模型。然后,使用迭代深度学习方法来将新预测和接受的深度学习掩模/图像(由用户验证)馈送到深度学习模型的训练集。在基于迭代深度学习的无偏体视学过程的5次迭代之后,在看不见的测试集上的细胞的无偏体视学计数中的出错率从约3%降低到小于1%。
2019-01-14 cs.CV cs.LG
Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
在本文中,我们提出了一个端到端的图学习框架,即迭代深度图学习(IDGL),用于联合迭代地学习图结构和图嵌入。IDGL的关键原理是基于更好的节点嵌入来学习更好的图结构,反之亦然(即,基于更好的图结构的更好的节点嵌入)。我们的迭代法动态停止时,学习的图形结构接近足够接近的图优化的下游预测任务。此外,我们将图学习问题转换为相似性度量学习问题,并利用自适应图正则化来控制学习图的质量。最后,结合基于锚点的近似技术,提出了一种可扩展的IDGL算法IDGL-Anch,在不影响性能的前提下,显著降低了IDGL算法的时间复杂度和空间复杂度.我们对九个基准测试的广泛实验表明,我们提出的IDGL模型可以始终优于或匹配最先进的基线。此外,IDGL可以对对抗图更鲁棒,并且可以处理转导学习和归纳学习。
2020-10-23 cs.LG stat.ML
Iterative Pseudo-Labeling with Deep Feature Annotation and Confidence-Based Sampling
University of Campinas(坎皮纳斯大学);Utrecht University(乌得勒支大学)
当大型和带注释的数据集不可用时,训练深度神经网络具有挑战性。对数据样本进行大量的手动注释是耗时、昂贵且容易出错的,特别是当需要由专家完成时。为了解决这个问题,人们越来越关注将不确定标签(也称为伪标签)传播到大量无监督样本并将其用于训练模型的技术。然而,这些技术仍然需要训练集中每个类数百个监督样本,以及具有额外监督样本的验证集来调整模型。我们改进了最近的迭代伪标记技术,深度特征注释(DeepFA),通过选择最有信心的无监督样本来迭代训练深度神经网络。我们基于置信度的采样策略只依赖于每个类几十个带注释的训练样本,没有验证集,大大减少了用户在数据注释方面的工作。我们首先确定基线的最佳配置-一个自我训练的深度神经网络-然后评估我们对不同置信度阈值的置信度DeepFA。在六个数据集上的实验表明,DeepFA已经优于自训练的基线,但信心DeepFA可以大大优于原始DeepFA和基线。
2021-09-06 cs.LG
Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods
Idaho State University(爱达荷州立大学);Yale University(耶鲁大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本研究将深度学习与经典数值分析类比,构建基于算子方程迭代方法的理论框架并给出收敛证明,验证迭代可提升网络性能,还提出迭代图神经网络PIGN,为深度学习提供理论支撑与设计指导。
2023-10-02 cs.LG cs.NA math.NA
Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback
University of Southern California(南加州大学);DEVCOM Army Research Office(DEVCOM陆军研究办公室)
提出轻量级上下文反馈循环(CFLs)机制,通过门控适配器将顶层预测映射为上下文向量并迭代注入早期层,在多任务上显著提升性能且收敛稳定。
2025-04-28 cs.LG
Deep Recurrent NMF for Speech Separation by Unfolding Iterative Thresholding
University of Washington(华盛顿大学);Applied Physics Laboratory, University of Washington(华盛顿大学应用物理实验室)
在本文中,我们提出了一种新的递归神经网络结构的语音分离。这种架构是通过展开的顺序迭代软阈值算法(ISTA),解决了稀疏非负矩阵分解(NMF)的频谱图的优化问题的迭代。我们将这种网络架构命名为深度递归NMF(DR-NMF)。所提出的DR-NMF网络具有三个明显的优点。首先,DR-NMF提供了比其他深度架构更好的可解释性,因为即使在训练之后,权重也对应于NMF模型参数。这种可解释性还提供了原则性的初始化,与传统的随机初始化相比,它能够更快地训练和收敛到更好的解决方案。其次,与许多深度网络一样,DR-NMF在测试时比NMF快一个数量级,因为网络输出的计算只需要在每个时间步评估几层。第三,当训练数据量有限时,与稀疏NMF和最先进的长短期记忆(LSTM)网络相比,DR-NMF表现出更强的泛化和分离性能。当有大量的训练数据可用时,DR-NMF与LSTM网络相比实现了较低但有竞争力的分离性能。
2017-09-21 cs.LG cs.SD stat.ML
Iterative Refinement Strategy for Automated Data Labeling: Facial Landmark Diagnosis in Medical Imaging
The University of Melbourne(墨尔本大学)
针对医学影像面部关键点诊断中的自动标注难题,本文提出结合反馈机制与先进算法的迭代优化策略,以减少人工干预并提升标签质量及深度学习性能。
2024-04-08 cs.AI cs.CV cs.LG
Non-Iterative Knowledge Fusion in Deep Convolutional Neural Networks
S.P. Kapitsa Research Institute of Technology (Technological Research Institute) of Ulyanovsk State University(乌里扬诺夫斯克国立大学S.P.卡皮察技术研究所(技术研究所));Ulyanovsk State Technical University(乌里扬诺夫斯克国立技术大学);Kotel’nikov Institute of Radio Engineering and Electronics of Russian Academy of Sciences (Ulyanovsk branch)(俄罗斯科学院科捷利尼科夫无线电工程与电子研究所(乌里扬诺夫斯克分支))
将新的知识合并到神经网络中,同时保留先前的知识是一个重要的问题。当新知识不包含在新的训练样本中,而是包含在另一个神经网络的参数(连接权重)中时,这个问题变得更加复杂。在这里,我们提出并测试了两种方法,允许将包含在单独的网络中的知识相结合。一种方法是基于一个简单的操作的组成神经网络的权重求和。另一种方法假设通过修改对于保存已经存储的信息不重要的权重来并入新的知识。我们表明,使用这些方法,来自一个网络的知识可以非迭代地转移到另一个网络中,而不需要进行训练。融合的网络运行效率高,分类性能远远优于机会水平。在几个公开可用的数据集上量化的方法的效率在分类任务的浅和深神经网络。
2018-09-25 cs.LG stat.ML
Retraining-Based Iterative Weight Quantization for Deep Neural Networks
Samsung Research(三星研究院)
模型压缩由于其在保持DNN的准确性的同时显著减少硬件资源需求的能力而获得了很多关注。模型压缩对于内存密集型递归神经网络特别有用,因为较小的内存占用不仅对于减少存储需求而且对于快速推理操作至关重要。量化被认为是一种有效的模型压缩方法,研究人员对最小化表示参数的比特数感兴趣。在这项工作中,我们引入了一种迭代技术来应用量化,呈现高压缩比,而无需对训练算法进行任何修改。在所提出的技术中,权重量化之后是用全精度权重重新训练模型。我们表明,迭代再训练产生新的权重集,可以量化,在每次迭代减少量化损失。我们还表明,量化能够有效地利用修剪,另一种有效的模型压缩方法。结合这两种方法的实施问题也得到了解决。我们的实验结果表明,使用1位量化权重的LSTM模型对于PTB数据集是足够的,而没有任何准确性下降,而以前的方法需要至少2-4位量化权重。
2018-05-29 cs.LG stat.ML
Effective Network Compression Using Simulation-Guided Iterative Pruning
KAIST(韩国科学技术院);NOTA Incorporated(NOTA公司)
现有的高性能深度学习模型需要非常密集的计算。因此,很难将深度学习模型嵌入到资源有限的系统中。在本文中,我们提出了一种新的想法,网络压缩作为一种方法来解决这个限制。该思想的原理是通过模拟简化后的网络,使迭代剪枝更加有效和复杂。通过一个简单的实验对该方法进行了评价,结果表明,在相同的剪枝水平下,该方法比现有方法具有更高的性能。
2019-02-12 cs.LG stat.ML
Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems
Zhejiang University(浙江大学);Tongji University(同济大学);University of California, Davis(加州大学戴维斯分校)
基于优化理论的多用户多输入多输出(MU-MIMO)系统预编码算法研究受到广泛关注。尽管所得到的优化算法能够提供优异的性能,但它们通常需要相当大的计算复杂性,这妨碍了它们在实时系统中的实际应用。在这项工作中,为了解决这个问题,我们首先提出了一个框架的深度展开,其中一个一般形式的迭代算法诱导的深度展开神经网络(IAIDNN)的矩阵形式,以更好地解决通信系统中的问题。然后,我们实现了所提出的deepunfolding框架,以解决MU-MIMO系统中预编码设计的和速率最大化问题。基于经典的加权最小均方误差(WMMSE)迭代算法的结构,提出了一种高效的IAIDNN。具体地说,迭代WMMSE算法展开成一个分层的结构,其中一些可训练的参数,以取代在前向传播的高复杂度的操作。为了训练网络,提出了IAIDNN的广义链规则来描述反向传播中相邻两层之间梯度的递归关系。此外,我们还讨论了该方案的计算复杂性和推广能力。仿真结果表明,该算法在降低计算复杂性的同时,有效地达到了迭代WMMSE算法的性能。
2020-06-15 cs.IT cs.LG eess.SP
A Deep Conjugate Direction Method for Iteratively Solving Linear Systems
Waseda University(早稻田大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Vanderbilt University(范德堡大学);University of California, Davis(加利福尼亚大学戴维斯分校)
我们提出了一种新的深度学习方法来近似大型、稀疏、对称、正定线性方程组的解。这些系统产生于应用科学中的许多问题,例如,偏微分方程的数值方法。近似这些系统的解决方案的算法往往是需要解决这些问题的瓶颈,特别是对于需要数百万个未知数的现代应用程序。事实上,数值线性代数技术已经研究了几十年,以减轻这种计算负担。最近,数据驱动技术也显示出解决这些问题的希望。受共轭梯度算法的启发,迭代地选择搜索方向以最小化近似误差的矩阵范数,我们设计了一种方法,该方法利用深度神经网络通过数据驱动的搜索方向的改进来加速收敛。我们的方法利用精心选择的卷积网络来近似线性算子的逆的作用,直到任意常数。我们使用无监督学习来训练网络,其损失函数等于输入与系统矩阵之间的$L^2$差乘以网络评估,其中考虑了近似逆中的未指定常数。我们证明了我们的方法在空间离散泊松方程的计算流体力学应用中产生的数百万自由度的功效。与最先进的学习方法不同,我们的算法能够在少量的迭代中将线性系统残差减少到给定的公差,与问题大小无关。此外,我们的方法有效地推广到训练过程中遇到的各种系统之外。
2022-10-01 cs.LG cs.NA math.NA
Deep Iterative 2D/3D Registration
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Siemens Healthineers AG(西门子医疗集团)
基于深度学习的2D/3D配准方法非常稳健,但通常缺乏临床应用所需的配准精度。使用经典的基于优化的2D/3D配准方法结合基于深度学习的技术的细化步骤可以提供所需的准确度。但是,它也增加了运行时间。在这项工作中,我们提出了一种新的深度学习驱动的2D/3D配准框架,可以端到端地用于迭代配准任务,而不依赖于任何进一步的细化步骤。我们通过使用点到面对应来学习2D/3D配准框架的更新步骤来实现这一点。使用基于迭代残差细化的光流估计,结合作为已知算子嵌入的点到平面对应求解器来学习更新步骤。我们提出的方法实现了约8秒的平均运行时间,平均重投影距离误差为0.60 $\pm$ 0.40 mm,成功率为97%,捕获范围为60 mm。高配准精度,高鲁棒性和快速运行时间的组合使我们的解决方案非常适合临床应用。
2021-07-21 cs.CV cs.LG eess.IV
StackRec: Efficient Training of Very Deep Sequential Recommender Models by Iterative Stacking
South China University of Technology(华南理工大学);Westlake University(西湖大学);Tencent(腾讯);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
深度学习为顺序推荐(SR)任务带来了巨大的进步。利用先进的网络架构,顺序推荐模型可以堆叠有许多隐藏层,例如,在真实世界的推荐数据集上多达100层。训练这样一个深度网络是困难的,因为它在计算上非常昂贵,需要更长的时间,特别是在有数百亿用户与项目交互的情况下。为了应对这样的挑战,我们提出了StackRec,这是一个简单,但非常有效和高效的训练框架,用于通过迭代层堆叠进行深度SR模型。具体来说,我们首先提供了一个重要的见解,即经过良好训练的深度SR模型中的隐藏层/块具有非常相似的分布。受此启发,我们提出了对预训练层/块的堆叠操作,以将知识从较浅的模型转移到较深的模型,然后我们执行迭代堆叠,以产生更深但更复杂的训练SR模型。我们通过在三个实际场景中使用四个最先进的SR模型实例化StackRec来验证其性能。大量的实验表明,与从头开始训练的SR模型相比,StackRec不仅实现了相当的性能,而且在训练时间上也大大加快了。代码可在https://github.com/wangjiachun0426/StackRec上获得。
2021-05-12 cs.IR cs.LG
DeepTreeGANv2: Iterative Pooling of Point Clouds
Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器);Jülich Supercomputing Centre, Institute for Advanced Simulation(于利希超级计算中心,先进模拟研究所);RWTH Aachen University(亚琛工业大学)
本文提出DeepTreeGAN的扩展版本DeepTreeGANv2,引入判别器以基于树的方式迭代聚合点云,用于快速生成高能物理中的大型粒子簇射点云,并在JetNet 150数据集上验证了其复现复杂分布的能力。
2024-01-02 cs.LG hep-ex physics.data-an
Deep Iterative Reconstruction for Phase Retrieval
Middle East Technical University (METU)(中东技术大学);ASELSAN Research Center(ASELSAN研究中心)
经典的相位恢复问题是从受约束图像的傅里叶变换的幅值恢复图像。虽然有几个著名的相位恢复算法,包括混合输入输出(HIO)方法,重建性能通常是敏感的初始化和测量噪声。最近,深度神经网络(DNN)已被证明在解决几个逆问题(如去噪,反卷积和超分辨率)方面提供了最先进的性能。在这项工作中,我们开发了一种相位恢复算法,该算法利用两个DNN以及基于模型的HIO方法。首先,训练DNN以去除HIO伪影,并与HIO方法迭代使用以改进重建。在这个迭代阶段之后,第二个DNN被训练以去除剩余的伪影。数值结果表明了该方法的有效性,与HIO方法相比,该方法几乎没有额外的计算量。我们的方法不仅实现了最先进的重建性能,而且对不同的初始化和噪声水平更具鲁棒性。
2019-08-19 cs.LG eess.IV
Reward Bonuses with Gain Scheduling Inspired by Iterative Deepening Search
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学(SOKENDAI))
本文提出向任务奖励函数添加内在加成并应用受迭代加深搜索启发的启发式增益调度,互补提升强化学习在密集与稀疏奖励任务中的性能。
2022-12-21 cs.AI cs.LG
A Fast, Scalable, and Robust Deep Learning-based Iterative Reconstruction Framework for Accelerated Industrial Cone-beam X-ray Computed Tomography
Oak Ridge National Laboratory(橡树岭国家实验室);UT-Battelle, LLC(UT-巴特勒有限责任公司)
提出一种基于深度学习的迭代重建框架,集成伪影减少CNN和自动正则化参数选择,实现工业锥束XCT的快速、可扩展且稳健的重建,在密集金属部件上超越现有监督方法。
2025-01-21 cs.CV cs.LG
An Iterative Deep Learning Framework for Unsupervised Discovery of Speech Features and Linguistic Units with Applications on Spoken Term Detection
National Taiwan University(台湾大学)
在这项工作中,我们的目标是发现高质量的语音特征和语言单位直接从无标记的语音数据在零资源的情况下。使用Interspeech 2015组织的零资源语音挑战中提出的指标和语料库对结果进行评估。提出了一种多层声学标记器(MAT),用于从给定的语料库中自动发现多组声学标记。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带了语料库和语言的不同特征,因此可以相互加强。然后,将多组标记标签用作在低级声学特征上训练的多目标深度神经网络(MDNN)的目标。从MDNN中提取的瓶颈特征然后在下一次迭代中用作MAT和MDNN本身的反馈输入。我们将这种迭代深度学习框架称为多层声学标记化深度神经网络(MAT-DNN),它为挑战赛的轨道1生成高质量的语音特征,并为挑战赛的轨道2生成声学标记。此外,我们在相同的语料库上进行了额外的实验,以应用于按实例查询的口语术语检测。实验结果表明,MAT-DNN的迭代深度学习框架由于更好的底层语音特征和声学标记而提高了检测性能。
2016-02-01 cs.CL cs.LG
Tackling Shortcut Learning in Deep Neural Networks: An Iterative Approach with Interpretable Models
Boston University(波士顿大学);University of Pittsburgh(匹兹堡大学);MetaAI(Meta人工智能研究院)
本文提出一种迭代方法,通过从黑盒模型中划分可解释专家混合模型(MoIE)并用一阶逻辑检测捷径,再结合元数据归一化(MDN)微调消除捷径,在不损失准确性的前提下缓解深度神经网络的捷径学习问题。
2023-07-07 cs.CV cs.LG
Deep Unfolding of Iteratively Reweighted ADMM for Wireless RF Sensing
Ruhr University Bochum(波鸿鲁尔大学);Technical University Berlin(柏林工业大学);Technical University of Munich(慕尼黑工业大学)
我们解决了材料缺陷的检测,这是内部的分层材料结构使用压缩感知基于多输入多输出(MIMO)无线雷达。在这里,由于层状结构的表面的反射而产生的强杂波通常使得缺陷的检测具有挑战性。因此,需要复杂的信号分离方法来改进缺陷检测。在许多情况下,我们感兴趣的缺陷的数量是有限的,并且分层结构的信令响应可以被建模为低秩结构。因此,我们提出了联合秩和稀疏性最小化的缺陷检测。特别是,我们提出了一个非凸的方法的基础上迭代重新加权核和$\ell_1-$规范(双重重新加权的方法),以获得更高的精度相比,传统的核规范和$\ell_1-$规范最小化。为此,设计了一种迭代算法来估计低秩和稀疏的贡献。此外,我们提出了深度学习来学习算法的参数(即,算法展开)以提高算法的精度和收敛速度。数值结果表明,该方法在恢复低秩和稀疏分量的均方误差以及收敛速度方面优于传统方法。
2021-12-17 cs.CV cs.IT cs.LG
Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization
Rakuten Mobile, Inc.(乐天移动公司)
在低延迟或移动应用中,需要更低的计算复杂度、更低的存储器占用和更好的能量效率。许多先前的工作通过去除冗余参数来解决这一需求。参数量化用较低精度的定点运算取代浮点运算,进一步降低了复杂度。量化权重神经网络的典型训练从完全量化的权重开始。量化产生随机噪声。作为补偿这种噪声的一种方法,在训练过程中,我们建议在保持其他权重浮点精度的同时,增加一些权重。深度神经网络有很多层。为了得到一个完全量化的权重网络,我们从一个量化层开始,然后覆盖越来越多的层。我们表明,层量化的顺序影响精度。对于深度神经网络来说,订单数量很大。提出了一种灵敏度预训练来指导层量化顺序。最近在权重二值化方面的工作用加法代替了权重输入矩阵乘法。我们将所提出的迭代训练应用于权重二值化。我们的实验涵盖了MNIST、CIFAR-10和ImageNet数据集上的全连接和卷积网络。我们的经验表明,从部分二进制权重而不是从完全二进制权重开始,训练达到完全二进制权重网络,对于更大更深的网络具有更好的准确性。按前向顺序进行的层二值化导致更好的精度。引导层二值化可以进一步改善这一点。这些改进是以延长培训时间为代价的。
2021-11-13 cs.LG
Deep learning-based blind image super-resolution with iterative kernel reconstruction and noise estimation
Ozyegin University(厄齐耶因大学);Koc University(科克大学);Istanbul Medipol University(伊斯坦布尔梅迪波尔大学)
针对盲单图像超分辨率中复杂未知退化问题,提出 IKR-Net,通过深度模型迭代进行核与噪声估计及高分辨率图像重建,在含噪与运动模糊图像上取得当前最优结果。
2024-04-25 cs.LG eess.IV
Deep BCD-Net Using Identical Encoding-Decoding CNN Structures for Iterative Image Recovery
The University of Michigan(密歇根大学)
本文提出使用相同编码-解码CNN结构的BCD-Net,通过块坐标下降和交替方向乘子法训练,在低信噪比去噪和极度欠采样MRI中实现更准确的图像恢复。
2018-04-28 cs.CV cs.LG stat.ML
DeepSIC: Deep Soft Interference Cancellation for Multiuser MIMO Detection
Weizmann Institute of Science(魏茨曼科学研究所);Tsinghua University(清华大学)
数字接收机需要从其观测的信道输出中恢复传输的符号。在多用户多输入多输出(MIMO)设置中,其中多个符号被同时发送,准确的符号检测是具有挑战性的。能够可靠地恢复多个符号的算法族基于干扰消除。然而,这些方法假设信道是线性的,这是一种不反映许多相关信道的模型,并且需要可能不可用的准确的信道状态信息(CSI)。在这项工作中,我们提出了一个多用户MIMO接收机,学会联合检测数据驱动的方式,而不需要假设一个特定的信道模型或要求CSI。特别是,我们提出了一个数据驱动的实现迭代软干扰消除(SIC)算法,我们称之为DeepSIC。由此产生的符号检测器是基于集成专用的机器学习(ML)方法到迭代SIC算法。DeepSIC学习从有限的训练样本集合中进行联合检测,而不需要信道是线性的,并且其参数是已知的。我们的数值评估表明,对于具有完整CSI的线性信道,DeepSIC接近迭代SIC的性能,这与最佳性能相当,并且优于先前提出的基于ML的MIMO接收机。此外,在存在CSI不确定性的情况下,DeepSIC的性能明显优于基于模型的方法。最后,我们证明了DeepSIC可以准确地检测非线性信道中的符号,即使在精确的CSI可用的情况下,传统的迭代SIC也会失败。
2020-06-14 cs.IT cs.LG eess.SP
Accurate and scalable deep Maxwell solvers using multilevel iterative methods
本研究结合神经网络代理与迭代算法,开发支持任意Robin型边界条件的子域神经算子模型作为预处理器,构建全局粗空间实现多级域分解加速,以二维Maxwell方程组验证了大规模PDE求解及纳米光子器件逆向设计的高精度与可扩展性。
2025-09-03 cs.CE cs.LG physics.app-ph
An Algorithm Unrolling Approach to Deep Image Deblurring
Pennsylvania State University(宾夕法尼亚州立大学);Technion-Israel Institute of Technology(以色列理工学院)
虽然神经网络在许多情况下已经实现了比传统迭代法大大增强的性能,但它们通常是经验设计的,并且底层结构难以解释。算法展开方法有助于将迭代算法连接到神经网络架构。然而,这样的连接尚未进行盲图像去模糊。在本文中,我们提出了一个神经网络架构,推进这一想法。我们首先提出了一个迭代算法,可以被认为是一个推广的传统的全变差正则化方法的梯度域,随后展开的半二次分裂算法来构建一个神经网络。我们提出的深度网络实现了显着的实际性能增益,同时享有可解释性。实验结果表明,我们的方法优于许多国家的最先进的方法。
2019-02-15 cs.CV cs.LG stat.ML
Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
点击率(CTR)反映了特定项目的点击量与其总浏览量的比率。它对网站的广告收入有重大影响。学习复杂的模型来理解和预测用户行为对于最大化推荐系统中的CTR至关重要。最近的工作提出了新的方法,用各种能够从原始数据中捕获复杂模式的深度学习(DL)分类器取代昂贵且耗时的特征工程过程;这些方法在CTR预测任务上显示出显着的改进。虽然DL技术可以学习复杂的用户行为模式,但它依赖于大量的数据,并且在数据量有限时表现不佳。我们提出了XDBoost,一种新的DL方法,用于捕获复杂的模式,只需要有限的原始数据。XDBoost是一个迭代的三阶段神经网络模型,受到传统机器学习提升机制的影响。XDBoost的组件按顺序运行,类似于boosting;但是,与传统的boosting不同,XDBoost不会将其组件生成的预测相加。相反,它利用这些预测作为新的人工特征,并通过使用这些特征重新训练模型来增强CTR预测。为了说明XDBoost在两个数据集上的有效性而进行的综合实验证明了其在CTR预测方面优于现有最先进(SOTA)模型的能力。
2020-07-26 cs.IR cs.LG stat.ML
Iterative Deepening Hyperband
Paderborn University(帕德博恩大学);LMU Munich(慕尼黑大学);Ghent University(根特大学)
超参数优化(HPO)涉及自动搜索参数化机器学习算法的最合适的超参数配置(HPC)。一种最先进的HPO方法是Hyperband,然而,它有自己的参数影响其性能。其中一个参数,最大预算,是特别有问题的:如果选择太小,预算需要在事后增加,因为Hyperband不是增量设计,整个算法必须重新运行。这不仅代价高昂,而且还损失了已经积累的宝贵知识。在本文中,我们提出了增量的Hyperband的变种,消除这些缺点,并表明这些变种满足理论上的保证,定性类似于那些原始的Hyperband与“正确”的预算。此外,我们在基准数据集的实验中证明了它们的实际效用。
2023-02-06 cs.AI cs.LG
GibbsNet: Iterative Adversarial Inference for Deep Graphical Models
MILA, Universite de Montreal(蒙特利尔大学 MILA);Institute for Reproducible Research(可重复性研究所);CIFAR(加拿大高等研究院)
将联合分布公式化为$p(x,z) = p(z) p(x \mid z)$的有向潜变量模型具有快速和精确采样的优点。然而,这些模型具有需要指定$p(z)$的缺点,通常具有限制模型的表达性的简单固定先验。无向潜变量模型放弃了$p(z)$必须事先指定的要求,但从它们中采样通常需要迭代过程,例如分块吉布斯采样,这可能需要许多步骤才能从联合分布$p(x, z)$中提取样本。我们提出了一种新的方法来学习数据和潜在代码之间的联合分布,该方法使用对抗学习的迭代过程来逐渐细化联合分布,$p(x, z)$,以更好地匹配每一步的数据分布。GibbsNet在理论和实践上都是两全其美的。实现有向隐变量模型的速度和简单性,保证(假设对抗游戏达到虚拟训练标准全局最小值)仅用几次采样迭代就从$p(x, z)$产生样本。GibbsNet实现了无向隐变量模型的表达性和灵活性,无需显式$p(z)$,并且能够在单个模型中进行属性预测,类条件生成和联合图像属性建模,该模型未针对任何这些特定任务进行训练。我们的经验表明,GibbsNet能够学习一个更复杂的$p(z)$,并表明这导致改进的修复和迭代细化$p(x, z)$的几十个步骤和稳定的生成没有崩溃的数千个步骤,尽管只有几个步骤的训练。
2017-12-12 cs.LG stat.ML
Deep Unfolding for Iterative Stripe Noise Removal
Ryerson University(瑞尔森大学);York University(约克大学)
红外成像系统光电响应的不均匀性导致红外图像上叠加固定模式的条纹噪声,严重影响图像质量。由于降质后的红外图像的应用受到限制,因此有效地保持原始图像的细节是至关重要的。现有的图像去噪方法难以同时去除所有条纹噪声伪影,保留图像细节和结构,并平衡实时性能。本文提出了一种新的降质图像去噪算法,利用相邻列信号的相关性去除独立列条纹噪声。这是通过迭代深度展开算法实现的,其中一个网络迭代的估计噪声用作下一次迭代的输入。这种进展大大减少了可能的函数近似的搜索空间,允许在更大的数据集上进行有效的训练。所提出的方法允许更精确地估计条纹噪声,以更准确地保留场景细节。大量的实验结果表明,该模型优于现有的剥离方法对人为污染的图像在定量和定性评估。
2022-09-27 cs.CV cs.LG eess.IV
A Deep-Learning Iterative Stacked Approach for Prediction of Reactive Dissolution in Porous Media
本文提出了一种结合时间和空间信息的深度学习方法,用于预测多孔介质中反应溶解过程的未来状态,显著提升了模拟效率。
2025-12-15 cs.LG
Iterative Grasp Pose Refinement: A Deep Reinforcement Learning Approach for 2D Vision
University of Tehran(德黑兰大学)
本研究提出结合关键点表征与DQN的强化学习框架,通过迭代优化抓取位姿,在Dex-Net数据集300个物体上对几何判定不可抓取物体实现100%成功率,且可实现仿真到真实的迁移,为接触丰富的操作任务提供解决方案。
2026-08-19 cs.AI cs.LG cs.RO
Non-iterative recomputation of dense layers for performance improvement of DCNN
University of Windsor(温莎大学);Lakehead University(湖首大学)
迭代学习方法已成为训练深度卷积神经网络(DCNN)的范例。然而,利用非迭代学习策略可以加速DCNN的训练过程,并且令人惊讶的是,这种方法很少被深度学习(DL)社区探索。这促使本文引入一种非迭代学习策略,该策略消除了DCNN顶部密集或全连接(FC)层的反向传播(BP),从而降低了训练时间并提高了性能。该方法利用Moore-Penrose逆将当前残差拉回到每个FC层,生成良好的广义特征。然后使用重新计算的特征,即,新的广义特征是根据Moore-Penrose逆计算FC层的权值。我们在六个广泛接受的对象识别基准数据集上评估了所提出的方法:Scene-15,CIFAR-10,CIFAR-100,SUN-397,Places 365和ImageNet。实验结果表明,该方法获得了显着的改善,超过30个国家的最先进的方法。有趣的是,它还表明,使用所提出的方法的任何DCNN都可以提供比基于BP的原始训练的相同网络更好的性能。
2018-09-14 cs.LG stat.ML
Learning optimal nonlinearities for iterative thresholding algorithms
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
迭代收缩/阈值算法(ISTA)是一种用于求解不适定反问题稀疏解的方法。在这封信中,我们提出了一个数据驱动的计划,学习ISTA的最佳阈值函数。所提出的方案是通过将ISTA的迭代与简单的深度神经网络(DNN)的层相关联并开发相应的误差反向传播算法来获得的,该算法允许微调阈值函数。稀疏统计信号的仿真说明了由于所提出的数据自适应ISTA的估计质量的潜在收益。
2015-12-15 cs.LG stat.ML
Iterative Deepening Sampling as Efficient Test-Time Scaling
University of California, Irvine(加利福尼亚大学尔湾分校)
本文提出了一种新颖的迭代加深采样算法框架,通过系统触发模型自我纠正机制来提升测试时计算效率,生成高质量自反思数据,并在Math500和AIME基准上显著提高了困难推理任务的成功率。
2025-06-01 cs.AI cs.CL cs.LG
Approximate k-space models and Deep Learning for fast photoacoustic reconstruction
University College London(伦敦大学学院);Centrum Wiskunde & Informatica(荷兰数学与计算机科学研究中心)
我们提出了一个加速迭代重建的框架,使用快速和近似的正演模型,是基于光声层析成像的k-空间方法。近似模型在迭代重建的梯度信息中引入了混叠伪影,但是这些伪影是高度结构化的,并且我们可以训练可以使用近似信息来执行迭代重建的CNN。我们证明了该方法的可行性,在有限的视图几何形状的人体在体测量。所提出的方法是能够产生优越的结果,全变分重建的速度提高了32倍。
2018-07-09 cs.CV cs.LG cs.SD