Regularized Greedy Column Subset Selection
Department of Computer Systems, Universidad Politécnica de Madrid(马德里理工大学计算机系统系);Department of Applied Mathematics, Universidad Politécnica de Madrid(马德里理工大学应用数学系)
列子集选择问题为无监督的特征选择提供了一个自然的框架。尽管是一个很难的组合优化问题,但存在提供良好近似的有效算法。问题公式的缺点是它没有采用任何形式的正则化,因此在数据稀少的情况下对噪声非常敏感。在本文中,我们提出了一个正规化的制定这个问题,并推导出一个正确的贪心算法,是类似的效率,现有的贪婪方法的非正规化问题。我们研究了它的充分性特征选择,并提出了合适的配方。此外,我们推导出所提出的问题的错误的下界。通过对真实和合成数据的各种数值实验,我们证明了我们的方法的鲁棒性和稳定性显着增加,以及其输出的改进条件,同时保持有效的实际使用。
2018-04-12 cs.AI cs.LG stat.ML
Greedy Alignment Principle for Optimizer Hyperparameter Selection
Computer Vision Lab, ASRI, Seoul National University(计算机视觉实验室,ASRI,首尔国立大学)
本文提出基于梯度更新对齐的贪心原则,用于优化器选择与调参,通过数学建模证明该原则能最大化损失下降率,并在多种任务中验证动态动量规则的有效性。
2026-11-06 cs.LG stat.ML
Learning Neural Networks by Neuron Pursuit
本文研究齐次神经网络鞍点附近的梯度流演化,提出训练深度神经网络的贪心算法Neuron Pursuit,经数值实验验证其有效性。
2026-08-06 cs.LG math.OC stat.ML
Scalable Greedy Feature Selection via Weak Submodularity
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
贪婪算法广泛用于机器学习中的问题,例如特征选择和集合函数优化。不幸的是,对于大型数据集,即使是贪婪算法的运行时间也可能相当长。这是因为对于每个贪婪步骤,我们需要使用先前选择的选项和新的候选项重新拟合模型或计算函数。最近引入了两种算法,它们是贪婪前向选择的更快近似([Mirzasoleiman et al. 2013,2015])。它们分别利用了分布式计算和随机评估来获得更好的性能。这两个算法都有可证明的性能保证子模函数。在本文中,我们表明,从以前持有的意见不同,子模块是不需要获得这两个算法的近似保证。具体来说,我们证明了一个广义的概念,弱子模足以给乘法近似保证。我们的结果扩展了这些算法的适用性更大的一类功能。此外,我们表明,一个有界的次模比可以用来提供数据依赖的界限,有时可以更严格的次模函数。我们通过在人工和真实数据集上显示快速贪婪近似与几个已建立的基线相比的优越性能来经验性地验证我们的工作。
2017-03-08 cs.IT cs.LG math.IT
Efficient Greedy Coordinate Descent for Composite Problems
EPFL(洛桑联邦理工学院)
随机坐标选择的坐标下降法是解决大规模最优化问题的一种有效方法。然而,在光滑问题上贪婪地选择最陡的坐标可以产生与维度$n$无关的收敛速度,并且需要多达$n$倍的更少的迭代。本文研究了基于次梯度的贪婪更新算法在一类非光滑组合问题中的应用,包括$L1$ -正则化问题、支持向量机及其相关应用。对于这些问题,我们提供(i)的第一个线性收敛速度独立的$n$,并表明,我们的贪婪更新规则提供了类似的光滑的情况下获得的加速比。这是以前被证明是真实的一个更强的贪婪坐标选择策略。此外,我们表明,(ii)我们的新的选择规则可以映射到实例的最大内积搜索,允许利用标准的最近邻算法,以加快实施。我们通过大量的数值实验证明了该方法的有效性。
2018-10-16 cs.LG math.OC stat.CO
Learning of Generalized Low-Rank Models: A Greedy Approach
Hong Kong University of Science and Technology(香港科技大学)
本文提出一种灵活的贪心算法,用于解决通用低秩模型的优化问题,支持平滑或非平滑、一般凸或强凸目标,具有低时间复杂度和快收敛速度,实验显示其速度优于现有方法,预测性能相当或更优。
2016-07-27 cs.LG cs.NA math.NA
Variance-Preserving Orthogonal Selection (VPOS): Greedy Feature Selection via Orthogonal Deflation in PCA Loading Space
Sabanci University(萨班哲大学)
该研究提出无监督特征选择贪婪框架VPOS,在加权PCA加载空间运行,每次选后通过零空间收缩投影方差方向,用可重复规则选超参数d,在八个基准测试中实现低重建MSE且速度快,证明收缩能降MSE。
2026-08-07 cs.LG
Multi-Objective Genetic Programming Projection Pursuit for Exploratory Data Modeling
对于分类问题,特征提取是一个关键的过程,其目的是找到一个合适的数据表示,提高机器学习算法的性能。根据维数灾难定理,分类任务所需的样本数量随着维度(变量,特征)数量的增加而呈指数级增加。另一方面,收集、存储和处理数据的成本很高。此外,不相关和冗余的特征可能会阻碍分类器的性能。在探索性分析设置中,高维度阻止用户可视化地探索数据。特征提取是一个两步过程:特征构造和特征选择。特征构造是在原始特征的基础上创建新的特征,而特征选择是选择最佳特征的过程,如过滤器、包装器和嵌入方法。在这项工作中,我们专注于功能的建设方法,旨在减少数据的可视化任务的维数。人们提出了各种线性(如主成分分析(PCA)、多判别分析(MDA)、探索性投影寻踪)和非线性(如多维尺度(MDS)、流形学习、核PCA/LDA、进化构造性归纳)技术来进行降维。我们的算法是一个自适应的特征提取方法,其中包括进化的建设性归纳的特征建设和混合过滤器/包装方法的特征选择。
2010-10-10 cs.LG cs.NE
On Solving the 2-Dimensional Greedy Shooter Problem for UAVs
University of Minnesota Twin Cities(明尼苏达大学双城分校);St. Mark’s School of Texas(德克萨斯州圣马可学校)
无人机(UAV)是一种自动制导的飞行器,广泛用于监视和侦察任务。近年来,由于人工智能的许多突破,围绕无人机及其变体的追捕-逃避问题的一个版本已经得到了广泛的研究。提出了一种基于强化学习(RL)的无人机二维空中交战环境下的追逃方法,RL是一种面向目标的机器学习方法。在这项工作中,使用贪婪射手策略的无人机与使用深度Q学习技术训练的无人机进行了互动。仿真结果表明,在初始化过程中无人机充分分离的情况下,后一种无人机赢得了每次交战。这种方法强调了强化学习的详尽和强大的应用,以追求规避,提供洞察无人机飞行和互动的有效策略。
2019-11-02 cs.LG cs.RO stat.ML
MAP Support Detection for Greedy Sparse Signal Recovery Algorithms in Compressive Sensing
Intel Labs(英特尔实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校)
一个可靠的支持检测是必不可少的贪心算法从压缩和噪声测量准确地重建稀疏信号。提出了一种新的贪心算法支持度检测方法--\textit{maximum a posteriori (MAP) support detection}。不同于现有的支持检测方法,确定支持指数的幅度最大的相关值,每次迭代,所提出的方法选择他们的最大似然比计算下的真实和空的支持假设,同时利用传感矩阵,稀疏信号和噪声的分布。利用这种技术,MAP匹配追踪(MAP-MP)首次提出了利用建议的支持检测方法的优点,并推导出了一个充分条件时,稀疏信号是二进制的情况下,完美的信号恢复。随后,一组迭代的贪心算法,称为MAP-广义正交匹配追踪(MAP-gOMP),MAP-压缩采样匹配追踪(MAP-CoSaMP),和MAP-子空间追踪(MAP-SP),以证明所提出的支持检测方法现有的贪心算法的适用性。实验结果表明,所提出的贪心算法具有高可靠性的支持检测,可以更好,更快,更容易实现比通过线性规划的基追踪。
2016-01-28 cs.IT cs.LG math.IT
Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective
稀疏子空间聚类(SSC)使用基于贪婪的邻居选择,如匹配追踪(MP)和正交匹配追踪(OMP),已被称为是一种流行的计算效率高的替代传统的基于L1最小化的方法。在确定性有界噪声腐败,在本文中,我们推导出基于相干性的充分条件,保证正确的邻居识别使用MP/OMP。我们的分析利用了两个噪声数据点之间的最大/最小内积受到一个已知的上限的噪声水平。所得到的充分条件清楚地揭示了噪声对基于贪婪的邻居恢复的影响。具体地说,它断言,只要噪声足够小,使得所得到的扰动残差向量保持接近所需的子空间,MP和OMP都成功地返回正确的邻居子集。一个惊人的发现是,当地面真值子空间彼此分离并且噪声不大时,基于MP的迭代在享受较低算法复杂度的同时,产生较小的残差扰动,从而能够更好地识别正确的邻居,进而实现更高的全局数据聚类精度。大量的数值实验被用来证实我们的理论研究。
2020-02-02 cs.LG stat.ML
MaxEntropy Pursuit Variational Inference
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);National Research University Higher School of Economics(国立研究型高等经济学院);Samsung AI Center(三星人工智能中心)
变分推理的核心问题之一是近似后验分布的选择。这是至关重要的,以简单的家庭作为平均场模型的有效推理和推理的准确性之间的权衡。我们提出了一个变量的贪婪近似的后验分布与易处理的基础学习。利用最大熵方法,我们得到了一个定义良好的优化问题。我们证明了该方法通过神经网络的持续学习设置来捕获复杂的多模态后验的能力。
2019-05-20 cs.LG stat.ML
Revisiting Matching Pursuit: Beyond Approximate Submodularity
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Delft University of Technology(代尔夫特理工大学);EURECOM(欧洲通信学院)
本文重新审视向量选择问题,提出一个期望子模函数,通过贪心算法保证近最优性并改进匹配追踪算法,实验验证了其在到达角估计中的优势。
2023-05-12 cs.LG eess.SP
Isometry pursuit
Amazon(亚马逊);Department of Statistics University of Washington(华盛顿大学统计系)
提出等距追踪算法,通过新颖的归一化方法和多任务基追踪识别宽矩阵中的正交列子矩阵,用于从可解释字典中发现等距嵌入。
2026-05-27 cs.AI cs.IR cs.LG
DeepMP for Non-Negative Sparse Decomposition
Institute for Digital Communications, the University of Edinburgh(爱丁堡大学数字通信研究所)
非负信号是一类重要的稀疏信号。许多算法已经被提出来恢复这样的非负表示,其中贪婪和凸松弛算法是最流行的方法。贪婪技术是低计算成本的算法,它也被修改为包含表示的非负性。一个这样的修改已经提出了基于匹配追踪(MP)的算法,它首先选择正系数,并使用非负优化技术,保证非负的系数。贪婪算法的性能,像所有的非穷举搜索方法,遭受与线性生成模型,称为字典的高度一致性。在这里,我们首先以深度神经网络的形式重新制定非负匹配追踪算法。然后,我们表明,训练后的模型产生了显着的改善,在准确的恢复性能相比,其他未经训练的贪婪算法,同时保持低的复杂性。
2020-07-28 cs.LG eess.SP stat.ML
Learned Greedy Method (LGM): A Novel Neural Architecture for Sparse Coding and Beyond
The Computer Science Department - The Technion - Israel(以色列理工学院计算机科学系)
信号和图像处理领域受到深度神经网络的深刻影响。这些都成功地部署在广泛的现实世界的应用,获得最先进的结果,并超越了众所周知的和完善的经典方法。尽管它们取得了令人印象深刻的成功,但许多神经网络中使用的架构并没有明确的理由。因此,这些通常被视为“黑盒”机器,缺乏任何类型的可解释性。针对这一缺点的建设性补救措施是通过展开众所周知的迭代算法来系统地设计此类网络。这种方法的一个流行的代表是迭代收缩保持算法(ISTA)及其学习版本- LISTA,旨在处理信号的稀疏表示。在本文中,我们重新审视这个稀疏编码任务,并提出了一个展开版本的贪婪追求算法为同一目标。更具体地说,我们专注于著名的搜索匹配追踪(OMP)算法,并介绍其展开和学习的版本。我们的学习贪婪方法(LGM)的主要特点是能够容纳动态数量的展开层,和基于表示错误的停止机制,两者都适应于输入。我们开发了几个变种的建议LGM架构和测试他们中的一些在各种实验中,展示了他们的灵活性和效率。
2020-10-20 cs.LG eess.SP stat.ML
Adaptive matching pursuit for sparse signal recovery
The Pennsylvania State University(宾夕法尼亚州立大学)
Spike和Slab先验作为贝叶斯推理中引入稀疏性的一种手段,最近在信号处理中引起了很大的兴趣。受益于这些先验知识的应用领域包括稀疏恢复、回归和分类。众所周知,求解稀疏系数向量以最大化这些先验会导致硬非凸混合整数规划问题。这个优化问题的大多数现有解决方案要么涉及简化假设/松弛,要么计算昂贵。我们提出了一种新的贪婪自适应匹配追踪(AMP)算法来直接解决这个难题。本质上,在算法的每一步中,活动元素的集合将通过添加或删除一个索引来更新,无论哪一个都会导致更好的改进。此外,该算法的中间步骤通过廉价的Cholesky分解计算,这使得算法更快。模拟数据集以及现实世界的图像恢复挑战的结果证实了所提出的AMP的好处,特别是在提供优于现有替代品的成本质量权衡。
2016-09-12 cs.LG stat.ML
Dictionary Learning with Equiprobable Matching Pursuit
EISLAB, Luleå University of Technology, Sweden(埃斯实验室,吕勒奥理工大学,瑞典);SKF–LTU University Technology Center and EISLAB, Luleå University of Technology, Sweden(斯凯孚-吕勒奥理工大学技术中心及埃斯实验室,吕勒奥理工大学,瑞典);Luleå University of Technology, Sweden(吕勒奥理工大学,瑞典);EISLAB, Luleå University of Technology(埃斯实验室,吕勒奥理工大学);SKF–LTU University Technology Center and EISLAB, Luleå University of Technology(斯凯孚-吕勒奥理工大学技术中心及埃斯实验室,吕勒奥理工大学);Luleå University of Technology(吕勒奥理工大学)
基于学习原子的线性组合的稀疏信号表示已被用于在几个实际信号处理应用中获得最先进的结果。近似方法需要以这种方式处理高维信号,因为计算稀疏编码的最佳原子的问题是NP难的。在这里,我们研究了贪婪算法的无监督学习字典的移位不变的原子,并提出了一种新的方法,其中每个原子被选中的平均概率相同,这对应于一个经常性的卷积神经网络的稳态调节。等概率选择可以与几种贪心算法一起用于字典学习,以确保所有原子在训练期间适应,并且平均而言没有特定原子更有可能参与线性组合。我们通过模拟实验证明,字典学习等概率选择结果在较高的熵的稀疏表示和较低的重建和去噪误差,无论是在普通的匹配追求和正交匹配追求的情况下,与移位不变的字典。此外,我们表明,计算成本的匹配追求是较低的等概率选择,从而更快,更准确的字典学习算法。
2016-11-28 cs.LG
A Fast Greedy Algorithm for Generalized Column Subset Selection
University of Waterloo(滑铁卢大学)
本文定义了一个广义列子集选择问题,它涉及从源矩阵A中选择最接近目标矩阵B的跨度的列。然后,本文提出了一种快速的贪心算法来解决这个问题,并绘制连接到不同的问题,可以有效地解决使用所提出的算法。
2013-12-24 cs.DS cs.LG stat.ML
Fast greedy algorithms for dictionary selection with generalized sparsity constraints
Graduate School of Information Sciences and Technology(信息科学技术研究生院);The University of Tokyo(东京大学)
在字典选择中,从有限的候选中选择几个原子,这些原子成功地近似稀疏表示中的给定数据点。我们提出了一种新的有效的贪心算法的字典选择。我们的算法不仅工作速度比已知的方法,但它也可以处理更复杂的稀疏约束,如平均稀疏。使用数值实验,我们表明,我们的算法优于已知的方法的字典选择,实现竞争力的表现与字典学习算法在一个较小的运行时间。
2018-09-07 cs.DS cs.LG stat.ML
Two-way Spectrum Pursuit for CUR Decomposition and Its Application in Joint Column/Row Subset Selection
University of Central Florida(中佛罗里达大学)
本文讨论了行和列同时选择子集的问题。矩阵的列空间和行空间分别由其左奇异向量和右奇异向量张成。然而,奇异向量不在矩阵的实际列/行内。在本文中,提出了一种迭代的方法,通过选择一个子集的实际列/行捕获的列/行的最结构化的信息。这种算法被称为双向谱追踪(TWSP),它为我们提供了一个准确的解决方案的CUR矩阵分解。由于TWSP算法具有线性复杂度,因此它具有广泛的应用前景。原始列/行的数量。我们展示了应用TWSP联合信道和传感器选择在认知无线电网络,信息用户和内容检测,有效的监督数据减少。
2021-06-13 cs.LG
Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection
the University of Texas, Austin(得克萨斯大学奥斯汀分校);the University of Chicago(芝加哥大学);Google Research(谷歌研究院)
最近的实证研究表明,大型深度神经网络通常是高度冗余的,人们可以找到更小的子网络,而不会显着降低准确性。然而,大多数现有的网络修剪方法都是经验和启发式的,这使得是否存在好的子网络,如何有效地找到它们,以及网络修剪是否可以证明优于使用梯度下降的直接训练。我们积极回答这些问题,提出了一个简单的贪婪的选择方法,找到好的子网络,从一个空的网络和greenerous添加重要的神经元从大的网络。这与现有的基于向后消除的方法不同,后者从大型网络中删除冗余神经元。从理论上讲,在足够大的{预训练}网络上应用贪婪选择策略可以保证找到比直接用梯度下降训练的网络损失更低的小子网。我们的结果也适用于修剪随机加权网络。实际上,我们改进了现有的网络修剪技术,在ImageNet上学习紧凑的神经架构,包括ResNet,MobilenetV 2/V3和ProxylessNet。我们在MobileNet上的理论和实证结果表明,我们应该微调修剪的子网,以利用来自大型模型的信息,而不是像\citet{liu2018rethinking}中建议的那样从新的随机初始化重新训练。
2020-10-19 cs.LG stat.ML
Active Orthogonal Matching Pursuit for Sparse Subspace Clustering
Tsinghua University(清华大学)
稀疏子空间聚类(SSC)是一种对低维子空间中的高维数据点进行聚类的方法。然而,虽然基于$\ell_1$优化的SSC算法遭受高计算复杂性,但是SSC的其他变体,诸如基于正交匹配追踪的SSC(OMP-SSC),在追求提高时间效率时损失聚类准确性。在这封信中,我们提出了一种新的主动OMP-SSC,它提高了OMP-SSC的聚类精度,通过自适应更新数据点和随机丢弃的数据点在OMP过程中,同时仍然享受低计算复杂性的贪婪追求算法。我们提供启发式分析我们的方法,并解释这两个积极的步骤如何实现更好的连接和分离之间的权衡。对合成数据和实际数据的数值结果验证了我们的分析,并显示了所提出的主动算法的优点。
2017-08-16 cs.CV cs.IT cs.LG
Greedy methods, randomization approaches and multi-arm bandit algorithms for efficient sparsity-constrained optimization
University of Rouen(鲁昂大学);LITIS Lab(LITIS实验室);Aix-Marseille University(艾克斯-马赛大学);LIF(LIF实验室)
一些稀疏约束算法,如正交匹配追踪或具有稀疏约束的Frank-Wolfe算法,通过迭代地选择一个新的原子添加到当前非零变量集来工作。该选择步骤通常通过计算梯度,然后通过寻找具有最大绝对条目的梯度分量来执行。这一步可能是计算昂贵的,特别是对于大规模和高维数据。在这项工作中,我们的目标是加速这些稀疏约束优化算法,利用关键的观察,这些算法的工作,只需要梯度的顶部条目的坐标。因此,我们引入基于贪婪方法和随机化方法的算法,旨在廉价地估计梯度及其顶部条目。我们的另一个贡献是投的问题,找到最好的梯度条目作为一个最好的手臂识别多臂强盗问题。由于这种新颖的见解,我们能够提供一种基于Bandit的算法,以非常有效的方式直接估计顶部条目。理论观察指出,由此产生的不精确的弗兰克-沃尔夫或正交匹配追踪算法的行为,具有很高的概率,类似于他们的确切版本也给出了。我们已经进行了几个实验表明,贪婪的确定性和土匪的方法,我们提出可以实现一个数量级的加速,同时作为有效的精确梯度时,使用的算法,如OMP,弗兰克-沃尔夫或CoSaMP。
2016-08-22 cs.LG
SLS (Single $\ell_1$ Selection): a new greedy algorithm with an $\ell_1$-norm selection rule
École Centrale de Nantes(南特中央理工学院);CNRS(法国国家科学研究中心)
本文提出了一种新的用于稀疏逼近的贪婪算法--单L_1选择SLS算法。SLS本质上由一个贪婪的前向策略组成,其中在每次迭代中新组件的选择规则是基于解决最小二乘最优化问题,由剩余变量的L_1范数惩罚。然后,选择具有最大幅度的分量。对含有高相关字典的稀疏反卷积问题的仿真结果表明,该方法在解稀疏的情况下,性能优于常用的贪婪算法和基追踪去噪算法。
2021-02-11 cs.LG math.OC stat.CO
Bayesian Coreset Construction via Greedy Iterative Geodesic Ascent
Massachusetts Institute of Technology(麻省理工学院)
一致性不确定性量化是贝叶斯方法的一个关键优势。但现代近似贝叶斯后验推理算法往往牺牲准确的后验不确定性估计的可扩展性的追求。这项工作表明,以前的贝叶斯核心集构建算法-构建一个小的,加权的数据子集,近似于完整的数据集-也不例外。我们证明,这些算法规模的coreset对数似然次优,导致低估后验不确定性。为了解决这个缺点,我们开发了贪婪迭代测地线上升(GIGA),贝叶斯coreset建设的规模coreset对数似然优化的一种新算法。GIGA提供了几何衰减后验近似误差作为coreset大小的函数,并保持其前任的快速运行时间。本文的结论与GIGA的合成和真实数据集上的验证,表明它减少了后验近似误差的数量级相比,以前的coreset建设。
2018-05-28 cs.LG stat.CO stat.ML
Influential Language Data Selection via Gradient Trajectory Pursuit
Google DeepMind(谷歌DeepMind)
本文提出梯度轨迹追踪(GTP)算法,通过L0正则化目标联合选择数据点,实现自动去重和高效压缩采样,在指令微调中仅用0.5%数据即可达到完整性能。
2024-10-22 cs.AI cs.CL cs.LG
Probably Approximately Correct Greedy Maximization with Efficient Bounds on Information Gain for Sensor Selection
University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学);University of Liverpool(利物浦大学)
子模函数最大化在各种现实世界的决策问题中找到了应用。然而,大多数现有的方法,基于贪婪的最大化,假设它是计算上可行的评估F,被最大化的功能。不幸的是,在许多现实的设置中,F太昂贵了,甚至一次都不能精确计算。我们提出了可能近似正确的贪婪最大化,它只需要访问廉价的任何时候F的置信区间,并使用它们来修剪元素。我们表明,以高概率,我们的方法返回一个近似最优的集合。我们提出了新的,廉价的条件熵,这出现在许多常见的选择F和它是很难找到无偏或有界估计的置信区间。最后,在一个购物中心的多摄像机跟踪系统的真实世界的数据集上的结果表明,我们的方法执行现有的方法,但在一小部分的计算成本。
2020-08-10 cs.AI cs.LG stat.ML
Step-Size Decay and Structural Stagnation in Greedy Sparse Learning
Departamento de Matemáticas, CUNEF Universidad Madrid, Spain(数学系,CUNEF大学,马德里,西班牙)
本文从稀疏学习角度研究了贪心算法中步长衰减对结构停滞的影响,推导了残差范数下界并验证了特征相干性的作用。
2026-03-08 cs.LG cs.NA math.NA
Modified Hard Thresholding Pursuit with Regularization Assisted Support Identification
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
硬阈值追踪(HTP)是最近提出的一种迭代稀疏恢复算法,它是将迭代硬阈值(IHT)的支持度选择步骤和正交匹配追踪(OMP)的估计步骤相结合的结果。HTP已被视为享有改善的恢复保证以及增强的收敛速度。HTP的成功很大程度上归功于其改进的支持选择能力,这是由于IHT的支持选择步骤。在本文中,我们提出了一种广义HTP算法,称为正则化HTP(RHTP),HTP的支持选择步骤被替换为IHT型支持选择,其中成本函数被替换为正则化成本函数,而估计步骤继续使用最小二乘函数。与可分解的正则化,满足一定的规律性条件下,RHTP算法产生一个序列动态等价于一个序列不断发展,根据HTTP样的演变,其中的识别阶段有一个梯度premultiplied与时变对角矩阵。RHTP也被证明,无论是在理论上,和数值上,享受更快的收敛速度与无噪声和噪声测量矢量的HTP。
2020-06-02 cs.IT cs.LG cs.NA
Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization
Seoul National University(首尔大学);Neural Processing Research Center(神经处理研究中心);New York University(纽约大学);Genentech(基因泰克公司)
针对昂贵多目标组合优化中批次采集得分优化难、现有贪心方法无法并行的问题,提出一种可并行训练的贪心策略式子集选择算法,在红色荧光蛋白设计任务中以更少查询达到基线性能。
2024-06-21 cs.AI cs.LG
Greedy Shapley Client Selection for Communication-Efficient Federated Learning
IIT Bombay(印度理工学院孟买分校);Aalborg University(奥尔堡大学)
针对联邦学习中客户端异质性导致收敛慢的问题,提出基于Shapley值快速近似的贪心客户端选择策略GreedyFed,在通信轮次受限下实现快速稳定收敛和高精度。
2024-02-07 cs.DC cs.LG
Greedy and Transformer-Based Multi-Port Selection for Slow Fluid Antenna Multiple Access
University of A Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心);Defense University Center at the Spanish Naval Academy(西班牙海军学院国防大学中心);University of Granada(格拉纳达大学);Research Centre for Information and Communication Technologies (CITIC-UGR)(信息与通信技术研究中心(CITIC-UGR))
本文提出两种策略:贪心前向选择与基于Transformer的神经网络,提升流体天线多址接入的频谱效率。
2026-04-06 cs.AI cs.LG
An Improved Greedy Algorithm for Subset Selection in Linear Estimation
University of Waterloo(滑铁卢大学);Delft University of Technology(代尔夫特理工大学)
在本文中,我们考虑一个空间域中的子集选择问题,我们试图找到一组k个位置,其观测提供了在有限集的预测位置的字段值的最佳估计。可以在连续场中的任何位置进行测量,并且在不同点处的场值之间的协方差由广泛使用的平方指数协方差函数给出。一种用于观测选择的方法是执行空间的网格离散化并且使用贪婪算法获得近似解。解的质量随着网格分辨率的提高而提高,但代价是增加了计算量。我们提出了一种方法,以减少计算复杂性,或相反,以提高解决方案的质量,通过考虑搜索空间的预测位置和质心的预测位置形成的集团的贪婪算法。我们证明了我们所提出的方法在仿真中的有效性,无论是在解决方案的质量和运行时间。
2022-03-30 cs.LG math.OC
Greedy Modality Selection via Approximate Submodular Maximization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
多模态学习考虑从多模态数据中学习,旨在融合异构信息源。然而,由于内存限制,利用所有可用的模态并不总是可行的。此外,当数据内存在冗余信息(诸如提供类似性能的模态的不同子集)时,对所有模态的训练可能是低效的。鉴于这些挑战,我们研究模态选择,旨在有效地选择最丰富的和互补的方式在一定的计算限制。我们制定了一个理论框架,优化多模态学习中的模态选择,并引入了一个实用的措施来量化选择模态的好处。对于这个优化问题,我们提出了有效的算法时,效用测度表现出单调性和近似子模块。我们还将效用度量与现有的基于Shapley值的特征重要性得分相连接。最后,我们证明了我们的算法在合成(补丁-MNIST)和两个真实世界(PEMS-SF,CMU-MOSI)数据集上的有效性。
2022-10-22 cs.LG
Near-Optimal Data Source Selection for Bayesian Learning
University of Notre Dame(圣母大学);University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学)
我们研究贝叶斯学习中的一个基本问题,其目标是选择一组具有最小成本的数据源,同时根据所选数据源提供的数据流实现一定的学习性能。首先,我们证明了贝叶斯学习的数据源选择问题是NP难的。然后,我们表明,数据源选择问题可以转化为文献中研究的子模集覆盖问题的一个实例,并提供了一个标准的贪心算法来解决数据源选择问题,可证明的性能保证。接下来,我们提出了一个快速的贪心算法,提高了标准的贪心算法的运行时间,同时实现性能保证,是那些标准的贪心算法。快速贪心算法也可用于求解一般的子模集覆盖问题,并保证了算法的性能。最后,我们用数值例子验证了理论结果,并表明了贪心算法在实际中是有效的。
2021-05-02 cs.CC cs.IT cs.LG
Greedy Column Subset Selection for Large-scale Data Sets
University of Waterloo(滑铁卢大学)
在当今的信息系统中,大量数据的可用性需要开发快速准确的算法来汇总这些数据并以简洁的格式表示它们。大数据分析中的一个关键问题是从大型和分布式数据中选择代表性实例,这在形式上被称为列子集选择(CSS)问题。这个问题的解决方案使数据分析师能够理解数据的洞察力并探索其隐藏的结构。所选择的实例还可以用于数据预处理任务,例如学习数据点的低维嵌入或计算对应矩阵的低秩近似。提出了一种快速、准确的大规模列子集选择贪心算法。该算法最小化目标函数,该目标函数基于所选列的子集来测量数据矩阵的重构误差。首先提出了一种集中式贪心算法来选择列子集,该算法依赖于一种新的计算数据矩阵重构误差的递推公式。然后,本文提出了一种MapReduce算法,该算法从一个矩阵中选择一些有代表性的列,该矩阵的列大量分布在几个商品机器上。该算法首先使用随机投影学习所有列的简明表示,然后在每个机器上解决广义列子集选择问题,其中从该机器上的子矩阵中选择列的子集,使得简明表示的重建误差最小化。本文通过对基准数据集的实证评估,证明了该算法的有效性和效率。
2013-12-24 cs.DS cs.LG
Aligning the Query Space: Greedy Information Projection for Language Model Data Selection
本文提出贪心信息投影框架,通过最大化子集与任务查询信号的互信息,平衡质量与多样性,高效选择数据集进行微调。
2026-10-06 cs.CL cs.LG