Learning of low-rank matrices is fundamental to many machine learning applications. A state-of-the-art algorithm is the rank-one matrix pursuit (R1MP). However, it can only be used in matrix completion problems with the square loss. In this paper, we develop a more flexible greedy algorithm for generalized low-rank models whose optimization objective can be smooth or nonsmooth, general convex or strongly convex. The proposed algorithm has low per-iteration time complexity and fast convergence rate. Experimental results show that it is much faster than the state-of-the-art, with comparable or even better prediction performance.
Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Data Science, Peking University（北京大学数据科学中心）；School of Software, Beihang University（北航软件学院）；School of Life Sciences, Peking University（北京大学生命科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
Scalable Greedy Feature Selection via Weak Submodularity
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
贪婪算法广泛用于机器学习中的问题，例如特征选择和集合函数优化。不幸的是，对于大型数据集，即使是贪婪算法的运行时间也可能相当长。这是因为对于每个贪婪步骤，我们需要使用先前选择的选项和新的候选项重新拟合模型或计算函数。最近引入了两种算法，它们是贪婪前向选择的更快近似（[Mirzasoleiman et al. 2013，2015]）。它们分别利用了分布式计算和随机评估来获得更好的性能。这两个算法都有可证明的性能保证子模函数。在本文中，我们表明，从以前持有的意见不同，子模块是不需要获得这两个算法的近似保证。具体来说，我们证明了一个广义的概念，弱子模足以给乘法近似保证。我们的结果扩展了这些算法的适用性更大的一类功能。此外，我们表明，一个有界的次模比可以用来提供数据依赖的界限，有时可以更严格的次模函数。我们通过在人工和真实数据集上显示快速贪婪近似与几个已建立的基线相比的优越性能来经验性地验证我们的工作。
矩阵分解是研究梯度下降隐式正则化的一个简单而自然的测试平台。Gunasekar et al.（2017）证明了具有无穷小初始化的梯度流收敛于最小化核范数的解，但最近的一系列论文认为范数最小化的语言不足以给出隐式正则化的完整表征。在这项工作中，我们提供了理论和经验证据，证明对于深度2矩阵分解，具有无穷小初始化的梯度流在数学上等价于一个简单的启发式秩最小化算法，贪婪低秩学习，在一些合理的假设下。这将先前工作中的秩最小化观点推广到更广泛的环境，并使我们能够构建反例来反驳Gunasekar等人的猜想。我们还将结果扩展到深度为$\ge 3$的情况，并且我们表明更深的好处是上述收敛对初始化幅度的依赖性要弱得多，因此这种秩最小化更有可能对实际规模的初始化生效。
MAP Support Detection for Greedy Sparse Signal Recovery Algorithms in Compressive Sensing
Intel Labs（英特尔实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
一个可靠的支持检测是必不可少的贪心算法从压缩和噪声测量准确地重建稀疏信号。提出了一种新的贪心算法支持度检测方法--\textit{maximum a posteriori (MAP) support detection}。不同于现有的支持检测方法，确定支持指数的幅度最大的相关值，每次迭代，所提出的方法选择他们的最大似然比计算下的真实和空的支持假设，同时利用传感矩阵，稀疏信号和噪声的分布。利用这种技术，MAP匹配追踪（MAP-MP）首次提出了利用建议的支持检测方法的优点，并推导出了一个充分条件时，稀疏信号是二进制的情况下，完美的信号恢复。随后，一组迭代的贪心算法，称为MAP-广义正交匹配追踪（MAP-gOMP），MAP-压缩采样匹配追踪（MAP-CoSaMP），和MAP-子空间追踪（MAP-SP），以证明所提出的支持检测方法现有的贪心算法的适用性。实验结果表明，所提出的贪心算法具有高可靠性的支持检测，可以更好，更快，更容易实现比通过线性规划的基追踪。
Stochastic Low-rank Tensor Bandits for Multi-dimensional Online Decision Making
Amazon（亚马逊）；Deepmind（深度思维）；Miami Herbert Business School, University of Miami（迈阿密大学迈阿密赫伯特商学院）；Krannert School of Management, Purdue University（普渡大学克兰纳特管理学院）
