We consider a class of sparsity-inducing regularization terms based on submodular functions. While previous work has focused on non-decreasing functions, we explore symmetric submodular functions and their \lova extensions. We show that the Lovasz extension may be seen as the convex envelope of a function that depends on level sets (i.e., the set of indices whose corresponding components of the underlying predictor are greater than a given constant): this leads to a class of convex structured regularization terms that impose prior knowledge on the level sets, and not only on the supports of the underlying predictors. We provide a unified set of optimization algorithms, such as proximal operators, and theoretical guarantees (allowed level sets and recovery conditions). By selecting specific submodular functions, we give a new interpretation to known norms, such as the total variation; we also define new norms, in particular ones that are based on order statistics with application to clustering and outlier detection, and on noisy cuts in graphs with application to change point detection in the presence of outliers.
Quick Streaming Algorithms for Maximization of Monotone Submodular Functions in Linear Time
Florida State University（佛罗里达州立大学）
考虑基数约束$k$下基集大小为$n$的单调次模极大化问题.对于这个问题，我们介绍了第一个确定性算法的线性时间复杂度，这些算法是流算法。对于任何$c \ge 1$，我们的单遍算法在$\lceil n / c \rceil + c$ Oracle查询中获得恒定的比率。此外，我们提出了一个确定性的，多遍流算法，通过一个恒定的数量，达到接近线性查询和时间复杂度的最佳比例。我们证明了一个下界，这意味着没有常数因子近似存在使用$o(n)$查询，即使查询不可行集是允许的。实证分析表明，我们的算法需要更少的查询（通常大大低于$n$），但仍然实现更好的客观价值比目前的国家的最先进的算法，包括单通，多通，和非流算法。
Scalable Combinatorial Bayesian Optimization with Tractable Statistical models
Washington State University（华盛顿州立大学）
我们研究了在组合空间上优化昂贵的黑盒函数的问题（例如，集合、序列、树和图）。BOCS（Baptista和Poloczek，2018）是一种用于易处理统计模型的最先进的贝叶斯优化方法，它执行基于半定规划的获取函数优化（AFO）来选择下一个结构进行评估。不幸的是，BOCS规模不佳，大量的二进制和/或分类变量。基于求解二次规划的子模块松弛（Ito and Fujimaki，2016）的最新进展，我们研究了一种称为参数化子模块松弛（PSR）的方法，以提高求解BOCS模型AFO问题的可扩展性和准确性。PSR方法依赖于两个关键思想。首先，将AFO问题转化为带未知参数的次模松弛问题，利用最小图割算法可以有效地求解该问题。第二，构造一个优化问题来估计与真实目标非常接近的未知参数。在不同的基准问题上的实验表明，PSR对BOCS模型有显著的改进。源代码可在https://github.com/aryandeshwal/Submodular_Relaxation_BOCS上获得。
Approximability of Monotone Submodular Function Maximization under Cardinality and Matroid Constraints in the Streaming Model
CNRS, DI ENS, PSL（法国国家科学研究中心、巴黎高等师范学院计算机科学系、巴黎文理研究大学）；Keio University（庆应义塾大学）；Université de Paris, IRIF, CNRS（巴黎大学、法国国家科学研究中心信息基础与交互研究所）；National Institute of Informatics（国立信息学研究所）
