Revisiting Decomposable Submodular Function Minimization with Incidence Relations
UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们介绍了一种新的方法，可分解的子模函数最小化（DSFM），利用关联关系。关联关系描述了哪些变量有效地影响分量函数，并且当正确使用时，它们可以提高DSFM求解器的收敛速度。我们的主要成果包括精确的参数化的DSFM问题的基础上的发病率关系，新的可扩展的替代投影和并行坐标下降方法的发展和随之而来的严格分析其收敛速度。
2018-09-24 cs.CV cs.DM cs.LG
A Unified Approach for Maximizing Continuous DR-submodular Functions
Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
本文提出一种统一的Frank-Wolfe型方法最大化连续DR-次模函数，覆盖单调/非单调、梯度/函数值、确定性/随机预言机等设置，在16种情况中9种取得新或改进结果，并首次给出随机函数值预言机下的赌博机反馈遗憾界。
2024-01-12 cs.AI cs.CC cs.LG
Quadratic Decomposable Submodular Function Minimization: Theory and Practice (Computation and Analysis of PageRank over Hypergraphs)
Purdue University（普渡大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们引入了一个新的凸优化问题，称为二次可分解子模块函数最小化（QDSFM），它允许模拟一些学习任务的图形和超图。该问题与可分解次模函数最小化（DSFM）有着密切的联系，但解决起来更具挑战性。我们通过一个新的对偶策略来解决这个问题，并制定了一个目标，可以通过一些双环算法进行优化。外循环使用随机坐标下降（RCD）或替代投影（AP）方法，我们证明这两种方法的线性收敛速度。内循环通过修改的最小范数点或Frank-Wolfe算法计算子模函数的基多面体生成的锥上的投影。我们还描述了两个新的应用QDSFM：超图适应PageRank和半监督学习。所提出的基于超图的PageRank算法可用于局部超图划分，并具有可证明的性能保证。对于超图适应的半监督学习，我们提供了数值实验，证明了我们的QDSFM求解器的效率和预测精度的显着改善时，与国家的最先进的方法。
2020-10-26 cs.DS cs.LG cs.SI
Communication-Efficient Decentralized Online Continuous DR-Submodular Maximization
City University of Hong Kong（香港城市大学）；Cainiao Network（菜鸟网络）
最大化单调子模函数是机器学习、经济学和统计学中的一项基本任务。在本文中，我们提出了两个通信有效的分散在线算法的单调连续DR-子模最大化问题，这两个减少每功能梯度评估的数量和每轮通信复杂性从$T^{3/2}$到$1$。第一个是单次分散元Frank-Wolfe（Mono-DMFW），实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。据我们所知，这是第一个用于单调连续DR子模最大化的一次性无投影分散在线算法。其次，受非遗忘提升函数\citep{zhang2022boosting}的启发，提出了分散在线提升梯度上升（DOBGA）算法，该算法实现了$O(\sqrt{T})$的$(1-1/e)$ -遗憾。据我们所知，这是第一个结果，以获得最佳的$O(\sqrt{T})$对$(1-1/e)$ -近似，只有一个梯度查询每个局部目标函数的每一步。最后，各种实验结果证实了所提出的方法的有效性。
2022-08-18 cs.LG math.OC
Submodular Minimax Optimization: Finding Effective Sets
University of Haifa（海法大学）；ASAPP（ASAPP公司）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本文提出子模块极小极大优化框架，刻画在组合环境下寻找对任意响应均有效的集合的条件，并应用于提示工程、拼车和对抗样本等任务，实验显示算法一致优于基线。
2023-05-26 cs.DM cs.LG math.OC
Deletion-Robust Submodular Maximization at Scale
Yale University（耶鲁大学）；Google Research（谷歌研究院）
我们能否有效地从用户生成的大型数据集中提取有用的信息，同时保护用户的隐私和/或确保表示的公平性？我们把这个问题作为一个删除鲁棒子模块最大化的实例，其中部分数据可能会被删除，由于隐私问题或公平标准。我们提出了第一个内存高效的集中式，流式和分布式方法，具有恒定因子近似保证，可以防止任何数量的对抗性删除。我们广泛地评估了我们的算法对现有技术在现实世界中的应用，包括（i）位置隐私约束的Uber拾取位置;（ii）收入预测和犯罪率预测的公平约束的特征选择;（iii）对人口普查数据的删除摘要具有鲁棒性，由2，458，285个特征向量组成。
2017-11-21 cs.DS cs.LG
Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）；Sun Yat-sen University（中山大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文针对多智能体子模协调在线学习问题，提出 MA-OSMA 和无投影的 MA-OSEA 算法，通过多线性扩展、共识技术与代理梯度实现近最优遗憾界，显著提升近似比并降低通信与计算开销。
2025-02-07 cs.LG cs.MA math.OC
$k$-Submodular Interdiction Problems under Distributional Risk-Receptiveness and Robustness: Application to Machine Learning
Virginia Tech（弗吉尼亚理工大学）
本研究提出分布鲁棒和分布风险接受的$k$-子模阻断问题，用于对抗性机器学习中的特征选择，通过有限收敛算法求解攻击-防御博弈，提供期望值的置信区间范围。
2025-06-18 cs.LG math.OC
Online Continuous DR-Submodular Maximization with Long-Term Budget Constraints
University of Washington（华盛顿大学）
在本文中，我们研究了一类具有长期预算约束的在线优化问题，其中目标函数不一定是凹的（也不一定是凸的），但它们满足递减收益（DR）性质。具体地，单调DR-子模块目标函数$\{f_t(x)\}_{t=1}^T$和单调线性预算函数$\{\langle p_t,x \rangle \}_{t=1}^T$的序列随时间到达，并且假设总目标预算$B_T$，目标是在每个时间$t\in\{1,\dots,T\}$选择点$x_t$，而不知道该步骤上的$f_t$和$p_t$，以实现次线性遗憾界限，同时总预算违反$\sum_{t=1}^T \langle p_t,x_t \rangle -B_T$也是次线性的。先前的工作表明，实现次线性后悔是不可能的，如果预算功能选择相反。因此，我们修改的概念，遗憾的代理人对$(1-\frac{1}{e})$ -近似的最佳固定的决定，在事后，满足预算约束成比例的任何窗口长度$W$。我们提出了在线鞍点混合梯度（OSPHG）算法来解决这类在线问题。对于$W=T$，我们恢复了上述不可能结果。然而，当$W=o(T)$，我们表明，它是可能的，以获得次线性界限为$(1-\frac{1}{e})$ -遗憾和总预算违反。
2019-06-30 cs.LG math.OC stat.ML
Improved Approximate Regret for Decentralized Online Continuous Submodular Maximization via Reductions
School of Software Technology, Zhejiang University, Ningbo, China（浙江大学宁波校区软件学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China（浙江大学区块链与数据安全国家重点实验室）；School of Artificial Intelligence, Nanjing University, Nanjing, China（南京大学人工智能学院）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系）
本文通过将去中心化在线连续亚模函数最大化问题转化为去中心化在线凸优化问题，改进了去中心化在线连续亚模函数最大化问题的近似懊悔界。
2026-02-10 cs.LG
Bandit Multi-linear DR-Submodular Maximization and Its Applications on Adversarial Submodular Bandits
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）；Fuzhou University（福州大学）
本文研究了单调多线性DR-次模函数的在线Bandit学习，提出算法$\mathtt{BanditMLSM}$，并首次为带划分拟阵约束的次模Bandit问题给出次线性regret算法，改进了相关问题的现有regret界。
2023-05-21 cs.AI cs.LG
Decentralized Projection-free Online Upper-Linearizable Optimization with Applications to DR-Submodular Optimization
Purdue University（普渡大学）；Mila - Quebec AI Institute/McGill University（魁北克AI研究所/麦吉尔大学）
本文提出了一种去中心化投影自由优化框架，用于解决DR-子模优化问题，并在不同反馈模型下实现了高效的算法性能。
2026-10-01 cs.CC cs.LG math.OC
Adversarial Resilience of Poisson-Process Submodular Maximization over Matroids, and Full-Bandit Learning
Purdue University（普渡大学）
该研究针对拟阵约束的子模最大化问题，证明了SGS-Poisson算法的对抗鲁棒性，并将其归约得到具有特定近似-遗憾因子的全臂赌博机CMAB算法。
2026-09-09 cs.AI cs.CC cs.LG
Discrete Adversarial Attacks and Submodular Optimization with Applications to Text Classification
UT Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Amazon（亚马逊）
对抗样本是对输入的精心构造的修改，完全改变了分类器的输出，但人类无法察觉。尽管对连续数据（如图像和音频样本）进行了这些成功的攻击，但事实证明，为文本等离散结构生成对抗性示例更具挑战性。在本文中，我们将对集合函数进行离散输入的攻击制定为一项优化任务。在简化假设下，我们证明了该集合函数对于一些流行的神经网络文本分类器是次模的。这一发现保证了使用贪心算法的攻击的$1-1/e$近似因子。同时，我们展示了如何使用被攻击分类器的梯度来指导贪婪搜索。我们提出的优化方案的实证研究表明，显着提高攻击能力和效率，在三个不同的文本分类任务在不同的基线。我们还使用了一个联合的句子和单词的释义技术，以保持原来的语义和语法的文本。这是通过对我们生成的对抗文本的质量和语义一致性的主观度量的人类主体评估来验证的。
2019-04-04 cs.CR cs.LG math.OC
S$^3$VAADA: Submodular Subset Selection for Virtual Adversarial Active Domain Adaptation
Indian Institute of Science（印度科学研究所）
无监督领域自适应（DA）方法集中于通过对齐来自源和目标域的特征而不使用目标域中的标记数据来实现最大性能。然而，在现实世界中，为一小部分目标数据获取标签可能是可行的。在这些情况下，重要的是选择最大信息量的样本进行标记，并找到一种有效的方法将它们与来自源数据的现有知识相结合。为了实现这一目标，我们提出了S $^3$ VAADA，其中i）引入了一种新的子模块标准，以选择一个最大的信息子集标记和ii）通过新的改进，有效地利用所有可用的数据，提高目标的泛化增强了基于聚类的DA过程。我们的方法始终优于竞争国家的最先进的方法对数据集具有不同程度的域转移。
2021-09-18 cs.AI cs.CV cs.LG
Projection-free Algorithms for Online Convex Optimization with Adversarial Constraints
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；IIT Bombay（印度理工学院孟买分校）；TIFR Mumbai（塔塔基础研究所孟买分校）
本文提出一种投影自由的在线条件梯度算法，用于处理具有时间变化对抗性约束的在线凸优化问题，实现了O(T^{3/4})的 regret 和 CCV 绑定。
2026-03-27 cs.LG
Wasserstein Adversarial Examples on Univariant Time Series Data
Emory University（埃默里大学）；Zhejiang University（浙江大学）
对抗性示例是通过向正常示例添加不可区分的扰动来制作的，以便欺骗训练有素的深度学习模型进行错误分类。在计算机视觉的上下文中，这种不可分割性的概念通常由$L_{\infty}$或其他规范限制。然而，这些规范是不合适的测量时间序列数据的不可否认性。在这项工作中，我们首次在Wasserstein空间中为时间序列数据提出了对抗性示例，并利用Wasserstein距离来限制正常示例和对抗性示例之间的扰动。我们介绍Wasserstein投影梯度下降（WPGD），一个对抗攻击方法扰动单变时间序列数据。我们利用Wasserstein距离在一维空间中的封闭解，利用梯度下降方法有效地计算WPGD的投影步长。我们进一步提出了一个两步投影，以便在Wasserstein空间中搜索对抗性示例时受到欧氏范数的指导和约束，从而产生更有效和更不易察觉的扰动。我们经验性地评估了在医疗保健领域的几个时间序列数据集的攻击。大量的实验结果表明，Wasserstein攻击是强大的，可以成功地攻击大多数的目标分类器，具有较高的攻击成功率。为了更好地研究Wasserstein对抗性示例的性质，我们评估了一种名为Wasserstein平滑的强大防御机制，用于潜在的认证鲁棒性防御。虽然防御可以实现一些准确性增益，但在许多情况下仍然存在局限性，并且为开发更强的认证鲁棒性方法留出了空间，以针对单变时间序列数据的Wasserstein对抗性…
2023-03-22 cs.AI cs.LG
Adversarially Robust Submodular Maximization under Knapsack Constraints
Indiana University（印第安纳大学）；MIT（麻省理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了第一个adversarially强大的算法，单调子模块最大化下的单个和多个背包的约束，可扩展的实现在分布式和流媒体设置。对于一个单一的背包约束，我们的算法输出一个强大的总结几乎最佳（多对数因子）的大小，从中可以构建一个常数因子近似的最优解。对于多个背包约束，我们的近似是在一个常数因子的最佳已知的非鲁棒解决方案。我们评估我们的算法的性能比较现有的非鲁棒算法的自然鲁棒性下两个目标：1）支配集从Facebook和Twitter收集的斯坦福网络分析项目（SNAP），2）电影推荐的数据集MovieLens的大型社交网络图。实验结果表明，我们的算法给出了最好的目标，为大多数的输入，并显示出强大的性能，即使离线算法，预先给定的一组删除。
2019-05-07 cs.DS cs.LG
Online Learning for Approximately-Convex Functions with Long-term Adversarial Constraints
IIT Kharagpur, India（印度德里技术学院）；IIT (ISM) Dhanbad, India（印度丹巴德IIT（ISM））；TIFR Mumbai, India（印度孟买理论物理研究所）
针对对抗性环境下带长期预算约束的在线学习问题，提出一阶在线算法，在全信息和bandit反馈下保证O(√T)α-遗憾，资源消耗可控，适用于DR-子模极大化等非凸问题，结果紧且有下界匹配。
2025-08-23 cs.LG math.OC
BAGEL: Adversarially Constrained Online Convex Optimization under Separation Oracle Access
Purdue University（普渡大学）；Mila - Quebec AI Institute/McGill University（蒙特利尔AI研究所/麦吉尔大学）
BAGEL 是一种无投影算法，通过强化 oracle 假设，在对抗性约束在线凸优化中实现了与投影方法相同的收敛速率。
2026-08-27 cs.AI cs.LG math.OC
Adversarial Causal Bayesian Optimization
ETH Zürich（苏黎世联邦理工学院）
本文将因果贝叶斯优化推广为对抗因果贝叶斯优化（ACBO），以应对其他智能体或外部事件干预导致的非平稳性，并提出首个具有有界遗憾的算法CBO-MW，通过在因果图中传播不确定性计算乐观反事实奖励估计，在合成与真实数据环境中表现优于基线方法。
2023-07-31 cs.LG stat.ML
Efficient Projection-Free Online Methods with Stochastic Recursive Gradient
Zhejiang University（浙江大学）；University of Pennsylvania（宾夕法尼亚大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Western Ontario（西安大略大学）
本文主要研究求解光滑在线凸优化（OCO）问题的无投影方法。现有的无投影方法要么达到次优的遗憾界限，或有很高的每次迭代的计算成本。为了填补这一空白，两个有效的投影免费在线方法被称为ORGFW和MORGFW提出解决随机和对抗OCO问题，分别。通过采用递归梯度估计，我们的方法实现了最佳的遗憾界（对数因子），同时具有较低的每次迭代的计算成本。实验结果表明，所提出的方法相比，国家的最先进的效率。
2019-10-24 cs.LG math.OC stat.ML
Bandit Submodular Maximization under Matroid Constraints: Learning Compressed Exchange Policy
Great Bay University（湾大大学）；Fuzhou University（福州大学）
该研究针对拟阵约束下的对抗博弈子模极大化问题，提出基于平衡分数交换的多项式时间算法，实现次线性regret，是该方向首个此类算法。
2026-08-26 cs.LG
Uniform Convergence, Adversarial Spheres and a Simple Remedy
ETH Zürich（苏黎世联邦理工学院）
以前的工作已经投下了怀疑的一般框架一致收敛和它的能力，解释泛化神经网络。通过考虑特定的数据集，观察到神经网络完全错误地分类训练数据（对抗集）的投影，使得基于一致收敛的任何现有的泛化界限变得空洞。我们提供了一个广泛的理论研究，以前研究的数据设置通过镜头无限宽的模型。我们证明了神经切线核（NTK）也遭受同样的现象，我们揭示了它的起源。我们强调输出偏置的重要作用，并从理论上和经验上展示了一个明智的选择如何完全缓解这个问题。我们在对抗集的准确性中识别出尖锐的相变，并研究了它对训练样本大小的依赖性。因此，我们能够表征临界样本量，超过该样本量，影响消失。此外，我们研究分解的神经网络到一个干净的和嘈杂的一部分，考虑到其典型的分解到其不同的特征函数和经验表明，对于太小的偏见对抗现象仍然存在。
2021-08-30 cs.AI cs.LG stat.ML
Dec-BFTRL: Squre-Root Regret for Decentralized Online Upper-Linearizable Optimization under Separation Access with Application to Continuous Submodular Maximization
Purdue University（普渡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
本文提出Dec-BFTRL算法，用于分离访问下分散式在线上线性化优化，实现平方根遗憾，并应用于连续子模最大化。
2026-10-01 cs.AI cs.LG math.OC
Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
本文考虑一类目标函数的随机最优化问题，其中包括凸的和连续的子模。随机近端梯度法已被广泛用于解决这类问题，然而，当问题维数很大，投影到一个凸集是昂贵的，他们的适用性仍然有限。相反，随机条件梯度法被提出作为一种替代解决方案，依赖于（i）通过简单的平均技术近似梯度，每次迭代需要一个单一的随机梯度评估;（ii）求解线性规划来计算下降/上升方向。平均技术降低了噪声的梯度近似随着时间的推移，并取代投影步骤在近似方法由一个线性规划降低了每次迭代的计算复杂性。我们表明，在凸性和光滑性的假设下，我们提出的方法收敛到最佳的目标函数值在一个次线性率$O(1/t^{1/3})$。此外，对于单调和连续的DR-子模函数和一般凸体约束，我们证明了我们提出的方法实现了$((1-1/e)OPT-\eps)$保证与$O(1/\eps^3)$随机梯度计算。这种保证匹配已知的硬度结果，并关闭确定性和随机连续子模最大化之间的差距。此外，对于目标函数是连续的DR-次模但非单调的，且约束集是下闭的情形，我们利用$O(1/\eps^3)$随机梯度得到了$((1/e)OPT -\eps)$保证.通过使用随机连续优化作为一个接口，我们提供了第一个$(1-1/e)$紧逼近保证最大化的单调，但随机子模集函数的拟阵约束和$(1/e)$逼近保证的非单调的情况下。
2018-11-12 cs.LG math.OC stat.ML
Active Semi-Supervised Learning using Submodular Functions
University of Washington（华盛顿大学）
我们认为主动，半监督学习在离线转导设置。我们表明，以前提出的错误界主动学习无向加权图可以推广取代图割任意对称子模函数。任意非对称子模函数都可以通过对称化来使用。子模函数的不同选择给出了适用于不同类型问题的不同版本的误差界。此外，界限是确定性的，并保持对立选择的标签。我们证明了精确地最小化这个误差界是NP完全的。然而，我们还介绍了任何子模块功能的相关的主动半监督学习方法，近似最小化相应的误差界。我们表明，误差界是紧的意义上说，没有其他相同形式的界是更好的。我们的理论结果得到了实际数据实验的支持。
2012-02-14 cs.LG stat.ML
Robust Maximization of Non-Submodular Objectives
EPFL（洛桑联邦理工学院）
我们研究的问题，最大化的单调集函数的基数约束$k$的设置中删除一些元素$τ$从返回的集合。这项工作的重点是最坏情况下的对抗性设置。虽然当函数是子模块时存在常数因子保证，但对于非子模块目标没有保证。在这项工作中，我们提出了一个新的算法遗忘贪婪，并证明了第一个常数因子近似保证更广泛的非次模目标。所获得的理论界限是第一个常数因子界限，也保持在线性制度，即当删除$τ$的数量是线性的$k$。我们的界限依赖于已建立的参数，如子模比和一些新的，如逆曲率。我们约束这些参数的两个重要目标，包括支持选择和方差减少。最后，我们在各种数据集上证明了遗忘贪婪算法对这两个目标的鲁棒性能。
2020-05-02 cs.AI cs.DS cs.LG
Online Non-Monotone DR-Submodular Maximization Matching the Offline $0.401$ Factor
Purdue University（普渡大学）
该研究针对d维单位立方体紧凸下闭子集上的非负非单调DR-子模函数在线最大化问题，提出算法实现与离线相当的0.401近似因子，同时具有次线性近似遗憾，还通过批处理等优化调整神谕调用与遗憾的权衡。
2026-09-03 cs.AI cs.CC cs.LG
Procurement Auctions via Approximately Optimal Submodular Optimization
Google Research（谷歌研究院）；Yale University（耶鲁大学）
本文研究采购拍卖，提出将子模优化算法转化为满足 IC、IR、NAS 且保持近似比的拍卖机制框架，覆盖离线与在线设置，并证明其可适配为对抗性降价拍卖，在数千卖家的公开数据集上验证了福利表现。
2024-11-20 cs.DS cs.GT cs.LG
Model Unlearning via Sparse Autoencoder Subspace Guided Projections
The University of Hong Kong（香港大学）；New Jersey Institute of Technology（新泽西理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对大型语言模型选择性知识移除中缺乏可解释性与对抗稳健性的问题，提出 SSPU 框架，利用稀疏自编码器特征构建子空间并引导参数更新，实现了精确可控的模型遗忘，有效降低有害知识准确率并提升对抗稳健性。
2025-05-30 cs.CL cs.LG
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
通过信息投影的近似推理最近被引入作为一种通用的方法，用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性，提出了有效的算法，通过信息投影的近似推理，适用于任何结构的变量集，承认枚举使用\emph{matroid}。我们表明，由此产生的信息投影可以减少到组合子模优化拟阵约束。此外，利用最新的子模块优化的进展，我们提供了一个有效的贪婪算法，具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的，正如我们所展示的，包括组稀疏回归，组稀疏主成分分析和稀疏典型相关分析等。此外，模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比，建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Upper-Linearizability of Online Non-Monotone DR-Submodular Maximization over Down-Closed Convex Sets
Purdue University（普渡大学）；IIT Indore（印度理工学院Indore）；Mila - Quebec AI Institute/McGill University（魁北克AI研究所/麦吉尔大学）
本文提出了一种将非单调DR-子模最大化问题转化为在线线性优化的方法，实现了O(T^{1/2})的静态后悔和改进的动态后悔保证。
2026-07-13 cs.LG math.OC stat.ML
Random Projections for Improved Adversarial Robustness
University of Trieste（的里雅斯特大学）；University of Edinburgh（爱丁堡大学）；SISSA（国际高等研究院）；Saarland University（萨尔兰大学）
我们提出了两种训练技术来提高神经网络对对抗攻击的鲁棒性，即恶意操纵输入以欺骗网络进行错误的预测。这两种方法都独立于所选择的攻击，并利用原始输入的随机投影，目的是利用降维和对抗扰动的一些特征几何性质。第一种技术被称为RP-Ensemble，由在原始输入的多个投影版本上训练的网络集合组成。第二个称为RP-Regularizer，它在训练目标中添加了一个正则化项。
2021-04-27 cs.AI cs.LG
Stochastic Submodular Bandits with Delayed Composite Anonymous Bandit Feedback
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Purdue University（普渡大学）
本文研究具有随机子模奖励和延迟复合匿名反馈的组合多臂赌博机问题，提出三种延迟模型下的遗憾界，并证明算法优于其他全臂方法。
2025-01-22 cs.AI cs.DS cs.LG
Projection-Free Bandit Optimization with Privacy Guarantees
Boston University（波士顿大学）；Northeastern University（东北大学）；CNRS（法国国家科学研究中心）；Université de Paris（巴黎大学）
针对无投影条件下的强盗凸优化问题，设计了差分隐私算法。当决策集具有复杂的几何形状时，这个设置是很重要的，并且只有通过线性优化预言才能有效地访问它，因此欧几里得投影不可用（例如拟阵多面体，子模基多面体）。这是第一个用于无投影强盗优化的差分私有算法，事实上，我们的$\widetilde{O}(T^{3/4})$的界与最知名的非私有无投影算法（Garber-Kretzu，AISTATS `20）和最知名的私有算法相匹配，即使是在投影可用时的较弱设置（Smith-Thakurta，NeurIPS `13）。
2020-12-22 cs.CR cs.DS cs.LG
Stochastic Continuous Submodular Maximization: Boosting via Non-oblivious Function
City University of Hong Kong（香港城市大学）；Cainiao Network（菜鸟网络）
在本文中，我们重新审视随机连续次模最大化在离线和在线设置，这将有利于机器学习和运筹学领域的广泛应用。我们提出了一个提升框架，包括梯度上升和在线梯度上升。我们的方法的基本成分是一个新的非遗忘功能$F$来自一个因素揭示的优化问题，其任何固定点提供了一个$(1-e^{-γ})$ -近似的全局最大值的$γ$ -弱DR-次模块目标函数$f\in C^{1,1}_L(\mathcal{X})$。在离线情况下，提出了一种在$O(1/ε^2)$迭代后实现$(1-e^{-γ}-ε^{2})$ -逼近的Boosting梯度上升算法，提高了经典梯度上升算法的$(\frac{γ^2}{1+γ^2})$逼近比.在在线环境下，我们首次考虑了随机梯度反馈的对抗延迟，在此基础上，我们提出了一种具有相同非遗忘函数$F$的Boosting在线梯度算法。同时，我们验证了这种提升在线算法实现了$O(\sqrt{D})$的遗憾对$(1-e^{-γ})$ -近似的最佳可行的解决方案，在事后看来，其中$D$是梯度反馈的延迟之和。据我们所知，这是第一个结果，以获得$O(\sqrt{T})$遗憾对$(1-e^{-γ})$ -近似与$O(1)$梯度查询在每个时间步，当没有延迟存在，即，$D=T$。最后，数值实验证明了我们的助推方法的有效性。
2022-06-10 cs.LG math.OC
Unsupervised Projection Networks for Generative Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们建议使用无监督学习来训练投影网络，投影到已经训练好的生成器的潜在空间上。我们将我们的方法应用于经过训练的StyleGAN，并使用我们的投影网络来执行图像超分辨率和图像聚类到语义可识别的组中。
2019-10-06 cs.CV cs.LG eess.IV
Adversarial Training with Fast Gradient Projection Method against Synonym Substitution based Text Attacks
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）
对抗性训练是提高深度神经网络在图像分类中鲁棒性的最成功的方法。然而，对于文本分类，现有的基于同义词替换的对抗攻击是有效的，但不能有效地纳入实际的文本对抗性训练。基于同义词的攻击对图像非常有效，但由于词汇、语法和语义的限制以及文本输入空间的离散性，基于同义词替换的文本攻击很难实现。因此，本文提出了一种基于同义词替换的快速文本对抗攻击方法--快速梯度投影方法（FGPM），该方法在达到相似攻击性能的同时，比现有文本攻击方法的速度提高了约20倍。然后，我们将FGPM与对抗性训练相结合，并提出了一种文本防御方法，称为对抗性训练与Logit配对增强的FGPM（ATFL）。实验结果表明，ATFL能显著提高模型的鲁棒性，并能有效阻止对抗性样本的迁移。
2020-12-16 cs.CL cs.LG
The Artificial Mind's Eye: Resisting Adversarials for Convolutional Neural Networks using Internal Projection
Nedap N.V.；Radboud University（拉德堡德大学）
我们介绍了一种新的人工神经网络架构，集成了网络结构的对抗性输入的鲁棒性。我们的方法的主要思想是迫使网络对所考虑的类的给定实例的外观进行预测，并随后测试这些预测。通过迫使网络重新绘制图像的相关部分，并随后将新图像与原始图像进行比较，我们让网络给出对象存在的“证据”。
2016-07-14 cs.LG cs.NE
Nearest Neighbor Projection Removal Adversarial Training
IIIT Delhi（德里印度理工学院）；NUS Singapore（新加坡国立大学）
本文提出一种新的对抗训练框架，通过在特征空间中去除对抗样本和干净样本间的类间依赖，增强特征分离性，提升模型鲁棒性和泛化能力。
2026-04-08 cs.CV cs.LG
An Adversarial Learning Based Approach for Unknown View Tomographic Reconstruction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
2D断层重建的目标是恢复给定其从各种视图的投影的图像。通常假定与投影相关联的投影角度是预先已知的。然而，在某些情况下，这些角度仅近似已知或完全未知。从随机投影的集合中重建图像变得更具挑战性。我们提出了一种基于对抗学习的方法，通过将测量的经验分布与生成的数据相匹配来恢复图像和投影角度分布。通过求解基于Wasserstein生成对抗网络结构的生成器和批评者之间的最小-最大博弈来拟合分布。为了适应通过梯度反向传播的投影角分布的更新，我们使用离散分布的样本的Gumbel-Softmax重新参数化来近似损失。我们的理论分析验证了唯一的恢复图像和投影分布的旋转和反射时收敛。我们广泛的数值实验展示了我们的方法的潜力，准确地恢复图像和投影角分布的噪声污染。
2021-11-15 cs.LG eess.IV eess.SP
Projection-based Adversarial Attack using Physics-in-the-Loop Optimization for Monocular Depth Estimation
Kagoshima University（鹿儿岛大学）
本研究提出基于投影的对抗攻击方法，结合回路优化与进化策略，用于攻击单目深度估计模型，造成深度误估和物体消失。
2025-12-31 cs.CV cs.LG cs.NE
UVTomo-GAN: An adversarial learning based approach for unknown view X-ray tomographic reconstruction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
断层重建恢复一个未知的图像给定其从不同角度的投影。解决该问题的现有技术方法假设与投影相关联的角度是先验已知的。鉴于此知识，重建过程是简单的，因为它可以被公式化为凸问题。在这里，我们解决了一个更具挑战性的设置：1）投影角度是未知的，2）它们是从未知的概率分布中绘制的。在此设置中，我们的目标是使用无监督对抗学习方法恢复图像和投影角度分布。为此，我们制定的问题之间的分布匹配的真实投影线和生成的估计图像和投影分布。然后，通过在发电机和发电机之间的最小-最大博弈中达到均衡来解决这个问题。我们的新贡献是使用对抗学习同时恢复未知的投影分布和图像。为了适应这一点，我们使用Gumbel-softmax近似的样本分类分布近似发电机的损失作为未知图像和投影分布的函数。我们的方法可以推广到不同的反问题。我们的仿真结果表明，我们的方法在成功地恢复图像和投影分布在各种设置的能力。
2021-02-09 cs.CV cs.LG eess.IV
Geometry-Dependent Online and Offline Approximation for Non-Monotone DR-Submodular Maximization
Purdue University（普渡大学）
针对非单调DR次模函数的在线最大化，提出几何相关界，改进遗憾系数至4/9，并给出匹配下界与多项式情形下的精确系数。
2026-10-27 cs.LG
Adversarial Light Projection Attacks on Face Recognition Systems: A Feasibility Study
Visa Research（Visa研究院）；Michigan State University（密歇根州立大学）
基于深度学习的系统已被证明在数字和物理领域都容易受到对抗攻击的攻击。虽然可行，但数字攻击在攻击部署的系统（包括面部识别系统）方面的适用性有限，其中对手通常可以访问输入而不是传输信道。在这种情况下，通过输入通道直接提供恶意输入的物理攻击构成了更大的威胁。我们研究了使用对抗性光投影对人脸识别系统进行实时物理攻击的可行性。一个由商用网络摄像头和投影仪组成的装置被用来进行攻击。对手使用变换不变的对抗模式生成方法来使用对手可用的目标的一个或多个图像来生成数字对抗模式。然后，数字对抗模式被投射到物理域中的对手的脸上，以模仿目标（模仿）或逃避识别（混淆）。我们使用两个开源和一个商业人脸识别系统对50名受试者进行了初步实验。我们的实验结果表明，在白盒和黑盒攻击设置的光投影攻击的人脸识别系统的脆弱性。
2020-04-17 cs.CV cs.LG eess.IV
Game of Trojans: A Submodular Byzantine Approach
University of Washington（华盛顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Western Washington University（西华盛顿大学）
野生环境中的机器学习模型在训练过程中容易受到特洛伊木马攻击。虽然已经提出了许多检测机制，强适应性攻击者已被证明是有效的。在本文中，我们的目标是回答的问题，考虑一个智能和自适应的对手：（一）什么是最小数量的实例需要木马的强大的攻击者？以及（ii）这样的攻击者是否有可能绕过强检测机制？我们提供了一个分析表征的对抗能力和战略之间的相互作用的对手和检测机制，发生在这样的模型。我们的特点是对手的能力，可以嵌入一个木马触发器的输入数据集的分数。我们发现，损失函数有一个子模块化的结构，这导致设计的计算效率高的算法，以确定这个分数与可证明的最优性的界限。我们提出了一个子模块木马算法来确定注入木马触发器的样本的最小比例。为了逃避检测的木马模型，我们模型的战略之间的相互作用的对手和木马检测机制作为一个两个玩家的游戏。我们表明，对手赢得比赛的概率为1，从而绕过检测。我们通过证明木马模型和干净模型的输出概率分布在遵循Min-Max（MM）木马算法时是相同的来建立这一点。我们在MNIST，CIFAR-10和EuroSAT数据集上对我们的算法进行了广泛的评估。结果表明：（i）使用子模块化木马算法，对手需要将木马触发器嵌入到非常小的样本中，以实现对木马和干净样本的高准确性，以及（ii）MM木马算法产生经过训练的木马模型，该模型以概率1逃避检测。
2022-07-13 cs.CR cs.GT cs.LG
Generative Adversarial Networks for the fast simulation of the Time Projection Chamber responses at the MPD detector
HSE University（高等经济大学）；Yandex School of Data Analysis（Yandex数据分析学院）；Joint Institute for Nuclear Research（联合核研究所）；Petersburg Nuclear Physics Institute（彼得堡核物理研究所）
详细的探测器仿真模型对于现代高能物理实验的成功运行至关重要。在大多数情况下，这种详细的模型需要大量的计算资源来运行。通常可能无法提供这种服务，因此需要资源密集程度较低的办法。在这项工作中，我们证明了生成对抗网络（GAN）的适用性，这种快速仿真模型的基础上的情况下的时间投影室（TPC）在MPD检测器在NICA加速器复杂。与详细模拟相比，我们基于GAN的TPC原型模型的工作速度快了一个数量级以上，而生成数据的高级重建特性的质量没有任何明显下降。比较了直接和间接质量度量优化方法。
2022-03-30 cs.LG physics.ins-det
A Parameterized Generative Adversarial Network Using Cyclic Projection for Explainable Medical Image Classification
Faculty of Applied Sciences, Macao Polytechnic University（澳门理工大学应用科学学院）；John Hopcroft Center (JHC) for Computer Science, Shanghai Jiao Tong University（上海交通大学约翰·霍普克罗夫特计算机科学中心）；College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）；Jiangsu JITRI Sioux Technologies Co., Ltd（江苏金智 Sioux 科技有限公司）
针对小规模医学图像数据增强的不确定性问题，提出在循环投影中引入距离参数的 ParaGAN，以控制跨域变化并生成类别差异图，实现优于现有方法的可解释分类。
2023-12-14 cs.CV cs.LG
Empirical evaluation of the Frank-Wolfe methods for constructing white-box adversarial attacks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skoltech
本文通过实证评估改进的Frank-Wolfe方法，用于构建神经网络的白盒对抗攻击，并与传统方法进行比较。
2025-12-11 cs.AI cs.LG
Adversarial examples by perturbing high-level features in intermediate decoder layers
我们提出了一种创建对抗性示例的新方法。我们使用输入图像的编码器-解码器表示并在解码器中扰动中间层，而不是扰动像素。这改变了生成模型提供的高级特征。因此，我们的扰动具有语义意义，例如更长的喙或绿色。我们将此任务表述为一个优化问题，即在误分类约束下最小化对抗图像和初始图像之间的Wasserstein距离。我们采用投影梯度法与一个简单的不精确投影。由于投影，所有迭代都是可行的，并且我们的方法总是生成对抗图像。我们在目标和非目标设置下对MNIST和ImageNet数据集进行了数值实验。我们证明了我们的对抗图像比基于像素的攻击更不容易受到隐写防御技术的攻击。此外，我们还表明，我们的方法修改了边缘等关键特征，并且基于对抗性训练的防御技术容易受到我们的攻击。
2021-10-14 cs.CV cs.LG
Simulating the Time Projection Chamber responses at the MPD detector using Generative Adversarial Networks
HSE University（高等经济大学）；Yandex School of Data Analysis（扬德克斯数据分析学院）；Joint Institute for Nuclear Research（联合核研究所）；Petersburg Nuclear Physics Institute（圣彼得堡核物理研究所）
高能物理实验在很多方面都依赖于详细的探测器仿真模型。运行这些详细的模型通常需要大量的计算时间可用于实验。在这项工作中，我们展示了一种新的方法来加快模拟的时间投影室跟踪器的MPD实验在NICA加速器复杂。我们的方法基于生成对抗网络-一种深度学习技术，允许隐式估计给定对象集的人口分布。这种方法让我们可以学习原始检测器响应的分布，然后根据带电粒子轨迹的参数进行采样。为了评估所提出的模型的质量，我们将原型集成到MPD软件栈中，并证明它可以产生类似于详细模拟器的高质量事件，并且速度至少提高了一个数量级。该原型接受了来自探测器内部的响应的训练，一旦扩展到整个探测器，就可以在物理任务中使用。
2021-07-12 cs.LG hep-ex physics.ins-det
HRTF upsampling with a generative adversarial network using a gnomonic equiangular projection
Imperial College London（帝国理工学院）
本文提出将HRTF数据变换后输入卷积超分辨率生成对抗网络（SRGAN）进行HRTF上采样，在稀疏测量条件下优于重心、球谐和HRTF选择三种基线方法。
2024-02-27 cs.CV cs.HC cs.LG
Robustifying Models Against Adversarial Attacks by Langevin Dynamics
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；TU Berlin（柏林工业大学）；Berlin Big Data Center（柏林大数据中心）；Korea University（高丽大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；RIKEN AIP（理化学研究所人工智能中心）
对深度学习模型的对抗攻击已经大大损害了它们的性能。作为补救措施，提出了许多防御方法，但这些方法都被新的攻击策略所规避。在这场随之而来的军备竞赛中，抵御对抗攻击的鲁棒性问题仍然没有解决。本文提出了一种新的，简单而有效的防御策略，其中对抗样本被放松到（未知）目标类分布的底层流形上。具体来说，我们的算法驱动离流形对抗样本向高密度区域的数据生成分布的目标类的Metroplis调整的Langevin算法（MALA）与感知边界考虑在内。虽然动机类似于投影方法，例如，防御GAN，我们的算法，称为MALA for DEFENSE（MALADE），具有显著的分散性-投影分布广泛，因此任何白盒攻击都无法准确对齐输入，因此MALADE将其移动到模型预测错误标签的目标未训练点。在我们的实验中，MALADE表现出最先进的性能对各种精心设计的攻击策略。
2019-06-06 cs.LG stat.ML
