Semantic Robustness of Models of Source Code
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
深度神经网络容易受到对抗性样本的影响--小的输入扰动会导致不正确的预测。我们研究这个问题的模型的源代码，我们希望网络是强大的源代码修改，保留代码功能。(1)我们定义了一个强大的对手，可以使用参数序列，语义保持程序转换;（2）我们展示了如何执行对抗训练来学习对这些对手鲁棒的模型;（3）我们对不同的语言和架构进行了评估，证明了鲁棒性的显著量化收益。
2020-06-11 cs.LG stat.ML
Boundary thickness and robustness in learning models
University of California, Berkeley（加州大学伯克利分校）
机器学习模型对各种对抗性和非对抗性腐败的鲁棒性继续受到关注。在本文中，我们介绍了分类器的边界厚度的概念，我们描述了它的连接和有用的模型鲁棒性。厚的决策边界导致改进的性能，而薄的决策边界导致过拟合（例如，通过训练和测试之间的鲁棒泛化间隙来测量）和较低的鲁棒性。我们表明，较厚的边界有助于提高对抗性示例的鲁棒性（例如，提高对抗训练的鲁棒测试精度）以及所谓的分布外（OOD）变换，并且我们表明许多常用的正则化和数据增强程序可以增加边界厚度。在理论方面，我们确定在训练期间最大化边界厚度类似于所谓的混合训练。使用这些观察结果，我们表明，混合训练的噪声增强进一步增加了边界厚度，从而对抗各种形式的对抗攻击和OOD变换的脆弱性。我们还可以证明，最近几行工作中的性能改进与更厚的边界有关。
2021-01-12 cs.LG stat.ML
Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness
National University of Defense Technology（国防科技大学）
众所周知，深度神经网络（DNN）在许多领域都取得了显著的成功。然而，当在模型输入上添加不可感知的幅度扰动时，模型性能可能会迅速下降。为了解决这个问题，最近提出了一种随机技术，称为随机神经网络（SNN）。具体来说，SNN将随机性注入模型中，以抵御不可见的攻击并提高对抗性鲁棒性。然而，现有的SNNs的研究主要集中在注入固定或可学习的噪声模型的权重/激活。在本文中，我们发现，现有的SNNs的性能在很大程度上是由特征表示能力。令人惊讶的是，简单地最大化特征分布的每个维度的方差会导致比所有以前的方法都有相当大的提升，我们将其命名为最大化特征分布方差随机神经网络（MFDV-SNN）。对已知的白盒和黑盒攻击的实验表明，MFDV-SNN比现有方法有显著的改进，是一种简单而有效的提高模型鲁棒性的方法。
2022-01-01 cs.CR cs.CV cs.LG
Improving Adversarial Robustness via Guided Complement Entropy
National Tsing-Hua University（国立清华大学）；Electronic and Optoelectronic System Research Laboratories, ITRI（工业技术研究院电子与光电系统研究实验室）；Google Research（谷歌研究院）
对抗鲁棒性已经成为深度学习中的一个重要主题，因为精心制作的攻击样本可以显著干扰模型的性能。许多最近的方法已经提出通过利用对抗训练或模型蒸馏来提高对抗鲁棒性，这为模型训练增加了额外的程序。在本文中，我们提出了一种新的训练范式，称为引导互补熵（GCE），能够实现“免费对抗防御”，在提高对抗鲁棒性的过程中不涉及额外的程序。除了最大化地面实况类（如交叉熵）上的模型概率外，我们还中和了不正确类上的概率，以及一个“引导”项来平衡这两个项。我们在实验中表明，我们的方法实现了更好的模型鲁棒性，甚至更好的性能相比，常用的交叉熵训练目标。我们还表明，我们的方法可以用于正交对抗训练跨众所周知的方法具有显着的鲁棒性增益。据我们所知，我们的方法是第一个提高模型鲁棒性而不影响性能的方法。
2019-08-07 cs.CV cs.LG cs.PF
Adversarial Robustness Verification and Attack Synthesis in Stochastic Systems
Northeastern University（东北大学）
概率模型检验是一种用于描述和验证随机系统（包括随机协议和强化学习模型）属性的有用技术。现有的方法依赖于假设的结构和某些系统转换的概率。这些假设可能是不正确的，甚至可能被获得系统组件控制权的对手违反。在本文中，我们开发了一个正式的框架对抗鲁棒性建模为离散时间马尔可夫链（DTMCs）的系统。我们的框架基于现有的方法验证概率时序逻辑属性，并将其扩展到包括确定性，无记忆的政策在马尔可夫决策过程（MDP）。我们的框架包括一个灵活的方法来指定结构保持和非结构保持对抗模型。我们概述了一类威胁模型下，对手可以扰乱系统的过渡，约束由一个$\varepsilon$球周围的原始转换概率。我们定义了三个主要的DTMC对抗鲁棒性问题：对抗鲁棒性验证，最大$δ$合成，最坏情况下的攻击合成。我们提出了两个基于优化的解决方案，这三个问题，利用传统的和参数的概率模型检验技术。然后，我们评估我们的解决方案上的两个随机协议和收集的网格世界的案例研究，该模型的代理在一个环境中描述为一个MDP。我们发现，在小参数空间的快速计算的参数解决方案的结果。在对手限制较少（较强）的情况下，参数的数量增加，直接计算属性满足概率更具可扩展性。我们通过比较不同属性、威胁模型和案例研究的系统结果来证明我们的定义和解决方案的有用性。
2022-07-31 cs.CR cs.FL cs.LG
Evaluating Robustness to Dataset Shift via Parametric Robustness Sets
University of Copenhagen（哥本哈根大学）；MIT（麻省理工学院）
我们给出了一种方法，用于主动识别小的，合理的分布变化，导致模型性能的巨大差异。这些变化是通过观测变量的因果机制中的参数变化来定义的，其中对参数的约束产生了一个合理分布的“鲁棒性集”和相应的最坏情况下的损失。虽然可以通过重新加权技术（例如重要性采样）来估计单个参数偏移下的损失，但所产生的最坏情况优化问题是非凸的，并且估计可能遭受大的方差。然而，对于小的移位，我们可以构造移位下损失的局部二阶近似，并将寻找最坏情况移位的问题转换为特定的非凸二次优化问题，对此可以使用有效的算法。我们证明了这种二阶近似可以直接估计的条件指数族模型的移位，我们绑定的近似误差。我们将我们的方法应用于计算机视觉任务（从图像中分类性别），揭示了对非因果属性变化的敏感性。
2023-01-15 cs.LG stat.ML
QuickNet: Maximizing Efficiency and Efficacy in Deep Architectures
Ingemini LLC（英格米尼有限责任公司）
我们提出了QuickNet，这是一种快速准确的网络架构，比其他快速深度架构（如SqueezeNet）更快，更准确。此外，它比以前的网络使用更少的参数，使其更具内存效率。我们通过对参考Darknet模型（Redmon et al，2015）进行两个主要修改来做到这一点：1）使用依赖可分离卷积和2）使用参数校正线性单元。我们观察到，参数整流线性单元在测试时在计算上等效于泄漏整流线性单元，并且观察到可分离卷积可以被解释为压缩的Inception网络（Chollet，2016）。利用这些观察结果，我们得出了一个网络架构，我们称之为QuickNet，它比以前的模型更快，更准确。我们的架构提供了至少四个主要的优点：（1）一个较小的模型大小，这是更适合于内存受限的系统;（2）一个显着更快的网络，这是更适合于计算受限的系统;（3）CIFAR-10数据集的准确率高达95.7%，超过了迄今为止发表的所有结果，尽管我们注意到我们的工作是正交方法，并且可以与先前的模型压缩方法相结合，从而允许实现进一步的速度增益。
2017-01-12 cs.LG stat.ML
Causal Parametric Drift Simulation: A Digital Twin Framework for Classifier Robustness Evaluation
Laval University（拉瓦尔大学）
本文提出一种基于结构因果模型的数字孪生框架，用于评估分类器在动态环境中的鲁棒性，通过因果干预揭示潜在漏洞。
2026-05-10 cs.AI cs.LG
Robustness for Non-Parametric Classification: A Generic Attack and Defense
University of California, San Diego（加利福尼亚大学圣迭戈分校）
对抗鲁棒的机器学习最近受到了很多关注。然而，以前的攻击和防御非参数分类器已经开发了一个特设或分类器特定的基础上。在这项工作中，我们将全面研究非参数分类器的对抗性示例，包括最近邻居，决策树和随机森林。我们提供了一种通用的防御方法，对抗性修剪，它通过对数据集进行预处理来实现良好的分离。为了测试我们的防御，我们提供了一个新的攻击，适用于广泛的非参数分类器。从理论上讲，我们得到一个最佳的鲁棒分类器，这是类似于贝叶斯最佳。我们表明，对抗修剪可以被视为一个有限的样本近似这个最佳分类。我们的经验表明，我们的防御和攻击是更好的或有竞争力的非参数分类器的先前工作。总的来说，我们的研究结果提供了一个强大的和广泛适用的基线，为未来的工作强大的非参数。代码可在https://github.com/yangarbiter/adversarial-nonparametrics/获得。
2020-02-24 cs.CR cs.DS cs.LG
Deep Unfolded Fractional Optimization for Maximizing Robust Throughput in 6G Networks
Ruhr University Bochum, Germany（博德姆鲁尔大学）；University of Sharjah, United Arab Emirates（沙迦大学）
本文提出了一种深度展开分数优化方法，用于在6G网络中实现鲁棒吞吐量最大化，通过引入不确定性训练提升优化鲁棒性。
2026-01-27 cs.IT cs.LG math.IT
On Misspecification in Prediction Problems and Robustness via Improper Learning
Stanford University（斯坦福大学）
我们研究概率预测游戏时，潜在的模型是错误的，调查的后果预测使用不正确的参数模型。我们发现，对于广泛的一类损失函数和分布的参数族，遗憾的发挥“适当的”预测-一个从假定的模型类-相对于最好的预测在同一模型类具有下限缩放至少为$\sqrt{γn}$，其中$γ$是一个衡量的模型误指定的真实分布方面的全变差距离。相比之下，使用聚合为基础的（不适当的）学习者，可以获得遗憾$d \log n$的任何底层生成分布，其中$d$是参数的尺寸，我们展示的情况下，这是不可改进的，甚至在家庭的所有学习者，可能会发挥分布在凸包的参数家庭。这些结果表明，将多个学习者聚集在一起的简单策略应该更稳健，并且一些实验符合这一假设。
2021-01-29 cs.LG stat.ML
FPBoost: Fully Parametric Gradient Boosting for Survival Analysis
Department of Electronics, Information, and Bioengineering, Politecnico di Milano（米兰理工大学电子、信息与生物工程系）
FPBoost通过结合全参数危险函数与梯度提升，提供灵活的生存建模方法，兼顾灵活性与可解释性。
2026-02-02 cs.AI cs.LG
Finite sample properties of parametric MMD estimation: robustness to misspecification and dependence
CNRS（法国国家科学研究中心）；ESSEC Business School（埃塞克商学院）
针对统计学通用估计问题，本文基于MMD最小距离估计器证明其对数据相关性和异常值的鲁棒性，完成SGD算法理论研究并通过数值模拟验证，同时修正已发表版本中命题4.4的证明错误。
2025-02-13 cs.LG math.ST stat.CO
Parametric t-Distributed Stochastic Exemplar-centered Embedding
NEC Labs America（美国NEC实验室）；National Research Council Canada（加拿大国家研究委员会）；Duke University（杜克大学）
诸如参数t-SNE（pt-SNE）的参数嵌入方法已被广泛用于数据可视化和样本外数据嵌入，而无需进一步的计算上昂贵的优化或近似。然而，pt-SNE的性能是高度敏感的超参数批量大小，由于冲突的优化目标，并经常产生显着不同的嵌入与用户定义的困惑的不同选择。为了有效地解决这些问题，我们提出了参数t分布随机样本为中心的嵌入方法。我们的策略通过将给定的数据与预先计算的样本进行比较来学习嵌入参数，从而产生具有线性计算和内存复杂度的成本函数，并通过噪声对比样本进一步降低成本函数。此外，我们提出了一种具有高阶特征交互的浅嵌入网络用于数据可视化，该网络更容易调整，但与pt-SNE采用的深度神经网络相比，其性能相当。我们经验证明，使用几个基准数据集，我们提出的方法显着优于pt-SNE的鲁棒性，视觉效果和定量评估。
2018-04-20 cs.LG
RMBRec: Robust Multi-Behavior Recommendation towards Target Behaviors
National University of Singapore（新加坡国立大学）；Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
RMBRec通过信息论鲁棒性原则，结合表示鲁棒性模块和优化鲁棒性模块，提升多行为推荐的鲁棒性和稳定性。
2026-01-21 cs.IR cs.LG
Robust Online Control with Model Misspecification
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿分部）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了一个未知非线性动力系统的在线控制问题，该系统由一个具有模型误设定的时不变线性系逼近。我们的研究重点是鲁棒性，从假设的线性逼近的偏差可以容忍的控制器，同时保持有限的$\ell_2$增益的措施。分析鲁棒性的基本方法是通过小增益定理。然而，作为最近的适应控制的下界的含义，这种方法只能产生鲁棒性，是指数小的系统的维数和参数的不确定性。Cusumano和Poolla的工作表明，可以获得更好的鲁棒性，但控制算法效率低下，在最坏的情况下需要指数时间。在本文中，我们调查是否存在一个有效的算法，可证明的鲁棒性超出小增益定理。我们证明，对于一个完全驱动的系统，这确实是可以实现的。我们给出了一个有效的控制器，可以容忍的鲁棒性是多项式的尺寸和独立的参数不确定性，此外，控制器获得$\ell_2$增益的尺寸依赖性是接近最优的。
2022-04-05 cs.LG math.OC
Average Margin Regularization for Classifiers
University of California, Berkeley（加利福尼亚大学伯克利分校）
对抗鲁棒性已经成为一个重要的研究课题，给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是，最近的理论结果表明，对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中，我们提出并研究了一种新的正则化方法，用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界，表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此，我们将我们的方法称为平均间隔（AM）正则化，它由添加到目标的线性项组成。我们从理论上表明，对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论，使用合成和真实数据的经验表明，AM正则化可以严格提高支持向量机（SVM）的准确性和鲁棒性，相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
From Distributional Robustness to Robust Statistics: A Confidence Sets Perspective
CWI Amsterdam（阿姆斯特丹国家数学与计算机科学研究所）；Massachusetts Institute of Technology（麻省理工学院）
本文从置信集视角建立分布鲁棒优化与经典稳健统计的联系，证明基于KL散度和全变差距离的DRO模糊集是一致最小置信集，并揭示DRO的保守性源于非参数框架而非公式本身。
2024-10-17 cs.LG math.OC
Compressive Learning for Semi-Parametric Models
University of Edinburgh（爱丁堡大学）；Univ Rennes（雷恩大学）
在压缩学习理论中，不是从输入数据解决统计学习问题，而是在学习之前从数据计算所谓的草图。草图必须捕获足够的信息来直接解决问题，允许从内存中丢弃数据集。这在处理大型数据集时很有用，因为草图的大小不随数据库的大小而缩放。在本文中，我们重新制定了原始的压缩学习框架，以明确地满足半参数模型类。重新表述考虑了半参数模型的固有拓扑结构和结构，为压缩学习算法的开发创造了一条直观的途径。我们将我们开发的框架应用于独立成分分析和子空间聚类的半参数模型，证明了框架的鲁棒性，以明确显示何时可以实现复杂性的压缩。
2019-10-22 cs.LG stat.ML
Parametric Prior Mapping Framework for Non-stationary Probabilistic Time Series Forecasting
School of Computer Science and Engineering（计算机科学与工程学院）
提出参数先验映射（PPM）框架，通过将参数化结构先验注入生成模型，结合混合目标训练，在非平稳概率多变量时间序列预测中实现精度与计算效率的平衡。
2026-05-22 cs.AI cs.LG
Privacy-preserving parametric inference: a case for robust statistics
Columbia University（哥伦比亚大学）
本文提出了一个具有差分隐私保证的参数推断通用框架，基于有界影响M-estimators构建了差分隐私估计量和检验统计量，并阐明了差分隐私与稳健统计学之间的联系。
2019-11-22 cs.CR cs.LG stat.ML
Robust Stability of Neural Network-controlled Nonlinear Systems with Parametric Variability
Iowa State University（爱荷华州立大学）
稳定性证明和确定一个安全稳定的初始集是保证动态系统运行安全性、稳定性和鲁棒性的两个重要问题。随着机器学习工具的出现，这些问题需要在反馈回路中使用机器学习组件的系统中得到解决。为了发展一个一般性的理论，神经网络（NN）控制的非线性系统的稳定性和可镇定性的有界参数变化，提出了一个基于Lyapunov的稳定性证明，并进一步用于设计一个最大Lipschitz界的NN控制器，也是一个相应的最大区域的吸引力（RoA）内给定的安全操作域。为了计算这样一个鲁棒稳定神经网络控制器，也最大限度地提高系统的长期运行效用，一个稳定性保证的训练（SGT）算法。通过一个示例验证了该框架的有效性。
2022-08-31 cs.LG cs.SY eess.SY
