Boosting Robustness Verification of Semantic Feature Neighborhoods
Technion（以色列理工学院）
深度神经网络已被证明容易受到基于语义特征扰乱输入的对抗攻击的攻击。现有的鲁棒性分析器可以推理语义特征邻域，以增加网络的可靠性。然而，尽管这些技术取得了重大进展，但它们仍然难以扩展到深层网络和大型社区。在这项工作中，我们引入VeeP，一种主动学习方法，将验证过程分成一系列较小的验证步骤，每个步骤都提交给现有的鲁棒性分析器。关键思想是建立在先前的步骤上，以预测下一个最佳步骤。通过参数回归估计认证速度和灵敏度来预测最佳步骤。我们在MNIST，Fashion-MNIST，CIFAR-10和ImageNet上评估了VeeP，并表明它可以分析各种特征的邻域：亮度，对比度，色调，饱和度和亮度。我们发现，平均而言，给定90分钟的超时时间，VeeP在29分钟内验证了96%的最大可认证社区，而现有的分割方法平均在58分钟内验证了73%的最大可认证社区。
2022-09-12 cs.LG
Semantics-Preserving Adversarial Training
Seoul National University（首尔国立大学）；Seoul, Korea（韩国首尔（注意：根据要求，地址信息不应提取为机构，此处可能是误判，正确机构应为Seoul National University相关部分））
对抗训练是一种防御技术，通过在训练数据中包含对抗示例来提高深度神经网络（DNN）的对抗鲁棒性。在本文中，我们发现了一个被忽视的对抗性训练问题，因为这些对抗性示例通常具有与原始数据不同的语义，从而在模型中引入了意想不到的偏差。我们假设，这种非语义保持（和结果模糊）的对抗性数据损害目标模型的鲁棒性。为了减轻对抗性示例的这种意外语义变化，我们提出了语义保持对抗性训练（SPAT），它鼓励在训练阶段生成对抗性示例时对所有类之间共享的像素进行扰动。实验结果表明，SPAT提高了对抗鲁棒性，并在CIFAR-10和CIFAR-100中取得了最好的效果。
2020-09-23 cs.CV cs.LG stat.ML
Single-Step Adversarial Training for Semantic Segmentation
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Bielefeld University（比勒费尔德大学）
尽管深度神经网络在包括语义分割在内的许多不同任务上都取得了成功，但它们对对抗性示例缺乏鲁棒性。为了对抗这种攻击，通常使用对抗性训练。然而，已知的是，具有弱对抗攻击的对抗训练（例如，使用快速梯度方法）不会提高针对更强攻击的鲁棒性。最近的研究表明，通过在训练过程中选择合适的步长，可以提高这种单步的【形】方法的鲁棒性。找到这样的步长，而不增加单步的【形】对抗训练的计算量，仍然是一个开放的挑战。在这项工作中，我们解决了计算上特别苛刻的任务语义分割，并提出了一种新的步长控制算法，增加了单步的【形】对抗训练的鲁棒性。该算法不增加单步的【形】对抗训练的计算量，而且由于不需要元参数，简化了训练过程。我们表明，我们的方法的鲁棒性可以与多步对抗训练两个流行的基准语义分割。
2021-06-30 cs.CV cs.LG eess.IV
Guarding the Meaning: Self-Supervised Training for Semantic Robustness in Guard Models
Qualcomm AI Research（高通人工智能研究）
针对守卫模型对表层语言变异敏感、缺乏语义基础的问题，提出基于释义集和偏斜感知聚合策略的自监督框架，提升其语义鲁棒性，降低语义变异性约58%、平均提升基准准确率约2.5%，并发现校准与一致性的双向关系。
2025-11-06 cs.AI cs.CL cs.LG
Adversarial Robustness for Code
ETH Zürich（苏黎世联邦理工学院）
机器学习和深度学习最近已经被用于成功地解决代码领域中的许多任务，例如查找和修复错误、代码完成、反编译、类型推断和许多其他任务。然而，代码模型的对抗鲁棒性问题在很大程度上被忽视了。在这项工作中，我们通过以下方式探索这个问题：（i）为代码（具有离散和高度结构化输入的域）实例化对抗攻击，（ii）表明，与其他域类似，代码的神经模型容易受到对抗攻击，以及（iii）结合现有和新颖的技术来提高鲁棒性，同时保持高准确性。
2020-08-15 cs.LG cs.PL cs.SE
Improved Robustness Against Adaptive Attacks With Ensembles and Error-Correcting Output Codes
Institute Intelligence and Data (IID), Université Laval（拉瓦尔大学智能与数据研究所（IID））；Mila（米拉研究所）
神经网络集成已经在对抗鲁棒性的背景下被广泛研究，并且大多数基于集成的方法仍然容易受到自适应攻击。在本文中，我们研究的鲁棒性的纠错输出码（ECOC）集成，通过结构的改进和集成多样性的促进。我们对自适应攻击进行了全面的鲁棒性评估，并研究了集成多样性和鲁棒性之间的关系。我们的研究结果表明，与卷积神经网络（CNN）的常规集成相比，ECOC集成对对抗鲁棒性的好处，并显示了为什么以前实现的鲁棒性是有限的。我们还提出了一种针对ECOC集成的对抗性训练方法，可以进一步提高对自适应攻击的鲁棒性。
2023-03-04 cs.LG
On Evaluating the Adversarial Robustness of Semantic Segmentation Models
University of Szeged（塞格德大学）
本文提出一组基于梯度的迭代攻击方法评估语义分割模型对抗鲁棒性，揭示以往声称鲁棒的模型实际并不鲁棒，并发现仅用对抗样本训练虽能提升鲁棒性但会牺牲准确性。
2023-06-25 cs.CV cs.LG
First Place Solution to the ECCV 2024 BRAVO Challenge: Evaluating Robustness of Vision Foundation Models for Semantic Segmentation
Eindhoven University of Technology（埃因霍温理工大学）
本研究提出ECCV 2024 BRAVO语义分割挑战赛冠军方案，通过在DINOv2上附加简单分割解码器并全模型微调，利用视觉基础模型的强表征，在Cityscapes训练、多分布外数据集测试的鲁棒性评测中超越复杂现有方法夺冠。
2024-10-08 cs.AI cs.CV cs.LG
Assessing Robustness via Score-Based Adversarial Image Generation
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）
提出基于分数的对抗生成框架ScoreAG，通过生成无限制对抗样本和净化图像，在多个基准上提升了最先进攻防方法的效果，推动更全面的语义鲁棒性评估。
2025-03-04 cs.AI cs.CV cs.LG
An Experimental Study of Semantic Continuity for Deep Learning Models
Beijing Jiaotong University（北京交通大学）；University of International Business and Economics（对外经济贸易大学）
本文针对深度学习模型的语义不连续问题，分析其证据与成因，并提出简单的语义连续性约束，使模型获得平滑梯度并学习语义特征，从而提升鲁棒性、可解释性、迁移性并减少机器偏见。
2024-06-17 cs.CV cs.LG
Semantic Image Attack for Visual Model Diagnosis
Carnegie Mellon University（卡内基梅隆大学）
在实践中，对特定训练和测试数据集的度量分析并不能保证可靠或公平的ML模型。这部分是由于获得平衡、多样和完美标记的数据集通常是昂贵、耗时和容易出错的。本文提出了语义图像攻击（SIA），而不是依赖于精心设计的测试集来评估ML模型的失败，公平性或鲁棒性，这是一种基于对抗攻击的方法，它提供了语义对抗图像，以允许模型诊断，可解释性和鲁棒性。传统的对抗性训练是一种流行的方法，用于增强ML模型对攻击的鲁棒性。然而，现有的对抗方法没有结合两个方面，使解释和分析模型的缺陷：语义可追溯性和感知质量。SIA通过迭代梯度上升在预定义的语义属性空间和图像空间上结合这两个特征。我们说明了我们的方法在三个场景中的关键点检测和分类的有效性。(1)模型诊断：SIA生成属性直方图，突出ML模型的语义漏洞（即，使模型失败的属性）。(2)更强的攻击：SIA生成具有视觉可解释属性的对抗性示例，这些属性导致比基线方法更高的攻击成功率。SIA上的对抗性训练提高了不同梯度攻击的可转移鲁棒性。(3)对不平衡数据集的鲁棒性：我们使用SIA来增强代表性不足的类，其性能优于强增强和重新平衡基线。
2023-03-23 cs.AI cs.CV cs.LG
CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing
针对大语言模型易受对抗攻击问题，提出CluCERT框架，通过聚类引导去噪平滑认证其鲁棒性。引入语义聚类过滤器，结合细化模块和快速同义词替换策略，提升效率，实验证明该方法在鲁棒性边界和计算效率上优于现有方法。
2026-07-17 cs.AI cs.LG
MNIST-C: A Robustness Benchmark for Computer Vision
Google Inc.（谷歌公司）
我们介绍了MNIST-C数据集，这是一个适用于MNIST测试集的15种损坏的综合套件，用于对计算机视觉中的分布鲁棒性进行基准测试。通过几个实验和可视化，我们证明了我们的腐败显着降低性能的最先进的计算机视觉模型，同时保留测试图像的语义内容。与对抗性鲁棒性的流行概念相反，我们的模型不可知的腐败不寻求最坏情况下的性能，而是被设计为广泛和多样化，捕获现代模型的多种故障模式。事实上，我们发现，根据MNIST-C的测量，之前发布的几种对抗性防御显著降低了鲁棒性。我们希望我们的基准作为一个有用的工具，在未来的工作中设计的系统，能够学习强大的功能表示，捕捉输入的底层语义。
2019-06-05 cs.CV cs.LG
The Impact of CutMix on Reliability and Robustness in Semantic Segmentation
Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
该研究探究CutMix对语义分割的影响，发现其对分割准确率影响微小，但可提升模型可靠性，尤其在分布偏移场景下，增强的是校准度与不确定性可信度，对安全关键应用意义重大。
2026-08-20 cs.AI cs.CV cs.LG
Understanding and Improving Robustness of Vision Transformers through Patch-based Negative Augmentation
Google Research（谷歌研究院）
我们研究了视觉Transformer（ViTs）的鲁棒性，通过他们特殊的基于补丁的架构结构，即，它们将图像处理为图像块的序列。我们发现，ViTs是令人惊讶的不敏感补丁为基础的转换，即使在很大程度上破坏了原始的语义，使人类无法识别的图像。这表明ViTs大量使用在这种转换中幸存下来的特征，但通常不指示人类的语义类。进一步的研究表明，这些特征是有用的，但不稳健，因为在它们上训练的ViT可以实现高的分布内准确性，但在分布偏移下会崩溃。基于这种理解，我们会问：训练模型以减少对这些特征的依赖，是否可以提高ViT的鲁棒性和分布外性能？我们使用基于补丁的操作转换的图像作为负增强视图，并提供损失来正则化训练，避免使用非鲁棒特征。这是对现有研究的补充，现有研究主要集中在用语义保持转换来增强输入以增强模型的不变性。我们表明，基于补丁的负增强在广泛的基于ImageNet的鲁棒性基准测试中始终提高了ViTs的鲁棒性。此外，我们发现我们的补丁为基础的负增强传统的（正）数据增强的补充，并一起进一步提高性能。
2023-02-22 cs.CV cs.LG
Towards Analyzing Semantic Robustness of Deep Neural Networks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
尽管深度神经网络（DNN）在各种视觉任务上表现出令人印象深刻的性能，但它们仍然对语义基元（例如对象姿势）表现出错误的高敏感性。我们提出了一个理论接地分析DNN的鲁棒性在语义空间。我们通过将DNN的全局行为可视化为语义映射来定性分析不同DNN的语义鲁棒性，并观察一些DNN的有趣行为。由于生成这些语义映射并不能很好地扩展语义空间的维度，我们开发了一种自下而上的方法来检测DNN的鲁棒区域。为了实现这一点，我们正式的问题，找到强大的语义区域的网络优化积分界和我们开发的区域边界的更新方向的表达式。我们使用我们开发的公式来定量评估不同流行的网络架构的语义鲁棒性。我们通过大量的实验表明，几个网络虽然在同一数据集上训练并具有相当的准确性，但在语义鲁棒性方面并不一定表现相似。例如，InceptionV3更准确，尽管在语义上不如ResNet50鲁棒。我们希望这个工具将成为理解DNN语义健壮性的里程碑。
2020-09-08 cs.CR cs.CV cs.LG
GSmooth: Certified Robustness against Semantic Transformations via Generalized Randomized Smoothing
Tsinghua University（清华大学）；RealAI（瑞莱智慧）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute（清华大学-中国移动通信集团有限公司联合研究院）；Research Institute of Tsinghua University in Shenzhen（深圳清华大学研究院）
经过认证的防御，如随机平滑，已显示出建立可靠的机器学习系统对$\ell_p$ -范数有界攻击的承诺。然而，现有的方法不足以或无法证明地防御语义转换，特别是那些没有封闭形式的表达式（如散焦模糊和像素化），这在实践中更常见，往往不受限制。为了填补这一空白，我们提出了广义随机平滑（GSmooth），一个统一的理论框架，通过一种新的维度增强策略来证明对一般语义变换的鲁棒性。在GSmooth框架下，我们提出了一个可扩展的算法，该算法使用代理图像到图像网络来近似复杂的变换。代理模型为研究语义转换的性质和证明健壮性提供了一个强有力的工具。在多个数据集上的实验结果表明，我们的方法对多种语义转换和腐败的鲁棒性认证的有效性，这是无法实现的替代基线。
2022-06-29 cs.AI cs.CR cs.CV
Interpretable but Fragile? Robustness of Concept Bottlenecks under Geometric-Semantic Perturbations
Saarland University（萨尔兰大学）；Tianjin University of Technology（天津工业大学）；University of Macau（澳门大学）；University of Exeter（埃克塞特大学）
本研究通过生成器框架比较概念瓶颈模型与标准分类器在几何和语义扰动下的鲁棒性，揭示可解释性不固有提升鲁棒性，而是重新分配敏感性，存在依赖扰动机制的任务结构权衡。
2026-10-22 cs.AI cs.LG
Revisiting Robustness in Graph Machine Learning
Technical University of Munich（慕尼黑工业大学）
该研究针对图神经网络对抗扰动研究中语义不变假设未被验证的问题，提出语义感知的对抗图概念，发现主流扰动多违反假设且GNN存在过鲁棒性，通过引入训练图标签结构降低过鲁棒性，并证明归纳分类无鲁棒性-准确率权衡。
2023-05-02 cs.LG
MISIM: A Neural Code Semantics Similarity System Using the Context-Aware Semantics Structure
Intel Labs（英特尔实验室）；Georgia Institute of Technology（佐治亚理工学院）；Intel（英特尔公司）；MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
代码语义相似性可以用于许多任务，如代码推荐，自动软件缺陷校正和克隆检测。然而，这种系统的准确性尚未达到通用可靠性的水平。为了帮助解决这个问题，我们提出了机器推断代码相似性（MISIM），一个神经代码语义相似性系统，由两个核心组件组成：（i）MISIM使用一种新的上下文感知语义结构，这是专门为从代码语法中提升语义而构建的;（ii）MISIM使用一种可扩展的神经代码相似性评分算法，该算法可用于具有学习参数的各种神经网络架构。我们将MISIM与四个最先进的系统进行比较，包括两个额外的手工定制模型，超过328 K的程序由超过1800万行代码组成。我们的实验表明，MISIM具有8.08%的更好的准确性（使用MAP@R）相比，下一个表现最好的系统。
2021-06-02 cs.LG cs.SE stat.ML
SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks
University of Virginia（弗吉尼亚大学）；KBR Inc.（KBR公司）；NASA Ames（美国国家航空航天局艾姆斯研究中心）；Carnegie Mellon University（卡内基梅隆大学）
SeFaR是一个以语义特征为核心的视觉模型鲁棒性测试框架，可在保留需求满足性的前提下，生成测试输入以识别影响模型决策的特征，进而发现故障并关联相关特征。
2026-08-12 cs.CV cs.LG
TSS: Transformation-Specific Smoothing for Robustness Certification
University of Illinois（伊利诺伊大学）；ETH Zürich（苏黎世联邦理工学院）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Peking University（北京大学）
随着机器学习（ML）系统变得普遍，保障其安全性至关重要。然而，最近已经证明，有动机的对手能够通过使用语义转换扰乱测试数据来误导ML系统。虽然有大量的研究为ML模型提供了可证明的鲁棒性保证，以对抗$\ell_p$范数有界的对抗性扰动，但对语义扰动的保证仍然在很大程度上未被探索。在本文中，我们提供了TSS-一个统一的框架，用于证明ML对一般对抗性语义转换的鲁棒性。首先，根据每个变换的性质，我们将常见的变换分为两类，即可解析的（例如，高斯模糊）和差分可分辨（例如，旋转）变换。对于前者，我们提出了特定于变换的随机平滑策略，并获得了强鲁棒性证明。后一类包括涉及插值误差的变换，我们提出了一种新的方法，基于分层采样来证明的鲁棒性。我们的框架TSS利用这些认证策略，并结合一致性增强的培训，以提供严格的鲁棒性认证。我们对十多种具有挑战性的语义转换进行了广泛的实验，结果表明TSS的性能明显优于现有技术。此外，据我们所知，TSS是第一种在大规模ImageNet数据集上实现非平凡认证鲁棒性的方法。例如，我们的框架在ImageNet上实现了30.4%的认证鲁棒准确率，以对抗旋转攻击（在$\pm 30^\circ$内）。此外，为了考虑更广泛的变换，我们证明了TSS对自适应攻击和不可预见的图像损坏（如CIFAR-10-C和ImageNet-C）也具有鲁棒性。
2021-11-16 cs.CV cs.LG stat.ML
Enhancing Certifiable Semantic Robustness via Robust Pruning of Deep Neural Networks
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
针对深度神经网络过参数化影响语义鲁棒性认证的问题，提出基于无偏平滑神经元（USN）指标的剪枝方法及Wasserstein距离损失，在鲁棒关键点检测任务上实现更优的认证性能与效率。
2025-09-30 cs.CV cs.LG
Missing Modality Robustness in Semi-Supervised Multi-Modal Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
针对标签效率与测试时模态缺失问题，提出 Linear Fusion 融合机制和半监督框架 M3L，并建立首个相关基准，鲁棒 mIoU 最高提升 10%。
2023-04-21 cs.CV cs.LG
Task-Oriented Wireless Transmission of 3D Point Clouds: Geometric Versus Semantic Robustness
Serbian Ministry of Science, Technological Development and Innovation（塞尔维亚科学技术发展与创新部）；National Key Research & Development Program of China（中国国家重点研发计划）
本文提出面向任务的无线3D点云传输框架，研究几何重建精度与语义鲁棒性在信道干扰下的关系，揭示任务执行无需高精度几何重建的结论。
2026-03-13 cs.LG eess.SP
COMMIT: Certifying Robustness of Multi-Sensor Fusion Systems against Semantic Attacks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
本文提出首个面向多传感器融合系统语义攻击的鲁棒性认证框架 COMMIT，通过各向异性随机平滑、网格分割和高效认证算法，在 CARLA 上验证其相较单模态模型最高可提升 48.39%。
2024-03-04 cs.CR cs.CV cs.LG
Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations
Sungkyunkwan University（首尔大学）；Stony Brook University（石溪大学）
研究评估了二进制代码相似性检测模型在语义保持变换下的鲁棒性，揭示了模型鲁棒性依赖于处理流程、对抗性变换的有效性限制以及精心设计的变换对模型决策的破坏作用。
2026-02-13 cs.CR cs.LG
NS3: Neuro-Symbolic Semantic Code Search
University of Southern California（南加州大学）；National Polytechnic University of Armenia（亚美尼亚国立理工大学）；Microsoft Research Cambridge（微软剑桥研究院）；USC Information Sciences Institute（南加州大学信息科学研究所）；Google Research（谷歌研究院）
语义代码搜索是检索给定其功能的文本描述的代码段的任务。最近的工作集中在使用文本和代码的神经嵌入之间的相似性度量。然而，目前的语言模型被称为斗争与较长的，合成的文本，和多步推理。为了克服这一限制，我们建议补充查询句子的布局，其语义结构。语义布局用于将最终的推理决策分解为一系列较低级别的决策。我们使用神经模块网络架构来实现这一想法。我们将我们的模型-NS 3（神经符号语义搜索）-与一些基线进行比较，包括最先进的语义代码检索方法，并在两个数据集上进行评估- CodeSearchNet和Code Search以及问答。我们证明了我们的方法在更精确的代码检索的结果，我们研究了我们的模块化设计处理组合查询时的有效性。
2022-11-07 cs.LG
Enhance Sample Efficiency and Robustness of End-to-end Urban Autonomous Driving via Semantic Masked World Model
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；University of Science and Technology Beijing（北京科技大学）
针对端到端自动驾驶世界模型潜在状态含无关信息、训练数据不均衡的问题，提出带语义滤波器的SEM2模型与多源数据采样器，在CARLA上的样本效率和鲁棒性优于现有方法。
2024-05-18 cs.LG
Robust Semantic Communications Against Semantic Noise
Zhejiang University（浙江大学）；Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（伦敦帝国理工学院）
虽然语义通信在大量的任务中表现出令人满意的性能，但语义噪声的影响和系统的鲁棒性还没有得到很好的研究。语义噪声是语义通信系统中的一种特殊噪声，指的是语义符号与接收符号之间的误导。在本文中，我们首先提出了一个框架，鲁棒的端到端的语义通信系统，以打击语义噪声。特别地，我们分析了语义噪声产生的原因，并提出了一种实用的语义噪声产生方法，为了消除语义噪声的影响，我们提出了对抗性训练，将带有语义噪声的样本加入训练数据集中。然后，掩蔽自动编码器（MAE）被设计为一个强大的语义通信系统的架构，其中一部分的输入被屏蔽。为了进一步提高语义通信系统的鲁棒性，本文首先采用矢量量化-变分自编码器（VQ-VAE）设计了一个发送端和接收端共享的离散码本，用于编码特征表示。因此，发射机仅需要在码本中发送这些特征的索引。仿真结果表明，我们提出的方法显着提高了语义通信系统对语义噪声的鲁棒性与显着减少的传输开销。
2022-05-22 cs.IT cs.LG eess.SP
Towards Adversarial Robustness of Model-Level Mixture-of-Experts Architectures for Semantic Segmentation
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本研究评估了模型级混合专家架构在语义分割任务中的对抗鲁棒性，发现其比集成方法更有效地抵御白盒和迁移攻击，并提供了开源代码。
2024-12-16 cs.CV cs.LG
Robustness of LLM-Generated SystemVerilog Assertions to Semantics-Preserving RTL Transformations
本文通过蜕变测试评估LLM生成SystemVerilog断言在保持语义的RTL变换下的鲁棒性，发现9.7%-27.0%的正确行为会失效，表明点准确性不足以衡量可靠性。
2026-09-09 cs.LG
Learning Semantic Vector Representations of Source Code via a Siamese Neural Network
Iowa State University（爱荷华州立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Massachusetts Institute of Technology（麻省理工学院）；IBM
丰富的开源代码，加上深度学习在自然语言处理方面的最新进展，已经产生了机器学习在源代码中的有前途的新应用。在这项工作中，我们探索使用暹罗循环神经网络模型的Python源代码创建向量捕捉代码的语义。我们通过识别代码解决的编程竞赛问题来评估嵌入的质量。我们的模型显着优于一袋令牌嵌入，提供了有前途的结果，以改善代码嵌入，可用于未来的软件工程任务。
2019-04-26 cs.LG cs.PL cs.SE
ReCode: Robustness Evaluation of Code Generation Models
AWS AI Labs（亚马逊云科技人工智能实验室）；Cornell University（康奈尔大学）；University of Chicago（芝加哥大学）；AWS AI Research & Education（亚马逊云科技人工智能研究与教育部门）
代码生成模型已经取得了令人印象深刻的性能。然而，它们往往是脆弱的，因为对提示的轻微编辑可能导致非常不同的生成;这些健壮性属性在部署到现实应用程序中时对用户体验至关重要，但尚未得到很好的理解。大多数现有的文本或代码任务的鲁棒性的工作集中在分类，而生成任务的鲁棒性是一个未知的领域，迄今为止，没有全面的基准健壮性在代码生成。在本文中，我们提出了ReCode，一个全面的健壮性评估基准的代码生成模型。我们专门为文档字符串、函数和变量名称、代码语法和代码格式定制了30多种转换。它们经过精心设计，在现实生活中的编码实践中是自然的，保留了原始的语义含义，从而提供了对模型鲁棒性性能的多方面评估。通过人工注释，我们验证了超过90%的扰动提示不会改变原始提示的语义含义。此外，我们定义的鲁棒性度量的代码生成模型考虑到最坏情况下的行为，在每种类型的扰动，利用这样一个事实，即执行生成的代码可以作为客观的评价。我们使用HumanEval，MBPP以及从它们派生的功能完成任务在SOTA模型上演示ReCode。有意思的意见包括：CodeGen的鲁棒性优于InCoder和GPT-J;模型对语法扰动最敏感; MBPP的鲁棒性评估比HumanEval更具挑战性。
2022-12-20 cs.CL cs.LG cs.SE
Abstract Syntax Networks for Code Generation and Semantic Parsing
University of California, Berkeley（加州大学伯克利分校）
像代码生成和语义解析这样的任务需要将非结构化（或部分结构化）输入映射到格式良好的可执行输出。我们引入抽象语法网络，这些问题的建模框架。输出被表示为抽象语法树（AST），并由解码器构造，该解码器具有与输出树的结构并行的动态确定的模块结构。在用于代码生成的基准Hearthstone数据集上，我们的模型获得了79.2 BLEU和22.7%的精确匹配准确率，而之前的最先进值为67.1和6.1%。此外，我们在Atis、Jobs和Geo语义解析数据集上的表现具有竞争力，而没有特定于任务的工程。
2017-04-25 cs.AI cs.CL cs.LG
Physics-Based Rendering for Improving Robustness to Rain
Inria Paris（法国国家信息与自动化研究所巴黎分部）；Université Laval（拉瓦尔大学）
为了提高雨的鲁棒性，我们提出了一个基于物理的雨渲染流水线，逼真地插入到清晰的天气图像的雨。我们的渲染依赖于一个物理粒子模拟器，估计场景照明和准确的雨光度建模，以增加图像与任意数量的现实雨或雾。我们验证了我们的渲染与用户研究，证明我们的雨被判断为40%更现实的状态的最先进的。使用我们生成的天气增强基蒂和城市景观数据集，我们进行了深入的目标检测和语义分割算法的全面评估，并显示其性能下降，在退化的天气，对15%的顺序为目标检测和60%的语义分割。此外，我们表明，改进现有的网络与我们的增强图像提高了目标检测和语义分割算法的鲁棒性。我们在nuScenes上进行了实验，与原始的rainy性能相比，目标检测提高了15%，语义分割提高了35%。项目页面上提供了增强的数据库和代码。
2019-08-27 cs.CV cs.GR cs.LG
Semantic Code Classification for Automated Machine Learning
HSE University（高等经济大学）
自动机器学习的一系列应用需要生成过程是可控的。在这项工作中，我们提出了一种通过一系列简单的动作来控制输出的方法，这些动作被称为语义代码类。最后，我们提出了一个语义代码分类任务，并讨论了解决这个问题的自然语言到机器学习（NL2ML）数据集的方法。
2022-01-25 cs.AI cs.LG
Sense and Sensitivity: Examining the Influence of Semantic Recall on Long Context Code Understanding
Columbia University（哥伦比亚大学）
本文探讨了语义回忆对长上下文代码推理的影响，通过评估10种先进LLM发现，前沿模型在词汇回忆上表现优异，但语义回忆在长上下文中央位置时显著下降。引入语义回忆敏感性指标，提出SemTrace任务，展示LLM在长上下文中的位置效应。
2026-07-14 cs.CL cs.LG cs.SE
Laminar: A New Serverless Stream-based Framework with Semantic Code Search and Code Completion
University of St. Andrews（圣安德鲁斯大学）
本文提出Laminar，一种基于dispel4py的无服务器流式框架，利用大型语言模型实现语义代码搜索、摘要与补全，简化流式计算执行并提升数据流管理效率。
2023-09-01 cs.DC cs.LG
UniVSE: Robust Visual Semantic Embeddings via Structured Semantic Representations
Fudan University（复旦大学）；Bytedance AI Lab（字节跳动人工智能实验室）；Tsinghua University（清华大学）
我们提出了统一的视觉语义嵌入（UniVSE）学习视觉和文本概念的联合空间。空间统一了不同层次的概念，包括对象，属性，关系和全场景。提出了一种对比学习方法，用于仅从图像-字幕对进行细粒度对齐。此外，我们提出了一个有效的方法来执行的覆盖范围内出现在句子中的语义成分。我们证明了统一VSE在防御文本域对抗攻击跨模态检索任务的鲁棒性。这种鲁棒性还使得能够使用视觉线索来解决新句子中的单词依赖性。
2019-04-28 cs.CL cs.CV cs.LG
k-SemStamp: A Clustering-Based Semantic Watermark for Detection of Machine-Generated Text
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）
本文提出k-SemStamp，用k-means聚类替代SemStamp中的LSH来划分语义空间，在保持生成质量的同时显著提升机器生成文本检测的鲁棒性和采样效率。
2024-06-08 cs.CL cs.CR cs.CY
Learning to Generate Training Datasets for Robust Semantic Segmentation
U2IS ENSTA Paris（巴黎 ENSTA 大学 U2IS 实验室）；Institut Polytechnique de Paris（巴黎综合理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；National University of Singapore（新加坡国立大学）
本文提出Robusta，一种利用条件生成对抗网络生成扰动训练图像的方法，以提升语义分割模型对现实扰动、分布偏移和分布外样本的鲁棒性，适用于安全关键应用。
2024-03-12 cs.CV cs.LG
Exploiting Code Symmetries for Learning Program Semantics
Columbia University（哥伦比亚大学）；The University of Chicago（芝加哥大学）；University of Michigan（密歇根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）；University College London（伦敦大学学院）
本文提出 SymC，用群论刻画代码对称性，并设计对程序依赖图置换群等变的自注意力，从而在无预训练情况下提升五项程序分析任务性能。
2024-09-08 cs.CR cs.LG cs.PL
Is a Single Model Enough? MuCoS: A Multi-Model Ensemble Learning for Semantic Code Search
Microsoft Research Asia（微软亚洲研究院）；Beijing University of Technology（北京工业大学）；Xi’an Jiaotong University（西安交通大学）
最近，深度学习方法已经成为代码搜索中的主流，因为它们在捕获代码片段和搜索查询之间的语义相关性方面做得更好，并且具有有前途的性能。然而，代码片段包含来自不同维度的信息，例如业务逻辑、特定算法和硬件通信，因此单个代码表示模块很难涵盖所有视角。另一方面，由于特定查询可能集中在一个或多个视角上，因此单个查询表示模块难以表示不同的用户意图。在本文中，我们提出了MuCoS，多模型集成学习架构的语义代码搜索。它结合了几个单独的学习器，每个学习器都强调代码段的特定视角。我们训练个人学习者在不同的数据集，其中包含不同的角度的代码信息，我们使用一个数据增强策略，以获得这些不同的数据集。然后，我们集成学习器来捕获代码片段的综合特征。
2021-07-13 cs.LG cs.SE
ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
提出ASSERT自动化红队测试方法，通过语义对齐增强、目标自举和对抗知识注入生成多样化提示，评估大模型在安全场景下的鲁棒性，发现语义相关场景准确率差异达11%，零样本对抗误差率达19%。
2023-11-11 cs.AI cs.CL cs.LG
Self-Supervised Contrastive Learning for Code Retrieval and Summarization via Semantic-Preserving Transformations
Huawei Ireland Research Center（华为爱尔兰研究中心）；The Open University（开放大学）；Singapore Management University（新加坡管理大学）
我们提出了Corder，一个自监督的对比学习框架的源代码模型。Corder旨在减轻代码检索和代码摘要任务对标记数据的需求。Corder的预训练模型可以以两种方式使用：（1）它可以产生代码的矢量表示，可以应用于没有标记数据的代码检索任务;（2）它可以用于可能仍然需要标记数据的任务的微调过程，例如代码摘要。关键的创新是我们通过对比学习目标要求源代码模型识别相似和不相似的代码片段来训练源代码模型。为此，我们使用一组语义保持转换操作符来生成语法上不同但语义上等效的代码片段。通过大量的实验，我们已经证明，Corder预训练的代码模型在代码到代码检索、文本到代码检索和代码到文本摘要任务中的表现大大优于其他基线。
2021-05-23 cs.AI cs.LG cs.PL
Robust Semantic Communications with Masked VQ-VAE Enabled Codebook
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Imperial College London（帝国理工学院）
本文针对语义通信中的语义噪声问题，提出基于掩码VQ-VAE共享码本、对抗训练和特征重要性模块的鲁棒端到端框架，在降低传输开销的同时显著提升多任务下的抗噪鲁棒性。
2023-04-19 cs.IT cs.LG eess.SP
CLAWSAT: Towards Both Robust and Accurate Code Models
Michigan State University（密歇根州立大学）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们将对比学习（CL）与对抗学习相结合，以共同优化代码模型的鲁棒性和准确性。与现有的作品不同，我们表明，代码混淆，标准的代码转换操作，提供了新的手段来生成互补的“意见”的代码，使我们能够实现强大的和准确的代码模型。据我们所知，这是第一个系统的研究，探索和利用代码模型中（多视图）代码混淆的鲁棒性和准确性优势。具体来说，我们首先在自我监督的预训练阶段采用对抗代码作为CL中的鲁棒性促进视图。这提高了下游任务的鲁棒性和可转移性。接下来，在监督微调阶段，我们证明了具有适当的时间交错的对抗代码生成时间表的对抗训练可以进一步提高预训练代码模型的鲁棒性和准确性。在上述两个模块的基础上，我们开发了CLAWSAT，一个新的自监督学习（SSL）框架的代码集成$\underline{\textrm{CL}}$与$\underline{\textrm{a}}$ dversarial视图$\underline{\textrm{w}}$ s（CLAW）与$\underline{\textrm{s}}$标记的$\underline{\textrm{a}}$ dversarial $\underline{\textrm{t}}$训练（SAT）。在评估Python和Java的三个下游任务时，我们发现CLAWSAT始终产生最好的鲁棒性和准确性（在Python中的代码摘要任务中，$\textit{e.g.}$的鲁棒性为1…
2023-03-03 cs.LG cs.PL cs.SE
Precise and Generalized Robustness Certification for Neural Networks
The Hong Kong University of Science and Technology（香港科技大学）；ETH Zurich（苏黎世联邦理工学院）
针对现有神经网络鲁棒性认证多局限于像素级或少量几何/模糊操作的问题，提出GCERT框架，将语义级图像变异统一为生成模型潜在空间方向，可适配多类认证框架，实现低成本的完备语义级鲁棒性认证，适用于自动驾驶等安全敏感场景。
2023-06-11 cs.CR cs.CV cs.LG
Toward Code Generation: A Survey and Lessons from Semantic Parsing
Intel Labs（英特尔实验室）；University of Pennsylvania（宾夕法尼亚大学）
随着自然语言处理技术的发展和对提高软件工程效率的需求，人们对将意图从人类语言翻译成程序设计语言产生了兴趣。在这篇调查论文中，我们试图概述这一领域不断增长的研究。我们首先回顾自然语言语义解析技术，并与程序合成的努力。然后，我们认为语义解析作品从进化的角度来看，神经符号的方法，架构和监督的具体分析。然后，我们分析了代码生成的语义解析框架的进步。最后，我们提出了我们认为在这一领域正在出现的一些公开挑战。
2021-04-26 cs.CL cs.LG cs.PL
