Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers
University of Maryland, College Park（马里兰大学帕克分校）
凸松弛对于训练和验证神经网络对抗范数有界对抗攻击是有效的，但它们在可验证和经验鲁棒性之间留下了很大的差距。原则上，如果松弛问题的解对于原始非凸问题是可行的，则凸松弛可以提供紧边界。我们提出了两个正则化，可用于训练神经网络，产生更严格的凸松弛边界的鲁棒性。在我们所有的实验中，提出的正则化器比非正则化基线具有更高的认证准确性。
2020-02-22 cs.LG stat.ML
Lipschitz-aware Linearity Grafting for Certified Robustness
KyungHee University（韩国庆熙大学）
本文提出了一种具有Lipschitz意识的线性移植方法，通过消除主要的逼近误差来提高认证鲁棒性。
2025-12-14 cs.AI cs.LG
Towards Bridging the gap between Empirical and Certified Robustness against Adversarial Examples
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）
目前最先进的对抗性示例的防御方法通常集中在提高经验或认证的鲁棒性。其中，对抗性训练（AT）模型可以对对抗性示例进行经验性的最先进防御，而不会为大型分类器或高维输入提供任何鲁棒性保证。相比之下，现有的基于随机平滑的模型实现了最先进的认证鲁棒性，同时显着降低了对抗性示例的经验鲁棒性。在本文中，我们提出了一种新的方法，称为\emph{Certification through Adaptation}，在推理过程中将AT模型转换为随机平滑分类器，为$\ell_2$范数提供认证的鲁棒性，而不影响其对对抗攻击的经验鲁棒性。我们还提出了\emph{Auto-Noise}技术，有效地近似适当的噪声水平，灵活地证明使用随机平滑技术的测试示例。我们提出的\emph{Certification through Adaptation}与\emph{Auto-Noise}技术实现了一个\textit{average certified radius (ACR) scores}高达$1.102$和$1.148$分别为CIFAR-10和ImageNet数据集使用AT模型，而不影响其经验的鲁棒性或良性的准确性。因此，我们的论文是通过使用相同的分类器来实现对抗性示例的经验和认证鲁棒性之间的差距。
2022-07-30 cs.AI cs.LG
Improving Graph Neural Network Representations of Logical Formulae with Subgraph Pooling
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Northwestern University（西北大学）
深度学习与自动定理证明集成的最新进展集中在将逻辑公式表示为深度学习系统的输入。特别是，人们越来越关注结构感知神经方法，以适应逻辑表达式的底层图形表示。虽然比字符和标记级方法更有效，但基于图的方法往往会进行代表性的权衡，限制了它们捕捉输入的关键结构属性的能力。在这项工作中，我们提出了一种新的方法嵌入逻辑公式，旨在克服现有方法的代表性限制。我们的架构适用于不同表现力的逻辑;例如，一阶和高阶逻辑。我们在两个标准数据集上评估了我们的方法，并表明所提出的架构在前提选择和证明步骤分类方面都达到了最先进的性能。
2020-06-05 cs.AI cs.LG cs.LO
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University（浙江大学）；University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出Text-CRS框架，基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证，并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
Adversarial Framework with Certified Robustness for Time-Series Domain via Statistical Features
Washington State University（华盛顿州立大学）
时间序列数据出现在许多现实世界的应用中（例如，移动健康）和深度神经网络（DNN）在解决这些问题方面取得了巨大成功。尽管它们取得了成功，但人们对它们对对抗攻击的鲁棒性知之甚少。在本文中，我们提出了一种新的对抗框架，称为通过STATISTIVE特征的时间序列攻击（TSA-STAT）。为了解决时间序列领域的独特挑战，TSA-STAT采用对时间序列数据的统计特征的约束来构建对抗性示例。优化的多项式变换用于创建比基于加性扰动的攻击更有效的攻击（就成功欺骗DNN而言）。我们还提供了用于构建对抗性示例的统计特征范数的认证界限。我们在不同的真实世界基准数据集上的实验表明，TSA-STAT在欺骗时间序列域的DNN和提高其鲁棒性方面是有效的。TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/Time-Series-Attacks-via-STATistical-Features上获得
2022-07-09 cs.LG
LipNeXt: Scaling up Lipschitz-based Certified Robustness to Billion-parameter Models
Carnegie Mellon University（卡内基梅隆大学）
LipNeXt通过无约束和无卷积的1-Lipschitz架构，在大规模模型中实现高效的认证鲁棒性提升。
2026-01-26 cs.LG
From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization
本文提出验证器认证规则迁移（VCRT），通过反菱形监督保留真实先决条件，在多个推理环境中将宏通过率提升13.06个百分点，但未证实精确轨道聚合的普遍优势。
2026-09-24 cs.LG
Improving Coherence and Consistency in Neural Sequence Models with Dual-System, Neuro-Symbolic Reasoning
MIT（麻省理工学院）；DeepMind；NYU（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
人类推理通常可以理解为两个系统之间的相互作用：直觉和联想（“系统1”）和深思熟虑和逻辑（“系统2”）。神经序列模型-在执行复杂的结构化任务方面越来越成功-展示了系统1的优势和失败模式：它们速度快，可以从数据中学习模式，但通常不一致和不连贯。在这项工作中，我们寻求一种轻量级的，无需训练的方法，通过添加System 2启发的逻辑推理来改进现有的System 1类序列模型。我们探讨了这个主题的几种变化，其中候选人的神经序列模型的逻辑一致性检查的符号推理模块，它可以接受或拒绝的代。我们的方法使用神经推理在神经系统1和逻辑系统2之间进行调解。结果表明，该方法可以提高基于神经的故事生成的一致性和准确性。
2021-12-15 cs.AI cs.CL cs.LG
Average Certified Radius is a Poor Metric for Randomized Smoothing
ETH Zurich（苏黎世联邦理工学院）
本文首次从理论和实验上证明平均认证半径（ACR）会偏向简单样本、依赖认证预算，并可通过丢弃困难样本等策略在 CIFAR-10 上取得最先进 ACR，因而主张停止使用 ACR，改用基础模型在含噪数据上的准确率分布作为随机平滑的评估指标。
2025-06-04 cs.LG
A game method for improving the interpretability of convolution neural network
Faculty of Computer Science and Engineering, Xi’an University of Technology（西安理工大学计算机科学与工程学院）；Faculty of Science, Xi’an University of Technology（西安理工大学理学院）
真正的人工智能一直是机器学习研究者关注的焦点，特别是在深度学习领域。然而，深层的神经网络是难以理解和解释的，有时甚至是形而上学。原因在于，我们认为：网络本质上是一种感知模型。因此，我们认为，要从简单的感知完成复杂的智能活动，就必须构建另一个可解释的逻辑网络，形成对外界事物的准确、合理的反应和解释。像Bolei Zhou和Quanshi Zhang这样的研究人员针对卷积神经网络的特征提取阶段，发现了许多深度特征提取的解释规则。然而，尽管像Marco Gori这样的研究人员也在努力提高网络全连接层的可解释性，但问题也非常困难。本文首先分析了其原因。提出了一种基于全连通层的逻辑网络构造方法，并提取了各层输入输出之间的逻辑关系。实现了感知学习与逻辑抽象认知学习的博弈过程，提高了深度学习过程和深度学习模型的可解释性。我们的方法的好处是说明基准数据集和现实世界的实验。
2019-10-21 cs.CV cs.LG stat.ML
Improving Neural-based Classification with Logical Background Knowledge
IRT SystemX；CentraleSupélec（中央高等电力学院）
本文提出推理时语义条件约束这一神经符号技术，在不影响训练的前提下约束推理过程，并通过多尺度实验证明其能以更少资源构建更准确且语义一致的神经分类系统。
2024-02-20 cs.AI cs.LG cs.SC
Certified Robust Models with Slack Control and Large Lipschitz Constants
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出校准Lipschitz间隔损失（CLL），通过显式校准损失以控制松弛，解决最小化Lipschitz常数导致的过度平滑和准确率下降问题，在较大常数下提升鲁棒性并超越SOTA。
2023-09-12 cs.CV cs.LG stat.ML
Logically Consistent Adversarial Attacks for Soft Theorem Provers
Imperial College London（帝国理工学院）；ByteDance（字节跳动）
人工智能社区最近的努力已经取得了令人印象深刻的成果，使用语言模型对自然语言句子进行“软定理证明“。我们提出了一个新的生成对抗框架，用于探测和提高这些模型的推理能力。该领域中的对抗攻击遭受逻辑不一致问题，由此对输入的扰动可能改变标签。我们的逻辑一致的对抗性攻击器LAVA通过将结构化生成过程与符号求解器相结合来解决这个问题，从而保证逻辑一致性。我们的框架成功地生成了对抗攻击，并识别了多个目标模型中常见的全局弱点。我们的分析揭示了这些模型的推理能力中的幼稚的逻辑学和漏洞，暴露了对逻辑程序下的逻辑演绎的不完全掌握。最后，除了有效地探测这些模型之外，我们还展示了对生成的样本进行训练可以提高目标模型的性能。
2022-04-29 cs.CL cs.CR cs.LG
Feature-Space Smoothing: Certified Robustness of Deep Representations
Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（快速-丰富目标搜索实验室，电气电子工程学院，南洋理工大学，新加坡）；Pengcheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）
本文提出了一种特征空间平滑（FS）框架，通过在特征表示层面提供认证鲁棒性，以解决深度学习模型对恶意输入的脆弱性问题，核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界，并引入高斯平滑增强器（GSB）提升编码器的高斯鲁棒性得分，从而提升模型的鲁棒性并保持下游任务性能。
2026-10-26 cs.CV cs.LG
Legal2LogicICL: Improving Generalization in Transforming Legal Cases to Logical Formulas via Diverse Few-Shot Learning
Center for Juris-Informatics, ROIS-DS（法信息学中心，ROIS-DS）；Japan Advanced Institute of Science and Technology（日本先端科学技术大学）
本文提出Legal2LogicICL框架，通过检索增强生成实现有效上下文学习，构建信息丰富且稳定的少量样本演示，提升法律案例转逻辑表示的准确性与稳定性。
2026-04-13 cs.AI cs.CL cs.LG
LOGICPO: Efficient Translation of NL-based Logical Problems to FOL using LLMs and Preference Optimization
Indeed Inc.（Indeed公司）；Singapore University of Technology and Design（新加坡科技设计大学）；IIT Kharagpur（印度理工学院卡哈拉格普尔分校）
本文提出LOGICPO框架，通过构建偏好优化数据集并采用DPO和KTO微调开源LLM，将自然语言逻辑问题转换为FOL，使Phi-3.5在逻辑正确性和语法错误率上优于GPT-3.5-turbo。
2025-06-23 cs.AI cs.LG
MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data
National University of Kyiv-Mohyla Academy（基辅-莫希拉学院国家大学）
针对科学错误信息识别难题，提出MisSynth流水线，利用RAG生成合成谬误数据微调LLM，使LLaMA 3.1 8B模型F1分数提升超35%。
2025-10-30 cs.AI cs.CL cs.LG
On Improving Neurosymbolic Learning by Exploiting the Representation Space
University of Pennsylvania（宾夕法尼亚大学）；Huawei Labs（华为实验室）
CLIPPER通过利用表示空间修剪技术提升神经符号学习性能，显著提高Scallop、Dolphin和ISED等引擎的准确率。
2026-02-08 cs.LG
LogiCode: an LLM-Driven Framework for Logical Anomaly Detection
本文提出LogiCode框架，利用大语言模型自动生成Python代码检测工业逻辑异常，并通过LOCO-Annotations数据集和LogiBench基准验证其在准确率、可解释性等方面的提升。
2024-06-07 cs.CV cs.LG
Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss
York Community High School（约克社区高中）；Brown University（布朗大学）
本文提出polytuplet损失函数及配套模型架构，通过强调相对准确率策略，在ReClor数据集上提升阅读理解与逻辑推理任务的性能，并优于基线模型。
2023-12-22 cs.AI cs.CL cs.LG
LOA: Logical Optimal Actions for Text-based Interaction Games
IBM Research（IBM研究院）
我们提出了逻辑最优动作（LOA），一个行动决策架构的强化学习应用程序的神经符号框架，这是一个组合的神经网络和符号知识获取方法的自然语言互动游戏。LOA实验的演示包括一个基于Web的交互式平台，用于基于文本的游戏和可视化所获得的知识，以提高训练规则的可解释性。该演示还提供了与相同文本游戏上的其他神经符号方法以及非符号最先进代理模型的比较模块。我们的LOA还为强化学习环境提供了Python的开源实现，以促进研究神经符号代理的实验。代码：https://github.com/ibm/loa
2021-10-21 cs.AI cs.CL cs.LG
On the Perils of Cascading Robust Classifiers
Carnegie Mellon University（卡内基梅隆大学）；NASA Ames（美国国家航空航天局艾姆斯研究中心）
集成可证明鲁棒的神经网络是提高神经模型\emph{certified robust accuracy}性能的一种很有前途的方法。黑盒集成假设在预测过程中只对组成模型（及其鲁棒性证明）进行查询访问，由于其模块化结构而特别有吸引力。级联集成是黑盒集成的一个流行实例，在实践中似乎可以提高认证的鲁棒精度。然而，我们表明，级联合奏使用的鲁棒性验证是不健全的。也就是说，当级联系综在输入$x$（相对于$ε$）处被证明为局部鲁棒时，在以$x$为中心的$ε$球中可以存在输入$x'$，使得级联在$x'$处的预测不同于$x$，并且因此系综不是局部鲁棒的。我们的理论研究结果伴随着实证结果，进一步证明了这种不健全。我们提出了\emph{cascade attack}（CasA），一种针对级联集成的对抗攻击，并表明：（1）存在高达88%的样本的对抗输入，其中集成声称是可证明的鲁棒性和准确性;（2）当我们的攻击下级联集成声称在97%的测试集上是可证明的鲁棒性和准确性时，其准确性低至11%。我们的工作揭示了级联可证明的鲁棒模型的一个关键陷阱，表明级联的看似有益的策略实际上可能会损害所产生的合奏的鲁棒性。我们的代码可在\url{https://github.com/TristaChi/ensembleKW}上获得。
2022-10-19 cs.LG
From Parse-Execute to Parse-Execute-Refine: Improving Semantic Parser for Complex Question Answering over Knowledge Base
Sun Yat-Sen University（中山大学）
针对复杂知识库问答的多步推理难题，本文提出解析-执行-细化范式，基于KoPL生成逻辑形式并执行得到中间推理步骤，再用该过程细化模型，推出的PER-KBQA在基准数据集上性能优于现有最优基线。
2023-05-05 cs.AI cs.CL cs.LG
Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges
New York University Abu Dhabi（纽约大学阿布扎比分校）
针对现有LLM数学推理评估数值范围有限、缺乏推理过程洞察的问题，本文提出GSM-Ranges数据集生成器和区分逻辑与非逻辑错误的评分方法，揭示了模型在分布外数值推理的弱点及文字题中计算性能下降的问题。
2025-02-12 cs.AI cs.CL cs.LG
Improving Adversarial Robustness via Joint Classification and Multiple Explicit Detection Classes
Bosch Center for AI（博世人工智能中心）；USC（南加州大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；CMU（卡内基梅隆大学）
本研究提出一种通过多个显式弃权类提升对抗鲁棒性的方法，解决模型退化问题，并实现更优的准确率与鲁棒性权衡。
2023-05-10 cs.AI cs.CV cs.LG
APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning
University of Southern California（南加州大学）；Microsoft Cognitive Service Research（微软认知服务研究）；University of Notre Dame（圣母大学）
本文提出 APOLLO，利用逻辑推理关键词筛选 Wikipedia 子集，并结合词性选择性掩码与蕴含/矛盾句子分类损失进行自适应预训练，从而在不依赖任务格式的情况下提升语言模型的通用逻辑推理能力。
2023-06-05 cs.AI cs.CL cs.LG
Improving Adversarial Robustness for Free with Snapshot Ensemble
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Department of Statistics（统计学系）
对抗性训练作为为数不多的针对对抗攻击的认证防御之一，可能非常复杂和耗时，而结果可能不够稳健。为了解决鲁棒性不足的问题，提出了集成方法，旨在通过对重复训练过程的选择结果进行加权来获得最终输出。它被证明是非常有用的，在实现强大的和准确的结果，但计算和内存成本甚至更高。快照集成是近年来提出的一种新的集成方法，它将多个局部极小值组合在一个训练过程中进行最终预测，从而减少了训练多个网络所花费的时间和存储结果的内存。基于快照集成，我们提出了一种更容易实现的新方法：与原始快照集成寻求局部最小值不同，我们的快照集成专注于训练的最后几次迭代并存储其中的参数集。我们的算法要简单得多，但结果的准确性并不低于原始算法：基于不同的超参数和数据集，与传统的对抗训练相比，我们的快照集合的准确性提高了5%到30%。
2021-10-07 cs.AI cs.LG
A Comparative Study of Neurosymbolic AI Approaches to Interpretable Logical Reasoning
Raffles Institution（拉夫斯学院）
本研究比较了神经符号AI中整合与混合两种方法，发现混合方法（如LLM-SS）在通用逻辑推理上更具可解释性和优势，并提出了一个模块化、模型无关的通用框架。
2025-08-05 cs.AI cs.CL cs.LG
Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals
University of Oslo（奥斯陆大学）
针对自然语言处理中事实验证的难题，研究提出基于知识图谱的高效声明验证方法，通过将证据检索从微调语言模型简化为逻辑检索，在FactKG数据集上实现了更低计算资源消耗与更高测试集准确率。
2024-08-14 cs.AI cs.CL cs.LG
LR-XFL: Logical Reasoning-based Explainable Federated Learning
Nanyang Technological University（南洋理工大学）；Joint NTU-WeBank Research Centre on Fintech, Nanyang Technological University（南洋理工大学-微众银行金融科技联合研究中心）
针对联邦学习因隐私保护缺乏全局可解释性的问题，提出LR-XFL方法，通过客户端上传本地逻辑规则、服务器基于数据属性聚合规则和模型，在提升准确率等指标的同时增强模型可解释性与鲁棒性。
2023-12-19 cs.AI cs.DC cs.LG
