Reachability-Based Formal Verification of Graph Neural Networks with Node and Edge Features
Vanderbilt University(范德堡大学)
本文提出GraphStar集扩展NNV框架,实现GNN形式化验证,在电力系统任务和图分类基准上提供更紧致的鲁棒性保证。
2026-09-25 cs.AI cs.LG
Online Verification of Deep Neural Networks under Domain Shift or Network Updates
Carnegie Mellon University(卡内基梅隆大学)
虽然神经网络得到了广泛的应用,但在实际应用中形式化地验证神经网络的安全性和鲁棒性仍然是一个挑战。现有的方法都是在部署前对网络进行验证,仅限于相对简单的规范和固定网络。这些方法还不能应用于具有复杂和/或动态变化的规范和网络的现实问题。为了有效地处理这些问题,需要在发生这些更改时在线执行验证。然而,在线运行现有的验证算法仍然具有挑战性。我们的关键见解是,我们可以利用这些变化的时间依赖性来加速验证过程。本文建立了一个新的框架,可扩展的在线验证,以解决现实世界的验证问题,动态变化的规范和/或网络。我们提出了三种类型的加速算法:分支管理,以减少重复计算,扰动容忍的变化,和增量计算重用以前的结果。实验结果表明,我们的算法实现了高达$100\times$的加速,从而显示了一个有前途的方式来扩展神经网络验证到现实世界的应用。
2023-02-03 cs.AI cs.LG
A Convex Relaxation Barrier to Tight Robustness Verification of Neural Networks
Microsoft Research AI(微软研究院人工智能部门);UCLA(加州大学洛杉矶分校)
神经网络的验证使我们能够衡量它们对对抗攻击的鲁棒性。验证算法分为两类:在指数时间内运行的精确验证器和有效但不完整的松弛验证器。在本文中,我们统一了所有现有的LP松弛验证,尽我们所知,在一个一般的凸松弛框架。该框架适用于具有不同架构和非线性的神经网络,并涵盖了鲁棒性验证的原始和对偶视图。我们进一步证明了强对偶的原始和对偶问题在非常温和的条件下。接下来,我们进行了超过22个CPU年的大规模实验,以获得在我们的ReLU网络框架中最优的凸松弛问题的精确解。我们发现,对于在MNIST和CIFAR数据集上正常或鲁棒训练的各种网络,精确的解决方案并没有显着改善PGD和现有松弛验证器之间的差距。我们的研究结果表明,对于我们的框架捕获的大类方法,严格验证存在固有的障碍。我们讨论了这种障碍的可能原因以及绕过它的潜在未来方向。我们的代码和训练模型可以在http://github.com/Hadisalman/robust-verify-benchmark上找到。
2020-01-10 cs.AI cs.CR cs.CV
Optimized Symbolic Interval Propagation for Neural Network Verification
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
神经网络越来越多地应用于安全关键领域,因此其验证变得越来越重要。目前证明前馈神经网络输入输出关系的算法中有一大类是基于线性松弛和符号区间传播的。然而,由于变量的依赖性,近似随着网络深度的增加而恶化。在本文中,我们提出了DPNeurifyFV,这是一种用于低维输入空间的ReLU网络的新型分支定界求解器,它基于具有新鲜变量和输入分裂的符号区间传播。一个新的启发式选择新鲜的变量可以改善依赖性问题,而我们的新的分裂启发式,结合其他几个改进,加快了分支定界过程。我们评估我们的方法在空中防撞网络ACAS徐和演示运行时的改进相比,国家的最先进的工具。
2022-12-15 cs.AI cs.CR cs.LG
Learning Lookahead Lemmas for Neural Network Verification
本文提出一种前瞻驱动的神经网络验证内处理框架,将其应用于Marabou和α-β-CROWN两款验证器,可提升性能,最多多证明34%的不可满足实例。
2026-08-03 cs.AI cs.LG cs.LO
Privacy-Preserving Robustness Verification for Neural Networks
School of Artificial Intelligence, Beijing Key Laboratory of Artificial Intelligence for Education, Engineering Research Center of Intelligent Technology and Educational Application (Ministry of Education), Beijing Normal University, Beijing, China(人工智能学院,北京人工智能教育重点实验室,智能技术与教育应用工程研究中心(教育部),北京师范大学,北京,中国);School of Computer Science University of Bristol(计算机科学学院,布里斯托大学);School of Mathematical Sciences Peking University(数学科学学院,北京大学)
针对神经网络验证与数据隐私的固有矛盾,提出基于安全两方计算的SecureCROWN框架,将条件逻辑转化为连续运算消除分支,实现隐私保护下的鲁棒性验证,效率与精度表现优异。
2026-07-07 cs.AI cs.CR cs.LG
UR4NNV: Neural Network Verification, Under-approximation Reachability Works!
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出 UR4NNV 框架,首次利用基于二叉树分支的欠近似可达性分析验证 ReLU 深度神经网络,以有效证伪属性并缓解过近似方法的“未知困境”。
2024-01-23 cs.AI cs.LG
AMITE: A Novel Polynomial Expansion for Analyzing Neural Network Nonlinearities
Lockheed Martin Artificial Intelligence Center(洛克希德·马丁人工智能中心);Villanova University(维拉诺瓦大学)
多项式展开式在神经网络非线性分析中具有重要意义。它们已被应用于解决众所周知的核查,解释性和安全性方面的困难。现有的方法跨越经典的泰勒和切比雪夫方法,渐近,和许多数值方法。我们发现,虽然这些单独有有用的属性,如精确的误差公式,可调域,和未定义的衍生物的鲁棒性,有没有办法提供一个一致的方法,产生所有这些属性的扩展。为了解决这个问题,我们开发了一个解析修改的积分变换扩展(AMITE),一种新的扩展通过修改使用派生的收敛标准的积分变换。我们展示了一般的扩展,然后展示了两个流行的激活函数,双曲正切和整流线性单位的应用。与现有的扩张相比(即,AMITE是第一个提供六个先前相互排斥的所需展开性质的方法,例如系数的精确公式和精确展开误差(表II)。我们在两个案例研究中证明了AMITE的有效性。首先,多元多项式形式有效地提取从一个单一的隐藏层黑盒多层感知器(MLP),以方便等价性测试从嘈杂的刺激-反应对。第二,具有3层和7层之间的各种前馈神经网络(FFNN)架构使用通过AMITE多项式和误差公式改进的泰勒模型进行范围界定。AMITE提出了一种新的扩展方法,适用于神经网络中的非线性分析/近似,为神经网络的理论分析和系统测试开辟了新的方向和机会。
2021-11-24 cs.LG cs.SY eess.SY
Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers
Northeastern University(东北大学);UCLA(加利福尼亚大学洛杉矶分校);Columbia University(哥伦比亚大学)
神经网络的形式化验证是一个具有挑战性的重要问题。现有的高效完整求解器通常需要分支定界(BaB)过程,该过程将问题域分成子域,并使用更快但更弱的不完整验证器(例如线性松弛子域上的线性规划(LP))求解每个子域。在本文中,我们提出了使用后向模式线性松弛基于扰动分析(LiRPA),以取代LP在BaB过程中,这可以有效地实现在典型的机器学习加速器,如GPU和TPU。然而,与LP不同,LiRPA在简单应用时可以产生更弱的边界,甚至无法检查分裂过程中子域的某些冲突,使得整个过程在BaB之后不完整。为了解决这些挑战,我们应用了一种快速的基于梯度的边界收紧程序,结合了批处理分割和LP边界程序的最小使用设计,使我们能够有效地在加速器硬件上使用LiRPA来解决具有挑战性的完整NN验证问题,并显着优于基于LP的方法。在一个单一的GPU上,我们展示了一个数量级的加速比现有的LP为基础的方法。
2021-03-16 cs.AI cs.LG
Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation
Imperial College London(帝国理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校);Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);University of Limassol(利马索尔大学);Safe Intelligence
本文提出一种通过采样、线性近似与分支定界Lipschitz优化计算分段线性约束的方法,用于验证神经网络对图像几何变换的鲁棒性,获得了更紧的过近似,在MNIST和CIFAR10上比现有方法多解决高达32%的验证案例。
2024-09-21 cs.AI cs.CV cs.LG
Clip-and-Verify: Linear Constraint-Driven Domain Clipping for Accelerating Neural Network Verification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Clip-and-Verify通过基于线性约束的域剪裁方法,提升神经网络验证效率,减少子问题数量并提高验证准确率。
2025-12-11 cs.AI cs.CR cs.LG
Verification of Neural Networks against Convolutional Perturbations via Parameterised Kernels
Safe Intelligence(安全智能);Imperial College London(伦敦帝国学院)
本文提出用可线性参数化的相机抖动、盒式模糊和锐化核,在网络前添加线性层并结合输入分裂分支定界,实现对卷积扰动的高效鲁棒性验证。
2025-02-17 cs.AI cs.CR cs.CV
Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Robustness Verification
Columbia University(哥伦比亚大学);CMU(卡内基梅隆大学);Northeastern University(东北大学);UCLA(加州大学洛杉矶分校)
基于边界传播的不完全神经网络验证器(如CROWN)是非常有效的,并且可以显著地加速基于分支定界(BaB)的神经网络的完全验证。然而,边界传播无法完全处理BaB引入的神经元分裂约束,这些约束通常由昂贵的线性规划(LP)求解器处理,从而导致边界松动并损害验证效率。在这项工作中,我们开发了$β$ -CROWN,一个新的边界传播为基础的方法,可以完全编码神经元分裂通过优化参数$β$从原始或对偶空间。当在中间层中联合优化时,$β$ -CROWN通常比具有神经元分裂约束的典型LP验证器产生更好的边界,同时与GPU上的CROWN一样高效和可并行化。应用于完整的鲁棒性验证基准测试,$β$ -CROWN与BaB比基于LP的BaB方法快三个数量级,并且明显快于所有现有的方法,同时产生较低的超时率。通过提前终止BaB,我们的方法也可以用于有效的不完全验证。我们一贯实现更高的验证精度在许多设置相比,强大的不完整验证,包括那些基于凸障碍突破技术。与通常最严格但成本非常高的基于半定规划(SDP)的不完全验证器相比,我们获得了更高的验证精度,验证时间减少了三个数量级。我们的算法授权了$α,\!β$ -CROWN(alpha-beta-CROWN)验证器,这是VNN-COMP 2021的获奖工具。我们的代码可在http://PaperCode.cc/BetaCROWN上获得
2021-10-31 cs.AI cs.CR cs.LG
Neural Network Verification using Partial Multi-Neuron Relaxation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
提出部分多神经元松弛方法,通过启发式选择少量神经元生成多神经元边界,在Marabou验证器中实现紧致性与可扩展性的平衡。
2026-06-02 cs.AI cs.LO
Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification
Amazon(亚马逊);Massachusetts Institute of Technology(麻省理工学院)
本研究提出中心化残差特征方法,通过移除残差训练产生的共享身份对齐组件,对比残差块特有结构得到谱系分数,可高效准确验证开源权重语言模型检查点的谱系
2026-09-24 cs.CL cs.LG
Neural Network Branching for Neural Network Verification
University of Oxford(牛津大学)
神经网络的形式化验证对于其在安全关键领域的部署至关重要。许多可用的形式化验证方法已被证明是一个统一的分支和界限(BaB)制定的实例。我们提出了一个新的框架,设计一个有效的分支策略的BaB。具体来说,我们学习一个图神经网络(GNN)来模仿强分支启发式行为。我们的框架不同于以前的方法学习分支在两个主要方面。首先,我们的框架直接将我们想要验证的神经网络视为GNN的图形输入。其次,我们开发了一个直观的向前和向后嵌入更新时间表。从经验上讲,与最好的手工设计的分支策略相比,我们的框架在分支数量和各种卷积网络上验证所需的时间上都实现了大致$50\%$的减少。此外,我们证明了我们的GNN模型具有水平和垂直的可转移性。横向而言,在简单属性上训练的模型在难度级别增加的属性上表现良好。在垂直方向上,在小型神经网络上训练的模型在大型神经网络上实现了类似的性能。
2019-12-03 cs.LG stat.ML
SpeechNAS: Towards Better Trade-off between Latency and Accuracy for Large-Scale Speaker Verification
Kuaishou Technology(快手科技)
近年来,x向量已成为说话人确认的一种成功和流行的方法,它采用时间延迟神经网络(TDNN)和统计池从可变长度的话语中提取说话人特征嵌入。对x-向量的改进一直是一个活跃的研究领域,基于x-向量的神经网络已经被精心设计,如扩展TDNN(E-TDNN)、因子化TDNN(F-TDNN)和密集连接TDNN(D-TDNN)。在这项工作中,我们试图从基于TDNN的搜索空间采用神经架构搜索(NAS),命名为SpeechNAS的最佳架构。利用说话人识别的最新进展,如高阶统计池,多分支机制,D-TDNN和具有最小超球能量(MHE)的角加性裕度softmax(AAM)损失,SpeechNAS自动发现五种网络架构,从SpeechNAS-1到SpeechNAS-5,在大规模文本无关的说话人识别数据集VoxCeleb 1上具有不同数量的参数和GFLOP。我们推导出的最佳神经网络在VoxCeleb 1的标准测试集上实现了1.02%的相等出错率(EER),这大大超过了以前基于TDNN的最先进方法。代码和训练权重在https://github.com/wentaozhu/speechnas.git中
2021-09-18 cs.CL cs.CV cs.LG
Complete Verification via Multi-Neuron Relaxation Guided Branch-and-Bound
ETH Zurich(苏黎世联邦理工学院)
最先进的神经网络验证器基本上基于两种范式之一:通过紧密的多神经元凸松弛对整个验证问题进行编码,或者在大量较容易的子问题上应用分支定界(BaB)过程,该过程利用不精确但快速的定界方法。前者可以捕获复杂的多神经元依赖关系,但由于凸松弛的固有限制而牺牲了完整性。后者能够实现完整的验证,但在更大和更具挑战性的网络上变得越来越无效。在这项工作中,我们提出了一种新的完整的验证器,它结合了这两种范式的优势:它利用多神经元松弛,大大减少了在BaB过程中产生的子问题的数量和一个有效的基于GPU的双重优化解决剩余的。一个广泛的评估表明,我们的验证器实现了一个新的国家的最先进的既有基准,以及网络具有显着更高的准确性比以前考虑的。后一个结果(高达28%的认证增益)表明在创建可以处理实际相关网络的验证器方面取得了有意义的进展。
2022-04-30 cs.LG cs.SE
Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition
University of Oxford(牛津大学);Deepmind
本文改进了用于形式化证明神经网络输入输出性质的分支定界算法的可扩展性。首先,我们提出了新的边界算法的基础上拉格朗日分解。以前的工作已经使用现成的求解器来解决松弛在每个节点的BaB树,或构造较弱的松弛,可以有效地解决,但导致不必要的弱边界。我们的配方限制优化的对偶域,保证包含最佳的子空间,从而加速收敛。此外,它允许大规模并行实现,这可以通过现代深度学习框架进行GPU加速。其次,我们提出了一种新的基于激活的分支策略。通过耦合一个廉价的启发式与快速的双重绑定,我们的分支方案大大减少了大小的BaB树相比,以前的探试法。此外,它与基于学习算法的最新策略具有竞争力,而没有其大的离线训练成本。最后,我们设计了一个BaB框架,命名为分支和双网络界(BaDNB),基于我们的新的边界和分支算法。我们表明,BaDNB优于以前的完整的验证系统的大幅度,削减平均验证时间的因素高达50对抗性的鲁棒性。
2021-04-14 cs.LG cs.LO stat.ML
Branch and Bound for Relational Verification of Neural Networks
Graduate School and Faculty of Information Science and Electrical Engineering, Kyushu University(九州大学情报科学与电气工程研究院及学部);National Institute of Informatics(信息学研究所);UNSW Sydney(新南威尔士大学悉尼分校)
本文提出分支定界(BaB)框架,通过关系神经元拆分及对应选择策略,在817个跨多数据集的验证问题上,使SaBRe在已解决实例数和效率上优于基线方法,提升神经网络关系验证效果。
2026-08-14 cs.LG
Branch and Bound for Piecewise Linear Neural Network Verification
University of Oxford(牛津大学);Deepmind
针对深度学习模型在安全关键应用中的形式化验证难题,提出基于分支定界的算法系列,结合混合整数线性规划,提升性能并解决卷积网络高维问题,还构建了全面测试基准。
2025-08-26 cs.LG cs.LO stat.ML
Certified Training with Branch-and-Bound for Lyapunov-stable Neural Control
University of California, Riverside(加州大学河滨分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出CT-BaB框架,通过动态训练数据集和自适应分割技术,提升神经控制器在区域吸引域内的认证保证,减少训练与验证时间差异,实现更高效的验证和更大的吸引域。
2026-04-06 cs.AI cs.LG cs.RO
Verifying Neural Networks with Reinforcement Learning
George Mason University(乔治梅森大学)
本文提出RSB,一种基于强化学习的框架,通过训练演员-评论家模型优化分支启发式,在600个实例上多解决11%并减少50%分支探索,提升DNN形式化验证效率。
2026-09-29 cs.LG cs.SE
Adaptive Branch-and-Bound Tree Exploration for Neural Network Verification
Kyushu University(九州大学);University of New South Wales(新南威尔士大学)
针对神经网络验证中 BaB 方法忽略子问题重要性导致效率低的问题,提出基于蒙特卡洛树搜索的自适应验证方法 ABONN,通过评估子问题找到反例的可能性进行引导,在 MNIST 和 CIFAR-10 上分别实现最高 15.2 倍和 24.7 倍的加速。
2025-05-02 cs.LG cs.PL
Multi-task Learning for Speaker Verification and Voice Trigger Detection
Apple(苹果公司)
自动语音转录和说话人识别通常被视为独立的任务,即使它们是相互依赖的。在这项研究中,我们研究了训练一个网络来联合执行这两项任务。我们训练的网络在一个监督的多任务学习设置,其中的语音转录分支的网络进行训练,以尽量减少语音连接时间分类(CTC)的损失,而说话人识别分支的网络进行训练,以标记的输入序列与正确的标签的扬声器。我们提出了一个大规模的实证研究,其中使用每个任务数千小时的标记训练数据来训练模型。我们评估的语音转录分支的网络上的语音触发检测任务,而说话人识别分支上的说话人验证任务进行评估。结果表明,该网络是能够编码的语音\emph{and}扬声器信息在其学习表示,同时产生的准确性至少一样好的基线模型为每个任务,具有相同数量的参数作为独立的模型。
2020-01-26 cs.CL cs.LG cs.SD
Scalable Neural Network Verification with Branch-and-bound Inferred Cutting Planes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);RWTH Aachen University(亚琛工业大学)
本文提出BICCOS方法,通过神经网络验证问题的结构生成高效可扩展的切割平面,利用分支界限搜索树中的逻辑关系生成约束,提升验证效率和可扩展性。
2026-03-28 cs.CR cs.LG math.OC
Sound and Complete Verification of Polynomial Networks
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
近年来,多项式网络在人脸和图像识别方面表现出了良好的性能。然而,PN的鲁棒性尚不清楚,因此获得证书对于使其在现实世界的应用中采用变得至关重要。现有的基于经典分支定界(BaB)技术的ReLU神经网络(NN)验证算法不能简单地应用于PN验证。在这项工作中,我们设计了一个新的边界方法,配备了BaB的全局收敛保证,称为多项式网络或VPN验证的简称。一个关键的见解是,我们获得了比区间边界传播(IBP)和DeepT-Fast更严格的边界[Bonaert等人,2021年]基线。这可以通过MNIST、CIFAR10和STL 10数据集上的经验验证实现合理和完整的PN验证。我们相信,我们的方法有自己的利益,神经网络验证。源代码可在www.example.com上公开获得。
2022-10-22 cs.AI cs.CR cs.LG
Efficient Neural Network Verification via Order Leading Exploration of Branch-and-Bound Trees
University of New South Wales(新南威尔士大学);CSIRO’s Data61(CSIRO数据61);Kyushu University(九州大学);National Institute of Informatics(日本信息处理学会)
针对分支定界验证中子问题按“先到先服务”探索效率低的问题,提出 Oliva 框架,按反例可能性优先分支,并在 690 个问题上实现最高 80 倍加速。
2025-07-23 cs.LG cs.PL cs.SE
Vertex-Softmax: Tight Transformer Verification via Exact Softmax Optimization
University of California, Irvine(加州大学尔湾分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出顶点softmax方法,通过精确优化softmax函数,实现transformer注意力的严格验证,提升了认证率并收紧了下界。
2026-05-08 cs.AI cs.LG
A deep branching solver for fully nonlinear partial differential equations
Nanyang Technological University(南洋理工大学)
提出一种结合神经网络与Monte Carlo分支算法的多维深度学习求解器,用于数值求解完全非线性PDE,能处理任意阶梯度项非线性,且优于基于BSDE或Galerkin的方法。
2023-09-09 cs.LG cs.NA math.AP
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan(台湾国家科学与技术委员会)
提出抽象精化框架,通过分割预激活区间消除非线性松弛误差,并利用SHAP引导的时间步选择策略降低组合成本,显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
General Cutting Planes for Bound-Propagation-Based Neural Network Verification
CMU(卡内基梅隆大学);Columbia University(哥伦比亚大学);Drexel University(德雷塞尔大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);UCLA(加州大学洛杉矶分校);Bosch Center for AI(博世人工智能中心)
当结合分支定界法时,定界传播方法是形式化验证深度神经网络属性(如正确性、鲁棒性和安全性)的最有效方法之一。然而,现有的作品不能处理的一般形式的切割平面约束广泛接受的传统求解器,这是至关重要的加强验证与收紧凸松弛。在本文中,我们推广的绑定传播过程中,允许添加任意切割平面的约束,包括那些涉及放松的整数变量,不出现在现有的绑定传播配方。我们的广义边界传播方法,GCP-CROWN,开辟了机会,适用于一般的切割平面方法的神经网络验证,同时受益于效率和GPU加速的边界传播方法。作为一个案例研究,我们调查了使用现成的混合整数规划(MIP)求解器生成的切割平面。我们发现,MIP求解器可以生成高质量的切割平面,以加强基于边界传播的验证器使用我们的新配方。由于以分支为中心的边界传播过程和以切割平面为中心的MIP求解器可以利用不同类型的硬件(GPU和CPU)并行运行,因此它们的组合可以快速探索具有强切割平面的大量分支,从而产生强验证性能。实验表明,我们的方法是第一个可以完全解决oval 20基准测试的验证器,并且与VNN-COMP 2021中的最佳工具相比,在oval 21基准测试中验证的实例数量是其两倍,并且在各种基准测试中也明显优于最先进的验证器。GCP-CROWN是$α,\!β$ -CROWN验证器的一部分,该验证器是VNN-COMP 2022的获奖者。代码可在http://PaperCode.c…
2022-12-04 cs.CR cs.CV cs.LG
CS-Rep: Making Speaker Verification Networks Embracing Re-parameterization
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Computer College, Qinghai Nationalities University(青海民族大学计算机学院);National Institute of Informatics(日本国立信息学研究所);School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件工程学院);National Institute of Information and Communications Technology(日本国立信息与通信技术研究所)
自动说话人确认(ASV)系统主要关注的是确认的准确性,而忽略了推理的速度。然而,在实际应用中,推理速度和验证精度都是必不可少的。提出了一种新的多类型网络拓扑参数化策略--交叉顺序参数化(CS-Rep),以提高模型的推理速度和验证精度。CS-Rep解决了现有重参数化方法不适用于典型ASV骨干网的问题。当模型应用CS-Rep时,训练期网络利用多分支拓扑结构来捕获说话人信息,而推理期模型转换为具有堆叠TDNN层的类似TDNN的普通骨干,以实现快速推理速度。在CS-Rep的基础上,提出了一种具有友好测试和部署功能的改进TDNN(Rep-TDNN)。与业界高度认可的最新模型ECAPA-TDNN相比,Rep-TDNN的实际推理速度提高了约50%,EER降低了10%。代码将被释放。
2022-04-04 cs.LG cs.SD eess.AS
Malacopula: adversarial automatic speaker verification attacks using a neural-based generalised Hammerstein model
EURECOM(欧洲通信学院);National Institute of Informatics(国立信息学研究所);Microsoft(微软公司);The Hong Kong Polytechnic University(香港理工大学)
本研究提出基于神经网络的广义Hammerstein模型Malacopula,通过生成对抗性扰动提升语音欺骗攻击对ASV系统的效果,实验验证了其攻击效力及现有防御的局限,凸显了完善ASV对抗防御的必要性。
2024-08-17 cs.CR cs.LG cs.SD
Learning To Dive In Branch And Bound
ETH Zurich(苏黎世联邦理工学院)
原始算法对于求解混合整数线性规划很重要,因为它们可以找到可行的解,便于分支定界搜索。一个重要的原始考古学群是潜水考古学。他们迭代地修改和解决线性规划,从搜索树中的任何节点进行深度优先搜索。现有的潜水员依赖于通用的决策规则,无法利用在实践中经常出现的类似问题实例之间的结构共性。因此,我们提出了L2 Dive来学习特定的潜水算法:我们训练生成模型来预测变量分配,并利用线性规划的对偶性来根据模型的预测做出潜水决策。L2 Dive完全集成到开源求解器SCIP中。我们发现,L2潜水优于标准潜水员找到更好的可行的解决方案,在一系列的组合优化问题。对于服务器负载均衡和神经网络验证等实际应用,L2 Dive在优化(默认)求解器基线上平均将原始-对偶积分提高了7%(35%),并将平均求解时间缩短了20%(29%)。
2023-01-24 cs.LG math.OC
Correctness Verification of Neural Networks Approximating Differential Equations
Technical University of Denmark (DTU)(丹麦技术大学(DTU))
本文提出一种验证逼近偏微分方程解的神经网络的方法,通过有限差分近似导数、界定PDE残差及误差传播,并首次在无输出域先验知识下利用并行分支算法结合CROWN求解器与梯度攻击实现神经网络函数边界界定。
2024-02-12 cs.LG cs.SY eess.SY
Hierarchical End-to-End Taylor Bounds for Complete Neural Network Verification
Johns Hopkins University(约翰霍普金斯大学)
本文提出HiTaB框架,利用二阶光滑性及Hessian和其Lipschitz常数,通过分层方法改进神经网络可达集分析,提供更精确的安全性证明。
2026-05-11 cs.LG cs.SY eess.SY