Application of the Cox Regression Model for Analysis of Railway Safety Performance
不仅在铁路,对运营安全绩效的评估也是一项重要任务。例如,重要的是要及早识别偏差,特别是安全性能的可能恶化,以便及早采取纠正措施。另一方面,评估应公正客观,并依靠可靠和经过验证的统计方法。这一任务的一个流行手段是趋势分析。本文定义了一种趋势分析模型,并对不同的趋势分析方法进行了比较. G.经典和贝叶斯方法,对真实数据。实例表明,特别是对于小样本量,e。G.摘要在对铁路运营商进行评估时,贝叶斯先验对评估结果有重要影响。
2020-09-01 stat.AP
Certifying Concept Unlearning in Text-to-Image Diffusion Models
Imperial College London(伦敦帝国理工学院);TU Wien(维也纳工业大学)
针对T2I扩散模型概念遗忘评估依赖攻击成功率而忽视残余泄漏的问题,提出结合统计认证与最坏情况分析的认证框架,在三大概念类别和六种方法上验证,泄漏界超过攻击成功率16.2%,证明认证是可靠审计的必要补充。
2026-09-14 cs.LG
RISC-V Functional Safety for Autonomous Automotive Systems: An Analytical Framework and Research Roadmap for ML-Assisted Certification
Andes Technology(安德斯技术)
本文探讨RISC-V在自动驾驶功能安全中的角色,提出以认证经济性为核心的分析框架,通过ML方法优化认证流程,旨在构建符合ASIL-D标准的可认证RISC-V平台。
2026-04-19 cs.AR cs.LG cs.SE
Higher-Order Certification for Randomized Smoothing
MIT(麻省理工学院);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM Watson人工智能实验室,IBM研究)
随机平滑是最近提出的一种对抗对抗攻击的防御方法,它对$\ell_2$扰动具有SOTA可证明的鲁棒性。许多出版物已经通过使用不同的平滑措施将保证扩展到其他度量,例如$\ell_1$或$\ell_\infty$。虽然目前的框架已被证明可以产生接近最优的$\ell_p$半径,总的安全区域认证的目前的框架可以是任意小的最佳相比。在这项工作中,我们提出了一个框架,以提高这些平滑分类器的认证安全区域,而不改变底层的平滑方案。理论贡献如下:1)通过将证明半径的计算转化为一类函数上的嵌套优化问题,推广了随机光滑的证明。2)我们提供了一种方法来计算认证的安全区域使用$0^{th}$顺序和$1^{st}$顺序信息的高斯平滑分类。我们还提供了一个框架,概括了使用高阶信息的认证计算。3)我们设计了有效的,高置信度的一阶信息的相关统计量的估计。结合理论贡献2)和3),使我们能够证明安全区,显着大于目前的方法提供的。在CIFAR10和Imagenet数据集上,通过我们的方法认证的新区域在一般$\ell_1$认证半径和用于颜色空间攻击的$\ell_2$认证半径上实现了显着改进($\ell_2$限于1个通道),同时还在一般$\ell_2$认证半径上实现了较小的改进。我们的框架还可以提供一种方法来规避当前不可能的结果,实现更高幅度的认证半径,而不需要使用数据相关的平滑技术。
2020-10-13 cs.LG stat.ML
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
University of Oxford(牛津大学)
本文提出一种有限样本概率安全认证框架,通过二项式推断为黑盒AI电网协调模型提供安全证书,并结合对抗攻击验证,确保部署安全性。
2026-11-10 cs.AI cs.LG cs.SY
Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications
University of Crete(克里特大学);Catalan Institution for Research and Advanced Studies(加泰罗尼亚研究与高等研究院);University of Lleida(莱里达大学)
针对神经网络对抗样本问题,提出apothem度量以线性时间计算最优鲁棒性认证,并证明体积最优认证的不可行性,引入双重认证和ParallelepipedoNN系统,在MNIST等基准上实现至少两倍的最小边长改进。
2026-06-24 cs.AI cs.CR cs.LG
Non-Vacuous Certification of Transport MCMC via Oscillation-Controlled Normalizing Flows
China Sanya Science and Education Innovation Park, Wuhan University of Technology, Sanya 572025, China(中国三亚科技教育创新园,武汉理工大学,三亚572025,中国);School of Civil Engineering and Architecture, Wuhan University of Technology, Wuhan 430070, China(武汉理工大学土木工程与建筑学院,武汉430070,中国)
提出振荡控制归一化流框架,首次为传输MCMC采样器提供严格的非平凡谱隙界,通过谱归一化、基于覆盖的经验振荡界和振荡正则化训练,在多个后验分布上实现可认证的采样效率。
2026-05-31 cs.LG stat.CO stat.ME
Linear model predictive safety certification for learning-based control
ETH Zurich(苏黎世联邦理工学院)
本文提出了一种模型预测安全认证(MPSC)方案,用于具有加性扰动的多边形线性系统,以解决基于学习的控制器缺乏安全保证的问题。通过引入MPC来确保系统在安全目标集内运行,并通过场景优化提出了一种实用的数据驱动设计方法。
2019-04-08 cs.LG cs.SY eess.SY
Towards a Framework for Deep Learning Certification in Safety-Critical Applications Using Inherently Safe Design and Run-Time Error Detection
ETH ZÜRICH(苏黎世联邦理工学院)
本文针对安全关键应用缺乏深度学习认证流程的问题,提出基于本质安全设计与运行时错误检测的认证框架,并设计了一种无需回归标签即可预测不确定性及检测分布外输入的新颖模型结构。
2024-03-12 cs.LG
Safety Certification in the Latent space using Control Barrier Functions and World Models
Indian Institute of Technology, Roorkee(印度理工学院,罗尔基)
本文提出一种半监督框架,在世界模型潜空间中学习控制屏障证书,结合有限标注数据和视觉Transformer,实现数据高效的安全视觉运动策略合成。
2025-07-18 cs.CV cs.LG cs.RO
Safety Certification for Stochastic Systems via Neural Barrier Functions
Delft University of Technology(代尔夫特理工大学)
为非线性随机系统提供非平凡的安全证书是一个重要的开放问题,它限制了自治系统在安全关键应用中的广泛采用。解决这个问题的一个有希望的解决方案是障碍函数。障碍函数与随机系统的组合形成上鞅,从而使得能够通过鞅不等式计算系统在有限时间范围内保持在安全集中的概率。然而,现有的方法来找到障碍函数的随机系统一般依赖于凸优化程序,限制搜索障碍的一小类功能,如低次SoS多项式,可以计算昂贵。在本文中,我们参数化的障碍函数作为一个神经网络,并表明,神经网络的鲁棒训练技术可以成功地找到神经障碍函数。具体来说,我们利用边界传播技术来证明神经网络通过线性规划满足成为障碍函数的条件,然后在训练时使用得到的边界来强制满足这些条件。我们还提出了一个分支和绑定方案,使认证框架的可扩展性。我们表明,我们的方法优于现有的方法在几个案例研究,并经常返回的安全证书的数量级更大。
2022-06-03 cs.LG cs.SY eess.SY
Principled Drug-Drug Interaction Terms for Bayesian Logistic Regression Models of Drug Safety in Oncology Phase I Combination Trials
在肿瘤学中,评估药物组合的试验变得越来越普遍。虽然联合治疗带来了更大的疗效潜力,但它们也为确保药物安全性带来了独特的挑战。在药物组合的I期剂量递增试验中,基于模型的方法可以有效利用收集的信息,但模型需要考虑试验的复杂性:随着在给定试验中同时测试的药物数量越来越多,相互作用的适当建模变得越来越重要。原则上,我们可以使用来自多组测试不同组合的数据来联合估计药物组合的毒性。然而,在用于确保患者安全性的贝叶斯逻辑斯谛回归模型(BLRM)框架中对药物-药物相互作用进行建模时,这些努力突出了局限性。以前的模型要么不考虑由于拮抗毒性引起的非单调性,要么表现出指数压倒单个药物在剂量反应中的贡献的根本缺陷。当药物组合表现出拮抗毒性时,这特别导致问题,在这种情况下,随着剂量变得非常大,毒性概率变得非常小。受Paracelsus“剂量决定毒药”的直觉启发,我们提出了附加的约束条件,避免了这一缺陷,并提出了一个与这些约束条件兼容的改进的交互模型。我们创建了具有指导意义的数据场景,展示了这种更受约束的药物-药物相互作用模型在防止过度毒性剂量组合的进一步给药和拮抗药物毒性下更合理的剂量发现方面的改进行为。该模型现在可以在开源OncoBayes 2 R包中使用,该包为任意数量的药物和试验组实现了BLRM框架。
2023-02-22 stat.AP stat.ME
How to Certify Machine Learning Based Safety-critical Systems? A Systematic Literature Review
Polytechnique Montréal(蒙特利尔综合理工学院);Laval University(拉瓦尔大学)
背景:在过去的几年里,机器学习(ML)一直是许多创新的核心。然而,将其纳入所谓的“安全关键”系统(如汽车或航空)已被证明是非常具有挑战性的,因为ML带来的范式转变完全改变了传统的认证方法。目的:本文旨在阐明与基于ML的安全关键系统的认证相关的挑战,以及文献中提出的解决方案,以解决这些问题,回答“如何认证基于机器学习的安全关键系统?'.方法:我们对2015年至2020年期间发表的研究论文进行了系统性文献综述(SLR),涵盖与ML系统认证相关的主题。我们总共确定了217篇论文,涵盖了被认为是ML认证的主要支柱的主题:鲁棒性,不确定性,可解释性,验证,安全强化学习和直接认证。分析了各子领域的主要发展趋势和存在的问题,并对所抽取的论文进行了总结。结果如下:SLR结果突出了社区对这一主题的热情,以及数据集和模型类型缺乏多样性。它还强调需要进一步发展学术界和产业界之间的联系,以深化领域研究。最后,它还说明了在目前主要单独研究的上述主要支柱之间建立联系的必要性。结论:我们强调了当前为实现基于ML的软件系统认证所做的努力,并讨论了一些未来的研究方向。
2021-12-01 cs.LG cs.SE
SimCert: Probabilistic Certification for Behavioral Similarity in Deep Neural Network Compression
Shanghai Jiao Tong University(上海交通大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出SimCert框架,通过双网络符号传播方法和方差感知边界技术,实现压缩神经网络的行为相似性验证,提供可调节置信水平的安全保证,实验表明其优于现有方法。
2026-03-16 cs.AI cs.LG cs.SE
When to Trust AI: Advances and Challenges for Certification of Neural Networks
University of Oxford(牛津大学)
本文围绕神经网络认证与可解释性,综述了保障AI决策安全的技术进展,并分析了未来面临的挑战。
2023-09-20 cs.AI cs.CR cs.LG
Efficient Global Robustness Certification of Neural Networks via Interleaving Twin-Network Encoding
Northwestern University(西北大学);University of Liverpool(利物浦大学)
深度神经网络的鲁棒性最近受到了极大的关注,特别是当被部署在安全关键系统中时,因为分析模型输出在输入扰动下的敏感程度是很重要的。虽然大多数以前的工作集中在输入样本周围的局部鲁棒性,全局鲁棒性的研究,限制在整个输入空间的扰动下的最大输出变化,仍然缺乏。在这项工作中,我们将具有ReLU激活函数的神经网络的全局鲁棒性认证公式化为混合整数线性规划(MILP)问题,并提出了一种有效的方法来解决它。我们的方法包括一种新的交织双网络编码方案,其中神经网络的两个副本并排编码,并在它们之间添加额外的交织依赖关系,以及利用松弛和细化技术来降低复杂度的过近似算法。实验证明了我们的工作的时间效率相比,以前的全球鲁棒性认证方法和我们的过近似的紧密性。闭环控制安全验证的案例研究进行,并证明了我们的方法的重要性和实用性,在安全关键系统中的神经网络的全局鲁棒性。
2022-03-26 cs.LG cs.RO cs.SY
Selective Risk Certification for LLM Outputs via Information-Lift Statistics: PAC-Bayes, Robustness, and Skeleton Design
Department of Computer Science Iowa State University(计算机科学系爱荷华州立大学);Department of Civil, Construction and Environmental Engineering Iowa State University(土木、建设与环境工程系爱荷华州立大学)
针对大语言模型高置信错误输出的问题,提出基于信息提升统计的选择性风险认证方法,依托亚伽马PAC-贝叶斯界实现有效弃权保证,在多数据集上性能显著优于基线,适合实际部署。
2025-11-19 cs.LG stat.ML
Tightened Convex Relaxations for Neural Network Robustness Certification
University of California, Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
在本文中,我们考虑的问题,证明的鲁棒性的神经网络扰动和敌对的输入数据。这种认证对于神经网络在安全关键决策和控制系统中的应用是必不可少的。已经提出了使用凸优化的认证技术,但是它们经常遭受使证书无效的松弛错误。我们的工作利用ReLU网络的结构,通过一种新的基于分区的认证程序来改善松弛错误。所提出的方法被证明是收紧现有的线性规划松弛,并渐近实现零松弛误差的分区更精细。我们开发了一个有限的分区,达到零松弛误差,并使用结果来推导出一个易于处理的分区计划,最大限度地减少最坏情况下的松弛误差。使用真实数据的实验表明,分区过程是能够发出鲁棒性证书的情况下,以前的方法失败。因此,分区为基础的认证程序被发现提供了一个直观的,有效的,理论上合理的方法收紧现有的凸松弛技术。
2020-09-18 cs.LG math.OC stat.ML
Towards Certification of Uncertainty Calibration under Adversarial Attacks
University of Oxford(牛津大学);Vienna University of Technology(维也纳技术大学)
针对对抗攻击损害神经分类器校准的问题,提出认证校准方法,给出Brier分数解析界与期望校准误差的混合整数规划近似界,并引入对抗校准训练以提升校准。
2025-02-25 cs.LG stat.ML
Certification-Based Differentially Private Learning
Imperial College London(帝国理工学院)
本研究将形式化方法(抽象解释)推广至差分隐私的预测与学习,提出抽象梯度采样算法,提供更严格的隐私保证并首次在无界灵敏度场景给出有限隐私界限。
2026-10-01 cs.LG
LUCID: Learning-Enabled Uncertainty-Aware Certification of Stochastic Dynamical Systems
Newcastle University(纽卡斯尔大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
LUCID通过学习控制障碍证书和傅里叶核展开,为随机动态系统提供鲁棒且高效的认证框架,实现形式安全保证。
2025-12-12 cs.LG cs.SY eess.SY
Certification of Iterative Predictions in Bayesian Neural Networks
University of Oxford(牛津大学);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
我们考虑了贝叶斯神经网络(BNN)模型迭代预测的到达-避免概率的计算问题。具体来说,我们利用边界传播技术和向后递归来计算BNN模型的轨迹到达给定状态集的概率的下限,同时避免一组不安全的状态。我们使用的控制和强化学习的上下文中的下限提供安全认证给定的控制策略,以及合成控制策略,提高认证界限。在一组基准测试中,我们证明了我们的框架可以用于验证BNN预测的政策,用于$10$维度以上的问题,并有效地综合政策,显着提高满意概率的下限。
2021-06-19 cs.LG
Certified Uncertainty Propagation in One-Shot Federated Bayesian Models via Posterior Event Transport
University of Tehran(德黑兰大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
针对单次联邦贝叶斯模型,提出通过后验事件传输的部署一致认证框架,精确刻画FedAvg聚合下的安全概率下界,实验显示传输认证与直接全局认证存在显著差异。
2026-09-16 cs.LG
Ensuring Dataset Quality for Machine Learning Certification
Safran(赛峰集团);IRT Saint-Exupéry(圣埃克苏佩里研究院);SNCF(法国国家铁路公司);Thales(泰雷兹集团);Thales Continental(泰雷兹大陆公司)
在本文中,我们解决的问题,数据集的质量背景下,机器学习(ML)为基础的关键系统。我们简要分析了一些处理数据的现有标准的适用性,并表明ML上下文的特殊性既没有被正确捕获,也没有被考虑在内。作为第一个答案,这个有关的情况下,我们提出了一个数据集规范和验证过程,并将其应用于信号识别系统从铁路域。此外,我们还对数据集的收集和管理提出了一些建议。这项工作是迈向数据集工程过程的一步,这将是ML用于安全关键系统所必需的。
2020-11-03 cs.LG stat.CO stat.ML
Shielded Analysis: Certification and Characterization of Defensibility in Systems under Adversarial Interaction
Information and Computer Science Department, King Fahd University of Petroleum and Minerals(信息与计算机科学系,法赫德国王石油矿产大学)
提出将盾牌合成重新解释为设计时分析工具,通过约束双人安全博弈生成可防御性判定,并融合拓扑度量和强化学习行为形成可防御性指纹,揭示系统安全的结构性见解。
2026-09-16 cs.AI cs.CR cs.GT
The Lyapunov Neural Network: Adaptive Stability Certification for Safe Learning of Dynamical Systems
Department of Mechanical and Process Engineering(机械与过程工程系);Department of Computer Science(计算机科学系)
本文提出了一种学习准确安全证书的方法,用于非线性闭环动力系统,通过构造Lyapunov函数神经网络和适应最大安全区域形状的训练算法,以确保安全学习。
2018-10-01 cs.LG cs.RO cs.SY
Data-Driven Certification of Neural Networks with Random Input Noise
University of California, Berkeley(加州大学伯克利分校)
证明神经网络在输入不确定性存在下的鲁棒性的方法在安全关键设置中是至关重要的。文献中的大多数认证方法都是针对对抗性或最坏情况的输入而设计的,但研究人员最近表明需要考虑随机输入噪声的方法。在本文中,我们研究的设置输入受到随机噪声来自任意概率分布。我们提出了一种鲁棒性认证方法,降低了网络输出是安全的概率。这个界限是铸造作为一个机会约束优化问题,然后重新制定使用输入输出样本,使优化约束易于处理。我们开发的充分条件所得到的优化是凸的,以及所需的样本数量,使鲁棒性界举行压倒性的概率。我们证明了一个特殊的情况下,建议的优化减少到一个直观的封闭形式的解决方案。合成,MNIST,和CIFAR-10网络的案例研究实验表明,该方法是能够证明对各种输入噪声制度在更大的不确定性区域比现有的国家的最先进的技术的鲁棒性。
2023-01-25 cs.LG math.OC stat.ML
Limits of Statistical Assurance for Embodied and Agentic AI under Adaptive Adversaries
Fujitsu Research of Europe(富士通欧洲研究院)
该研究揭示自适应对抗下具身与智能体AI的统计保证极限,通过理论分析与模拟、AgentDojo试验等验证,提出混合似然比监控等方法可降低对抗带来的安全违规。
2026-10-15 cs.CR cs.LG stat.ML
Certifying Model Upgrades with Slice-Wise Non-Regression and Incumbent Fallback
University of Pennsylvania(宾夕法尼亚大学);Alibaba International Digital Commerce(阿里巴巴国际数字商业集团)
针对模型升级可能损害特定切片的问题,提出分离候选搜索与独立配对评估的发布流程,以非回归容差认证非劣效性,失败时回退在位者,并提供有限样本保证与实验验证。
2026-09-15 cs.LG
Sample Efficient Certification of Discrete-Time Control Barrier Functions
University of Trento(特伦托大学);IMT School for Advanced Studies Lucca(拉ucca高级研究学院)
针对离散时间控制障碍函数计算中鲁棒约束验证难的问题,提出基于Lipschitz论证的样本高效认证方法,并通过数值算例验证了其效率。
2025-09-04 cs.LG cs.SY eess.SY
Data-Aware Training Quality Monitoring and Certification for Reliable Deep Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出YES训练界限框架,通过实时感知数据的认证与监控评估神经网络训练的数据利用与优化动态,有效识别次优行为并指导调整,提升深度学习训练质量保证。
2024-10-14 cs.LG
Towards Realistic Guarantees: A Probabilistic Certificate for SmoothLLM
California Institute of Technology(加州理工学院)
本文提出一种概率框架,通过(k, ε)-unstable假设提升LLM对抗劫持攻击的安全性保障。
2026-08-11 cs.AI cs.LG
Lipschitz-Based Robustness Certification for Recurrent Neural Networks via Convex Relaxation
本文提出RNN-SDP方法,通过凸松弛和半定规划认证循环神经网络的Lipschitz上界,并在多水箱系统上验证其能给出紧致且可认证的鲁棒性界。
2025-09-22 cs.LG cs.SY eess.SY
Towards certifiable AI in aviation: landscape, challenges, and opportunities
German Research Center for Artificial Intelligence(德国人工智能研究中心);Diehl Aerospace GmbH(帝尔航空航天有限公司)
针对航空电子等安全关键领域AI需满足安全认证要求的问题,本文梳理了该领域形式化AI认证的整体框架,点明认证挑战并强调需突破仅看性能指标的局限,补充资质鉴定要求。
2024-09-13 cs.AI cs.LG
Learning and Certification under Instance-targeted Poisoning
University of Virginia(弗吉尼亚大学);Yale(耶鲁大学)
在本文中,我们研究了PAC的可学习性和认证的预测下,以实例为目标的中毒攻击,其中知道测试实例的对手可能会改变一小部分的训练集,目的是愚弄学习者在测试实例。我们的第一个贡献是在各种环境下将问题形式化,并明确地建模微妙的方面,例如学习的正确或不正确的性质,学习者的随机性,以及对手的攻击是否可以依赖于它。我们的主要结果表明,当对手的预算与样本复杂度呈次线性关系时,(不正确)PAC的可学习性和认证是可以实现的;相反,当对手的预算随着样本复杂度线性增长时,对手可能会将预期的0-1损失提高到1。我们还研究了分布特定的PAC学习在相同的攻击模型,并表明适当的学习与认证是可能的学习半空间下的自然分布。最后,我们实证研究的鲁棒性K近邻,逻辑回归,多层感知器,和卷积神经网络对目标中毒攻击的真实数据集。我们的实验结果表明,许多模型,特别是最先进的神经网络,确实容易受到这些强大的攻击。有趣的是,我们观察到具有高标准准确度的方法可能更容易受到以实例为目标的中毒攻击。
2021-08-09 cs.CR cs.LG
FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning
Iowa State University(爱荷华州立大学)
针对离线强化学习中安全与性能难以平衡的问题,提出FAWAC方法,通过可行性条件约束策略更新并改进AWR算法,还提出诱惑性数据集处理策略,在标准基准上实现了安全与性能的有效平衡。
2024-12-12 cs.LG
Non-linearity identification for construction workers' personality-safety behaviour predictive relationship using neural network and linear regression modelling
工人的安全行为的预测可以帮助识别谁打算采取不安全的行为,并在管理实践的设计,以尽量减少事故的发生是有用的脆弱工人。最新的文献证明,人口内部的多样性导致人们在工作场所的预期安全行为,人们发现这些行为因个人的个性特征而异。在这项研究中,一个创新的预测模型,采用神经网络算法,数值模拟建筑工人的人格特质和他们的预期安全行为之间的预测关系。神经网络的数据驱动性质使得能够对关系进行可靠的估计,这使得本研究能够发现关系中存在非线性效应。这项研究具有实际意义。开发的神经网络被证明具有非常令人满意的预测准确性,因此可能有助于协助项目决策者评估工人在工作场所进行不安全行为的倾向。
2020-08-26 cs.LG cs.OH stat.ML
Reward Certification for Policy Smoothed Reinforcement Learning
University of Liverpool(利物浦大学);Lancaster University(兰卡斯特大学)
针对现有强化学习平滑策略奖励认证仅适用于l₂范数观测扰动的局限,提出基于f-散度与凸优化的通用黑盒认证方法,支持多lₚ范数观测及动作扰动认证,提升了奖励下界认证效果与效率。
2023-12-12 cs.AI cs.LG
Certified Policy Smoothing for Cooperative Multi-Agent Reinforcement Learning
University of Exeter(埃克塞特大学)
协作多智能体强化学习(c-MARL)广泛应用于安全关键场景,因此对c-MARL模型的鲁棒性分析具有重要意义。然而,社区中尚未探索c-MARL的稳健性认证。在本文中,我们提出了一种新的认证方法,这是第一个工作,利用可扩展的方法c-MARL确定行动,保证认证的界限。与单代理系统相比,c-MARL认证提出了两个关键挑战:(i)随着代理数量的增加而积累的不确定性;(ii)将单个代理的行动改变为全球团队奖励时可能缺乏影响。这些挑战使我们无法直接使用现有的算法。因此,我们采用的错误发现率(FDR)的控制程序考虑到每个代理的重要性,以证明每状态的鲁棒性,并提出了一个基于树搜索的算法,以找到一个下界的全球奖励下的最小认证扰动。由于我们的方法是通用的,它也可以应用于单代理环境。我们的经验表明,我们的认证范围比最先进的RL认证解决方案要严格得多。我们还运行两个流行的C-MARL算法的实验:QMIX和VDN,在两个不同的环境中,有两个和四个代理。实验结果表明,我们的方法产生有意义的保证鲁棒性的所有模型和环境。我们的工具CertificyCMARL可在https://github.com/TrustAI/CertifyCMA上获得
2022-12-22 cs.LG cs.MA
DeepBern-Nets: Taming the Complexity of Certifying Neural Networks using Bernstein Polynomial Activations and Precise Bound Propagation
University of California, Irvine(加州大学欧文分校)
本文提出 DeepBern-Nets,利用 Bernstein 多项式替代 ReLU 激活函数,并设计 Bern-IBP 算法高效计算输出紧密边界,显著提升了大规模神经网络形式化认证的可扩展性与准确率。
2023-05-22 cs.LG
S-RAF: A Simulation-Based Robustness Assessment Framework for Responsible Autonomous Driving
University of Oxford(牛津大学);University of the West of England(西英格兰大学);University of Leeds(利兹大学);University College London(伦敦大学学院)
针对自动驾驶AI系统鲁棒性评估指标不一致的问题,提出基于CARLA模拟器的S-RAF框架,可在多场景下量化鲁棒性及相关安全因素,助力构建负责任的自动驾驶系统并简化认证。
2024-08-16 cs.AI cs.CV cs.CY
Multi-task Linear Regression without Eigenvalue Lower Bounds: Adaptivity, Robustness, and Safety
Columbia(哥伦比亚大学)
针对存在污染任务的多任务线性回归问题,提出基于矩阵加权范数正则化的估计器,引入相对平衡条件,在弱谱假设下达到与现有方法相当的预测误差界,并具备安全性保证。
2026-05-29 cs.LG stat.ME stat.ML
Work In Progress: Safety and Robustness Verification of Autoencoder-Based Regression Models using the NNV Tool
Vanderbilt University(范德堡大学)
这篇正在进行的论文介绍了基于自动编码器的回归神经网络(NN)模型的鲁棒性验证,遵循图像分类NN鲁棒性验证的最新方法。尽管在开发各种深度神经网络(DNN)的安全性和鲁棒性验证方法方面正在取得进展,但尚未考虑自动编码器模型的鲁棒性检查。我们探索了这一开放的研究空间,并通过扩展此类自动编码器网络的现有鲁棒性分析方法来检查弥合现有DNN验证方法之间差距的方法。虽然使用自动编码器的分类模型或多或少地类似于图像分类NN,但回归模型的功能明显不同。我们介绍了两种基于自动编码器的回归模型的鲁棒性评估指标的定义,具体来说,百分比鲁棒性和非鲁棒性等级。我们还修改了现有的Imagestar方法,调整变量以照顾回归网络的特定输入类型。该方法被实现为NNV的扩展,然后在数据集上应用和评估,并使用相同的数据集进行案例研究实验。根据作者的理解,这篇正在进行的论文是第一篇展示基于自动编码器的NN的可能可达性分析的论文。
2022-07-14 cs.AI cs.LG
Certifying Lower Bounds for Risk-Sensitive Reinforcement Learning under Adversarial State Perturbations
University of Houston(休斯顿大学)
本文针对风险敏感强化学习,在对抗状态扰动下通过凸优化和phi散度松弛推导认证下界,实验表明风险厌恶训练提升下界,但过度风险厌恶会降低性能。
2026-09-11 cs.LG math.OC
Safety-Aware Reinforcement Learning for Control via Risk-Sensitive Action-Value Iteration and Quantile Regression
Institute for Systems Research(系统研究 institute);University of Maryland(马里兰大学);College Park(学院 park)
本文提出一种基于风险敏感动作价值迭代和分位数回归的安全感知强化学习算法,通过整合条件价值在风险(CVaR)来确保安全,同时提供理论保证和实验验证,提升动态环境中的安全性能。
2025-12-07 cs.LG cs.RO
Ergo, SMIRK is Safe: A Safety Case for a Machine Learning Component in a Pedestrian Automatic Emergency Brake System
RISE Research Institutes of Sweden(瑞典RISE研究院);Lund University(隆德大学);Semcon AB(Semcon公司);Infotiv AB(Infotiv公司);QRTECH AB(QRTECH公司);Combitech AB(Combitech公司)
在关键应用中集成机器学习(ML)组件为软件认证和验证带来了新的挑战。正在制定新的安全标准和技术准则,以支持基于ML的系统的安全性,例如,汽车领域的ISO 21448 SOTIF和用于自主系统的机器学习保证(AMLAS)框架。SOTIF和AMLAS提供了高层次的指导,但必须针对每个具体情况制定细节。我们启动了一个研究项目,旨在展示开放汽车系统中ML组件的完整安全案例。本文报告了SMIRK安全保证的产学合作结果,SMIRK是一种基于ML的行人自动紧急制动演示器,在工业级模拟器中运行。我们展示了AMLAS在SMIRK上的一个应用程序,用于一个极简的操作设计域,即,我们分享了其基于ML的集成组件的完整安全案例。最后,我们报告了经验教训,并提供了SMIRK和安全情况下的开源许可证的研究社区重用。
2022-12-06 cs.LG cs.SE
Estimating the Brittleness of AI: Safety Integrity Levels and the Need for Testing Out-Of-Distribution Performance
Georgetown University, Walsh School of Foreign Service(乔治城大学沃尔什外交学院)
人工智能(AI)的测试、评估、验证和确认(TEVV)是一项挑战,可能会限制AI研究人员致力于创造的经济和社会回报。人工智能的TEVV的一个中心任务是估计脆性,其中脆性意味着系统在某些范围内运行良好,而在这些范围之外运行不良。本文认为,这两个标准都不是深度神经网络的确定标准。首先,高度吹捧的人工智能成功(例如,图像分类和语音识别)甚至在设计界限内(完全分布内采样)也比在关键系统中通常认证的更容易发生故障。第二,性能只会随着输入进一步脱离分布(OOD)而逐渐下降。需要更加重视设计具有弹性的系统,尽管AI组件容易出现故障,以及评估和改善OOD性能,以便让AI能够清除TEVV和认证的挑战性障碍。
2020-09-02 cs.AI cs.CV cs.CY
Robustness Certificates for Neural Networks Against Data Poisoning and Evasion Attacks
LMU Munich(慕尼黑大学);Technical University of Munich(慕尼黑技术大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出一种形式化鲁棒性认证框架,通过将梯度训练建模为离散时间动力系统,并利用屏障证书概念,提供对抗攻击下的鲁棒性保证,实验表明其在MNIST、SVHN和CIFAR-10上有效。
2026-07-29 cs.LG cs.SY eess.SY
RankCert: When Can Simulated Learners Safely Select an AI Tutor? Robust Decision Certification Under Structural Uncertainty
Singapore University of Technology and Design(新加坡科技设计大学)
RankCert提出一种鲁棒决策认证方法,在结构不确定性下仅当多个指标一致时认证AI导师选择策略,否则弃权,实验表明其降低决策损失但选择性风险未显著改善。
2026-09-23 cs.AI cs.CY cs.LG