Detecting the Disturbance: A Nuanced View of Introspective Abilities in LLMs
Department of Computer Science, Harvard College, Cambridge, MA(哈佛学院计算机科学系);University of Chicago, Chicago, IL(芝加哥大学)
研究揭示LLM在特定任务中能部分检测内部状态扰动,但这种能力受限于模型层数,需进一步探索其机制。
2026-03-01 cs.AI
Palisade -- Prompt Injection Detection Framework
SRM Institute of Science and Technology(SRM科学技术学院)
针对LLM提示注入攻击,本文提出Palisade三层检测框架,结合规则、ML分类器与伴随LLM筛查输入,以增加少量假阳性为代价减少假阴性并提升整体安全性。
2024-10-28 cs.AI cs.CL
Maatphor: Automated Variant Analysis for Prompt Injection Attacks
Azure Research(Azure研究院);Microsoft Security Response Center(微软安全响应中心)
针对大语言模型提示注入攻击易生成变体规避防护的问题,提出自动化变体分析工具Maatphor,可自动生成提示变体并判断有效性,还能补充攻击数据集,实验显示其从0%有效率的种子提示出发,40次迭代内即可生成至少60%有效率的变体。
2023-12-12 cs.AI cs.CR cs.LG
From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier
Bernoulli Institute University of Groningen(格罗宁根大学伯努利研究所)
本研究利用微调的土耳其BERT模型,首次实证测量土耳其新闻媒体中AI生成内容的使用情况,实现了高准确率的分类和检测。
2026-02-13 cs.AI cs.CL
CourtGuard: A Local, Multiagent Prompt Injection Classifier
Isaac Wu Research Fellow(Isaac Wu 研究员);Non-Trivial Ventures(非平凡企业)
CourtGuard是一种本地多智能体提示注入分类器,通过法庭式辩论降低误报率,虽检测性能略逊,但推动了多智能体防御提示注入攻击的应用。
2025-10-20 cs.AI cs.CR
Detecting Fault Injection Attacks with Runtime Verification
故障注入越来越多地用于攻击/测试安全应用程序。在本文中,我们定义了运行时监视器,可以检测故障注入,导致测试反转攻击和任意跳转的控制流的正式模型。验证监视器提供了几个优点。与整个应用程序代码相比,实现监视器的代码很小。有一个正式的语义,我们证明,他们有效地检测攻击。每个监视器都是一个专门用于检测攻击的模块,可以根据需要部署以保护应用程序。监视器可以独立于应用程序运行,也可以“编织”在应用程序内部。我们的监视器已经通过检测对验证用户PIN的程序的模拟攻击进行了验证。
2019-09-20 cs.CR
WebSentinel: Detecting and Localizing Prompt Injection Attacks for Web Agents
Duke University(杜克大学);UC Berkeley(加州大学伯克利分校)
WebSentinel通过两步方法有效检测和定位网页代理中的提示注入攻击,显著优于现有方法。
2026-02-03 cs.AI cs.CL cs.CR
Adversarial Reinforcement Learning for Detecting False Data Injection Attacks in Vehicular Routing
本文提出基于对抗性强化学习的方法,用于检测车联网中的虚假数据注入攻击,通过纳什均衡策略优化检测效果,提升交通网络的鲁棒性。
2026-03-12 cs.AI cs.CR
Embedding-based classifiers can detect prompt injection attacks
Vanderbilt University Medical Center(范德堡大学医学中心)
针对大语言模型易受提示注入攻击的问题,提出基于嵌入的机器学习分类器检测方法,使用三种嵌入模型生成提示嵌入,经Random Forest、XGBoost等分类器检测,性能优于现有开源的仅编码器神经网络式最先进提示注入分类器。
2024-10-29 cs.CR cs.LG
Fuzzy neural networks to create an expert system for detecting attacks by SQL Injection
Faculdade Una de Betim(贝廷乌纳学院);Centro Federal de Educação Tecnológica de Minas Gerais-CEFET-MG(米纳斯吉拉斯联邦教育技术中心(CEFET-MG))
其不断的技术发展是当代世界的特征,每天的过程,一旦手动,成为计算机化。数据存储在网络空间中,因此,人们必须增加对这一环境安全的关注。网络攻击在世界范围内日益扩大,是本世纪的重大挑战之一。本文旨在提出一种基于智能混合模型的计算系统,通过模糊规则允许在控制论数据攻击中构建专家系统,重点是SQL注入攻击。使用模糊神经网络对政府计算机进行SQL注入攻击的真实基础进行测试。根据所获得的结果,构建一个系统的基础上模糊规则的可行性,与标准偏差的范围内的控制论入侵的分类精度(相比,在解决这种类型的问题的最先进的模型)是真实的。该模式帮助各国做好保护其数据网和信息系统的准备,并为专家系统自动识别网络空间的攻击创造机会。
2019-01-09 cs.AI cs.CR
SkillSecurer: Detecting and Patching Prompt-Injection Vulnerabilities in AI Agent Skills
Politecnico di Torino(都灵理工大学)
针对智能体技能易受提示注入攻击的问题,提出全智能体框架SkillSecurer,通过红蓝智能体生成、检测、定位并修复漏洞,实现100%注入检测率,并发现超17%热门技能存在潜在风险。
2026-09-15 cs.CR
The Latent Diagnostic Taxonomy: A Framework for Constructing Classifiers and Diagnosing Their Decisions, Applied to Prompt Injection Detection
TrendAI™ Research(TrendAI™研究中心)
该研究提出潜在诊断分类学框架,构建提示注入检测分类器并诊断其可信决策,实验发现分类器约77%高置信度决策对单标记移除不鲁棒,分两种失败模式并给出修复策略。
2026-10-07 cs.AI cs.CL cs.CR
Detecting and Mitigating SQL Injection Vulnerabilities in Web Applications
本文提出一种基于OWASP ZAP、sqlmap和Nmap的全面渗透测试方法,用于检测和缓解PHP-MySQL应用中的SQL注入漏洞,并验证了输入清理与预处理语句的有效性。
2025-06-07 cs.CR
ConsiDroid: A Concolic-based Tool for Detecting SQL Injection Vulnerability in Android Apps
在本文中,我们提出了一个concolic执行技术,用于检测Android应用程序中的SQL注入漏洞,我们称之为ConsiDroid的新工具。我们使用mocking技术扩展应用程序的源代码,这样原始源代码的执行不受影响。扩展的源代码可以被视为Java应用程序,并且可以由SPF以concolic执行来执行。我们自动地从静态分析中生成一个DummyMain类,以便按顺序调用基本函数,并触发导致易受攻击函数的事件。我们在ConsiDroid中使用污点分析扩展SPF。为了使污点分析成为可能,我们引入了一种新的符号模拟类技术,以减轻污染值在代码中的传播。SQL注入漏洞是通过接收易受攻击的函数的污染值来检测的。此外,ConsiDroid还利用静态分析来调整SPF,以便只检查可疑路径。为了说明ConsiDroid的适用性,我们从F-Droid存储库中随机选择了140个应用程序。从这些应用程序中,我们发现了三个容易受到SQL注入攻击的应用程序。为了验证它们的漏洞,我们使用Robolectric根据ConsiDroid的报告手动分析了这些应用程序。
2019-08-08 cs.CR cs.SE
Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection
Pedeciba Informática(Pedeciba信息学研究所);InCo, Facultad de Ingeniería, Universidad de la República(共和国大学工程学院计算研究所);Departamento de Informática e Inteligencia Artificial, Universidad Católica del Uruguay(乌拉圭天主教大学信息与人工智能系)
本文通过XAI技术分析Prompt Guard 2的决策机制,发现其依赖多标记累积贡献,且显著性引导的扰动可翻转预测并实现越狱,揭示解释方法可能降低对抗性攻击成本。
2026-09-22 cs.AI cs.CR
PIShield: Detecting Prompt Injection Attacks via Intrinsic LLM Features
Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
PIShield通过利用指令微调LLM的内部表示,高效检测提示注入攻击,显著优于现有方法。
2026-01-24 cs.CR cs.LG
Physics-Constrained Digital Twins for Sensor Integrity in Urban Pedestrian Flow: Detecting Stealthy False Data Injection with Conformal Guarantees
Universidad de Extremadura(埃斯特雷马杜拉大学)
针对城市行人计数系统中隐蔽虚假数据注入攻击,提出物理约束数字孪生方法,利用流量守恒残差与自适应一致性校准检测异常,在墨尔本数据上实现0.54攻击裕度。
2026-09-17 cs.AI cs.CR
WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents
National University of Singapore(新加坡国立大学);HKUST(香港科技大学)
本文提出WebAgentGuard,一种基于推理的多模态守护模型,用于检测Web代理中的提示注入攻击。通过构建合成多模态数据集并采用推理密集型监督微调和强化学习,模型在多个基准测试中优于现有方法,同时保持代理的实用性,不引入额外延迟。
2026-10-26 cs.CR
PromptSleuth: Detecting Prompt Injection via Semantic Intent Invariance
Texas A&M University(德克萨斯农工大学)
针对提示词注入攻击,本文构建了包含多任务场景的新基准,并提出基于语义意图不变性的防御框架PromptSleuth,通过推理任务级意图有效检测攻击,在保持运行时和成本效率的同时显著优于现有防御方法。
2025-09-16 cs.CR
A Survey of Machine Learning Methods for Detecting False Data Injection Attacks in Power Systems
在过去十年中,针对电力系统并造成物理和经济损失的网络攻击数量迅速增加。其中,虚假数据注入攻击(FDIA)是针对电网监控系统的一类网络攻击。对手可以成功地执行FDIA,以便通过危害传感器或修改系统数据来操纵电力系统状态估计(SE)。SE是能量管理系统(EMS)基于系统冗余测量和网络拓扑来估计未知状态变量的基本过程。SE例程包括不良数据检测(BDD)算法,以从所获取的测量中消除误差,例如,在传感器故障的情况下。FDIA可以绕过BDD模块,将恶意数据向量注入测量子集而不被检测到,从而操纵SE过程的结果。为了克服传统的基于残差的BDD方法的局限性,基于机器学习算法的数据驱动解决方案由于其快速的执行时间和准确的结果而被广泛用于检测传感器数据的恶意操纵。本文提供了一个全面的审查最先进的机器学习方法检测FDIA对电力系统SE算法。
2020-08-16 cs.CR cs.SY eess.SY
Detecting Backdoor Attacks Against Point Cloud Classifiers
Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学)
后门攻击(BA)是对深度神经网络分类器的新兴威胁。被攻击的分类器将预测攻击者的目标类时,测试样本从源类嵌入后门模式(BP)。最近,第一个针对点云(PC)分类器的BA被提出,对包括自动驾驶在内的许多重要应用造成了新的威胁。这种PC BA由于其特殊的BP嵌入机制而无法被现有的BA防御检测到。在本文中,我们提出了一个反向工程防御,推断PC分类器是否受到后门攻击,而无需访问其训练集或任何干净的分类器作为参考。我们的防御的有效性证明在基准ModeNet40数据集的PC。
2021-10-20 cs.CR cs.CV cs.LG
Detecting Backdoors in Deep Text Classifiers
University of Melbourne(墨尔本大学)
深度神经网络容易受到对抗攻击的攻击,例如后门攻击,其中恶意对手在训练期间破坏模型,使得可以在测试时通过将特定单词或短语附加到输入来触发特定行为。本文考虑了诊断模型是否已被破坏的问题,如果是,确定后门触发器。我们提出了第一个强大的防御机制,概括为几个后门攻击对文本分类模型,没有攻击类型的先验知识,我们的方法也不需要访问任何(潜在的妥协)的训练资源。我们的实验表明,我们的技术是高度准确地抵御最先进的后门攻击,包括数据投毒和重量中毒,在一系列的文本分类任务和模型架构。我们的代码将在接受后公开提供。
2022-10-11 cs.AI cs.CR cs.LG
Detecting Code Injections in Noisy Environments Through EM Signal Analysis and SVD Denoising
嵌入式设备在支持关键应用程序的网络中的渗透使它们成为攻击者和作恶者有利可图的目标。然而,由于这些系统的存储器和计算限制,可能不支持传统的保护机制。最近,电磁(EM)发射的分析引起了研究界的兴趣。因此,类似的保护系统已经成为可行的解决方案,用于为资源受限的设备提供外部的、非侵入式的控制流证明。不幸的是,目前的大多数工作未能考虑到现实生活中的因素,主要是环境噪声的影响的影响。在这项工作中,我们引入了一个框架,集成了奇异值分解(SVD)以及离群值检测发现恶意修改的嵌入式软件,即使在可变的噪声条件下。我们提出的框架实现了高检测精度,即,对于未知发作,AUC评分高于93\%,即使对于极端噪声条件,即,-10 SNR。据我们所知,这是第一次这个现实的限制因素,即,环境噪声,成功地解决了嵌入式设备的基于EM的异常检测的上下文中。
2022-12-12 cs.CR
The Performance of Machine and Deep Learning Classifiers in Detecting Zero-Day Vulnerabilities
Texas Tech University(德克萨斯理工大学);University of Debrecen(德布勒森大学)
零日攻击和漏洞的检测是一个具有挑战性的问题。因此,对网络管理员来说,高精度地识别它们是至关重要的。准确性越高,防御机制就越强大。在理想情况下(即,100%的准确性),系统可以检测零日恶意软件,而不必担心错误地将良性文件标记为恶意软件或使破坏性恶意代码作为非恶意代码运行。本文研究了不同的机器学习算法,以了解它们检测零日恶意软件的能力。通过对34个机器/深度学习分类器的测试,我们发现随机森林分类器的准确率最高。本文提出了几个关于机器和深度学习算法在检测零日恶意软件时的性能的研究问题,误报和漏报率为零。
2019-11-21 cs.CR cs.LG
Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents
Dept. of Computer Science(计算机科学系);Naval Postgraduate School(海军学院)
本研究针对软件逆向工程AI代理面临的提示注入攻击,提出了检测反编译器输出中提示注入字符串的防御策略,并探索了攻击混淆及相应防御方法。
2026-05-29 cs.AI cs.CR cs.SE
Demystifying and Detecting Agentic Workflow Injection Vulnerabilities in GitHub Actions
Huazhong University of Science and Technology(华中科技大学);AI Security Lab(360人工智能安全实验室);Macquarie University(麦考瑞大学)
本文研究GitHub Actions中代理工作流注入漏洞,提出两种核心模式P2A和P2S,并设计TaintAWI工具,发现519个潜在漏洞,其中343个为零日漏洞,已优先披露并获得修复。
2026-05-08 cs.CR
Detecting Anomalies in Blockchain Transactions using Machine Learning Classifiers and Explainability Analysis
Premier University(总理大学);United International University(联合国际大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心);Edith Cowan University(埃迪斯科文大学)
本研究将XAI技术与异常规则集成到树集成分类器中检测比特币异常交易,提出欠采样算法XGBCLUS平衡数据,实验证明该方法在准确率、TPR和FPR等指标上优于传统方法。
2024-01-07 cs.CR cs.LG
Detecting Adversarial Examples Is (Nearly) As Hard As Classifying Them
Stanford University(斯坦福大学);Google Research(谷歌研究院)
使分类器对对抗性样本具有鲁棒性是很困难的。因此,许多防御措施解决了检测扰动输入这一看似更容易的任务。我们在实现这一目标的过程中遇到了障碍。我们证明了对抗性示例的检测和分类之间的一般难度降低:给定距离ε(在某些度量中)的攻击的鲁棒检测器,我们可以为距离ε/2的攻击构建类似的鲁棒(但效率低下)分类器。我们的减少是计算效率低下,因此不能用于建立实际的分类。相反,它是一个有用的健全性检查,以测试经验检测结果是否意味着比作者预期的要强大得多的东西。为了说明,我们重新审视13个检测器防御。对于11/13的情况,我们表明,声称的检测结果将意味着一个低效的分类器,其鲁棒性远远超出了最先进的水平。
2022-06-16 cs.CR cs.LG stat.ML
A General Framework For Detecting Anomalous Inputs to DNN Classifiers
University of Wisconsin, Madison(威斯康星大学麦迪逊分校);XaiPient Inc.(XaiPient公司)
检测异常输入,例如对抗性和分布外(OOD)输入,对于部署在现实世界应用中的分类器(包括深度神经网络或DNN)至关重要。虽然先前的工作已经提出了使用来自DNN的内部层表示的信息来检测这种异常样本的各种方法,但是对于这种检测方法的不同组件的原则性方法缺乏共识。因此,经常启发式和一次性的方法被应用于这个问题的不同方面。我们提出了一个基于内部DNN层表示的无监督异常检测框架,其形式为具有可配置组件的元算法。我们继续提出具体的实例化的元算法的每个组件的基础上的想法接地统计测试和异常检测。我们在具有强对抗攻击和OOD输入的知名图像分类数据集上评估了所提出的方法,包括使用DNN的内部层表示的自适应攻击(通常在先前的工作中没有考虑)。与五个最近提出的竞争检测方法的比较表明,我们的方法在检测敌对和OOD输入的有效性。
2021-06-17 cs.CR cs.LG stat.ML
PVDetector: Detecting Prompt Injection Attacks on Purpose-Specific LLM Agents through Policy-Violation Concept Analysis
Jinan University(暨南大学);Huazhong University of Science and Technology(华中科技大学);Ajou University(亚洲大学);Changsha University of Science and Technology(长沙理工大学);Xiangtan University(湘潭大学);Guangzhou University(广州大学)
研究针对特定目的LLM代理的提示注入攻击,提出PVDetector框架,通过测量与离线派生的PV概念的隐藏状态对齐来检测攻击,实验表明该方法误报率低、开销小,性能优于现有方法。
2026-07-15 cs.CR
Detecting Concept Drift in Evolving Malware Families Using Rule-Based Classifier Representations
Faculty of Information Technology Czech Technical University(捷克技术大学信息科技学院);Department of Computer Science, San Jose State University(圣何塞州立大学计算机科学系)
本文提出利用决策树规则集检测恶意软件分类中的概念漂移,通过时间窗口和特征重要性等指标评估,发现固定两个月窗口和特征皮尔逊相关性是最可靠配置,所有家族对均产生正漂移-准确率相关性。
2026-04-24 cs.CR cs.LG
Detecting False Data Injection Attacks in Smart Grids with Modeling Errors: A Deep Transfer Learning Based Approach
Zhejiang University of Technology(浙江工业大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
大多数传统的虚假数据注入攻击(FDIA)检测方法依赖于一个关键假设,即,电力系统可以被精确地建模。然而,传输线参数是动态的,在运行过程中不能准确地知道,因此所涉及的建模误差不应被忽略。在本文中,一个说明性的情况下,传输线的建模误差显着削弱了传统FDIA方法的检测效果。为了解决这个问题,我们从迁移学习的角度提出了一种FDIA检测机制。具体地说,模拟的电力系统被视为一个源域,它提供了丰富的模拟正常和攻击数据。该方法以输电线路参数未知的实际运行系统为目标域,收集足够多的实际正常数据,在线跟踪系统的最新状态。设计的传输策略以充分利用现有数据为目标,分为两个优化阶段。在第一阶段中,通过同时使用模拟数据和真实数据优化几个精心设计的目标项来构建深度神经网络(DNN),然后在第二阶段中通过真实数据对其进行微调。IEEE 14节点和118节点系统的算例验证了该机制的有效性。
2021-09-08 cs.CR cs.LG cs.SY
Steering LLM Viewpoints through Fabricated Evidence Injection
The Hong Kong University of Science and Technology(香港科技大学);University of Science and Technology of China(中国科学技术大学);University of Liverpool(利物浦大学);Guangzhou University(广州大学)
提出Ghostwriter两阶段攻击框架,通过注入带有可信标记的捏造证据,利用LLM对外部上下文的盲目信任来操控其观点,并探索防御策略。
2026-06-04 cs.CR
Detecting Network Anomalies using Rule-based machine learning within SNMP-MIB dataset
Department of Computer Science, Princess Sumaya University for Technology(科技大学公主苏玛亚计算机科学系)
针对网络犯罪分子限制网络性能的最有效威胁之一是拒绝服务(DOS)攻击。因此,这种类型的攻击可能会严重损害数据的安全性、完整性和效率。本文开发了一个网络流量系统,它依赖于所采用的数据集来区分DOS攻击和正常流量。检测模型使用五种基于规则的机器学习分类器(DecisionTable、JRip、OneR、PART和ZeroR)构建。研究结果表明,使用PART分类器,可以以约99.7%的高准确率识别恶意攻击,HTTP洪水攻击和Slowloris。此外,PART分类器已成功地将来自不同DOS攻击的正常流量100%分类。
2020-01-18 cs.CR cs.LG
Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学)
本文研究了在多智能体大语言模型系统中,域伪装注入攻击如何通过模仿目标文档的领域词汇和权威结构来逃避检测,揭示了检测器在静态和伪装负载之间的检测率差异(Camouflage Detection Gap, CDG),并展示了多智能体辩论架构对静态注入攻击的放大效应以及检测器增强的有限有效性。
2026-05-21 cs.AI cs.CL cs.CR
Modeling and Detecting False Data Injection Attacks against Railway Traction Power Systems
Advanced Digital Sciences Center, Illinois at Singapore(伊利诺伊大学新加坡高级数字科学中心);GovTech Singapore(新加坡政府科技局);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Singapore University of Technology and Design(新加坡国立科技大学)
本文研究铁路牵引供电系统面临的虚假数据注入攻击,提出一种全局攻击检测系统,通过分析列车电压、电流和位置传感器数据,有效检测攻击并降低误报率。
2017-09-22 cs.CR cs.SY eess.SY
Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents
Anthropic Fellows Program(Anthropic研究员项目);Anthropic
本研究红队测试生产阻断监控器,发现对抗性代理可通过提示注入等机制在79%试验中绕过,并提出设计改进以增强防御。
2026-09-29 cs.AI cs.CL cs.CR
Detecting Adversarial Examples from Sensitivity Inconsistency of Spatial-Transform Domain
University of Macau(澳门大学);Shenzhen University(深圳大学)
深度神经网络(DNN)已被证明易受对抗性示例(AE)的攻击,这些示例被恶意设计为导致严重的模型输出错误。在这项工作中,我们发现,正常的例子(NE)是不敏感的波动发生在高度弯曲的区域的决策边界,而AE通常设计在一个单一的域(主要是空间域)表现出过度的敏感性,这种波动。这种现象促使我们设计另一个分类器(称为双分类器)与转换后的决策边界,它可以协同使用的原始分类器(称为原始分类器)检测AE,凭借灵敏度不一致。当与基于局部内在自相似性(LID),马氏距离(MD)和特征压缩(FS)的最先进的算法相比,我们提出的灵敏度不一致检测器(SID)实现了改进的AE检测性能和卓越的泛化能力,特别是在具有挑战性的情况下,对抗扰动水平很小。在ResNet和VGG上的大量实验结果验证了所提出的SID的优越性。
2021-03-07 cs.CR cs.CV cs.LG
Detecting False Data Injection and Unstable Operation in Smart Grid via System-Aware Graph Boundary Learning
University of Padua(帕多瓦大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会);Newcastle University(纽卡斯尔大学)
针对智能电网中不稳定数据难获取、FDI攻击威胁未被充分探索且两类问题缺乏联合解决方案的现状,提出仅用稳定数据训练的StarGNN图学习框架,可同时实现稳定性预测与攻击检测,在多种场景下表现优异。
2026-09-28 cs.CR
Securing Tag-based recommender systems against profile injection attacks: A comparative study
这项工作解决了与社交标签系统攻击相关的挑战,这些攻击通常以恶意注释或配置文件注入攻击的形式出现。特别是,我们研究了两种类型的威胁,这样的系统,过载和捎带攻击的各种对策。研究的对策包括基线分类器,如朴素贝叶斯滤波器和支持向量机,以及基于深度学习的方法。我们对从del.icio.us生成的合成垃圾邮件数据进行的评估表明,在大多数情况下,基于深度学习的方法可以提供最佳的威胁防护。
2018-08-30 cs.CR cs.IR cs.SI
Detecting Unknown DGAs without Context Information
RWTH Aachen University(亚琛工业大学)
新的恶意软件以快速的速度出现,并且通常结合域生成算法(DGAs)以避免阻止恶意软件与命令和控制(C2)服务器的连接。当前最先进的分类器能够将良性域与恶意域分开(二进制分类),并以高概率将它们归因于生成它们的DGA(多类分类)。虽然二进制分类器可以将未知的DGA的域标记为恶意的,但多类分类器只能将域分配给在训练时已知的DGA,从而限制了发现新恶意软件家族的能力。在这项工作中,我们对新DGAs的检测进行了全面的研究,其中包括对59,690个分类器的评估。我们研究了15种不同配置中的四种不同方法,并提出了一种简单而有效的方法,该方法基于softmax分类器和正则表达式(regexes)的组合,以高概率检测多个未知的DGA。同时,我们的方法保留了已知DGA的最先进的分类性能。我们的评估是基于留一组交叉验证,共有94个DGA家庭。通过使用最大数量的已知DGAs,我们的评估方案是特别困难的,接近现实世界。所有研究的方法都是保护隐私的,因为它们在没有上下文的情况下运行,并且只在要分类的单个域上运行。我们通过对类增量学习策略的深入讨论来总结我们的研究,这些策略可以使现有的分类器适应新发现的类。
2022-05-30 cs.CR cs.LG
Early Methods for Detecting Adversarial Images
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
许多机器学习分类器容易受到对抗性扰动的影响。对抗性扰动修改输入以改变分类器的预测,而不会导致输入看起来与人类感知有实质性不同。我们部署了三种方法来检测对抗图像。试图绕过我们检测器的对手必须使对抗图像不那么病态,否则他们将失败。我们最好的检测方法表明,对抗性图像异常强调PCA中排名较低的主成分。其他探测器和彩色显着图在附录中。
2017-03-23 cs.CR cs.CV cs.LG
From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection
eBay Inc.(eBay公司)
该研究针对提示注入防御,评估了Jev、Llama Prompt Guard 2等模型在分布偏移下的检测、校准及决策性能,发现仅概率输出无法保障可靠安全决策,需联合多方面因素构建LLM安全系统。
2026-10-16 cs.CR
DRAINCLoG: Detecting Rogue Accounts with Illegally-obtained NFTs using Classifiers Learned on Graphs
本文首次研究NFT盗取者交易行为,提出基于图神经网络的DRAINCLoG检测系统,利用NFT-用户图和用户图捕捉交互,在真实数据上验证了鲁棒性和精确性。
2023-11-17 cs.CR
Characterizing and Detecting Money Laundering Activities on the Bitcoin Network
Data61-CSIRO(Data61-联邦科学与工业研究组织);University of New South Wales(新南威尔士大学);University of Sydney(悉尼大学);National Institute of Informatics(国立信息学研究所)
比特币是迄今为止最受欢迎的加密货币解决方案,可以实现点对点支付。尽管一些研究强调该网络并不提供完全的匿名性,但它仍然被大量用于各种可疑的金融活动,如洗钱,庞氏骗局和勒索软件支付。在本文中,我们探讨了比特币网络中发生的潜在洗钱活动的情况。使用三年来收集的数据,我们创建交易图表,并对各种图表特征进行深入分析,以区分洗钱交易和常规交易。我们发现,洗钱和常规交易之间的主要区别在于它们的输出值和邻居信息。然后,我们提出并评估了一组基于四种类型的图特征的分类器:近邻,策划特征,deepwalk嵌入和node2vec嵌入,以分类洗钱和常规交易。结果表明,基于node2vec的分类器在二进制分类中优于其他分类器,平均准确率为92.29%,F1度量为0.93,在2.5年的时间跨度内具有高鲁棒性。最后,我们展示了我们的分类是如何有效地发现未知的洗钱服务。分类器的性能下降相比,二进制分类,但是,预测可以改善一些服务与简单的集成技术。
2019-12-27 cs.CR cs.LG cs.SI
Detecting Unknown Attacks in IoT Environments: An Open Set Classifier for Enhanced Network Intrusion Detection
Texas A&M University(德克萨斯农工大学);United States Military Academy(美国军事学院)
针对 IoT 网络入侵检测中的未知攻击识别问题,提出结合流量图像表示、stacking 与子聚类的开放集识别框架,未见攻击检测率达 88%。
2023-09-28 cs.AI cs.CR cs.CV
Using Deep Learning for Detecting Spoofing Attacks on Speech Signals
CPqD Foundation(CPqD基金会);University of Campinas(坎皮纳斯州立大学)
众所周知,说话人确认系统容易受到欺骗攻击。自动说话人验证欺骗和对策挑战-ASVSpoof 2015-提供了一个标准的欺骗数据库,包含基于合成语音的攻击,以及用于实验的协议。本文介绍了CPqD提交给ASVSpoof 2015挑战赛的系统,该系统基于深度神经网络,既可作为GMM和SVM分类器的分类器,也可作为特征提取模块。实验结果表明了该方法的有效性,对已知攻击的EER小于0.5%.
2016-01-19 cs.CL cs.CR cs.LG
A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));University of Michigan(密歇根大学);Google Brain(谷歌大脑);AItrics
在许多现实世界的机器学习应用中,检测从统计上或相反地远离训练分布抽取的测试样本是部署良好分类器的基本要求。然而,已知具有softmax分类器的深度神经网络即使对于这种异常样本也会产生高度过度自信的后验分布。在本文中,我们提出了一种简单而有效的方法来检测任何异常样本,它适用于任何预先训练的softmax神经分类器。我们在高斯判别分析下获得了深度模型(低级和高级)特征的类条件高斯分布,这导致了基于Mahalanobis距离的置信度得分。虽然大多数先前的方法已经被评估用于检测分布外或对抗性样本,但不是两者都有,但在我们的实验中,所提出的方法在这两种情况下都达到了最先进的性能。此外,我们发现,我们提出的方法在苛刻的情况下更鲁棒,例如,当训练数据集具有噪声标签或少量样本时。最后,我们证明了所提出的方法通过将其应用于类增量学习而具有更广泛的用途:每当检测到分布外的样本时,我们的分类规则可以很好地融入新的类,而无需进一步训练深度模型。
2018-10-27 cs.CR cs.LG stat.ML
Detecting Malicious PowerShell Commands using Deep Neural Networks
微软的PowerShell是一种命令行shell和脚本语言,默认安装在Windows机器上。虽然管理员可以配置PowerShell来限制访问和减少漏洞,但这些限制可以被绕过。此外,PowerShell命令可以很容易地动态生成,从内存中执行,编码和混淆,因此对PowerShell执行的代码进行日志记录和取证分析具有挑战性。由于所有这些原因,PowerShell越来越多地被网络犯罪分子用作其攻击工具链的一部分,主要用于下载恶意内容和横向移动。事实上,赛门铁克最近专门针对PowerShell被网络犯罪分子滥用的综合技术报告显示,他们收到的恶意PowerShell样本数量以及使用PowerShell的渗透工具和框架数量急剧增加。这突出了开发有效的方法来检测恶意PowerShell命令的迫切需要。在这项工作中,我们通过实现几种新型的恶意PowerShell命令检测器并评估其性能来解决这一挑战。我们实现了基于“传统”自然语言处理(NLP)的检测器和基于字符级卷积神经网络(CNN)的检测器。我们的评估结果表明,虽然我们的检测器单独产生高性能,集成检测器,结合基于NLP的分类器和基于CNN的分类器提供了最好的性能,因为后者的分类器能够检测恶意命令,成功地逃避前者。我们对这些规避命令的分析表明,CNN分类器自动检测到的一些混淆模式本质上很难使用我们应用的NLP技术检测到。
2018-04-14 cs.CR cs.NE
MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks
IBM Research Europe(IBM欧洲研究院)
本文提出MoJE防护栏架构,利用简单语言统计技术以低计算开销检测越狱攻击,实验显示可在不误伤良性提示的情况下识别90%的攻击。
2024-10-04 cs.AI cs.CR cs.LG
WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents
The University of Hong Kong(香港大学);Duke University(杜克大学)
本研究提出首个面向Web智能体的提示注入检测基准WAInjectBench,完成攻击细粒度分类与多模态数据集构建,系统评估现有检测方法,发现其对无显式指令、不可感知扰动的攻击检测效果不佳。
2026-09-24 cs.AI cs.CL cs.CR
AlignSentinel: Alignment-Aware Detection of Prompt Injection Attacks
Duke University(杜克大学);NVIDIA(英伟达)
AlignSentinel通过分析LLM注意力图,有效区分包含错位指令、对齐指令和非指令输入,提升提示注入攻击检测的准确性。
2026-02-21 cs.CR
InjecGuard: Benchmarking and Mitigating Over-defense in Prompt Injection Guardrail Models
Washington University in St. Louis(圣路易斯华盛顿大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对提示注入防护模型的过度防御问题,提出InjecGuard,通过新训练策略MOF降低触发词偏差,在NotInject等基准上超越现有最佳模型30.8%。
2025-03-30 cs.AI cs.CL cs.CR
Real-world actor-based image steganalysis via classifier inconsistency detection
针对载体源不匹配问题,提出融合 DCI、EfficientNet 与梯度提升机的行为者级图像隐写分析方法,可在高失配场景下以超过80%准确率识别有罪行为者。
2025-01-08 cs.CR