Maat: Automatically Analyzing VirusTotal for Accurate Labeling and Effective Malware Detection
Technische Universität München（慕尼黑工业大学）
恶意软件分析和检测研究社区依靠在线平台VirusTotal根据大约60种抗病毒扫描仪的扫描结果来标记Android应用程序。不幸的是，没有关于如何最好地解释从VirusTotal获取的扫描结果的标准，这导致利用不同的基于阈值的标记策略（例如，如果十个或更多的扫描器认为一个应用程序是恶意的，它被认为是恶意的）。虽然一些使用的阈值可能能够准确地近似应用程序的基本事实，但VirusTotal更改其使用的扫描程序的设置和版本的事实使得这些阈值随着时间的推移而不可持续。我们实现了一种方法Maat，通过自动生成基于机器学习（ML）的标签方案来解决这些标准化和可持续性问题，该方案优于基于阈值的标签策略。使用为期一年的53K Android应用程序的VirusTotal扫描报告，我们通过将Maat基于ML的标记策略的性能与基于阈值的策略进行比较，评估了Maat基于ML的标记策略的适用性。我们发现，这种基于ML的策略（a）可以根据其VirusTotal扫描报告准确且一致地标记应用程序，并且（b）有助于训练基于ML的检测方法，这些方法在对样本外应用程序进行分类时比基于阈值的方法更有效。
2020-07-01 cs.CR cs.LG
On labeling Android malware signatures using minhashing and further classification with Structural Equation Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Telefónica Digital Identity & Privacy（西班牙电信数字身份与隐私部门）
多扫描程序防病毒系统提供有关可疑应用程序性质的深入信息;然而，不同的防病毒引擎之间往往缺乏共识和一致性。在这篇文章中，我们分析了超过25万恶意软件签名生成的61个不同的反病毒引擎后，分析了82万不同的Android恶意软件应用程序。我们确定了41种不同的恶意软件类别，分为三大类，即广告软件，有害威胁和未知或通用签名。我们进一步调查这41类之间的关系，使用社区发现算法从图论中识别它们之间的相似性，我们最后提出了一个结构方程模型，以确定哪些反病毒引擎更强大的检测每个宏类别。作为一个应用程序，我们展示了这些模型如何帮助识别未知恶意软件应用程序是否更有可能是有害的或广告软件类型。
2017-09-13 cs.AI cs.CR stat.ML
On the Convergence Rates of Learning-based Signature Generation Schemes to Contain Self-propagating Malware
在本文中，我们研究了防御系统的学习率的重要性，以打击自我传播类的恶意软件，如蠕虫和僵尸。为此，我们引入了一个新的传播模型之间的相互作用的基础上的对手（及其代理人）谁希望构建一个特定规模的僵尸军队，和防御者利用标准的安全工具和技术，如蜜罐（HP）和入侵检测和防御系统（IDPSes）在网络环境中。随着时间的推移，防御者可以从收集/观察到的攻击样本中逐渐学习（例如，恶意软件有效载荷），并且因此能够生成攻击签名。然后，生成的签名用于过滤下一次攻击流量，从而包含攻击者在其恶意软件传播任务中的进展。使用模拟和数值分析，我们评估签名生成算法的有效性，并在一般情况下，任何基于学习的计划，使对手的机动环境中停止作为一个对抗遏制策略。
2019-05-01 cs.CR cs.NI
PORTFILER: Port-Level Network Profiling for Self-Propagating Malware Detection
最近的自传播恶意软件（SPM）活动危害了互联网上数十万台受害机器。在早期阶段检测这些攻击是具有挑战性的，因为对手利用常见的网络服务，使用新技术，并可以逃避现有的检测机制。我们提出PORTFILER（端口级网络流量ProFILER），一个新的机器学习系统应用于网络流量检测SPM攻击。PORTFILER从在受监控网络边界收集的Zeek连接日志中提取端口级特征，应用异常检测技术来识别可疑事件，并对跨端口的警报进行排名，以供安全运营中心（SOC）进行调查。我们提出了一种新的集成方法来聚合PORTFILER中的各个模型，与标准ML基线相比，该方法可以提高对几种规避策略的弹性。我们广泛评估PORTFILER从两个大学网络收集的流量，并表明它可以检测不同模式的SPM攻击，如WannaCry和Mirai，并在规避下表现良好。跨端口的排名精度超过0.94，排名靠前的警报误报率较低。当部署在大学网络上时，PORTFILER在其中一个校园网络上检测到异常的类似SPM的活动，并被大学SOC确认为恶意活动。PORTFILER还检测到在两所大学网络上重新创建的Mirai攻击，其精确度和召回率比基于深度学习的自动编码器方法更高。
2022-05-24 cs.CR
Cyber Network Resilience against Self-Propagating Malware Attacks
近年来，自传播恶意软件（SPM）导致了巨大的财务损失、重大数据泄露和广泛的服务中断。在本文中，我们探讨了发展网络弹性系统，能够减轻SPM攻击的蔓延的问题。我们首先深入研究了一种著名的自传播恶意软件WannaCry，并提出了一种名为SIIDR的分区模型，该模型可以准确捕获在现实世界的攻击痕迹中观察到的行为。接下来，我们研究了十种网络防御技术，包括现有的边缘和节点加固策略，以及基于重新配置网络通信（NodeSplit）和隔离社区的新开发方法。我们使用从大型零售网络收集的六个真实通信图详细评估了所有防御策略，并比较了它们在各种攻击和网络拓扑中的性能。我们表明，这些防御措施能够有效地减少SPM攻击的传播与SIIDR建模。例如，假设一个强大的攻击在没有采取防御措施的情况下感染了97%的节点，那么策略性地保护少量节点（0.08%）可以将其中一个网络的感染足迹降低到1%。
2022-10-08 cs.CR math.DS math.SP
DRMD: Deep Reinforcement Learning for Malware Detection under Concept Drift
King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
本文提出DRMD，通过深度强化学习在Android恶意软件检测中应对概念漂移，提升检测性能和抗漂移能力，实验显示其在时间感知评估中优于传统方法。
2025-11-14 cs.CR cs.LG
Limiting Self-Propagating Malware Based on Connection Failure Behavior through Hyper-Compact Estimators
自传播恶意软件（例如，因特网蠕虫）利用软件中的安全漏洞来感染服务器，然后利用它们来扫描因特网以寻找更易受攻击的服务器。虽然蠕虫感染的机制和传播模型已经很好地理解，但对蠕虫的防御仍然是一个悬而未决的问题。防御研究的一个分支是研究蠕虫感染的宿主和正常宿主之间的行为差异，以将它们区分开来。一个特别的观察是，一个蠕虫感染的主机，它扫描互联网与随机选择的地址，有一个更高的连接失败率比正常主机。人们提出了限速算法，通过基于连接失败率的流量整形来控制蠕虫的传播。然而，这些速率限制算法可以正常工作，只有当它是可能的，以有效和准确地测量故障率的个别主机。本文指出了现有方法中存在的一个严重问题。为了解决这个问题，我们首先提出了一个解决方案的基础上，一个高效的双位图数据结构，它只需要很小的内存占用的路由器，同时提供良好的测量连接失败率，其准确性可以通过系统参数进行调整。在此基础上，提出了基于共享寄存器阵列数据结构的算法，与双位图算法相比，该算法具有更高的存储效率和更大的估计范围。
2016-02-09 cs.CR cs.NI
Modeling Self-Propagating Malware with Epidemiological Models
本文针对自传播恶意软件（SPM）传播行为难以理解的问题，提出并全面分析了SIIDR流行病学模型，通过常微分方程推导其稳定性与基本再生数，并在15条WannaCry攻击数据上验证了SIIDR模型优于SI、SIS和SIR等传统模型。
2023-08-04 cs.CR math.DS stat.AP
Reviewer Integration and Performance Measurement for Malware Detection
我们提出并评估了一个大规模的恶意软件检测系统集成机器学习与专家评审员，作为一个有限的标签资源对待评审员。我们证明，即使在小的数量，审查人员可以大大提高系统的能力，以跟上不断变化的威胁。我们对VirusTotal提交的样本进行了评估，这些样本跨越了2.5年，包含110万个二进制文件和778GB的原始功能数据。在没有审查员协助的情况下，我们以0.5%的误报率实现了72%的检测率，与VirusTotal上最好的供应商相当。考虑到每天80个准确评论的预算，我们将检测率提高到89%，并且能够检测到42%的恶意二进制文件，这些恶意二进制文件在最初提交给VirusTotal时未被检测到。此外，我们还发现了训练数据集标签中以前未注意到的时间不一致性。我们比较了在首次看到训练数据的同时获得的训练标签与几个月后获得的训练标签的影响。我们发现，使用样本出现后很好地获得的训练标签，因此在实践中无法用于当前的训练数据，将测量检测提高了近20个百分点。我们发布了基于集群的实现，以及我们评估中的所有哈希和整个数据集的3%的列表。
2016-05-27 cs.CR
Label-efficient Training Updates for Malware Detection over Time
University of Cagliari（卡利亚里大学）；Sapienza University（罗马大学）；CINI（国家大学间信息学联盟）
本文提出一种模型无关框架，评估多种主动学习和半监督学习技术，降低手动标注成本，同时保持检测性能，提供对抗分布漂移的有效方法。
2026-03-30 cs.CR cs.LG
Weaponizing Ground Truth: Data Poisoning Attacks by Exploiting Boundary Misalignment Between Antivirus Software and Learning-Based Detectors
Nankai University（南开大学）；Singapore Management University（新加坡管理大学）；University of Liverpool（利物浦大学）
针对ML恶意软件检测依赖AV标签的弱点，提出Bi-Iocane黑盒投毒框架，通过修改AV敏感字节翻转标签，以极低投毒预算使下游模型对92.08%目标误分类，且现有防御效果有限。
2026-09-28 cs.CR
Semi-supervised Classification of Malware Families Under Extreme Class Imbalance via Hierarchical Non-Negative Matrix Factorization with Automatic Model Selection
本文提出一种名为 HNMFk Classifier 的分层半监督算法，基于带自动模型选择的非负矩阵分解，通过支持弃权（不执行）预测，在极端类别不平衡和标注数据稀缺的情况下有效分类恶意软件家族并识别新型家族，在 EMBER-2018 数据集上取得 0.80 的 F1 分数。
2023-09-12 cs.CR
Automated Behavioral Analysis of Malware A Case Study of WannaCry Ransomware
勒索软件是一种自我传播的恶意软件，它使用加密来保持受害者的数据赎金，近年来已成为最危险的网络威胁之一，具有广泛的破坏;例如，零日勒索软件WannaCry已经造成了全球性的灾难，从敲英国国民健康服务医院离线关闭本田汽车公司在日本[1]。我们与大型企业安全运营部门的密切合作表明，针对勒索软件的防御依赖于对前几次感染的大量系统日志进行繁琐的分析。对新捕获的恶意软件进行沙盒分析在操作中也很常见。我们介绍了一种方法来识别和排名最有区别的勒索软件功能，从一组环境（非攻击）系统日志和至少一个日志流包含环境和勒索软件的行为。这些排名的功能揭示了一组从系统日志中自动生成的恶意软件操作，并可以帮助自动化繁琐的手动分析。我们使用WannaCry和两个多态样本测试我们的方法，通过在环境和环境加上勒索软件执行期间使用Cuckoo Sandbox生成日志。我们的目标是在只知道恶意软件存在的情况下，从日志中提取恶意软件的特征。我们将输出与WannaCry的详细分析进行了比较，从而验证了算法的特征提取，并分析了该方法对输入数据\textemdash变化的鲁棒性，改变了环境数据的质量/数量，并测试了多态勒索软件。最值得注意的是，当从多态WannaCry副本生成时，我们的模式是准确和坚定不移的，其中63个（63个测试）反病毒（AV）产品失败。
2017-09-25 cs.CR
Malware Traffic Classification: Evaluation of Algorithms and an Automated Ground-truth Generation Pipeline
识别加密的网络流量中的威胁是一项独特的挑战。一方面，由于现代加密算法，简单地解密流量是极其困难的。另一方面，通过模式匹配算法传递这样的加密流是无用的，因为加密确保了没有任何模式匹配。此外，由于缺乏标记的良性和恶意软件数据集，评估此类模型也很困难。其他方法试图通过采用从流收集的可观察元数据来解决这个问题。我们试图通过使用这些可观察的元数据将其扩展到半监督恶意软件分类管道来增强这种方法。为此，我们探索和测试不同类型的聚类方法，利用独特的和不同的一组特征，从这个可观察到的元数据。我们还提出了一个自动化的数据包数据标记管道来生成真值数据，这些数据可以作为评估上述分类器的基线，或者一般来说是任何其他检测模型。
2020-11-07 cs.CR cs.LG
A Survey of Machine Learning Methods and Challenges for Windows Malware Classification
Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
恶意软件分类是一个难题，机器学习方法已经应用了几十年。然而，进展往往是缓慢的，部分原因是在开发机器学习系统的所有阶段都存在一些独特的困难：数据汇集，标记，特征创建和选择，模型选择和评估。在本调查中，我们将回顾与恶意软件分类相关的一些当前方法和挑战，包括数据汇集、特征提取、模型构建和评估。我们的讨论将包括对该领域中基于机器学习的解决方案必须考虑的约束的思考，以及机器学习也可以提供解决方案的尚未解决的问题。本调查旨在为希望了解更多关于如何将机器学习应用于恶意软件问题的网络安全从业者提供有用的信息，并为数据科学家提供必要的背景知识，以应对这个独特复杂的空间中的挑战。
2020-11-15 cs.CR cs.LG stat.AP
Synthetic Data: AI's New Weapon Against Android Malware
Federal University of Pampa (UNIPAMPA)（帕默大学）；Federal University of Rio Grande do Sul (UFRGS)（里奥格兰德-do-.sul大学）；Federal University of Amazonas (UFAM)（亚马逊大学）
本文提出MalSynGen方法，利用cGAN生成合成数据以提升安卓恶意软件检测性能，解决真实数据稀缺和质量低的问题。
2025-11-24 cs.AI cs.CR cs.LG
SEED: Semi-supervised Continual MalwarE Detection for Tackling ConcEpt Drift on a BuDget
Indian Institute of Technology Ropar（印度理工学院罗帕尔）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴）
提出SEED方法，结合定制二元交叉熵损失与半监督持续学习和主动学习，在有限标注下有效检测未知恶意软件，平均AUT提升40%（BODMAS）和14%（AndroZoo）。
2026-06-24 cs.CR cs.LG
Trust Under Siege: Label Spoofing Attacks against Machine Learning for Android Malware Detection
Université Paris Cité（巴黎西岱大学）；University of Genova（热那亚大学）；INRIA（法国国家信息与自动化研究所）；EURECOM（欧洲通信学院）
该研究提出针对安卓恶意软件检测ML模型的标签欺骗攻击，开发AndroVenom方法，仅1%中毒样本即可导致模型DoS，还能翻转特定良性样本决策，凸显基于AV标注的ML训练过程的可信度问题。
2026-09-01 cs.CR cs.LG
Efficient Malware Analysis Using Metric Embeddings
Mandiant Inc.（曼迪安特公司）；University of Florida（佛罗里达大学）；Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland（马里兰大学）
在本文中，我们将探讨使用度量学习将Windows PE文件嵌入到低维向量空间中，以供下游各种应用程序使用，包括恶意软件检测、家族分类和恶意软件属性标记。具体来说，我们使用计算成本高昂、基于反汇编的恶意功能来丰富恶意和良性PE文件的标签。使用这些功能，我们得到几种不同类型的度量嵌入，利用嵌入神经网络通过对比损失，斯皮尔曼秩相关性，及其组合训练。然后，我们检查了在EMBER和SOREL数据集上执行的各种传输任务的性能，证明了对于几个任务，低维，计算效率高的度量嵌入保持性能几乎没有衰减，这提供了快速重新训练的潜力。最后，我们检查的实际考虑使用我们提出的嵌入方法，如对抗性规避的鲁棒性和引入特定于任务的辅助目标，以提高关键任务的性能。
2022-12-05 cs.AI cs.CR cs.LG
A Deep Dive into VirusTotal: Characterizing and Clustering a Massive File Feed
在线扫描程序使用大量安全工具分析用户提交的文件，并提供对分析结果的访问。作为最流行的在线扫描程序，VirusTotal（VT）通常用于确定样本是否是恶意的，用它们的家族标记样本，寻找新的威胁以及收集恶意软件样本。我们分析了通过VT文件馈送收集的2.35亿样本的3.28亿VT报告。我们使用这些报告来深入描述VT文件馈送，并将其与大型安全供应商的遥测进行比较。我们回答的问题，如如何多样化的饲料？它是否允许为不同的文件类型构建恶意软件数据集？它提供的样品有多新鲜？它看到的恶意软件家族分布情况如何？这种分布真的代表了用户设备上的恶意软件吗？然后，我们探索如何通过研究可扩展的方法来进行大规模的威胁狩猎，这些方法可以在2.35亿饲料样本上产生高纯度的集群。我们研究了三种聚类方法：层次凝聚聚类（HAC），一个更可扩展的HAC变体TLSH聚类（HAC-T），和一个简单的特征值分组（FVG）。我们的研究结果表明，使用选定特征的HAC-T和FVG在地面真实数据集上产生高精度聚类。然而，只有FVG与饲料中样品的每日流入量成比例。此外，FVG需要15个小时才能对2.35亿个样本的整个数据集进行聚类。最后，我们使用生成的集群进行威胁搜索，即检测被认为是良性的190 K样本（即，具有零检测），因为它们属于29 K集群，其中大多数样本被检测为恶意的。
2022-10-31 cs.CR
Airmed: Efficient Self-Healing Network of Low-End Devices
特定于应用的网络物理系统的激增，加上对这些系统的各种攻击（恶意软件，如Mirai和Hajime）的出现，强调了保护这些网络的必要性。大多数现有的安全措施仅集中在检测恶意软件的存在上。然而，鉴于大多数攻击一旦感染少数设备就能够通过网络传播，因此必须遏制病毒的传播，同时使用网络的通信能力系统地清理受影响的节点。为此，我们提出了Airmed -一种方法和系统，不仅可以检测物联网节点上应用软件的损坏，还可以使用其邻居进行自我纠正。Airmed的分散机制可以防止自传播恶意软件的传播，也可以用作更新此类物联网设备上的应用程序代码的技术。Airmed的创新之处包括一种新颖的布隆过滤器技术以及硬件支持，以从良性应用程序代码中识别恶意软件程序的位置，自适应自检以提高计算效率，以及统一的随机回退和流签名，用于安全和带宽高效的代码交换以纠正损坏的设备。我们评估Airmed的性能，使用嵌入式系统的安全架构的TrustLite在OMNeT++模拟器。结果表明，Airmed可以扩展到数千台设备，确保整个网络的更新，并且在内部和外部传播模型中可以在10分钟内恢复95%的节点。此外，我们评估内存和通信成本，并表明Airmed是有效的，产生非常低的开销。
2020-04-29 cs.CR
ALOHA: Auxiliary Loss Optimization for Hypothesis Augmentation
Sophos PLC（Sophos PLC（Sophos公司））
恶意软件检测是信息安全机器学习（ML-Sec）的一个流行应用，其中ML分类器被训练以预测给定文件是恶意软件还是良性软件。该分类器的参数通常被优化，使得来自一组输入样本上的模型的输出最接近地匹配样本的真实恶意/良性（1/0）目标标签。然而，除了聚集的恶意/良性标签之外，通常存在用于每个恶意软件样本的上下文元数据的多个其他源，包括多个标签源和恶意软件类型信息（例如，勒索软件、特洛伊木马等），我们可以将其作为辅助预测目标提供给分类器。在这项工作中，我们将深度神经网络适合于从便携式可执行（PE）恶意软件和良性软件的威胁情报馈送中的元数据中派生的多个附加目标，包括多源恶意/良性丢失，多源检测的计数丢失以及语义恶意软件属性标签丢失。我们发现，将多个辅助损失项产生显着的改善性能的主要检测任务。我们还证明，这些收益可能源于更明智的神经网络表示，而不是由于多目标学习的正则化伪影。我们的辅助损失架构产生了显着减少检测出错率（假阴性）的42.6%，在假阳性率（FPR）为$10^{-3}$相比，只有一个目标的类似模型，并在$10^{-5}$ FPR的下降53.8%。
2019-03-13 cs.CR cs.LG stat.ML
Mind the Gap: On Bridging the Semantic Gap between Machine Learning and Information Security
Sandia National Laboratories（桑迪亚国家实验室）；New Mexico Tech（新墨西哥理工学院）
尽管机器学习（ML）有潜力学习恶意软件的行为，检测新的恶意软件样本，并显着提高信息安全（InfoSec），我们看到很少，如果有的话，高影响力的ML技术在部署的系统，尽管在公开文献中有多个成功的报道。我们假设ML在InfoSec中产生高影响的失败根源于两个社区之间的脱节，这可以通过语义差距来证明-可执行文件描述方式的差异（例如，从数据中提取的数据和特征）。具体来说，ML使用的当前数据集和表示不适合学习可执行文件的行为，并且与InfoSec社区使用的数据集和表示有很大不同。在本文中，我们调查了现有的用于通过ML算法对恶意软件进行分类的数据集以及从数据中提取的特征。我们注意到：1）当前提取的特征集主要是语法的，而不是行为的，2）数据集通常包含极端的样本，产生容易区分类别的数据集，以及3）数据集提供在现实世界系统中遇到的数据的显著不同的表示。ML要想在InfoSec社区中产生更大的影响，就需要对数据（包括特征和标签）进行更改，以弥合当前的语义差距。作为实现更多行为分析的第一步，我们使用与恶意软件家族相关的开源威胁报告为现有恶意软件数据集标记行为特征。这种行为标记将分析从识别意图（例如，好与坏）或恶意软件家族成员关系改变为分析可执行文件表现出哪些行为。我们提供注释，希望能激发未来数据的改进，进一步弥合ML和InfoSec社区之间的语义差距。
2020-05-04 cs.CR cs.LG stat.ML
