On Generating and Labeling Network Traffic with Realistic, Self-Propagating Malware
检测或修复恶意网络活动的技术的研究和开发需要访问包含标记的恶意连接的多样化的、现实的、当代的数据集。在没有这些数据的情况下，所述技术不能被有意义地训练、测试和评估。包含伪造或合并的网络流量的合成产生的数据具有有限的价值，因为即使通过简单的机器学习（ML）算法也可以很容易地将其与真实流量区分开。真实的网络数据是更可取的，但普遍存在的是敏感的，缺乏真实的标签，限制了其在机器学习研究中的效用。本文提出了一种多方面的方法来生成嵌入在从大型生产网络收集的匿名网络流量中的标记恶意连接的数据集。真实世界的恶意软件被拆除并引入这些网络中的模拟安全节点，以生成真实的流量，同时保持足够的隔离以保护真实数据和基础设施。网络传感器数据，包括这种嵌入式恶意软件流量，在网络边缘收集并匿名化以供研究使用。在两个主要教育机构按照上述方法收集和制作了网络流量。其结果是一个高度现实的，长期的，多机构的数据集，嵌入式数据标签跨越1.5万亿连接和超过PB的传感器日志数据。该数据集的可用性通过其对我们的人工智能和机器学习（AI/ML）研究计划的实用性来证明。
2022-05-27 cs.CR
ADAPT: A Pseudo-labeling Approach to Combat Concept Drift in Malware Detection
Rochester Institute of Technology（罗切斯特理工学院）；University of Texas El Paso（德克萨斯理工大学）
ADAPT提出一种模型无关的伪标签半监督算法，在五个跨Android、Windows和PDF的恶意软件数据集上对抗概念漂移，持续优于基线，降低标注成本。
2025-08-03 cs.CR cs.LG
Towards Accurate Labeling of Android Apps for Reliable Malware Detection
Technische Universität München（慕尼黑工业大学）
在训练他们新开发的恶意软件检测方法时，研究人员依靠基于阈值的标签策略来解释在线平台（如VirusTotal）提供的扫描报告。这个平台的动态性使得这些标签策略在很长一段时间内不可持续，这导致了不准确的标签。使用不准确标记的应用程序来训练和评估恶意软件检测方法会严重破坏其结果的可靠性，导致要么放弃其他有前途的检测方法，要么采用本质上不充分的方法。通过手动分析生成准确标签的不可行性以及缺乏可靠的替代方案迫使研究人员使用VirusTotal来标记应用程序。在本文中，我们以两种方式处理这个问题。首先，我们揭示了各方面的VirusTotal的动态性，以及它们如何影响基于阈值的标签策略，并提供了可操作的见解，如何使用这些标签策略的VirusTotal的动态性可靠。其次，我们激励替代平台的实施（一）确定VirusTotal的限制，这样的平台应该避免，和（b）提出一个架构，这样的平台可以构建，以减轻VirusTotal的限制。
2020-07-01 cs.CR cs.LG cs.SE
Maat: Automatically Analyzing VirusTotal for Accurate Labeling and Effective Malware Detection
Technische Universität München（慕尼黑工业大学）
恶意软件分析和检测研究社区依靠在线平台VirusTotal根据大约60种抗病毒扫描仪的扫描结果来标记Android应用程序。不幸的是，没有关于如何最好地解释从VirusTotal获取的扫描结果的标准，这导致利用不同的基于阈值的标记策略（例如，如果十个或更多的扫描器认为一个应用程序是恶意的，它被认为是恶意的）。虽然一些使用的阈值可能能够准确地近似应用程序的基本事实，但VirusTotal更改其使用的扫描程序的设置和版本的事实使得这些阈值随着时间的推移而不可持续。我们实现了一种方法Maat，通过自动生成基于机器学习（ML）的标签方案来解决这些标准化和可持续性问题，该方案优于基于阈值的标签策略。使用为期一年的53K Android应用程序的VirusTotal扫描报告，我们通过将Maat基于ML的标记策略的性能与基于阈值的策略进行比较，评估了Maat基于ML的标记策略的适用性。我们发现，这种基于ML的策略（a）可以根据其VirusTotal扫描报告准确且一致地标记应用程序，并且（b）有助于训练基于ML的检测方法，这些方法在对样本外应用程序进行分类时比基于阈值的方法更有效。
2020-07-01 cs.CR cs.LG
CITADEL: A Semi-Supervised Active Learning Framework for Malware Detection Under Continuous Distribution Drift
University of Texas at El Paso（埃尔帕索德克萨斯大学）；Indian Institute of Technology Hyderabad（海德拉巴印度理工学院）
CITADEL通过恶意软件特定的增强方法和多标准主动学习策略，在对抗持续分布漂移的情况下，以较少的标注样本实现了更高的恶意软件检测精度。
2026-02-14 cs.CR
On labeling Android malware signatures using minhashing and further classification with Structural Equation Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Telefónica Digital Identity & Privacy（西班牙电信数字身份与隐私部门）
多扫描程序防病毒系统提供有关可疑应用程序性质的深入信息;然而，不同的防病毒引擎之间往往缺乏共识和一致性。在这篇文章中，我们分析了超过25万恶意软件签名生成的61个不同的反病毒引擎后，分析了82万不同的Android恶意软件应用程序。我们确定了41种不同的恶意软件类别，分为三大类，即广告软件，有害威胁和未知或通用签名。我们进一步调查这41类之间的关系，使用社区发现算法从图论中识别它们之间的相似性，我们最后提出了一个结构方程模型，以确定哪些反病毒引擎更强大的检测每个宏类别。作为一个应用程序，我们展示了这些模型如何帮助识别未知恶意软件应用程序是否更有可能是有害的或广告软件类型。
2017-09-13 cs.AI cs.CR stat.ML
Reviewer Integration and Performance Measurement for Malware Detection
我们提出并评估了一个大规模的恶意软件检测系统集成机器学习与专家评审员，作为一个有限的标签资源对待评审员。我们证明，即使在小的数量，审查人员可以大大提高系统的能力，以跟上不断变化的威胁。我们对VirusTotal提交的样本进行了评估，这些样本跨越了2.5年，包含110万个二进制文件和778GB的原始功能数据。在没有审查员协助的情况下，我们以0.5%的误报率实现了72%的检测率，与VirusTotal上最好的供应商相当。考虑到每天80个准确评论的预算，我们将检测率提高到89%，并且能够检测到42%的恶意二进制文件，这些恶意二进制文件在最初提交给VirusTotal时未被检测到。此外，我们还发现了训练数据集标签中以前未注意到的时间不一致性。我们比较了在首次看到训练数据的同时获得的训练标签与几个月后获得的训练标签的影响。我们发现，使用样本出现后很好地获得的训练标签，因此在实践中无法用于当前的训练数据，将测量检测提高了近20个百分点。我们发布了基于集群的实现，以及我们评估中的所有哈希和整个数据集的3%的列表。
2016-05-27 cs.CR
DRMD: Deep Reinforcement Learning for Malware Detection under Concept Drift
King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
本文提出DRMD，通过深度强化学习在Android恶意软件检测中应对概念漂移，提升检测性能和抗漂移能力，实验显示其在时间感知评估中优于传统方法。
2025-11-14 cs.CR cs.LG
Weaponizing Ground Truth: Data Poisoning Attacks by Exploiting Boundary Misalignment Between Antivirus Software and Learning-Based Detectors
Nankai University（南开大学）；Singapore Management University（新加坡管理大学）；University of Liverpool（利物浦大学）
针对ML恶意软件检测依赖AV标签的弱点，提出Bi-Iocane黑盒投毒框架，通过修改AV敏感字节翻转标签，以极低投毒预算使下游模型对92.08%目标误分类，且现有防御效果有限。
2026-09-28 cs.CR
PromptSAM+: Malware Detection based on Prompt Segment Anything Model
本文提出基于大型视觉分割模型 PromptSAM 的 PromptSAM+ 框架，将恶意软件可视化为图像并结合主动学习进行分类，在 Windows 与 Android 多数据集上提升准确率、降低误漏报并缓解模型老化。
2024-08-04 cs.CR
Label-efficient Training Updates for Malware Detection over Time
University of Cagliari（卡利亚里大学）；Sapienza University（罗马大学）；CINI（国家大学间信息学联盟）
本文提出一种模型无关框架，评估多种主动学习和半监督学习技术，降低手动标注成本，同时保持检测性能，提供对抗分布漂移的有效方法。
2026-03-30 cs.CR cs.LG
MOTIF: A Large Malware Reference Dataset with Ground Truth Family Labels
Booz Allen Hamilton（博思艾伦咨询公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Marriotts Ridge High School（马里奥特岭高中）
恶意软件家族分类是一个具有公共安全和研究意义的重要问题，受到专家标签高成本的阻碍。绝大多数语料库使用噪声标记方法，这阻碍了结果的明确量化和更深层次的相互作用的研究。为了提供进一步发展所需的数据，我们创建了恶意软件开源威胁情报系列（MOTIF）数据集。MOTIF包含来自454个家族的3，095个恶意软件样本，使其成为迄今为止具有真值家族标签的最大和最多样化的公共恶意软件数据集，比之前任何专家标记的语料库大近3倍，比之前的Windows恶意软件语料库大36倍。MOTIF还提供了从恶意软件样本到知名行业来源发布的威胁报告的映射，这既验证了标签，又为将不透明的恶意软件样本与人类可读的描述联系起来开辟了新的研究机会。这使得能够进行重要的评价，而这些评价通常由于行业报告不标准而不可行。例如，我们提供用于描述同一恶意软件家族的不同名称的别名，使我们能够在从不同来源获得名称时首次对现有工具的准确性进行基准测试。使用MOTIF数据集获得的评估结果表明，现有任务有很大的改进空间，反病毒多数投票的准确率仅为62.10%，而著名的AVClass工具的准确率仅为46.78%。我们的研究结果表明，恶意软件家族分类遭受了一种与大多数ML文献中研究的不同的标签噪声，这是由于可能无法从所考虑的样本中获知的大型开放类集
2021-11-29 cs.CR cs.LG
FlowMalTrans: Unsupervised Binary Code Translation for Malware Detection Using Flow-Adapter Architecture
针对跨指令集架构恶意软件检测需大量标注样本的难题，提出FlowMalTrans方法，借助神经机器翻译和归一化流将不同ISA恶意软件转至样本充足的ISA，实现单模型跨架构检测，降低数据收集成本。
2025-09-06 cs.CR cs.SE
When Label Noise Meets Class Imbalance: A Robust Framework for Android Malware Family Classification
Huazhong University of Science and Technology（华中科技大学）；The Hong Kong Polytechnic University（香港理工大学）；NSFOCUS Technologies Group Co., Ltd.（启明星辰信息技术集团股份有限公司）；Key Laboratory of Cyberspace Security, Ministry of Education（教育部网络空间安全学院）
针对Android恶意软件家族分类中标签噪声与类别不平衡的交互问题，提出RoMaC框架，采用自训练纠正噪声标签并区分头尾家族样本，结合类别重加权与多模型集成，在混淆场景下性能提升6%-20%。
2026-09-22 cs.CR
A Deep Dive into VirusTotal: Characterizing and Clustering a Massive File Feed
在线扫描程序使用大量安全工具分析用户提交的文件，并提供对分析结果的访问。作为最流行的在线扫描程序，VirusTotal（VT）通常用于确定样本是否是恶意的，用它们的家族标记样本，寻找新的威胁以及收集恶意软件样本。我们分析了通过VT文件馈送收集的2.35亿样本的3.28亿VT报告。我们使用这些报告来深入描述VT文件馈送，并将其与大型安全供应商的遥测进行比较。我们回答的问题，如如何多样化的饲料？它是否允许为不同的文件类型构建恶意软件数据集？它提供的样品有多新鲜？它看到的恶意软件家族分布情况如何？这种分布真的代表了用户设备上的恶意软件吗？然后，我们探索如何通过研究可扩展的方法来进行大规模的威胁狩猎，这些方法可以在2.35亿饲料样本上产生高纯度的集群。我们研究了三种聚类方法：层次凝聚聚类（HAC），一个更可扩展的HAC变体TLSH聚类（HAC-T），和一个简单的特征值分组（FVG）。我们的研究结果表明，使用选定特征的HAC-T和FVG在地面真实数据集上产生高精度聚类。然而，只有FVG与饲料中样品的每日流入量成比例。此外，FVG需要15个小时才能对2.35亿个样本的整个数据集进行聚类。最后，我们使用生成的集群进行威胁搜索，即检测被认为是良性的190 K样本（即，具有零检测），因为它们属于29 K集群，其中大多数样本被检测为恶意的。
2022-10-31 cs.CR
SEED: Semi-supervised Continual MalwarE Detection for Tackling ConcEpt Drift on a BuDget
Indian Institute of Technology Ropar（印度理工学院罗帕尔）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴）
提出SEED方法，结合定制二元交叉熵损失与半监督持续学习和主动学习，在有限标注下有效检测未知恶意软件，平均AUT提升40%（BODMAS）和14%（AndroZoo）。
2026-06-24 cs.CR cs.LG
Trust Under Siege: Label Spoofing Attacks against Machine Learning for Android Malware Detection
Université Paris Cité（巴黎西岱大学）；University of Genova（热那亚大学）；INRIA（法国国家信息与自动化研究所）；EURECOM（欧洲通信学院）
该研究提出针对安卓恶意软件检测ML模型的标签欺骗攻击，开发AndroVenom方法，仅1%中毒样本即可导致模型DoS，还能翻转特定良性样本决策，凸显基于AV标注的ML训练过程的可信度问题。
2026-09-01 cs.CR cs.LG
Synthetic Data: AI's New Weapon Against Android Malware
Federal University of Pampa (UNIPAMPA)（帕默大学）；Federal University of Rio Grande do Sul (UFRGS)（里奥格兰德-do-.sul大学）；Federal University of Amazonas (UFAM)（亚马逊大学）
本文提出MalSynGen方法，利用cGAN生成合成数据以提升安卓恶意软件检测性能，解决真实数据稀缺和质量低的问题。
2025-11-24 cs.AI cs.CR cs.LG
Rethinking and Exploring String-Based Malware Family Classification in the Era of LLMs and RAG
University of Oregon（俄勒冈大学）；City University of Hong Kong（香港城市大学）；Sun Yat-sen University（中山大学）；Calvin University（加州学院）
本文探索在大语言模型与RAG时代利用传统二进制字符串特征（家族特定字符串）进行恶意软件家族分类，通过覆盖67个家族、4,347个样本的评估框架和消融研究，验证了该方法的可行性并量化了各模块的改进效果。
2025-10-26 cs.AI cs.CR cs.SE
Combating Concept Drift with Explanatory Detection and Adaptation for Android Malware Classification
University College London（伦敦大学学院）；Zhejiang University（浙江大学）
针对安卓恶意软件分类中的概念漂移问题，提出DREAM系统，通过整合分类器与专家知识到对比自编码器潜在空间，提升漂移检测准确率并降低标注成本，在Drebin分类器更新中效果显著。
2025-05-24 cs.AI cs.CR
Semi-supervised classification for dynamic Android malware detection
Intel Labs（英特尔实验室）
越来越多的Android手机威胁给恶意软件检测带来了挑战。手动将样本标记为良性或不同的恶意家族需要巨大的人工努力，而从各种来源获得大量未标记的APK非常容易和便宜。此外，Android恶意软件的快速发展不断产生衍生的恶意软件家族。这些系列通常包含新的签名，在使用静态分析时可以逃避检测。这些实际挑战也可能导致传统的监督机器学习算法性能下降。在本文中，我们提出了一个框架，使用基于模型的半监督（MBSS）分类方案的动态Android API调用日志。半监督方法有效地使用标记和未标记的APK通过条件期望最大化来估计高斯分布的有限混合模型，并在样本外测试期间有效地检测恶意软件。我们比较MBSS与流行的恶意软件检测分类器，如支持向量机（SVM），$k$ -最近邻（kNN）和线性判别分析（LDA）。在理想的分类设置下，MBSS具有98%的准确率和很低的样本内分类假阳性率。对于样本外测试，与样本内训练集相比，样本外测试数据表现出类似的检索电话信息并发送到网络的行为。当这种相似性较强时，MBSS和线性核的SVM保持90%的检测率，而$k$ NN和LDA则性能下降。当这种相似性稍弱时，所有分类器的性能都会下降，但MBSS仍然比其他分类器表现得更好。
2017-04-19 cs.CR cs.LG stat.ML
Efficient Malware Analysis Using Metric Embeddings
Mandiant Inc.（曼迪安特公司）；University of Florida（佛罗里达大学）；Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland（马里兰大学）
在本文中，我们将探讨使用度量学习将Windows PE文件嵌入到低维向量空间中，以供下游各种应用程序使用，包括恶意软件检测、家族分类和恶意软件属性标记。具体来说，我们使用计算成本高昂、基于反汇编的恶意功能来丰富恶意和良性PE文件的标签。使用这些功能，我们得到几种不同类型的度量嵌入，利用嵌入神经网络通过对比损失，斯皮尔曼秩相关性，及其组合训练。然后，我们检查了在EMBER和SOREL数据集上执行的各种传输任务的性能，证明了对于几个任务，低维，计算效率高的度量嵌入保持性能几乎没有衰减，这提供了快速重新训练的潜力。最后，我们检查的实际考虑使用我们提出的嵌入方法，如对抗性规避的鲁棒性和引入特定于任务的辅助目标，以提高关键任务的性能。
2022-12-05 cs.AI cs.CR cs.LG
ALOHA: Auxiliary Loss Optimization for Hypothesis Augmentation
Sophos PLC（Sophos PLC（Sophos公司））
恶意软件检测是信息安全机器学习（ML-Sec）的一个流行应用，其中ML分类器被训练以预测给定文件是恶意软件还是良性软件。该分类器的参数通常被优化，使得来自一组输入样本上的模型的输出最接近地匹配样本的真实恶意/良性（1/0）目标标签。然而，除了聚集的恶意/良性标签之外，通常存在用于每个恶意软件样本的上下文元数据的多个其他源，包括多个标签源和恶意软件类型信息（例如，勒索软件、特洛伊木马等），我们可以将其作为辅助预测目标提供给分类器。在这项工作中，我们将深度神经网络适合于从便携式可执行（PE）恶意软件和良性软件的威胁情报馈送中的元数据中派生的多个附加目标，包括多源恶意/良性丢失，多源检测的计数丢失以及语义恶意软件属性标签丢失。我们发现，将多个辅助损失项产生显着的改善性能的主要检测任务。我们还证明，这些收益可能源于更明智的神经网络表示，而不是由于多目标学习的正则化伪影。我们的辅助损失架构产生了显着减少检测出错率（假阴性）的42.6%，在假阳性率（FPR）为$10^{-3}$相比，只有一个目标的类似模型，并在$10^{-5}$ FPR的下降53.8%。
2019-03-13 cs.CR cs.LG stat.ML
Is Function Similarity Over-Engineered? Building a Benchmark
Booz Allen Hamilton（博兹·艾伦·汉密尔顿公司）；Syracuse University（雪城大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）；Laboratory for Physical Sciences（物理科学实验室）
本研究针对二进制函数相似度检测领域研究与实际需求脱节的问题，构建了更贴合真实场景的REFuSE-Bench基准，发现仅用原始字节、无需预处理的简单方法可达SOTA，挑战了复杂模型更优的传统认知。
2024-10-30 cs.CR cs.LG
