Mutation testing of smart contracts at scale
由于智能合约的不可变性,因此对其进行彻底测试至关重要。即使是智能合约中的小错误也可能导致巨大的金钱损失。然而,测试是不够的;确保测试的质量和完整性也很重要。已经有几种方法通过突变测试来应对这一挑战,但它们的有效性值得怀疑,因为它们只考虑了小的合同样本。因此,我们评估了大规模智能合约突变测试的质量。我们选择了现有的(智能合约特定的)突变算子中最有前途的,分析了它们在可重复性方面的有效性,并强调了可以注入突变的严重漏洞。此外,我们通过引入能够检测气体消耗中的偏差的新的杀死条件来改进现有的变异方法,即,执行交易所需的货币价值。本文在https://github.com/pieterhartel/Mutation-at-scale上有一个复制包
2020-01-22 cs.SE
Testing the Usability and Accessibility of Smart TV Applications Using an Automated Model-based Approach
随着智能电视(TV)和交互式智能电视应用(app)的普及,这些app的可用性已经成为重要的质量特征。之前的研究从可用性的角度研究了智能电视应用程序。然而,这些方法主要是手动的,基于模型的自动化测试方法的可用性测试目的的潜力还没有得到充分的探索。在本文中,我们提出了一种方法来测试智能电视应用程序的可用性的基础上自动生成的智能电视用户交互模型,从现有的应用程序由一个专门的自动爬虫。通过该模型,智能电视应用程序中定义的用户任务可以根据其可行性和估计的用户工作量自动进行评估,这反映了分析应用程序的可用性。该分析可以应用于常规用户和具有各种特定需求的用户。这种基于模型的自动化分析方法的结果可用于优化智能电视应用程序的用户界面,以提高其可用性、可访问性和质量。
2020-04-03 cs.SE
Basis Path Coverage Criteria for Smart Contract Application Testing
智能合约的广泛认可确立了其在下一代区块链技术领域的重要性。然而,编写正确的智能合约是非常困难的。此外,一旦网络确认了状态改变事务,结果是不可变的。因此,在部署之前对智能合约应用程序进行全面测试至关重要。本文的重点是智能合约的测试覆盖标准,这是衡量测试质量的客观规则。我们分析了以太坊智能合约程序模型与传统程序模型相比的独特特征。为了捕捉智能合约的基本控制流行为,我们提出了全事务基路径集和有界事务交互的概念。前者是一组有限的线性独立的过程间路径,从中可以通过线性组合构建以太坊交易的潜在无限路径,而后者是交易在一定范围内的排列。基于这两个概念,我们定义了一个家庭的基于路径的测试覆盖标准。给出了覆盖需求的生成算法。最后通过一个案例分析比较了所提出的测试覆盖准则与随机测试和语句覆盖测试的有效性。
2019-11-24 cs.SE
Enabling Automated Integration Testing of Smart Farming Applications via Digital Twin Prototypes
本文提出数字孪生原型方法,通过仿真硬件接口实现智能农业应用(如青贮饲料制作)的自动化集成测试,并支持持续集成与Docker容器持续部署。
2023-11-09 cs.SE
Vulseye: Detect Smart Contract Vulnerabilities via Stateful Directed Graybox Fuzzing
针对现有智能合约模糊测试工具状态反馈不足、测试资源浪费的问题,提出以漏洞为导向的有向状态灰盒模糊测试工具Vulseye,通过代码与状态双目标引导及新型适应度度量提升测试的有效性与效率。
2024-08-19 cs.SE
Towards Interoperability Testing of Smart Energy Systems -- An Overview and Discussion of Possibilities
本文概述了智能能源系统互操作性测试的挑战,分析了现有测试概念,并提出了系统级互操作性测试方法的协调与改进方向。
2024-11-05 cs.SE
Effective Targeted Testing of Smart Contracts
本文提出智能合约定向测试框架Griffin,采用定向符号执行和增强版控制流图CFG+生成测试数据,用于杀死变异体、验证告警和生成反例,实验证明其能在合理时间内有效到达目标行。
2024-07-05 cs.SE
A Survey of Verification, Validation and Testing Solutions for Smart Contracts
智能合约是存储在区块链上的程序,在满足预定条件时运行。然而,设计和实现智能合约并不简单,因为在区块链上部署时,不再可能修改它(无论是为了改进还是修复错误)。只有通过部署一个新版本的智能合约才有可能,这是昂贵的(新合约的部署成本和旧合约的销毁成本)。为此,有许多解决方案可以在部署之前测试智能合约。由于实现无错误的智能合约可以提高可靠性并降低成本,因此测试是一项必不可少的活动。在本文中,我们将试图解决智能合约测试的现有解决方案分为以下几类:公共测试网络,安全分析工具,区块链模拟器和区块链模拟器。然后,我们分析这些解决方案,对它们进行分类,并展示它们的优点和缺点。
2021-12-07 cs.DC cs.MA cs.SE
Monitoring Informed Testing for IoT
物联网(IoT)系统通过标准化的服务接口不断从异构的“智能对象”收集大量数据。一个关键的挑战是如何使用这些数据和相关的事件日志来构建不断适应的使用概况,并将其应用于增强测试方法,即,对测试进行优先级排序,以测试物联网系统的持续集成。此外,这些使用概况提供相关性权重,以分析系统的架构和行为。基于分析,测试方法可以预测容易出错的特定系统位置,从而建议扩展的运行时监控是必要的。此外,物联网旨在通过网络连接数十亿个“智能设备”。即使是连接几十个智能设备的小型物联网系统的测试也需要一个测试虚拟机(VM)网络,可能会在雾和云中传播。在本文中,我们提出了一个在单独的VM环境中测试每个IoT层的框架,并讨论了最佳VM分配的潜在困难。
2018-12-14 cs.SE
ADF-GA: Data Flow Criterion Based Test Case Generation for Ethereum Smart Contracts
测试是提高以太坊智能合约程序质量的重要技术。然而,目前对智能合约的测试工作只关注智能合约程序的静态问题。针对智能合约程序的动态测试,目前还缺少一种面向数据流的测试用例生成方法。为了解决这个问题,本文提出了一种新的测试用例生成方法,称为ADF-GA(使用遗传算法的基于所有使用数据流标准的测试用例生成),用于基于Solidity的以太坊智能合约程序。ADF-GA的目标是通过三个阶段有效地生成一组有效的测试用例。首先,从源代码构造相应的程序控制流图。然后对生成的控制流图进行分析,获取Solidity程序中的变量信息,定位request语句,并得到待测试的定义-使用对。最后,采用遗传算法生成测试用例,并提出了一种改进的适应度函数来计算每个测试用例的定义-使用对覆盖率。对几个有代表性的Solidity程序进行了实验研究。结果表明,ADF-GA能有效地生成测试用例,达到更好的覆盖率,并减少了遗传算法的迭代次数。
2020-02-29 cs.SE
IDOL: Improved Different Optimization Levels Testing for Solidity Compilers
本文提出 IDOL 方法,通过逆向优化转换生成语义等价的智能合约变体来测试 Solidity 编译器,并在初步评估中发现 3 个已确认的优化缺陷。
2025-06-15 cs.SE
Static Application Security Testing (SAST) Tools for Smart Contracts: How Far Are We?
本文提出包含45种漏洞类型的细粒度智能合约漏洞分类体系,并构建覆盖40种类型、含788个文件和10,394个漏洞的基准,评估8种SAST工具后发现其漏报约50%、精确率不足10%,同时揭示多工具组合可降低漏报但增加误报,为工具改进与选择提供指导。
2024-06-29 cs.SE
Smart Fuzzing of 5G Wireless Software Implementation
本文结合AFL++模糊测试与大语言模型自动解读参数,提升OAI5G开源5G软件框架的安全性、可靠性和可理解性。
2023-09-22 cs.SE
Helion: Enabling Natural Testing of Smart Homes
本文提出Helion系统,利用n-gram语言建模学习智能家居用户例程规律并预测自然自动化场景,并通过与Home Assistant集成的HelionHA平台实现端到端测试。
2023-08-13 cs.CR cs.SE
Asynchronous Integration of Real-Time Simulators for HIL-based Validation of Smart Grids
本文针对智能电网系统级验证缺乏跨领域复杂用例测试方法的问题,提出将实时仿真器异步集成到联合仿真环境中,并通过三个实际实现和两个控制示例验证了该方法的有效性。
2023-09-14 cs.SE
EVMFuzz: Differential Fuzz Testing of Ethereum Virtual Machine
以太坊虚拟机(EVM)是智能合约的运行环境,其漏洞可能会导致以太坊生态的严重问题。随着许多智能合约验证技术的开发,EVM的安全问题还没有得到很好的研究。在本文中,我们提出EVMFuzz,旨在检测EVMs与差分模糊测试的漏洞。EVMFuzz的核心思想是不断为不同的EVM的执行生成种子合约,从而尽可能多地发现执行结果之间的不一致,最终通过输出交叉引用发现漏洞。首先,我们提出了内部不一致性指标的评估指标,如执行的操作码序列和使用的气体。然后,我们通过一组预定义的变异器构建种子合同,并采用动态优先级调度算法来指导种子合同的选择和最大化的不一致性。最后,我们利用不同的EVM作为交叉引用的预言机,以避免手动检查执行输出。为了进行评估,我们对36,295个真实世界的智能合约进行了大规模突变,并生成了253,153个智能合约。其中,66.2%表现出差异性,包括1,596个变体合约触发了EVM之间的不一致输出。在人工分析的基础上,我们在四个广泛使用的EVM中发现了5个以前未知的安全漏洞,并且所有这些漏洞都已被纳入通用漏洞和暴露(CVE)数据库。
2019-04-08 cs.SE
Solsmith: Solidity Random Program Generator for Compiler Testing
本文提出并实现Solidity编译器测试程序生成器Solsmith,通过独特程序生成策略和差分测试验证其有效性,发现四个已确认编译器缺陷。
2025-06-04 cs.SE
Detecting Buggy Contracts via Smart Testing
Columbia University(哥伦比亚大学);The University of Chicago(芝加哥大学)
针对混合动态分析难发现智能合约深层缺陷的问题,本文提出可自主决策的 SmartSys,利用基础模型选择分析技术、生成模糊目标并结合动态反馈抑制幻觉,发现长期遗漏漏洞并提升覆盖率。
2024-09-06 cs.LG cs.PL cs.SE
Performance Testing Using a Smart Reinforcement Learning-Driven Test Agent
性能测试的目的是产生一个高效和有效的工作量,以确定性能问题是具有挑战性的。许多自动化方法主要依赖于分析系统模型、源代码或提取系统在执行过程中的使用模式。然而,这样的信息和工件并不总是可用的。此外,生成的工作负载中的所有事务不会以相同的方式影响系统的性能,经过微调的工作负载可以以有效的方式完成测试目标。无模型强化学习无模型强化学习被广泛用于在不依赖于系统模型的情况下找到最优行为以实现许多决策问题中的目标。本文提出,如果生成测试工作量,以满足测试目标的最佳策略(方式)可以通过一个测试代理学习,那么有效的测试自动化将是可能的,而不依赖于系统模型或源代码。我们提出了一个自适应强化学习驱动的负载测试代理,RELOAD,学习最佳的测试工作量生成策略,并生成有效的工作量,以满足测试目标。一旦代理学习到最优策略,它就可以在后续的测试活动中重用学习到的策略。实验结果表明,该智能负载测试代理能够以较低的测试成本完成测试任务,提高测试效率。
2021-04-26 cs.PF cs.SE
ItyFuzz: Snapshot-Based Fuzzer for Smart Contract
本文提出基于快照的智能合约模糊测试器 ItyFuzz,通过快照状态与单例交易,结合数据流航点机制和比较航点,实现秒级链上测试,快速发现并生成真实漏洞利用。
2023-06-29 cs.CR cs.SE
Characterizing Tests in IoT Software: Practices, Challenges and Opportunities
McGill University(麦吉尔大学);The Hong Kong University of Science and Technology(香港科技大学)
通过首个开源物联网软件测试用例实证研究,评估测试有效性,识别与外部依赖交互的挑战,并分析模拟对象的使用潜力。
2026-06-12 cs.SE
Fuzz Smarter, Not Harder: Towards Greener Fuzzing with GreenAFL
King’s College London(伦敦国王学院);The Federal Institute of Education, Science, and Technology of Alagoas(阿拉戈斯联邦教育、科学与技术学院)
针对传统模糊测试能耗高、碳足迹大的问题,提出能源感知框架GreenAFL,通过功耗感知的语料库最小化与能源引导变异启发式,在保持覆盖率的同时降低能耗,实现更绿色的模糊测试。
2025-10-29 cs.SE
Towards LLM-assisted High-Quality Property Generation for Solidity Smart Contracts
FAST-NUCES;Truscova GmbH(Truscova有限公司);United Arab Emirates University(阿联酋大学)
研究利用大语言模型为Solidity智能合约生成高质量属性,通过变异测试衡量属性质量,评估多种提示技术,发现Gemini Pro 1.5结合提示链平均变异得分高,个别合约表现突出,显示大语言模型在属性生成上有潜力达专家水平。
2026-07-28 cs.SE
Testing Practices, Challenges, and Developer Perspectives in Open-Source IoT Platforms
针对开源物联网平台因多样化组成导致的测试挑战,通过挖掘分析OpenHab和HomeAssitant代码集成及调查80名开发者,揭示测试实践与认知,为有效测试提供指导。
2025-02-11 cs.SE
Robotic-supported Data Loss Detection in Android Applications
Federal University of Pernambuco(伯南布哥联邦大学)
本研究针对安卓应用手动测试的缺陷,提出机器人辅助数据丢失检测工具R-DLD,从77款应用中识别341个数据丢失问题,获开发者89.55%确认、35.82%修复。
2026-10-16 cs.RO cs.SE
Synergizing Code Coverage and Gameplay Intent: Coverage-Aware Game Playtesting with LLM-Guided Reinforcement Learning
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);College of Science and Technology, Nihon University(日本立命馆大学科学技术学院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Waseda Institute for Advanced Study, Waseda University(早稻田大学高级研究机构)
SMART框架通过LLM引导强化学习,结合结构验证与功能验证,提升游戏更新测试的覆盖率和任务完成率。
2025-12-14 cs.AI cs.SE
Computer Vision Intelligence Test Modeling and Generation: A Case Study on Smart OCR
San Jose State University(圣何塞州立大学);ALPSTouchStone, Inc.(ALPSTouchStone公司)
针对AI软件质量评估难题,提出含3D分类模型、测试覆盖准则与四项评估指标的AI软件功能测试框架,并通过移动端OCR案例验证其有效性。
2024-09-14 cs.AI cs.CV cs.SE
OpDiffer: LLM-Assisted Opcode-Level Differential Testing of Ethereum Virtual Machine
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);The Hong Kong Polytechnic University(香港理工大学);Huazhong University of Science and Technology(华中科技大学)
OpDiffer利用LLM和静态分析方法,针对EVM安全测试中的输入多样性不足和无法自动定位bug问题,提出指令级差分测试框架,发现26个未知bug,提升代码覆盖率达71.06%等。
2025-04-16 cs.CR cs.SE
Finding and Understanding Miscompilation Bugs in the Solidity Compiler
Ethereum Foundation(以太坊基金会)
研究旨在提高Solidity编译器质量,创建SolSmith工具。通过生成有效测试程序使编译器测试更严格,发现25个错误编译漏洞。还对这些漏洞进行定性和定量分析,揭示优化编译器的陷阱,为智能合约及用户减少潜在风险。
2026-07-09 cs.CR cs.PL cs.SE