Tapir: Automation Support of Exploratory Testing Using Model Reconstruction of the System Under Test
对于相当数量的软件项目，有效的测试用例的创建受到设计文档的阻碍，这些文档要么缺乏，要么不完整，要么过时。在这种情况下，探索性测试方法可以作为一种可靠的方法。然而，这种测试方法的效率在很大程度上取决于方法、系统中已探索部分的文档、团队中各个测试人员之间的工作组织和分配，以及执行测试中潜在（非常可能）重复的最小化。在本文中，我们提出了一个框架，取代和自动化的一部分，这些任务。在探索性测试过程中，通过跟踪测试人员的活动，逐步重建被测系统的基于屏幕流的模型。通过附加的元数据，该模型为测试人员提供了自动导航过程。与探索性测试方法相比，这是手动进行的两个案例研究中，建议的框架允许测试人员探索更大程度的测试系统，并使更大的检测系统中存在的缺陷。结果表明，框架的支持提高了测试过程的时间效率。这种效率可以通过在所提出的框架内实施的基于团队的导航策略来提高，本文提出的另一个案例研究记录了这一点。
2018-02-22 cs.SE
Can a Chatbot Support Exploratory Software Testing? Preliminary Results
本文提出基于 Discord 的 BotExpTest 聊天机器人，从缺陷报告、时间管理、测试指南和策略呈现方面支持探索式测试，并通过六名专业人员的用户研究初步验证其有效性与积极体验。
2023-07-11 cs.HC cs.SE
Robust Dynamic Selection of Tested Modules in Software Testing for Maximizing Delivered Reliability
软件测试的目的是提高交付给用户的可靠性。交付可靠性是软件交付给用户后使用的可靠性。软件通常由许多模块组成。因此，交付的可靠性取决于指定用户将如何使用这些模块的操作配置文件以及每个模块中剩余的缺陷数量。因此，一个好的测试策略应该在测试过程中根据软件的当前状态动态地选择被测模块，并考虑操作剖面。本文讨论了如何动态地选择测试模块，以最大限度地提高交付的可靠性，制定选择问题的动态规划问题。由于测试过程只有一次，因此在测试过程中必须考虑风险，本文用测试人员的效用函数来描述风险。此外，由于通常测试人员对操作剖面没有准确的估计，本文采用鲁棒优化技术，在给定操作剖面的不确定性集的情况下，分析了最坏情况下的选择问题。通过数值算例，说明了在测试人员对系统运行剖面没有明确概念的情况下，直接最大化系统交付可靠度和使用鲁棒优化技术的必要性。此外，它表明，测试人员的风险规避行为有一个主要的影响交付的可靠性。
2017-01-16 cs.SE
RAN Tester UE: An Automated Declarative UE Centric Security Testing Platform
本文提出自动化、可扩展且以 UE 为中心的 RAN Tester UE 声明式安全测试框架，并在基于商用硬件与开源软件的 5G 软件无线电测试床上验证其测试流程的效率和可复现性。
2025-05-16 cs.CR cs.SE cs.SY
Exploring Emotional Intelligence in Software Testing
Mid Sweden University（瑞典中部大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本研究通过访谈16名瑞典敏捷团队软件测试人员，探讨情绪智力在日常工作、团队沟通和需求变动中的作用，发现情绪管理是测试角色的持续要求，且缺乏独立测试阶段时其重要性更高。
2026-09-30 cs.SE
Tester Interactivity makes a Difference in Search-Based Software Testing: A Controlled Experiment
内容：基于搜索的软件测试承诺为用户提供生成高质量测试用例的能力，从而提高产品质量，所需的时间和精力增加最少。一个结果，出现了以前的研究，以调查在工业环境中的应用搜索为基础的软件测试（SBST）是基于交互式搜索的软件测试（ISBST）系统的发展。ISBST允许用户与基本的SBST系统交互，指导搜索和评估结果。一个工业评估表明，ISBST系统可以找到测试用例，而不是由测试人员采用手动技术。然而，评价的有效性因参与者人数少而受到威胁。目的：通过对ISBST系统的随访研究，对ISBST系统进行更严格的评价。方法：为了评估ISBST系统的双向交叉控制实验进行了58名学生参加验证和验证课程。NASA任务负荷指数（NASA-TLX）用于评估实验参与者所经历的工作量。结果如下：实验结果验证了假设，即ISBST系统生成的测试用例是没有发现的相同的参与者采用手动测试技术。后续的实验室实验还调查了互动在获得结果中的重要性。除了这一主要结果，主观的工作量进行了评估，为每个参与者的手段NASA-TLX工具。评价表明，虽然ISBST系统需要参与者付出更多努力，但他们取得了同样的业绩。结论：该文件提供的证据表明，ISBST系统开发的测试用例，没有发现手动技术，互动在实现这一结果中起着重要的作用。
2015-12-15 cs.SE
Input Relation Prompting for Metamorphic Testing on Query-Based Systems
National Cheng Kung University（国立成功大学）
针对查询系统测试难题，提出通过提示输入输出关系的变质关系识别方法，不依赖预定义测试用例或基本事实，可结合其他测试方法，经案例研究验证其适用性与潜力，推动变质测试发展，提高测试效率。
2026-07-29 cs.SE
Prioritising Server Side Reachability via Inter-process Concolic Testing
内容：大多数自动化白盒测试的方法都将Web应用程序的客户端和服务器端相互隔离。这样的测试人员缺乏对被测Web应用程序的整体程序视角。询价：我们假设，一个额外的整个程序的角度将使测试人员发现哪些服务器端的错误可以触发一个实际的最终用户通过客户端访问应用程序，哪些只能在假设的情况下触发。方法：在本文中，我们探讨了在测试中采用这种全程序视角的想法。为此，我们开发了一种新颖的concolic测试器，它在全栈JavaScript Web应用程序上运行，其中客户端和服务器端都是通过异步消息进行通信的JavaScript进程-由WebSocket或Socket. IO库启用。知识：我们发现，整个程序的角度来看，能够辨别高优先级的错误，这是从一个特定的客户端，从低优先级的错误，这是不能通过测试的客户端访问。透视图的另一个好处是，它允许自动化测试人员从最终用户的角度构造实际的、逐步的场景来触发服务器端错误。基础：我们应用于一组Web应用程序，以评估测试在区分高优先级和低优先级错误方面的有效性。结果表明，正确分类的大多数服务器错误。重要性：本文展示了测试作为自动测试Web应用程序的新方法的可行性。将错误分类为高或低重要性有助于开发人员对用户可能遇到的错误进行优先级排序，并推迟对不太容易达到的错误的诊断。
2021-03-04 cs.SE
Breaking Single-Tester Limits: Multi-Agent LLMs for Multi-User Feature Testing
针对多用户交互特性自动化测试的挑战，提出基于LLM的多智能体框架MAdroid，通过Coordinator、Operator和Observer协作完成测试任务，在41项任务中表现优异并发现11个真实缺陷。
2025-09-16 cs.SE
RAG-TESTER: Automated End-to-End Testing of Retrieval-Augmented Large Language Models
Mondragon University（蒙德拉贡大学）
RagTester是针对RAG系统的自动化端到端测试方法，通过生成测试用例、利用LLM评估结果，在24种配置中20种优于基线，可有效检测RAG的交互故障并支持部署评估。
2026-08-04 cs.AI cs.SE
Are Autonomous Web Agents Good Testers?
本文研究自主Web智能体作为自然语言测试用例执行者的可行性，提出包含3个应用和113个用例的基准，并开发SeeAct-ATA与PinATA两种开源实现，实验表明PinATA性能提升50%且正确判定率达60%，但仍存局限需改进以实现低维护测试自动化。
2025-04-02 cs.SE
From Manual Android Tests to Automated and Platform Independent Test Scripts
由于移动应用程序非常受欢迎，并且通常是关键任务，因此公司投入了大量资源来测试他们提供给客户的应用程序。测试对于Android应用尤其重要，因为这些应用必须在多种设备和操作系统版本上运行。不幸的是，正如我们在与质量保证专业人员的多次采访中所证实的那样，应用程序测试是一项非常人力密集的活动，因此繁琐且容易出错。为了解决这个问题，并更好地支持Android应用程序的测试，我们提出了一种新的技术，允许测试人员轻松地为应用程序创建独立于平台的测试脚本，并自动在多个设备和操作系统版本上运行生成的测试脚本。该技术在不修改被测应用程序或运行时系统的情况下这样做，通过（1）拦截测试人员与应用程序的交互，以及（2）为测试人员提供直观的方式来指定预期结果，然后将其编码为测试神谕。我们在一个名为Barista的工具中实现了我们的技术，并使用该工具来评估我们方法的实用性和适用性。我们的研究结果表明，Barista可以忠实地编码用户定义的测试用例作为测试脚本与内置的预言机，生成测试脚本，可以在多个平台上运行，并可以胜过一个国家的最先进的工具，具有类似的功能。咖啡师和我们的实验基础设施是公开的。
2016-08-11 cs.SE
EPiT : A Software Testing Tool for Generation of Test Cases Automatically
软件测试用例可以定义为一组测试条件，测试人员需要在这些条件下测试并确定被测系统（SUT）是否正确地满足预期结果。讨论了利用EpiT（EclipsePlug-inTool）自动生成实例的优化技术。EpiT的开发是为了优化从源代码生成测试用例，以减少传统的手动创建测试用例所花费的时间。通过使用代码气味功能，EpiT可以通过检查Java程序的代码行（code-line）来自动生成测试用例。EpiT的实施也将根据几个案例研究，以显示所生成的测试用例的优化。实验结果表明，EpiT可以解决软件测试人员手工生成测试用例和使用代码气味技术从源代码检查优化的问题。
2020-07-22 cs.SE
Automated System-Level Software Testing of Industrial Networked Embedded Systems
嵌入式系统无处不在，在工业和交通管理系统中发挥着关键作用。这些领域中的软件故障可能导致生产损失甚至生命损失，因此这些系统中的软件需要可靠。软件测试是嵌入式软件质量保证的标准方法，许多软件开发过程都在努力实现测试自动化。在成功的软件测试自动化所面临的众多挑战中，本文解决了五个问题：（i）了解更新的软件如何到达测试环境，测试如何在测试环境中进行，以及测试结果如何到达最初更新软件的开发人员;（ii）在给定的可用时间和测试系统的约束下，选择哪些测试用例在测试套件中执行;（iii）假定测试用例在连接的设备的不同配置上运行，则选择哪个硬件用于要执行的每个测试用例;（iv）分析当随时间在演进的软件、测试件或硬件修订版上执行时看起来随机失败的测试用例;以及（v）利用测试结果探索和可视化使测试结果信息可操作。应对这些挑战的方式有几种。[摘要被截断。]
2021-11-16 cs.SE
What UAE Software Students Think about Software Testing: A Replicated Study
软件测试是提高软件质量的关键。然而，软件测试人员的角色被污名化，部分原因是误解，部分原因是软件行业内对测试过程的处理。本研究分析了这种情况，旨在探讨什么可能会抑制个人采取了软件测试的职业生涯。为了调查这个问题，我们调查了132名在阿拉伯联合酋长国三所大学攻读信息系统、信息和通信技术、计算机科学、计算机工程、软件工程和其他密切相关学科学位的高年级学生：两所公立大学和一所一流的私立大学。学生们被要求描述从事软件测试职业的利弊，并思考他们自己从事这一职业的可能性。该研究确定了从事测试职业的7个主要优点和9个主要缺点，并指出软件测试人员的角色被认为是一种社会角色，可能需要与技术能力一样多的软技能。结果还显示，与过去三年进行过类似调查的其他国家的学生相比，阿联酋软件相关学生对软件测试持更强烈的消极态度。
2022-09-29 cs.SE
Coverage Games for Testing Nondeterministic Systems
现代软件系统由于许多不可预测的因素而可能表现出不确定性行为。在这项工作中，我们提出了节点覆盖的游戏，一个两个玩家回合制游戏有限的游戏图上玩，作为一个正式的问题来测试这样的系统。图中的每个节点代表受试软件（SUT）的{ \em功能等效类}。一个参与者，测试者，希望最大化节点覆盖率，测量访问的节点数，当探索博弈图时，而他的对手，SUT，希望最小化它。最优测试将最大化覆盖率，这是一个有趣的问题，找到测试者可以保证访问的最大节点数，而不考虑SUT的响应。我们证明了保证是否小于给定数的决策问题是NP-完全的。然后，我们提出了技术测试非确定性SUT与现有的测试套件确定性模型。最后，我们报告我们的实施和实验。
2013-12-21 cs.FL cs.SE
Measuring Discrimination to Boost Comparative Testing for Multiple Deep Learning Models
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）；Momenta（Momenta（自动驾驶公司））
DL技术的兴起导致了大量DL模型的建立和共享，这为DL模型的获取和重用提供了便利。对于一个给定的任务，我们会遇到具有相同功能的多个DL模型，这些模型被认为是实现该任务的候选模型。预计测试人员将比较多个DL模型，并选择更合适的w.r.t.整个测试环境。由于标签工作的限制，测试人员的目标是选择一个有效的样本子集，以尽可能精确地估计这些模型的秩。为了解决这个问题，我们提出了基于样本区分的选择（SDS）来选择可以区分多个模型的有效样本，即，这些样本的预测行为（正确/错误）将有助于指示模型性能的趋势。为了评估SDS，我们使用三个广泛使用的图像数据集和80个真实世界的DL模型进行了广泛的实证研究。实验结果表明，与现有的基线方法相比，SDS是一种有效和高效的样本选择方法来排序多个DL模型。
2021-03-09 cs.LG cs.SE
