Exploring Emotional Intelligence in Software Testing
Mid Sweden University（瑞典中部大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本研究通过访谈16名瑞典敏捷团队软件测试人员，探讨情绪智力在日常工作、团队沟通和需求变动中的作用，发现情绪管理是测试角色的持续要求，且缺乏独立测试阶段时其重要性更高。
2026-09-30 cs.SE
Tester Interactivity makes a Difference in Search-Based Software Testing: A Controlled Experiment
内容：基于搜索的软件测试承诺为用户提供生成高质量测试用例的能力，从而提高产品质量，所需的时间和精力增加最少。一个结果，出现了以前的研究，以调查在工业环境中的应用搜索为基础的软件测试（SBST）是基于交互式搜索的软件测试（ISBST）系统的发展。ISBST允许用户与基本的SBST系统交互，指导搜索和评估结果。一个工业评估表明，ISBST系统可以找到测试用例，而不是由测试人员采用手动技术。然而，评价的有效性因参与者人数少而受到威胁。目的：通过对ISBST系统的随访研究，对ISBST系统进行更严格的评价。方法：为了评估ISBST系统的双向交叉控制实验进行了58名学生参加验证和验证课程。NASA任务负荷指数（NASA-TLX）用于评估实验参与者所经历的工作量。结果如下：实验结果验证了假设，即ISBST系统生成的测试用例是没有发现的相同的参与者采用手动测试技术。后续的实验室实验还调查了互动在获得结果中的重要性。除了这一主要结果，主观的工作量进行了评估，为每个参与者的手段NASA-TLX工具。评价表明，虽然ISBST系统需要参与者付出更多努力，但他们取得了同样的业绩。结论：该文件提供的证据表明，ISBST系统开发的测试用例，没有发现手动技术，互动在实现这一结果中起着重要的作用。
2015-12-15 cs.SE
Towards Human-Like Automated Test Generation: Perspectives from Cognition and Problem Solving
School of Innovation, Design and Engineering, Mälardalen University（梅拉达伦大学创新、设计与工程学院）；Department of Computer Science and Engineering, Chalmers University of Technology（查尔姆斯理工大学计算机科学与工程系）
自动化测试工具通常创建与人类测试人员创建的测试用例不同的测试用例。这通常会使工具效率降低，创建的测试更难理解，从而导致工具对人类测试人员的支持减少。在这里，我们提出了一个基于认知科学的框架，特别是分析解决问题的方法，识别测试人员的认知过程。该框架有助于映射人工测试活动中使用的测试设计步骤和标准，从而更好地理解有效的人工测试人员如何执行他们的任务。最终，我们的目标是能够模仿人类如何创建测试用例，从而设计出更像人类的自动化测试生成系统。我们认为，这样的系统可以更好地增强和支持测试人员的方式是有意义的。
2021-03-08 cs.AI cs.SE
Unveiling Assumptions: Exploring the Decisions of AI Chatbots and Human Testers
本文通过调查 127 名测试人员并对比四款 LLM 聊天机器人，考察二者在高成本测试优先级决策中的假设与直觉是否一致，发现多数人类偏好多样化测试集，部分聊天机器人与之相符。
2024-06-17 cs.SE
Input Relation Prompting for Metamorphic Testing on Query-Based Systems
National Cheng Kung University（国立成功大学）
针对查询系统测试难题，提出通过提示输入输出关系的变质关系识别方法，不依赖预定义测试用例或基本事实，可结合其他测试方法，经案例研究验证其适用性与潜力，推动变质测试发展，提高测试效率。
2026-07-29 cs.SE
Breaking Single-Tester Limits: Multi-Agent LLMs for Multi-User Feature Testing
针对多用户交互特性自动化测试的挑战，提出基于LLM的多智能体框架MAdroid，通过Coordinator、Operator和Observer协作完成测试任务，在41项任务中表现优异并发现11个真实缺陷。
2025-09-16 cs.SE
Can a Chatbot Support Exploratory Software Testing? Preliminary Results
本文提出基于 Discord 的 BotExpTest 聊天机器人，从缺陷报告、时间管理、测试指南和策略呈现方面支持探索式测试，并通过六名专业人员的用户研究初步验证其有效性与积极体验。
2023-07-11 cs.HC cs.SE
Would You Like to Motivate Software Testers? Ask Them How
上下文考虑到软件测试对开发高质量和可靠的软件系统的重要性，本文旨在研究与工作相关的因素如何影响软件测试人员的动机。法我们应用了一份问卷，是开发使用以前的理论的动机和满意度的软件工程师进行调查为基础的研究，探索和了解专业的软件测试人员如何看待和价值的工作相关因素，可能会影响他们的工作动机。结果通过80名软件测试人员的样本，我们观察到，软件测试人员的强烈动机的各种工作，创造性的任务，承认他们的工作，并允许他们获得新知识的活动，但在一般情况下，这种活动的社会影响对他们的动机影响很小。结论本研究讨论了软件测试人员之间的意见分歧，关于工作相关的因素，可能会影响他们的动机，这可能是相关的管理者和领导者在软件工程实践。
2017-11-21 cs.SE
Testing by Dualization
本文提出一种基于语言的对偶化测试方法，通过规范化和验证非确定性行为，将规范推导为交互式测试程序，并在 Web 服务器和文件同步器等真实系统上验证了其发现规范与实现不一致的能力。
2022-10-03 cs.PL cs.SE
RAN Tester UE: An Automated Declarative UE Centric Security Testing Platform
本文提出自动化、可扩展且以 UE 为中心的 RAN Tester UE 声明式安全测试框架，并在基于商用硬件与开源软件的 5G 软件无线电测试床上验证其测试流程的效率和可复现性。
2025-05-16 cs.CR cs.SE cs.SY
Studies on the Software Testing Profession
本文试图了解的动机和去动机，影响软件专业人员的决定，采取和维持软件测试的职业生涯在四个不同的国家，即加拿大，中国，古巴和印度。这个研究问题可以被定义为“不同地区有多少软件专业人员热衷于从事测试职业，他们选择的原因是什么？”“为此，我们开发了一种跨部门但简单的基于调查的工具。在这项研究中，我们调查了软件测试人员如何感知和重视他们所做的事情和他们的环境设置。该研究指出了可视化的软件测试活动作为一组依赖于人类的任务的重要性，并强调了研究的必要性，严格审查有关软件测试活动的软件测试人员的个人评估。这项调查可以帮助全球行业领导者了解与工作相关的因素对测试专业人员动机的影响，并在此背景下为管理和领导提供信息和支持。
2019-06-12 cs.SE
A Graphical Tool for Testing Timed Systems based on Meta- Modeling and Graph Grammars
测试是验证系统以确保定性和定量执行要求的常用方法之一。在本文中，我们感兴趣的形式化测试，使用图变换，因此，我们提出了一种方法，翻译的持续时间动作时间自动机模型（DATA*）的状态数高到时间拒绝区域图（TRRG）创建一个规范的测试人员和生成测试用例使用图变换。但是，我们的方法允许自动生成DATA*、TRRG和规范测试器的可视化建模工具。从头开始构建可视化建模工具的成本令人望而却步。Meta- modeling方法对于处理这个问题是有用的，因为它允许通过图语法对形式主义本身进行建模。使用元建模工具AToM 3。
2012-09-24 cs.SE
International Comparative Studies on the Software Testing Profession
这项工作试图填补空白，特别是通过探索人的方面，试图了解软件专业人员的动机，采取和维持他们的职业生涯作为软件测试人员。为了实现这一目标，在印度、加拿大、古巴和中国四个国家进行了四项调查，试图了解专业软件工程师如何看待和重视可能影响他们开始或进入软件测试职业的动机的工作相关因素。从我们的220名软件专业人员的样本中，我们观察到很少有人热衷于从事测试职业。软件测试的某些方面，如潜在的学习机会和工作的重要性，似乎是四个国家的共同激励因素，而测试人员作为二等公民的待遇和工作的复杂性似乎是最突出的抑制因素。
2021-11-02 cs.SE
Model-Based Testing of Networked Applications
我们提出了一个原则性的应用层协议自动测试框架。关键的创新是一个特定于域的嵌入式语言，用于编写网络服务器行为的不确定性模型。这些模型在Coq交互式定理证明器中定义，支持从测试到形式化验证的平滑过渡。给定一个服务器模型，我们将展示如何自动派生一个测试器来探测服务器的意外行为。我们解决的不确定性所造成的服务器的内部选择和网络延迟消息nondeterministically。派生的测试程序接受可能的行为是不确定性模型所允许的行为的子集的服务器实现。我们通过使用该框架来指定和测试HTTP/1.1协议的一个片段来证明该框架的有效性，表明自动派生的测试程序可以在有缺陷的服务器实现中捕获RFC违规，包括最新版本的Apache和Nginx。
2021-07-02 cs.PL cs.SE
Are Autonomous Web Agents Good Testers?
本文研究自主Web智能体作为自然语言测试用例执行者的可行性，提出包含3个应用和113个用例的基准，并开发SeeAct-ATA与PinATA两种开源实现，实验表明PinATA性能提升50%且正确判定率达60%，但仍存局限需改进以实现低维护测试自动化。
2025-04-02 cs.SE
From Manual Android Tests to Automated and Platform Independent Test Scripts
由于移动应用程序非常受欢迎，并且通常是关键任务，因此公司投入了大量资源来测试他们提供给客户的应用程序。测试对于Android应用尤其重要，因为这些应用必须在多种设备和操作系统版本上运行。不幸的是，正如我们在与质量保证专业人员的多次采访中所证实的那样，应用程序测试是一项非常人力密集的活动，因此繁琐且容易出错。为了解决这个问题，并更好地支持Android应用程序的测试，我们提出了一种新的技术，允许测试人员轻松地为应用程序创建独立于平台的测试脚本，并自动在多个设备和操作系统版本上运行生成的测试脚本。该技术在不修改被测应用程序或运行时系统的情况下这样做，通过（1）拦截测试人员与应用程序的交互，以及（2）为测试人员提供直观的方式来指定预期结果，然后将其编码为测试神谕。我们在一个名为Barista的工具中实现了我们的技术，并使用该工具来评估我们方法的实用性和适用性。我们的研究结果表明，Barista可以忠实地编码用户定义的测试用例作为测试脚本与内置的预言机，生成测试脚本，可以在多个平台上运行，并可以胜过一个国家的最先进的工具，具有类似的功能。咖啡师和我们的实验基础设施是公开的。
2016-08-11 cs.SE
RAG-TESTER: Automated End-to-End Testing of Retrieval-Augmented Large Language Models
Mondragon University（蒙德拉贡大学）
RagTester是针对RAG系统的自动化端到端测试方法，通过生成测试用例、利用LLM评估结果，在24种配置中20种优于基线，可有效检测RAG的交互故障并支持部署评估。
2026-08-04 cs.AI cs.SE
EPiT : A Software Testing Tool for Generation of Test Cases Automatically
软件测试用例可以定义为一组测试条件，测试人员需要在这些条件下测试并确定被测系统（SUT）是否正确地满足预期结果。讨论了利用EpiT（EclipsePlug-inTool）自动生成实例的优化技术。EpiT的开发是为了优化从源代码生成测试用例，以减少传统的手动创建测试用例所花费的时间。通过使用代码气味功能，EpiT可以通过检查Java程序的代码行（code-line）来自动生成测试用例。EpiT的实施也将根据几个案例研究，以显示所生成的测试用例的优化。实验结果表明，EpiT可以解决软件测试人员手工生成测试用例和使用代码气味技术从源代码检查优化的问题。
2020-07-22 cs.SE
Freeing Testers from Polluting Test Objectives
测试是检测软件缺陷的主要方法。测试人员面临的一个主要挑战在于制作有效的测试套件，能够以可管理的努力检测最大数量的错误。为了做到这一点，他们依赖于覆盖标准，它定义了一些精确的测试目标。然而，许多常见的标准指定了大量的目标，这些目标在实践中是不可行的或多余的，比如覆盖死代码或语义相等的突变体。众所周知，这样的目标对测试套件的设计是有害的，会影响测试人员工作的效率和精度。这项工作引入了一个健全的和可扩展的正式技术，能够修剪出一个大的白盒标准面板产生的不可行和冗余的目标的重要组成部分。简而言之，我们将这个具有挑战性的问题简化为证明测试代码中逻辑断言的有效性。该技术是在一个工具中实现的，该工具依赖于最弱前提演算和SMT求解来证明断言。该工具构建在Frama-C验证平台之上，我们根据特定的可扩展性需求对其进行了仔细调整。实验表明，该工具可以修剪出高达27%的测试目标在一个程序和规模的应用程序的20万行代码。
2017-08-29 cs.SE
Structuring and presenting data for testing of automotive electronics to reduce effort during decision making
汽车工程被认为是软件和机械工程的结合，因为汽车中基于软件的组件数量不断增加。由于汽车变得比以前更复杂，以确保鲁棒性，因此汽车电子产品的测试大量进行，产生大量的测试相关数据。本研究通过在领先的汽车公司之一沃尔沃汽车进行探索性案例研究，探讨了来自汽车电子测试的非结构化和分散的测试相关数据如何在测试工件的测试和分析过程中产生决策问题。根据探索性研究的结果，设计了一个原型，以改善汽车电子测试分析和诊断的数据和信息结构和表示。原型的结果表明，提供更好的数据和信息结构显着提高了效率，并减少了测试人员进行测试分析和诊断时的工作量。测试人员表明，由于更好的信息结构，演示，正确性和可访问性，与测试相关的任务的任务负荷减少。因此，这些改进有助于测试人员有效地做出关于失败测试的根本原因分析的决定。这项研究的结果可以帮助汽车公司系统地调查和改进汽车电子测试过程中管理和构建测试相关数据。关键词：测试，汽车电子，电子控制单元，ECU，非结构化数据。
2021-04-23 cs.IR cs.SE
Practitioners Testimonials about Software Testing
随着软件系统变得越来越普遍，它们也变得越来越容易出现故障，从而导致潜在的致命组合。软件测试对于防止软件故障至关重要，但可以说，它是软件生存周期中理解最少的部分，也是最难正确执行的部分。在测试的过程和技术方面进行了充分的研究，但在人的方面没有进行研究。本文试图通过探索人的维度来填补这一空白，即，试图理解软件专业人员从事和维持测试职业的动机。为此，在印度、加拿大、古巴和中国四个国家进行了一项调查，试图了解专业软件测试人员如何看待和重视可能影响他们从事和维持测试职业的动机的工作相关因素。通过对220名软件专业人员的抽样调查，我们发现很少有专业人员热衷于从事测试职业。软件测试的某些方面，如学习机会，似乎是这四个国家的共同激励因素;而测试人员作为二等公民的待遇和工作的复杂性似乎是最重要的抑制因素。这项比较研究提供了有用的见解，可以帮助全球软件行业的领导者提出一个行动计划，把软件测试行业在一个新的光。这可能会增加选择测试职业的软件工程师的数量，这将促进质量测试。
2021-03-10 cs.SE
Social Aspects of Software Testing: Comparative Studies in Asia
本研究试图了解三个不同亚洲国家的软件专业学生从事和维持软件测试职业的动机和抑制因素，即，中国，印度和马来西亚。研究的问题可以是：在不同的亚洲地区，有多少软件专业的学生热衷于从事测试职业，他们选择的原因是什么？为了找到答案，我们开发了一种横截面但简单的基于调查的工具。在这项工作中，我们调查了软件专业的学生如何看待软件测试的作用。来自中国和印度的调查结果显示，学生们并不热衷于从事软件测试工作，但马来西亚的学生对软件测试表现出更积极的态度。该研究还指出了将软件测试活动视为一组依赖于人类的任务的重要性，并强调了进一步研究的必要性，即严格审查软件测试人员对软件测试活动的个人评估。本研究有助于从事软件测试课程的学者了解影响学生学习动机和消极因素的因素，并试图传达积极的观点，即测试具有挑战性，需要批判性思维和创新思想。
2022-05-16 cs.SE
WebMAC: A Multi-Agent Collaborative Framework for Scenario Testing of Web Systems
Wuhan University（武汉大学）；Jiangxi Normal University（江西师范大学）
本文提出WebMAC框架，通过多智能体协作完成测试场景描述和转换，提升测试脚本执行成功率和效率，减少token消耗，并有效发现更多Web系统错误。
2026-04-15 cs.SE
Machine Learning and Evolutionary Computing for GUI-based Regression Testing
ReTest是一种新颖的Java应用程序测试工具，它具有图形用户界面（GUI），结合了猴子测试和差异测试。由于这种组合避开了oracle问题，因此它能够生成基于GUI的回归测试。ReTest利用进化计算（EC），特别是遗传算法（GA），优化这些测试的代码覆盖率。虽然这在软件测试方面确实是一个理想的目标，并可能发现许多错误，但它缺少一个主要因素：人类行为。因此，人类测试人员经常发现结果不太合理，难以解释。本文提出了一种新的方法来改善初始种群的遗传算法与机器学习（ML）的帮助下，形成ML技术增强EC（MLEC）算法。为了做到这一点，利用现有的测试来提取关于人类测试人员如何使用给定GUI的信息。然后利用获得的数据来训练人工神经网络（ANN），该网络在运行时分别对可用的GUI操作及其底层GUI组件进行排名-减少手动创建和自动生成的回归测试之间的差距。尽管该方法是在ReTest之上实现的，但它可以很容易地用于指导任何形式的猴子测试。结果表明，只有很少的训练数据，人工神经网络是能够达到82%的准确性和由此产生的测试代表一个改进，而不会减少整体代码覆盖率和性能显着。
2018-02-11 cs.SE
Software Testing with Large Language Models: An Interview Study with Practitioners
本研究通过访谈 15 名软件测试人员，归纳其使用 LLM 的迭代提示、评估与验证流程，并提出面向测试工作流整合的初步实践指南。
2025-10-20 cs.SE
What UAE Software Students Think about Software Testing: A Replicated Study
软件测试是提高软件质量的关键。然而，软件测试人员的角色被污名化，部分原因是误解，部分原因是软件行业内对测试过程的处理。本研究分析了这种情况，旨在探讨什么可能会抑制个人采取了软件测试的职业生涯。为了调查这个问题，我们调查了132名在阿拉伯联合酋长国三所大学攻读信息系统、信息和通信技术、计算机科学、计算机工程、软件工程和其他密切相关学科学位的高年级学生：两所公立大学和一所一流的私立大学。学生们被要求描述从事软件测试职业的利弊，并思考他们自己从事这一职业的可能性。该研究确定了从事测试职业的7个主要优点和9个主要缺点，并指出软件测试人员的角色被认为是一种社会角色，可能需要与技术能力一样多的软技能。结果还显示，与过去三年进行过类似调查的其他国家的学生相比，阿联酋软件相关学生对软件测试持更强烈的消极态度。
2022-09-29 cs.SE
Extending Refusal Testing by Stochastic Refusals for Testing Non-deterministic Systems
测试是一种验证活动，用于检查系统相对于规范的正确性。在此背景下，本文对基于拒绝的测试进行了理论研究，并构造了有效的测试工具。提出了一种基于随机拒绝图的形式化测试方法，用于测试基于极大值的标记随机迁移系统。首先，我们提出了一个框架，从MLSTS生成SRG。其次，我们提出了一种新的技术，自动生成一个规范的测试从随机拒绝图和一致性关系confSRG。最后，提出了实施和我们的方法的应用是通过一个例子。
2012-11-12 cs.SE
A pragmatic look at education and training of software test engineers: Further cooperation of academia and industry is needed
本文结合两位作者约40年测试工程与30年跨国教学经验，比较高校软件测试教育和产业培训现状，提出改进建议并呼吁产学合作。
2024-08-12 cs.SE
Testing MapReduce-Based Systems
MapReduce（MR）是构建大规模数据处理应用程序的最流行的解决方案。这些应用程序通常部署在大型商用机器集群上，由于错误、硬件问题和停机，这些集群经常发生故障。基于MR的系统的测试是困难的，因为它需要大量的工作，测试线束执行分布式测试用例失败。在本文中，我们提出了一种新的测试解决方案来解决这个问题，称为Hadoop测试。该解决方案基于可扩展的线束方法，其中分布式测试器组件挂在每个映射周围并减少工作器（即，节点）。测试人员可以激励每个工作人员在他们身上注入故障，监控他们的行为，并验证测试结果。Hadoop Test用于测试捆绑到Hadoop中的两个应用程序，Hadoop是Apache开源MapReduce实现。我们的初始实现展示了有希望的结果，Hadoop测试在分布式MapReduce工作者之间协调测试用例，并发现错误。
2013-02-08 cs.DB cs.DC cs.SE
Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety
Purdue University（普渡大学）
本文提出SafeAudit框架，通过系统生成测试用例和规则阻力指标，发现现有测试未覆盖的20%不安全行为，揭示当前安全评估的不足。
2026-08-18 cs.CR cs.SE
Coverage Games for Testing Nondeterministic Systems
现代软件系统由于许多不可预测的因素而可能表现出不确定性行为。在这项工作中，我们提出了节点覆盖的游戏，一个两个玩家回合制游戏有限的游戏图上玩，作为一个正式的问题来测试这样的系统。图中的每个节点代表受试软件（SUT）的{ \em功能等效类}。一个参与者，测试者，希望最大化节点覆盖率，测量访问的节点数，当探索博弈图时，而他的对手，SUT，希望最小化它。最优测试将最大化覆盖率，这是一个有趣的问题，找到测试者可以保证访问的最大节点数，而不考虑SUT的响应。我们证明了保证是否小于给定数的决策问题是NP-完全的。然后，我们提出了技术测试非确定性SUT与现有的测试套件确定性模型。最后，我们报告我们的实施和实验。
2013-12-21 cs.FL cs.SE
SWE-Tester: Training Open-Source LLMs for Issue Reproduction in Real-World Repositories
SWE-Tester通过训练开源大语言模型生成问题重现测试，提高了在真实世界仓库中解决软件问题的效率和准确性。
2026-09-09 cs.LG cs.SE
Measuring Discrimination to Boost Comparative Testing for Multiple Deep Learning Models
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）；Momenta（Momenta（自动驾驶公司））
DL技术的兴起导致了大量DL模型的建立和共享，这为DL模型的获取和重用提供了便利。对于一个给定的任务，我们会遇到具有相同功能的多个DL模型，这些模型被认为是实现该任务的候选模型。预计测试人员将比较多个DL模型，并选择更合适的w.r.t.整个测试环境。由于标签工作的限制，测试人员的目标是选择一个有效的样本子集，以尽可能精确地估计这些模型的秩。为了解决这个问题，我们提出了基于样本区分的选择（SDS）来选择可以区分多个模型的有效样本，即，这些样本的预测行为（正确/错误）将有助于指示模型性能的趋势。为了评估SDS，我们使用三个广泛使用的图像数据集和80个真实世界的DL模型进行了广泛的实证研究。实验结果表明，与现有的基线方法相比，SDS是一种有效和高效的样本选择方法来排序多个DL模型。
2021-03-09 cs.LG cs.SE
Automated Support for Unit Test Generation: A Tutorial Book Chapter
单元测试是测试的一个阶段，在这个阶段中，可以与系统的其余部分（通常是一个类）隔离测试的最小代码段被测试。单元测试通常以可执行代码的形式编写，通常采用单元测试框架（如Python的pytest）提供的格式。创建单元测试是一个时间和精力密集型的过程，其中包含许多重复的手动元素。为了说明AI如何支持单元测试，本章介绍了基于搜索的单元测试生成的概念。这种技术框架的测试输入的选择作为一个优化问题-我们寻求一组测试用例，满足测试人员的一些可衡量的目标-并释放强大的元启发式搜索算法，以确定最好的测试用例在有限的时间范围内。本章介绍了两种算法，它们可以生成pytest格式的单元测试，并针对源代码语句的覆盖率进行了调整。本章最后讨论了更高级的概念，并为进一步阅读人工智能如何在单元测试软件时支持开发人员和测试人员提供了指针。
2021-10-26 cs.AI cs.NE cs.SE
