AutoML-Med: A Framework for Automated Machine Learning in Medical Tabular Data
DISIT\ Science Institute University of Piemonte Orientale Alessandria, Italy Email；DISS University of Piemonte Orientale Novara, Italy Email
AutoML-Med是一个自动化机器学习框架，通过LHS和PRCC优化预处理与模型组合，在医学表格数据上提升平衡准确率和灵敏度，尤其适用于稀疏和不平衡数据。
2025-08-04 cs.AI cs.LG
JarviX: A LLM No code Platform for Tabular Data Analysis and Optimization
University of Hamburg（汉堡大学）；Synergies Intelligent Systems, Inc.（Synergies智能系统公司）；Virginia Tech（弗吉尼亚理工大学）
本文提出JarviX，一个基于大型语言模型的无代码表格数据分析平台，通过自动生成洞察、可视化与解释并集成AutoML流程，实现数据分析与机器配置优化的自动化闭环。
2023-12-03 cs.AI cs.DB cs.LG
Large Language Models for Automated Cross-Domain Machine Learning Task Type Identification: A Benchmark Dataset and Evaluation
University of Applied Sciences Aalen（阿伦应用科学大学）；Honda Research Institute Europe（本田欧洲研究院）
本研究提出利用大型语言模型自动识别机器学习任务类型，并发布含625个数据集的基准，实验表明该方法在表格和跨领域场景中优于AutoGluon，但小型模型存在精度与部署的权衡。
2026-09-29 cs.AI cs.LG
Automated Question Generation on Tabular Data for Conversational Data Exploration
IBM Research（IBM研究院）
针对非技术用户难以从表格数据中获取洞察的问题，提出一个在对话式环境中基于数据切片推荐自然语言问题的系统，利用微调T5生成问题并排序，实验证明其有效性。
2024-07-10 cs.AI cs.CL
Synthesizing Tabular Data Using Selectivity Enhanced Generative Adversarial Networks
THE UNIVERSITY OF MELBOURNE（墨尔本大学）；Faculty of Science（理学院）；School of Mathematics and Statistics（数学与统计学院）
针对电子商务压力测试中GAN生成表格数据计算开销大的问题，提出融合查询选择性约束的GAN方法，集成预训练深度神经网络保持选择性一致，在五个数据集上优于现有模型，选择性估计准确率提升达20%，机器学习效用提升达6%。
2025-02-28 cs.AI cs.LG
Bayesian Optimization-based Search for Agent Control in Automated Game Testing
Production R\&D, Tencent Amsterdam, Netherlands
本文提出基于贝叶斯优化的自动化游戏测试方法，通过智能体控制角色并结合网格地图专用模型实现样本高效搜索，显著提升地图覆盖的时间效率与探索分布。
2025-08-18 cs.AI
Black-box Testing of First-Order Logic Ontologies Using WordNet
Department of Computer Languages and Systems University of the Basque Country UPV/EHU（巴斯克地区大学UPV/EHU计算机语言与系统系）
人工智能旨在为计算机程序提供常识知识，以推理我们的世界。本文提出了一种新的实用方法，自动常识推理与一阶逻辑（FOL）本体。我们提出了一种新的黑盒测试方法的FOL SUMO为基础的本体，利用WordNet及其映射到SUMO。我们的建议包括一个方法（半）自动创建一个非常大的基准能力的问题和程序，其自动化评估使用自动定理证明（ATP）。通过应用不同的质量标准，我们的测试方案可以成功评估a）几种SUMO翻译成FOL的能力和b）各种自动化ATP的性能。最后，我们还提供了一个细粒度的和完整的常识推理能力的分析，目前FOL SUMO为基础的本体。
2018-03-23 cs.AI
An approach to automated videogame beta testing
Universidad Complutense de Madrid（马德里康普顿斯大学）
针对电子游戏测试仍依赖人工的问题，提出一种自动化测试方法，旨在提高质量保证效率。
2024-02-07 cs.AI
Auto-FP: An Experimental Study of Automated Feature Preprocessing for Tabular Data
Simon Fraser University（西蒙弗雷泽大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究了表格数据自动化特征预处理（Auto-FP）的方法，通过评估15种算法发现进化算法表现最佳，随机搜索也表现优异，分析了算法瓶颈并探讨了其扩展方向。
2026-04-15 cs.AI cs.DB cs.IR
Agents for Automated User Experience Testing
INESC-ID
软件功能测试的自动化使得开发人员能够在整个开发的迭代阶段不断检查对功能的负面影响。但对于用户体验（UX）来说，情况并非如此，迄今为止，UX几乎完全依赖于对真实用户的测试。用户测试是一项缓慢的工作，可能成为开发交互式系统的瓶颈。为了解决这个问题，我们在这里提出了一个基于代理的自动UX测试方法。我们开发具有基本问题解决技能和核心影响模型的代理，使我们能够在他们穿越游戏的不同级别时模拟人工情感状态。虽然这项研究仍然处于原始状态，但我们相信这里的结果为使用具有情感计算模型的智能代理自动化UX测试提供了强有力的理由。
2021-04-13 cs.AI cs.SE
TestLab: An Intelligent Automated Software Testing Framework
Research Group on Intelligent Engineering and Computing for Advanced Innovation and Development (GECAD)（高级创新与发展智能工程与计算研究组（GECAD））；Porto School of Engineering (ISEP)（波尔图工程学院（ISEP））
本文提出智能自动化软件测试框架 TestLab，利用 AI 集成三类模块，从不同视角发现漏洞并基于源代码分析自动生成测试用例，以支持多层级持续测试。
2023-06-06 cs.AI cs.SE
Paving the Roadway for Safety of Automated Vehicles: An Empirical Study on Testing Challenges
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；RISE Research Institutes of Sweden（瑞典国家研究院）
自动驾驶汽车领域的技术正在加速发展，并有望带来许多优势。然而，随着最近有条件自动驾驶的引入，我们也看到了事故。两种测试协议，条件自动化（例如，高速公路上）和自动化车辆还不存在，这给研究人员和从业人员带来了不同的挑战。例如，目前的测试程序不足以满足全自动驾驶汽车的要求，全自动驾驶汽车应该完全负责驾驶任务，没有司机作为后备。本文通过对来自五个国家的26名具有汽车安全相关测试背景的参与者进行焦点小组和访谈，介绍了当前自动驾驶汽车功能和安全性测试面临的挑战。我们概述了测试主动安全功能的实践现状以及未来需要解决的挑战，以确保自动驾驶汽车的安全性。通过访谈和焦点小组确定的主要挑战，通过有关该主题的文献丰富，与1）虚拟测试和模拟，2）安全性，可靠性和质量，3）传感器和传感器模型，4）所需的场景复杂性和测试用例数量，以及5）驾驶员和车辆之间的责任移交有关。
2017-05-09 cs.AI cs.RO cs.SE
Cooperative Multi-agent Approach for Automated Computer Game Testing
Utrecht University（乌得勒支大学）；Umeå University（于默奥大学）
针对多人游戏冗长场景的自动化测试难题，本文提出协作式多智能体测试方法，并通过3D游戏 Lab Recruits 案例评估其加速多任务执行的性能。
2024-05-18 cs.AI cs.SE
DirectDebug: Automated Testing and Debugging of Feature Models
Graz University of Technology（格拉茨工业大学）；Siemens Energy AG（西门子能源股份公司）；University of Sevilla（塞维利亚大学）
可变性模型（例如，特征模型）是表示软件工件的可变性和共性的常用方式。此类模型可以转换为逻辑表示，从而允许进行不同的质量保证操作和其他类型的模型属性分析。具体而言，复杂且通常是大规模的特征模型可能会出错，即，不代表底层软件工件的预期可变性属性。在本文中，我们介绍了直接诊断方法，这是一个自动化的测试和调试的可变性模型。该算法通过支持自动识别负责可变性模型的意外行为的错误约束来帮助软件工程师。这种方法可以大大减少此类模型的开发和维护工作。
2021-02-11 cs.AI cs.SE
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)（SEED - 艺电公司）
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习（DRL），我们将自学习机制引入游戏测试框架。通过DRL，该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果，测试覆盖率增加，并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中，我们表明，DRL可以用来增加测试覆盖率，发现漏洞，测试地图的难度，并检测常见的问题，出现在第一人称射击（FPS）游戏的测试。
2021-03-29 cs.AI cs.LG
Automated structural testing of LLM-based agents: methods, framework, and case studies
Amazon Web Services（亚马逊网络服务）
本文提出基于大语言模型的智能体结构测试方法，通过跟踪、模拟和断言实现自动化测试，提升测试效率与质量。
2026-10-20 cs.AI cs.SE
Towards Automated Penetration Testing: Introducing LLM Benchmark, Analysis, and Improvements
Drexel University（德雷塞尔大学）
针对当前缺乏LLM自动化渗透测试基准的问题，本文提出新型开放基准，评测发现LLama 3.1-405B性能优于GPT-4o但仍无法完成端到端测试，并通过消融研究为改进PentestGPT提供思路，为相关研究奠定基础。
2025-02-21 cs.AI cs.CR
ADAPT: A Game-Theoretic and Neuro-Symbolic Framework for Automated Distributed Adaptive Penetration Testing
New York University（纽约大学）
针对AI赋能的医疗基础设施网络安全挑战，提出博弈论与神经符号结合的ADAPT自动化分布式自适应渗透测试框架，可实现基于学习的风险评估，实验验证其能有效对抗多种对抗性AI战术手段。
2024-10-31 cs.AI cs.CR cs.GT
Reinforcement Learning for Automated Cybersecurity Penetration Testing
Department of Artificial Intelligence and Big Data（人工智能与大数据系）；GMV（GMV公司）
本文提出用强化学习结合几何深度学习先验，在模拟网页上训练智能体以自动优化渗透测试路径，并在真实漏洞网页上验证，实现以最少步骤发现最多漏洞。
2025-06-30 cs.AI cs.CR
Agent-Testing Agent: A Meta-Agent for Automated Testing and Evaluation of Conversational AI Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Grammarly
针对LLM智能体评估依赖静态基准和小规模人类研究的问题，提出结合静态代码分析等多模块、难度自适应的元智能体ATA，其在旅行规划等智能体测试中发现的故障更优且效率更高，还提供量化指标和错误报告并开源实现。
2025-08-24 cs.AI cs.CL
Testing predictive automated driving systems: lessons learned and future recommendations
University of Alcalá（阿尔卡拉大学）；Joint Research Centre, European Commission（欧盟委员会联合研究中心）
传统车辆通过传统方法进行认证，在测试轨道上设置不同的物理认证测试，以评估所需的安全水平。这些方法非常适合复杂性有限、与其他实体的交互有限的车辆作为最后一秒的资源。然而，这些方法不允许对关键和边缘情况下的真实行为进行安全性评估，也不允许评估在中期或长期内预测它们的能力。这对于自动驾驶和自主驾驶功能尤其重要，这些功能利用先进的预测系统来预测路径规划层中要考虑的未来动作和运动。在本文中，我们提出并分析了在BRAVE项目框架内开发的自动驾驶功能中的几个预测系统的试验场物理测试结果。根据我们在测试预测性自动驾驶功能方面的经验，我们确定了当前物理测试方法在处理预测性系统时的主要局限性，分析了未来的主要挑战，并提供了一系列实际行动和建议，供未来自动驾驶和自动驾驶功能的物理测试程序考虑。
2022-04-25 cs.AI cs.RO cs.SY
Genetic Micro-Programs for Automated Software Testing with Large Path Coverage
University of Pretoria（比勒陀利亚大学）
计算智能（CI）的不断发展导致人们越来越希望应用CI技术来改进软件工程过程，特别是软件测试。现有的最先进的自动化软件测试技术集中于利用搜索算法来发现实现高执行路径覆盖的输入值。这些算法是在他们打算测试的相同代码上训练的，需要仪器和漫长的搜索时间来测试每个软件组件。本文概述了一种新的遗传编程框架，进化的解决方案是不是输入值，但微程序，可以重复生成输入值，有效地探索一个软件组件的输入参数域。我们还认为，我们的方法可以推广，如适用于许多不同的软件系统，并因此不具体到仅仅是特定的软件组件上，它是训练。
2023-02-14 cs.AI cs.NE cs.SE
A Survey on Scenario-Based Testing for Automated Driving Systems in High-Fidelity Simulation
Columbia University（哥伦比亚大学）；Alibaba-NTU Joint Research Institute（阿里巴巴-南洋理工大学联合研究所）；Nanyang Technological University（南洋理工大学）；Universidade Federal Fluminense（弗卢米嫩塞联邦大学）
近年来，自动驾驶系统（ADS）取得了快速发展。为确保这些系统安全可靠，当局现正进行广泛测试，以便日后大规模部署。在道路上测试系统是最接近现实世界和理想的方法，但它的成本令人难以置信。此外，使用这种真实世界的测试来覆盖罕见的角落情况是不可行的。因此，一个流行的替代方法是评估ADS在一些精心设计的具有挑战性的场景中的性能，也就是基于场景的测试。高保真模拟器已被广泛用于这种设置，以最大限度地提高灵活性和方便性，在测试假设场景。虽然已经提出了许多作品提供不同的框架/方法来测试特定的系统，这些作品之间的比较和连接仍然缺失。为了弥合这一差距，在这项工作中，我们提供了一个通用的制定基于MIMO的测试在高保真仿真和现有的作品进行文献综述。我们进一步比较了它们，并提出了开放的挑战以及潜在的未来研究方向。
2021-12-02 cs.AI cs.LG cs.RO
Deep hierarchical reinforcement agents for automated penetration testing
University of Technology Sydney（悉尼科技大学）；Defence Science and Technology Group（国防科技集团）
渗透测试对计算机系统进行有组织的攻击，以测试现有的防御措施，已被广泛用于评估网络安全。这是一个耗时的过程，需要深入的知识来建立一个类似于真正的网络攻击的战略。本文提出了一种新的深度强化学习体系结构与层次结构的代理称为HA-DRL，它采用了代数动作分解策略，以解决大的离散动作空间的自主渗透测试模拟器的动作的数量呈指数增长的复杂性设计的网络安全网络。所提出的体系结构被证明比传统的深度Q学习代理更快，更稳定地找到最佳攻击策略，该深度Q学习代理通常被用作在自动渗透测试中应用人工智能的方法。
2021-09-14 cs.AI cs.CR cs.LG
Machine-Learning-Enhanced Non-Invasive Testing for MASLD Fibrosis: Shallow-Deep Neural Networks Versus FIB-4, Tabular Foundation Models, and Large Language Models
BioML Lab, RI CODE, UniBw, Munich, Germany（BioML实验室，RI CODE，UniBw，慕尼黑，德国）；Department of Epidemiology and Data Science, Amsterdam UMC, Amsterdam, Netherlands（流行病学与数据科学系，阿姆斯特丹大学医学中心，阿姆斯特丹，荷兰）；Alpha Indicium, Rijswijk, Netherlands（Alpha Indicium，里杰斯霍伊斯，荷兰）；Department of Computer Science, University of Salerno, Salerno, Italy（计算机科学系，萨勒诺大学，萨勒诺，意大利）；GI-Liver Unit, 2nd Department of Internal Medicine, National and Kapodistrian University of Athens, General Hospital of Athens “Hippocratio”, Athens, Greece（肝病单位，第二内科部，雅典国家与卡波迪斯托里亚大学，雅典“希波克拉底”医院，希腊）
本文研究了机器学习增强的非侵入性测试在MASLD纤维化检测中的应用，比较了浅层-深层神经网络、FIB-4、表格基础模型和大语言模型在不同队列中的性能，发现浅层-深层神经网络在保持FIB-4变量空间的同时提供了更平衡的外部操作性能。
2026-05-19 cs.AI cs.LG q-bio.QM
LLMORPH: Automated Metamorphic Testing of Large Language Models
University of Auckland（奥克兰大学）
LLMORPH通过形变测试技术自动检测大型语言模型输出不一致问题，无需人工标注数据，适用于多种NLP任务和模型评估。
2026-03-24 cs.AI cs.CL cs.LG
Automated Web Application Testing: End-to-End Test Case Generation with Large Language Models and Screen Transition Graphs
本文提出基于大语言模型和屏幕转换图的自动化网页应用测试系统，用于生成端到端测试用例，提升测试覆盖率和鲁棒性。
2026-02-19 cs.AI cs.CL cs.SE
WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing
Northeastern University（东北大学）；Kuaishou Technology（快手科技）
本文提出WebTestBench基准，用于评估端到端自动化网页测试能力，揭示现有方法在测试完整性、检测瓶颈和长周期交互可靠性方面的不足。
2026-03-26 cs.AI cs.CL cs.MA
