Automated Unity Game Template Generation from GDDs via NLP and Multi-Modal LLMs
UET Taxila(塔希尔大学工程学院)
本文提出一种利用NLP和多模态LLM将游戏设计文档自动转化为Unity游戏模板的框架,通过微调LLaMA-3模型生成C#代码,在编译、遵循度和模块化等指标上优于现有模型,有效填补AI辅助游戏开发的空白。
2025-09-07 cs.AI cs.CL cs.LG
Automated Software Vulnerability Assessment with Concept Drift
软件工程研究人员越来越多地使用自然语言处理(NLP)技术来自动化软件漏洞(SV)评估使用的描述在公共存储库。然而,现有的基于NLP的方法遭受概念漂移。这个问题是由于缺乏对新的(词汇表外的)术语的适当处理而导致的,这些术语用于随着时间的推移评估看不见的SV。为了使用SV的描述进行具有概念漂移的自动SV评估,我们提出了一种结合字符和单词特征的系统方法。该方法被用来预测七个脆弱性特征(VC)。每个VC的最佳模型是使用我们定制的基于时间的交叉验证方法从八个NLP表示和六个著名的机器学习模型中选择的。我们已经使用所提出的方法在国家漏洞数据库(NVD)中的100,000多个SV上进行了大规模实验。结果表明,即使不重新训练模型,我们的方法也可以有效地解决NVD中2000年至2018年报告的SV描述的概念漂移问题。此外,我们的方法相比,现有的单词的方法具有竞争力。我们还研究如何构建具有更少特征的紧凑概念漂移感知模型,并就SV评估的分类器和NLP表示的选择给出一些建议。
2021-03-21 cs.CR cs.SE
Automated Generation of Commit Messages in Software Repositories
针对开发人员因时间和技能问题忽视有效提交信息编写的问题,提出基于ML/NLP的自动化生成方法,采用TF-IDF与Word2Vec的逻辑回归、LSTM等模型,在Liu等人数据集上训练评估,最高BLEU得分为16.82,为提交信息生成提供有效自动化方案。
2025-04-17 cs.SE
WfChef: Automated Generation of Accurate Scientific Workflow Generators
科学工作流应用已经成为主流,它们在大规模计算平台上的自动化和高效执行是广泛研究和开发的对象。为了使这些努力取得成功,需要一个坚实的实验方法来评估工作流算法和系统。这种方法的基础是现实的工作流实例的可用性。在公共存储库中有几十个用于一些科学应用程序的工作流实例。虽然这些都是非常宝贵的,但它们是有限的:工作流实例并不适用于所有感兴趣的应用程序规模。为了解决这一限制,以前的工作已经开发出合成的,但代表性的,任意规模的工作流实例的生成器。这些生成器很受欢迎,但实现它们是一个手动的劳动密集型过程,需要专业的应用程序知识。因此,这些生成器只针对少数应用程序,尽管数百个应用程序在生产中使用工作流。在这项工作中,我们提出了WfChef,一个框架,完全自动化的过程中构建一个合成的工作流生成器的任何科学应用。基于一组输入的工作流实例,WfChef自动生成一个合成工作流生成器。我们定义和评估几个指标,量化生成的工作流的现实主义。使用这些指标,我们将WfChef生成器生成的工作流的真实性与以前可用的手工生成器生成的工作流进行比较。我们发现,WfChef生成器不仅需要零开发工作(因为它是自动生成的),而且生成的工作流比手工生成器生成的工作流更逼真。
2021-05-01 cs.DC cs.SE
LLMORPH: Automated Metamorphic Testing of Large Language Models
University of Auckland(奥克兰大学)
LLMORPH通过形变测试技术自动检测大型语言模型输出不一致问题,无需人工标注数据,适用于多种NLP任务和模型评估。
2026-03-24 cs.AI cs.CL cs.LG
Automated Database Testing via LLM-Synthesized SQL Features
National University of Singapore(新加坡国立大学)
该研究提出ShQveL方法,通过LLM合成SQL特征增强SQL生成器,在5个DBMS上发现55个新漏洞,其中50个已被修复,提升了自动化数据库测试的漏洞发现能力。
2026-08-06 cs.DB cs.SE
Automating Quality Assessment with NLP of LLM-Generated Defeaters
研究针对大语言模型生成的反驳质量评估依赖人工且主观的问题,提出结合保证案例图结构特征、语义嵌入和元分类器的自动化评估方法,经案例研究验证,该方法能减少主观差异,为保证案例审查提供决策支持。
2026-07-08 cs.SE
Humanoid: A Deep Learning-based Approach to Automated Black-box Android App Testing
自动输入生成器广泛用于移动应用程序的大规模动态分析。这样的输入生成器必须不断地选择与哪个UI元素交互以及如何与它交互,以便在有限的时间预算内实现高覆盖率。目前,大多数输入生成器采用伪随机或蛮力搜索策略,这可能需要很长时间才能找到正确的输入组合,从而将应用程序驱动到新的重要状态。在本文中,我们提出了Humanoid,一种基于深度学习的方法,通过从人类交互中学习来生成GUI测试输入。我们的观点是,如果我们可以从人类生成的交互痕迹中学习,就有可能根据用户感知的重要性自动对测试输入进行优先级排序。我们设计并实现了一个深度神经网络模型,以了解最终用户如何与应用程序交互(具体来说,与哪些UI元素交互以及如何交互)。我们的实验表明,交互模型可以成功地优先考虑任何新UI的用户首选输入(前1名的准确率为51.2%,前10名的准确率为85.2%)。我们基于学习的模型为Android应用程序实现了一个输入生成器,并在开源应用程序和市场应用程序上对其进行了评估。结果表明,Humanoid能够实现比六个最先进的测试生成器更高的覆盖率。然而,进一步的分析表明,学习模型不是覆盖率提高的主要原因。虽然学习的交互模式可以以更高的概率驱动应用进入一些重要的GUI状态,但它对GUI状态搜索的宽度和深度的影响有限,这是长期提高测试覆盖率的关键。是否以及如何使用人类交互模式来提高覆盖率仍然是一个未知且具有挑战性的问题。
2020-12-30 cs.SE
Scaling Automated Database System Testing
National University of Singapore(新加坡国立大学)
SQLancer++通过自适应SQL生成器实现自动数据库测试的扩展,发现并修复了196个新错误。
2026-01-26 cs.DB cs.SE
When and Why Test Generators for Deep Learning Produce Invalid Inputs: an Empirical Study
Università della Svizzera italiana(瑞士意大利语区大学)
测试基于深度学习(DL)的系统本质上需要大型且具有代表性的测试集,以评估DL系统是否能够泛化其训练数据集。已经提出了多种测试输入生成器(TIG)来产生人工输入,这些人工输入通过触发不当行为来暴露DL系统的问题。不幸的是,这样生成的输入可能是无效的,即,不可识别为输入域的一部分,因此提供不可靠的质量评估。自动验证器可以减轻人工检查输入有效性的负担,尽管输入有效性是一个难以形式化的概念,因此,自动化。在本文中,我们调查在何种程度上TIG可以生成有效的输入,根据自动化和人类验证。我们进行了一项大型的实证研究,涉及2种不同的自动验证器,220名人类评估员,5种不同的TIG和3个分类任务。我们的结果表明,根据自动验证器,84%的人工生成输入是有效的,但它们的预期标签并不总是保留。自动验证器与人类达成了很好的共识(78%的准确率),但在处理功能丰富的数据集时仍然存在局限性。
2022-12-21 cs.LG cs.SE
Quality Assessment of Online Automated Privacy Policy Generators: An Empirical Study
在线自动隐私政策生成器(APPG)是应用程序开发人员用来快速创建应用程序隐私政策的工具,这些隐私政策是隐私法规要求纳入每个移动应用程序的。这些工具的创建为应用程序开发人员带来了便利;然而,这些工具的质量使开发人员和利益相关者面临法律风险。在本文中,我们进行了实证研究,以评估在线APP的质量。我们分析隐私政策的完整性,确定完整的隐私政策应涵盖哪些类别和项目,并对样板应用进行APPG评估。评估结果表明,由于缺乏对应用行为的静态或动态分析,开发者可能会遇到两类由APP引起的问题。首先,生成的策略可能是不完整的,因为它们没有涵盖隐私策略所需的所有基本项目。其次,一些生成的隐私政策包含不必要的个人信息收集或与用户输入不一致的任意承诺。最终,APPG的缺陷可能会导致严重的法律问题。我们希望本文中的结果和见解可以激励APPG的健康和道德发展,以产生更完整,准确和强大的隐私政策。
2020-02-13 cs.CR cs.SE
Graph-Based Specification and Automated Construction of ILP Problems
针对MDSE领域中ILP问题生成器需针对不同场景重复手工开发的难题,研究提出GIPS框架与GIPSL语言,可自动推导特定领域的ILP问题生成器,性能与专家手工编写的程序相当。
2024-05-15 cs.SE
Is It a Trap? A Large-scale Empirical Study And Comprehensive Assessment of Online Automated Privacy Policy Generators for Mobile Apps
本文首次从多维度评估 10 个移动应用在线隐私政策生成器,并分析 Google Play 的 46,472 份政策,发现约 20.1% 可能由其生成且存在 GDPR、CCPA、LGPD 合规缺陷。
2023-09-23 cs.CR cs.SE
AutoTestForge: A Multidimensional Automated Testing Framework for Natural Language Processing Models
Xidian University(西安电子科技大学);University of Southampton(南安普顿大学)
本文提出AutoTestForge框架,利用大语言模型自动生成测试用例并通过多模型投票保证质量,从分类法、公平性和鲁棒性三个维度评估NLP模型,在情感分析和语义文本相似度任务上取得了优于现有工具的错误检测率。
2025-03-07 cs.CL cs.CR cs.SE
When LLM meets Fuzzy-TOPSIS for Personnel Selection through Automated Profile Analysis
BRAC University Department of Computer Science and Engineering(布拉克大学计算机科学与工程系)
本研究结合LLM与模糊TOPSIS方法,开发自动化人事选拔系统,提升招聘的可扩展性、一致性和公平性。
2026-01-30 cs.AI cs.SE
AEON: A Method for Automatic Evaluation of NLP Test Cases
The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Sun Yat-sen University(中山大学)
由于人工测试预言机构建的劳动密集型性质,已经提出了各种自动化测试技术来增强自然语言处理(NLP)软件的可靠性。理论上,这些技术改变了现有的测试用例(例如,具有其标签的句子),并假设所生成的句子保留了等同或相似的语义含义,从而保留了相同的标签。然而,在实践中,许多生成的测试用例不能保持相似的语义含义并且是不自然的(例如,语法错误),这导致高的错误警报率和不自然的测试用例。我们的评估研究发现,44%的最先进的(SOTA)方法生成的测试用例是假警报。这些测试用例需要大量的手动检查工作,而不是改进NLP软件,它们甚至可以在模型训练中使用时降低NLP软件。为了解决这个问题,我们提出了AEON自动评估NLP测试用例。对于每个生成的测试用例,它根据语义相似性和语言自然度输出分数。我们采用AEON来评估由四种流行的测试技术在三个典型的NLP任务的五个数据集上生成的测试用例。结果表明,永旺最符合人类的判断。特别是,AEON在检测语义不一致的测试用例方面达到了最佳的平均精度,比最佳基线指标高出10%。此外,永旺在发现非自然测试用例方面的平均精度也最高,超过基线15%以上。此外,通过AEON优先考虑的测试用例进行模型训练,可以获得更准确和更强大的模型,这证明了AEON在改进NLP软件方面的潜力。
2022-05-13 cs.CL cs.SE
Leveraging Generative AI for Enhancing Automated Assessment in Programming Education Contests
University of Bucharest Faculty of Mathematics and Computer Science(布加勒斯大学数学与计算机科学学院);Softbinator Technologies(Softbinator技术公司);Delft University of Technology(代尔夫特理工大学)
本文提出利用生成式 AI 自动生成编程竞赛高质量测试用例的 NLP 方法,并在 OJI、Kilonova.ro 和 IIOT 数据集上验证其可发现隐藏错误、减轻教师负担。
2025-06-06 cs.AI cs.CY cs.LG
Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search
Computer Vision Lab, CAIDAS & IFI, University of Würzburg(维尔茨堡大学计算机视觉实验室,CAIDAS & IFI)
提出自动化大规模搜索流水线,在LEMUR数据集生态中系统探索4专家异构MoE架构,发现搜索空间偏差并给出修正,识别出高性能与低效专家组合。
2026-06-24 cs.CV cs.LG cs.SE