Specification-Based Testing of Large Language Models
Oregon State University(俄勒冈州立大学)
本研究提出LEST框架,将LLM安全主张作为黑盒测试规范,结合Claude Opus 4.8和GPT-5.5的系统卡片等评估发现,基准提示不足以验证所有LLM安全行为,自动失败检测需人工验证,LEST实现了从安全文档到测试及反例的端到端可追溯。
2026-10-14 cs.AI cs.SE
Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);AI Institute(人工智能研究院);State Key Lab of Advanced Optical Communication System and Network(先进光通信系统与网络国家重点实验室)
针对大语言模型现有提示方法在复杂推理中存在无效推理、路径虚构等问题,提出加入结论假设、逆向推理与事实验证的假设检验提示法,在ProofWriter和RuleTaker数据集上显著提升效果并优化推理过程。
2024-05-09 cs.AI cs.CL
Prompt Coverage Adequacy
SnT, University of Luxembourg(斯蒂尔夫研究所,卢森堡大学);University College London(伦敦大学学院);University of Luxembourg(卢森堡大学)
提出提示覆盖充分性标准,通过注意力机制衡量测试套件对提示需求的覆盖,相比传统代码覆盖能多检测30%以上缺陷。
2026-07-03 cs.AI cs.SE
Adaptive Testing for LLM-Based Applications: A Diversity-based Approach
School of Computing KAIST Daejeon, Republic of Korea;Dept. of Computer Science \& Engineering Chalmers University Gothenburg, Sweden
本文提出一种基于多样性的自适应测试方法,将自适应随机测试与字符串距离度量结合,用于LLM提示模板测试,在降低测试预算的同时有效发现故障并增加输出多样性。
2025-01-23 cs.AI cs.SE
ChainForge: A Visual Toolkit for Prompt Engineering and LLM Hypothesis Testing
Harvard University(哈佛大学)
本文提出开源可视化工具ChainForge,支持无需编程即可进行LLM提示工程与假设检验,并通过用户研究验证其可用性,总结出三种使用模式。
2024-05-03 cs.AI cs.HC
PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs
Northwestern University(西北大学);University of the Chinese Academy of Sciences(中国科学院大学)
本文提出 PROMPTFUZZ 框架,利用模糊测试技术系统评估大型语言模型抵御提示注入攻击的鲁棒性,在真实竞赛中取得前 0.14% 的成绩,并构建数据集微调模型,揭示了持续进行鲁棒性测试的重要性。
2025-04-03 cs.AI cs.CR
Stress Testing Chain-of-Thought Prompting for Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
本文通过扰动CoT顺序、数值和算子对GPT-3进行压力测试,发现数值错误对推理准确率影响最大,而算子和顺序错误影响较小。
2023-09-28 cs.AI cs.CL
CAPTURE: Context-Aware Prompt Injection Testing and Robustness Enhancement
First Author Affiliation(第一作者机构);Second Author Affiliation(第二作者机构)
针对现有大语言模型提示注入防护依赖静态基准、存在过度防御且上下文感知场景效能不足的问题,提出上下文感知基准CAPTURE,基于其数据训练的CaptureGuard可同时降低漏报误报并泛化到外部基准。
2025-06-17 cs.AI cs.CL
Evaluating Reliability Gaps in Large Language Model Safety via Repeated Prompt Sampling
Independent Researcher(独立研究员)
本文提出APST框架,通过重复采样相同提示在受控条件下揭示LLM潜在故障模式,量化不同模型和配置下的操作风险,展示浅层基准分数可能掩盖持续使用下的可靠性差异。
2026-03-10 cs.AI cs.SE
Private GPTs for LLM-driven testing in software development and machine learning
Ambrosys Gmbh(Ambrosys公司)
本研究探究私有GPTs基于验收标准自动生成可执行测试代码的能力,对比直接生成与经Gherkin语法中间步骤的两步生成两种方式,发现两步法生成的测试在可读性与编码规范上更优,且结构化提示词能提升测试输出质量。
2025-07-31 cs.AI cs.SE
Evaluating LLM Safety Under Repeated Inference via Accelerated Prompt Stress Testing
Independent Researcher(独立研究者)
本文提出APST框架,通过重复推理测试揭示模型在持续使用下的失败模式,展示单次评估无法反映实际可靠性差异。
2026-04-28 cs.AI cs.LG
"Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks
Nicolaus Copernicus University(哥白尼大学);UCSI University(UCSI大学)
本研究通过模拟企业中层晋升竞争场景的“道德化”多步越狱提示开展黑盒测试,发现多款主流大语言模型护栏可被绕过生成言语攻击内容,其中Claude 3.5 Sonnet抵抗性更强,同时公开了相关代码以保障研究客观性。
2025-03-20 cs.AI cs.CL cs.CR
Scaling In, Not Up? Testing Thick Citation Context Analysis with GPT-5 and Fragile Prompts
Technische Universität Berlin(柏林工业大学)
本文通过GPT-5测试了厚引用上下文分析中提示支架和框架对解读和词汇的影响。
2026-02-25 cs.AI cs.CL
She had Cobalt Blue Eyes: Prompt Testing to Create Aligned and Sustainable Language Models
Vector Institute(Vector研究所);University of Waterloo(滑铁卢大学)
针对大语言模型伦理风险与对齐难题,本研究提出提示测试套件,覆盖开发全流程,评估四款前沿模型后发现其与社会对齐存在差距,且该方案可降低模型安全化的环境成本。
2023-12-15 cs.AI cs.CL
RACC: Representation-Aware Coverage Criteria for LLM Safety Testing
Peking University(北京大学)
本文提出RACC,一种专为LLM安全测试设计的覆盖标准,通过提取安全表示并评估测试提示的激活情况,有效提升测试套件质量,同时对冗余输入不敏感,适用于大规模神经网络的安全测试。
2026-05-12 cs.AI cs.CL cs.CR
Groot: Adversarial Testing for Generative Text-to-Image Models with Tree-based Semantic Transformation
Nanyang Technological University(南洋理工大学);ShanghaiTech University(上海科技大学)
针对文本到图像模型安全性测试中成功率低和效率差的问题,提出首个基于树语义变换的自动化对抗测试框架Groot,结合语义分解与敏感元素淹没策略优化对抗提示,在DALL-E 3和Midjourney等模型上成功率达93.66%。
2024-02-19 cs.AI cs.CL cs.CR
ChallengeMe: An Adversarial Learning-enabled Text Summarization Framework
本文提出基于对抗学习的提示框架ChallengeMe,通过生成提示、评估提示和反馈优化三级级联及七个优化维度,提升LLMs在文本摘要任务中的准确性与流畅性。
2025-02-07 cs.AI cs.CL
Representation Without Control: Testing the Realization Effect in Language Models
Columbia University(哥伦比亚大学)
通过提示行为、线性读出和因果控制三个层面,测试语言模型是否表现出类似人类的实现效应,发现潜在读出成功但因果控制无效,表明三者不自动共存。
2026-05-24 cs.AI cs.CE
Language as a Label: Zero-Shot Multimodal Classification of Everyday Postures under Data Scarcity
Department of Computing Science University of Aberdeen(计算科学系阿伯丁大学)
本研究通过三层提示设计在285张图像上评估多种VLM,发现高性能模型(如MetaCLIP 2)使用简单提示效果最佳,而详细提示导致“提示过拟合”并显著降低准确率,低性能模型则受益于描述性提示。
2025-10-15 cs.AI cs.CV
Look Further Ahead: Testing the Limits of GPT-4 in Path Planning
George Mason University(乔治梅森大学)
该研究以路径规划为平台测试GPT-4的长程规划能力,提出相关基准并测试不同提示与任务表示方式,发现代码提示与任务分解可提升效果但仍存在局限。
2024-06-20 cs.AI
Automating Prompt Leakage Attacks on Large Language Models Using Agentic Approach
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院);SplxAI;Google DeepMind(谷歌DeepMind)
本文基于 AG2 构建协作式多智能体框架,自动探测并诱导目标 LLM 泄露系统提示词,同时借鉴密码学不可区分性提出提示词泄露安全定义与系统化对抗测试方法。
2025-02-18 cs.AI cs.CR
Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
Apple(苹果公司)
本文考察提示适配场景下的性别偏见迁移,发现 Mistral、Falcon 和 Llama 的预训练内在偏见与零样本、少样本及公平/偏见提示下的表现高度相关。
2024-12-04 cs.AI cs.CL cs.LG
A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models
University of Bayreuth(拜罗伊特大学);University of Vienna(维也纳大学)
本文提出一种通用提示策略,利用大型语言模型从文本过程描述中提取过程元素及其关系,在三个数据集上F1分数绝对提升最高达8%,超越现有机器学习方法。
2024-07-26 cs.AI cs.CL
PAPILLON: Efficient and Stealthy Fuzz Testing-Powered Jailbreaks for LLMs
Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学);Zhejiang University(浙江大学)
本文提出PAPILLON,一种基于黑盒模糊测试的自动化LLM越狱攻击框架,通过空种子池和依赖问题的变异策略生成简短且语义连贯的提示词,在多个主流LLM上实现了高攻击成功率,并具备良好的可迁移性与防御鲁棒性。
2025-03-03 cs.AI cs.CR
Fuzz-Testing Meets LLM-Based Agents: An Automated and Efficient Framework for Jailbreaking Text-To-Image Generation Models
School of Cyber Science and Technology, Shandong University(山东大学网络科学与技术学院);Netflix Eyeline Studios;State Key Laboratory of Cryptography and Digital Economy Security, Shandong University(山东大学密码与数字经济安全国家重点实验室);Shandong Key Laboratory of Artificial Intelligence Security, Shandong University(山东省人工智能安全重点实验室)
本文提出JailFuzzer,一种由LLM智能体驱动的模糊测试框架,通过种子池、引导式变异引擎和判定函数在黑盒设置下高效生成自然的越狱提示词,以最小查询开销实现高成功率的T2I模型越狱攻击。
2025-06-24 cs.AI cs.CR cs.LG
PromptKeeper: Safeguarding System Prompts for LLMs
本文提出PromptKeeper防御机制,通过假设检验检测系统提示词泄露并用虚拟提示词重新生成响应,在保持对话能力与效率的同时抵御提示词提取攻击。
2025-08-27 cs.AI cs.CR
Characterizing the Robustness of Black-Box LLM Planners Under Perturbed Observations with Adaptive Stress Testing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了在扰动观测下大语言模型规划器的鲁棒性,提出适应性压力测试方法,通过蒙特卡洛树搜索高效搜索提示扰动空间,发现导致模型高不确定或崩溃的场景和配置。
2026-05-11 cs.AI cs.CL cs.RO
LLM-Generated Counterfactual Stress Scenarios for Portfolio Risk Simulation via Hybrid Prompt-RAG Pipeline
Department of Information Engineering, University of Pisa(信息工程系,比萨大学)
本文提出了一种混合提示-检索管道,利用LLM生成宏观经济压力情景,通过结构化提示和检索机制,实现投资组合风险模拟的可解释和可验证方法。
2026-10-27 cs.AI econ.EM q-fin.RM
Prompt Quality and Pull Request Outcomes: A Stage-Based Empirical Study of LLM-Assisted Development
University of Nevada Las Vegas(内华达大学拉斯维加斯分校)
通过分析265个开发者与ChatGPT的交互,研究提示结构(上下文、具体性、验证)对LLM辅助开发中代码生成、采纳和集成深度的影响,发现不同维度在不同阶段有不同作用。
2026-06-19 cs.SE
Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting
Wells Fargo(富国银行);H2O.ai;UNC Charlotte(北卡罗来纳大学夏洛特分校)
本文提出利用大型语言模型与聚类提示技术自动生成NLP行为测试用例,并在Amazon Reviews上分析四种分类算法的行为测试画像及优劣。
2024-08-08 cs.AI cs.CL cs.ET
(Why) Is My Prompt Getting Worse? Rethinking Regression Testing for Evolving LLM APIs
The Hong Kong University of Science and Technology(香港科技大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM API静默更新导致的性能回归问题,通过毒性检测案例研究,提出需重新审视回归测试,并指出因正确性概念、提示词脆弱性和非确定性需根本改变传统测试方法。
2024-02-06 cs.CL cs.SE
Boundary Value Test Input Generation Using Prompt Engineering with LLMs: Fault Detection and Coverage Analysis
本文提出框架,通过提示工程评估大语言模型生成边界值测试输入的有效性,比较故障检测率与覆盖率,揭示其优势与挑战。
2025-01-24 cs.SE
An Empirical Study on the Effects of System Prompts in Instruction-Tuned Models for Code Generation
William & Mary(威廉与玛丽学院)
本研究探讨了系统提示对代码生成模型性能的影响,发现提示具体性与模型规模、编程语言等因素相关,且不同语言对提示敏感性存在差异。
2026-02-16 cs.SE
A Large-scale Empirical Study on Fine-tuning Large Language Models for Unit Testing
本研究针对微调大型语言模型在单元测试中的应用进行了大规模实证研究,涵盖3个任务、5个基准和37个模型,发现微调LLMs在几乎所有指标上均优于现有最先进方法,并指出大规模decoder-only模型表现最佳,同时揭示了提示工程的巨大潜力。
2024-12-21 cs.SE
Empirical Comparison of Black-box Test Case Generation Tools for RESTful APIs
在文献中,我们可以找到自动生成RESTful API测试用例的研究工具,解决这个特定编程领域的特殊性。但是,这些工具之间没有直接的比较,无法指导开发人员决定哪种工具最适合他们的REST API项目。在本文中,我们提出了REST API的自动黑盒测试用例生成方法的实证比较结果。我们调查了最近文献中提出的可用的黑盒测试工具,找到了四个可用的原型:RestTestGen,RESTler,bBOXRT和RESTest。我们使用这些工具为14个真实的REST服务生成测试用例。然后,从鲁棒性(即,成功率)和测试覆盖率。在考虑的工具中,RESTler似乎是最可靠的,能够成功地测试所有案例研究(其他工具经历了崩溃)。相反,RestTestGen生成的测试用例覆盖率最高,这表明它的测试策略在测试REST API方面最有效。
2021-08-18 cs.SE
Large Language Models for Software Testing Education: an Experience Report
South China Normal University(华南师范大学);Guangzhou Polytechnic University(广州 polytechnic 大学);Nanjing University(南京大学);Mooctest Inc.(慕课测试有限公司)
本文通过混合方法研究,探讨学生在使用LLM进行测试任务时的交互问题及教学策略,提出轻量级提示框架以提升测试脚本生成能力。
2026-03-27 cs.SE
DeCEAT: Decoding Carbon Emissions for AI-driven Software Testing
University of Calgary(卡尔加里大学)
DeCEAT框架通过评估SLMs在测试生成中的环境与性能权衡,揭示了提示设计对可持续性的影响。
2026-02-20 cs.SE
Testing the Untestable? An Empirical Study on the Testing Process of LLM-Powered Software Systems
本研究通过分析99份学生开发LLM应用的报告,探索真实场景下LLM驱动软件的测试实践,发现其结合手动与自动化测试策略,面临集成故障、幻觉等挑战,需调整传统验证方法,为生成式组件测试提供实证参考。
2025-08-04 cs.SE
Prompt-Based REST API Test Amplification in Industry: An Experience Report
University of Antwerp(安特卫普大学);Flanders Make(佛兰德斯制造创新中心);Katoen Natie(卡滕纳蒂公司)
本文通过在工业环境中应用基于提示的REST API测试放大技术,验证了其在提高测试覆盖率和发现异常方面的有效性。
2026-01-25 cs.SE
Mokav: Execution-driven Differential Testing with LLMs
针对程序功能差异检测问题,提出执行驱动工具Mokav,通过迭代结合执行反馈引导LLM生成差异暴露测试用例,在基准测试上性能显著优于现有方法。
2025-07-31 cs.SE
RBCTest: Leveraging LLMs to Mine and Verify Oracles of API Response Bodies for RESTful API Testing
Katalon Inc.(Katalon公司)
RBCTest利用LLM挖掘RESTful API响应体约束并验证Oracle,提高API测试的自动化和准确性。
2026-08-19 cs.SE
SPVR: syntax-to-prompt vulnerability repair based on large language models
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);Chinese Academy of Sciences(中国科学院)
SPVR通过语法分析生成针对性提示,提升大语言模型修复漏洞的准确性。
2025-12-22 cs.SE
Fill in the Blank: Context-aware Automated Text Input Generation for Mobile GUI Testing
自动化GUI测试被广泛用于帮助确保移动应用程序的质量。然而,许多GUI需要适当的文本输入才能进入下一页,这仍然是测试覆盖率的一个突出障碍。考虑到有效输入的多样性和语义要求(例如,航班起飞、电影名称),但是使文本输入生成自动化具有挑战性。受预先训练好的大语言模型(LLM)在文本生成方面取得显著进展的启发,提出了一种基于LLM的QTypist方法,用于根据GUI上下文智能地生成语义输入文本。为了提高LLM在移动测试场景中的性能,我们开发了一种基于数据库的数据构建和调优方法,该方法自动提取模型调优的提示和答案。我们对来自Google Play的106个应用程序进行了QTypist评估,结果显示QTypist的通过率为87%,比最佳基线高出93%。我们还将QTypist与自动化GUI测试工具集成,与原始工具相比,它可以覆盖42%的应用程序活动,52%的页面,并随后帮助揭示122%的错误。
2022-12-09 cs.SE
LLMorpheus: Mutation Testing using Large Language Models
本文提出基于大型语言模型的变异测试技术 LLMorpheus,通过在源代码指定位置引入占位符并提示 LLM 生成替换内容,克服了传统固定变异算子难以模拟真实漏洞的局限,并能生成 StrykerJS 无法生成的变异体,证明了其实用性。
2025-03-07 cs.SE
Software Testing with Large Language Models: An Interview Study with Practitioners
CESAR School(CESAR学校);University of Calgary(卡尔加里大学)
本研究通过访谈 15 名软件测试人员,归纳其使用 LLM 的迭代提示、评估与验证流程,并提出面向测试工作流整合的初步实践指南。
2025-10-20 cs.SE
Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation
University Of Calgary(卡尔加里大学)
本文研究了基于小语言模型的自动化测试生成中提示策略对计算和环境可持续性的影响,通过实验评估七种策略,发现策略选择对可持续性指标有显著影响,简单策略更环保。
2026-04-03 cs.SE
RITFIS: Robust input testing framework for LLMs-based intelligent software
College of Computer Science and Software Engineering, Hohai University(河海大学计算机与软件学院);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络空间科学与技术学院);School of Computing Technologies, RMIT University(RMIT大学计算技术学院)
本文提出首个面向基于LLM的智能软件自然语言输入鲁棒性测试框架RITFIS,将测试建模为组合优化问题,适配17种自动化测试方法并基于五项指标给出优化策略。
2024-02-21 cs.CL cs.SE
Cross-Cutting Security Analysis of LLM-Generated Code via Metamorphic Testing and Association Rule Mining
University of Montana(蒙大拿大学);University of Oklahoma(俄克拉荷马大学);Central Washington University(华盛顿中央大学)
研究针对LLM生成代码的安全漏洞,提出结合变形测试与关联规则挖掘的框架,定义九个MRs并应用于3700个代码片段,揭示共同违反结构与横切模式,还进行提示级风险分析,发现不安全代码生成具结构化和提示依赖性,推动相关验证与干预。
2026-07-15 cs.CR cs.SE