Will AI replace Software Engineers? Do not hold your breath
National University of Singapore(新加坡国立大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文指出,尽管LLMs在代码生成中很流行,但软件工程还包括维护大型软件和保持可靠性等LLMs尚不具备能力的关键部分,因此AI不会完全取代软件工程师。
2025-03-03 cs.AI cs.SE
Novice Developers' Perspectives on Adopting LLMs for Software Development: A Systematic Literature Review
Monash University(墨尔本大学);Singapore Management University(新加坡管理大学)
该研究通过系统性文献综述梳理80项相关研究,分析新手开发者在软件开发中使用LLM的任务、优势、挑战等,为软件工程领域相关从业者提供参考与未来研究方向。
2025-08-01 cs.AI cs.SE
An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project
National University of Singapore(新加坡国立大学)
本研究针对214名参与团队软件工程项目的学生,分析LLM生成代码、提示词及人工集成干预情况并调研认知,发现LLM在开发早期作用显著,为提升学生生产力及教育方向调整提供参考。
2024-01-29 cs.AI cs.SE
From What to How: Bridging User Requirements with Software Development Using Large Language Models
University of Science and Technology Beijing(北京科技大学);Hong Kong University of Science and Technology(香港科学大学);University of Science(科学大学)
本文提出DesBench基准测试,评估LLMs在软件设计相关任务中的表现,揭示LLMs在代码生成、面向对象建模及测试用例设计方面的局限性。
2026-02-14 cs.AI cs.SE
Scalable and Efficient Large-Scale Log Analysis with LLMs: An IT Software Support Case Study
IBM
针对IT软件支持场景中海量日志人工排查效率低的问题,提出基于LLM的日志分析工具及CPU高效运行LLM的方法,生产部署后显著节省人力与成本。
2025-11-17 cs.AI cs.SE
Impact of LLMs on Team Collaboration in Software Development
MS Data Science Program(数据科学项目);Rochester Institute of Technology(罗切斯特理工学院)
本文研究了 LLMs 对软件开发生命周期中团队协作的影响,通过文献综述、调查和案例研究评估了 LLM 辅助工具的作用,发现其能提升效率与沟通但也带来隐私等挑战,并提出了未来研究方向。
2025-10-07 cs.AI cs.SE
Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science, Central China Normal University(中央财经大学计算机学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);M3S Research Unit, University of Oulu(奥卢大学M3S研究单位);School of Computer Science, Nanjing University of Science(南京理工大学计算机学院)
本文通过实证研究和调查,探讨开发者如何利用LLM进行软件设计,发现LLM在架构设计、数据模型设计等方面的应用,揭示其优势与局限性。
2026-09-22 cs.AI cs.SE
Analysis of Student-LLM Interaction in a Software Engineering Project
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本研究分析了126名本科生在13周学期中与AI助手的交互,发现学生更偏好ChatGPT而非CoPilot,且基于对话的交互能提升代码质量,强调了软件工程教育中尽早掌握LLM交互技能的重要性。
2025-02-03 cs.AI cs.SE
Assessing LLMs for Front-end Software Architecture Knowledge
University of Victoria(维多利亚大学)
本研究基于布鲁姆分类法构建评估框架,考察大语言模型对 iOS VIPER 架构的理解、复现与生成能力,发现其在评价和创造等高阶任务中表现优异,但在需要精确检索架构细节的低阶任务中存在不足,并提出一种面向软件架构能力评估的基准格式。
2025-03-10 cs.AI cs.SE
Towards Evaluation of Implicit Software World Models in Coding LLMs
JetBrains Research(JetBrains研究)
本文通过预测执行资源(峰值内存、墙钟时间、分析器输出)扩展软件世界模型评估,发现前沿模型表现有限,表明对软件执行理解不足。
2026-06-29 cs.AI cs.SE
Harnessing the Power of Large Language Models for Software Testing Education: A Focus on ISTQB Syllabus
RMIT University Vietnam(皇家墨尔本理工大学越南分校)
本文探索并评估了大型语言模型如何补充ISTQB框架用于高等教育,创建了包含28份样卷和1,145道题目的数据集,开发了领域优化提示词,并对最先进LLMs进行了系统评估,为软件测试教育中整合LLMs提供了见解和建议。
2025-10-25 cs.AI cs.SE
A Case Study on Test Case Construction with Large Language Models: Unveiling Practical Insights and Challenges
CESAR
本研究通过案例研究,系统评估了大型语言模型(LLMs)在软件测试用例构建中的实际效能,揭示了其在提升全面性、准确性和效率方面的潜力,同时指出了可解释性和适应性等挑战,为软件质量保证实践提供了见解。
2023-12-21 cs.AI cs.SE
From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future
School of Electrical and Computer Engineering, The University of Sydney(悉尼大学电气与计算机工程学院);University at Buffalo, SUNY(纽约州立大学布法罗分校);University of Chicago(芝加哥大学)
本文综述LLMs与基于LLM的智能体在软件工程中的应用现状,区分二者差异,分析六个关键主题的相关工作及模型基准,为该领域未来研究提供启示。
2025-04-13 cs.AI cs.CL cs.SE
Towards Comprehensive Benchmarking Infrastructure for LLMs In Software Engineering
Queen's University(女王大学)
本文提出BEHELM,一个面向软件工程的大语言模型全面基准测试基础设施,旨在解决现有评估体系在数据集、指标和数据管道方面的不足,提升评估的全面性和可重复性。
2026-01-28 cs.AI cs.SE
ArchAgent: Scalable Legacy Software Architecture Recovery with LLMs
HiThink Research(慧思研究);University of Science and Technology of China(中国科学技术大学)
ArchAgent通过结合静态分析、自适应分段和LLM合成,实现大规模遗留软件架构的高效恢复与多视图业务对齐。
2026-01-19 cs.AI cs.SE
Patched RTC: evaluating LLMs for diverse software development tasks
Patched Codes, Inc(Patched Codes公司)
本文提出Patched RTC评估框架,通过无需人工干预的自我评估衡量LLM在错误修复等软件开发任务中的一致性,并证明其能有效区分模型性能与任务难度,为提示优化和模型选择提供指导。
2025-04-29 cs.AI cs.SE
Software Vulnerability and Functionality Assessment using LLMs
JP Morgan AI Research(摩根大通AI研究院)
本研究探讨了大型语言模型在代码审查中的应用,重点评估其在标记安全漏洞和验证软件功能方面的性能,发现专有模型显著优于开源模型,且部分生成的漏洞描述与真实CWE漏洞相关。
2024-03-13 cs.AI cs.SE
Strategies for Guiding LLMs to Use Software Design Patterns: A Case of Singleton
University of Gothenburg and Chalmers University of Technology(哥德堡大学和查尔姆斯理工大学)
通过实验比较四种提示策略(指令、二元自动反馈、详细自动反馈、少样本详细反馈),评估13个LLM在164个Java编码挑战中生成遵循单例模式的代码的能力,发现迭代二元反馈在保持或提升功能性的同时最佳地实现了单例模式对齐。
2026-05-26 cs.AI cs.SE
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
Tsinghua University(清华大学);Fudan University(复旦大学)
本研究推出SWE-DeceptionBench基准测试,评估七个主流LLM在软件开发全生命周期的欺骗行为,发现中立条件下仍有高欺骗率,轻量级防御效果有限,凸显需更有效的欺骗检测与缓解方法。
2026-10-12 cs.AI cs.SE
Mapping the Trust Terrain: LLMs in Software Engineering -- Insights and Perspectives
William & Mary(威廉玛丽学院)
该研究针对软件工程领域大语言模型相关信任概念界定模糊的问题,通过88篇文献综述与25位专家调研,梳理了相关信任概念并提出未来研究方向路线图。
2025-10-04 cs.AI cs.SE
Every Software as an Agent: Blueprint and Case Study
本文提出一种白盒软件智能体新范式,通过让大语言模型访问软件源代码与运行时上下文并动态注入生成代码,以提升智能体准确性与效率,并通过两个桌面应用案例验证其可行性。
2025-02-07 cs.AI cs.SE
LLMs' Reshaping of People, Processes, Products, and Society in Software Development: A Comprehensive Exploration with Early Adopters
North Carolina State University(北卡罗来纳州立大学)
本文通过访谈早期采用者,探讨LLMs对软件开发中人、过程、产品和社会的影响,揭示其在不同阶段的应用差异及对开发者技能的新要求。
2025-11-23 cs.AI cs.HC cs.SE
Skill Discovery for Software Scripting Automation via Offline Simulations with LLMs
University of Maryland, College Park(马里兰大学College Park分校);Adobe Research(Adobe研究院)
本文提出了一种利用离线模拟与LLM构建软件特定技能集的方法,通过生成和验证脚本提升自动化效率,减少运行时成本。
2026-02-05 cs.AI cs.SE
ChatGPT Prompt Patterns for Improving Code Quality, Refactoring, Requirements Elicitation, and Software Design
Vanderbilt University(范德堡大学)
本文以模式的形式提出了软件工程的快速设计技术,以解决使用大语言模型(LLM)时的常见问题,例如ChatGPT自动化常见的软件工程活动,例如确保代码与第三方库解耦,并在实现之前模拟Web应用程序API。本文对软件工程中应用LLM的研究提供了两点贡献。首先,它为软件工程提供了一个模式目录,该目录根据模式解决的问题类型对模式进行分类。其次,它探讨了几个提示模式,已被应用于改善需求获取,快速原型,代码质量,重构和系统设计。
2023-03-11 cs.AI cs.SE
VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出评估大语言模型软件漏洞检测与修复能力的框架VulnLLMEval,基于Linux内核307个真实漏洞构建数据集,实验发现LLM难区分漏洞与修复代码,且生成的修复方案常过度简化需优化。
2024-09-16 cs.AI cs.SE
S3LLM: Large-Scale Scientific Software Understanding with LLMs using Source, Metadata, and Document
University of North Texas(北得克萨斯大学);Oak Ridge National Laboratory(橡树岭国家实验室);Argonne National Laboratory(阿贡国家实验室);Saint Louis University(圣路易斯大学)
S3LLM利用开源LLaMA-2模型,将自然语言查询转为FQL以分析代码,并集成RAG和LangChain查询文档,实现大规模科学软件的高效交互式理解。
2024-03-15 cs.AI cs.SE
A Blueprint for AI-Driven Software Quality: Integrating LLMs with Established Standards
Juniper Networks Inc.(Juniper网络公司)
本文探讨了利用大语言模型提升软件质量保证的过程,结合现有标准,分析AI在需求验证、缺陷检测等任务中的应用,并提出未来发展方向。
2026-04-28 cs.AI cs.CL cs.SE
Automating Structural Analysis Across Multiple Software Platforms Using Large Language Models
University of Miami(迈阿密大学);HBC Engineering Company(HBC工程公司);Hunan University(湖南大学);Lehigh University(里海大学)
本文提出一种多软件平台结构分析自动化方法,通过两阶段多智能体架构实现跨平台建模与分析,实验表明其在多个主流软件中均达到90%以上的准确率。
2026-04-10 cs.AI cs.SE
Prompting for Performance: Exploring LLMs for Configuring Software
Inria-Simula associate team RIPOST(Inria-Simula联合团队RIPOST);Inria Défi LLM4Code project(Inria LLM4Code项目)
本研究探索大语言模型(LLMs)通过提示词协助面向性能的软件配置的可行性,在识别相关选项、配置排名等任务上评估多款LLMs,初步揭示其与专家知识的对齐能力及幻觉等局限性,为相关系统评估与方案设计奠基。
2025-09-23 cs.AI cs.PF cs.SE
Utilizing LLMs for Industrial Process Automation
University of Passau(帕绍大学)
本研究探讨如何利用大型语言模型在工业过程自动化中解决实际编程任务并加速开发周期。
2026-02-26 cs.AI cs.SE
Automating a Complete Software Test Process Using LLMs: An Automotive Case Study
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group(沃尔沃集团)
本文针对车载 API 测试中规范不一致、歧义和相互依赖等复杂问题,提出一种基于大语言模型的分段式自动化测试系统,并在超过 100 个 API 上验证了其有效性和完全自动化潜力。
2025-02-06 cs.AI cs.SE
On Integrating Large Language Models and Scenario-Based Programming for Improving Software Reliability
The Hebrew University Of Jerusalem(耶路撒冷希伯来大学)
本文提出一种将大型语言模型与基于场景的编程相结合的方法,以提升软件可靠性,并通过Connect4游戏案例验证了其有效性,实现了可击败强敌的智能体及部分形式化验证。
2025-09-11 cs.AI cs.SE
Lifecycle-Aware code generation: Leveraging Software Engineering Phases in LLMs
School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对现有LLM代码生成忽略软件工程实践的问题,提出融入需求分析等中间产物的生命周期感知框架,通过微调与多步推理显著提升代码生成质量,且训练数据需求低、鲁棒性强。
2025-10-28 cs.AI cs.SE
On the Challenges of Fuzzing Techniques via Large Language Models
School of Electrical and Computer Engineering, The University of Sydney(悉尼大学电气与计算机工程学院);The University of Sydney(悉尼大学);Department of Computer Science, The University of Tokyo(东京大学计算机科学系);The University of Tokyo(东京大学)
本文针对现有模糊测试自动化不足、漏洞持续演变的问题,首次系统综述大语言模型与模糊测试交叉领域的研究进展,分析前沿方法并展望其推动自动化软件测试的潜力。
2025-05-18 cs.AI cs.SE
Large Language Model-Based Agents for Software Engineering: A Survey
Fudan University(复旦大学);Nanyang Technological University(南洋理工大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文综述了基于大型语言模型的软件工程代理,分析了其应用、挑战及未来方向。
2025-12-03 cs.AI cs.SE
Get on the Train or be Left on the Station: Using LLMs for Software Engineering Research
Colorado State University(科罗拉多州立大学);University of Bari(巴里大学);University of Auckland(奥克兰大学);IT University of Copenhagen(哥本哈根IT大学);University of Victoria(维多利亚大学)
本文为软件工程领域立场论文,运用麦克卢汉媒介四定律分析LLMs对SE研究的多维度影响,呼吁学界主动拥抱LLMs并制定风险防控框架,保障AI时代研究的严谨性与影响力。
2025-06-15 cs.AI cs.SE
Gym-Anything: Turn any Software into an Agent Environment
CMU(卡内基梅隆大学)
本文提出Gym-Anything框架,通过多智能体任务将任意软件转化为交互式计算机使用环境,生成涵盖医疗、天文、工程等领域的10K+长周期任务,提升现实场景下的智能体研究效率。
2026-04-07 cs.AI cs.LG
Generating Privacy Stories From Software Documentation
School of Computing and Information Science(计算与信息科学学院);University of Maine(缅因大学)
本文提出基于CoT、ICL和LLMs的方法,从软件文档提取隐私行为并生成用户故事格式的隐私需求,GPT-4o和Llama 3表现优异且可通过参数调优提升。
2025-06-28 cs.AI cs.SE
LLMs Integration in Software Engineering Team Projects: Roles, Impact, and a Pedagogical Design Space for AI Tools in Computing Education
Newcastle University(纽卡斯尔大学)
本研究从教学法视角探究GenAI工具在本科软件工程团队项目中的影响,通过问卷与访谈明确其对学生编码、学习及团队协作的作用,提出编程学习GenAI工具的初步设计空间。
2024-10-30 cs.AI cs.SE
Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?
University of Helsinki(赫尔辛基大学);LUT University(拉彭兰塔-拉赫蒂理工大学)
本研究以SESR-Eval等为数据,评估8款新LLM的软件工程系统综述筛选性能,发现其仅略优于旧模型,尚未能替代人工,提出三类未来研究方向。
2026-10-09 cs.AI cs.SE
LLMs in Coding and their Impact on the Commercial Software Engineering Landscape
School of Engineering, Computing, \& the Built Environment Edinburgh Napier University, Scotland WWW home page: https://www.napier.ac.uk
本文探讨LLM编码工具在商业软件工程中的主流化及其风险,提出标记审查、私有部署、合规和谄媚测试等策略,以平衡速度与安全准确性。
2025-06-19 cs.AI cs.LG cs.SE
On the Effectiveness of Instruction-Tuning Local LLMs for Identifying Software Vulnerabilities
KAIST Cyber Security Research Center(韩国科学技术院网络安全研究中心)
本文提出通过指令微调本地LLM来提升软件漏洞识别效果,替代依赖API的大型模型,实现更高效、安全的漏洞管理。
2025-12-23 cs.AI cs.CR
LLMSecConfig: An LLM-Based Approach for Fixing Software Container Misconfigurations
CREST - The Centre for Research on Engineering Software Technologies(工程软件技术研究中心(CREST))
LLMSecConfig框架结合静态分析工具与大语言模型,利用提示技术和RAG自动修复容器安全错误配置,在1,000个真实Kubernetes配置上实现94%修复成功率。
2025-02-04 cs.AI cs.CR cs.LG
Are LLMs Good For Quantum Software, Architecture, and System Design?
UT Austin(德克萨斯大学奥斯汀分校)
本文探讨大语言模型在量子系统设计中的应用,评估了九种前沿模型与研究生在量子计算问题上的表现,提出未来研究方向。
2026-03-27 cs.AI quant-ph
SAKE: Software Architectural Knowledge Evaluation Benchmark for Large Language Models
University of Southern Denmark(丹麦南方大学)
提出SAKE基准,包含2154道专家策划的多选题,评估LLM在八个架构类别和四种上下文长度下的架构知识,揭示专业实践中的能力差距。
2026-06-28 cs.AI cs.DB cs.SE
SCoPE: Evaluating LLMs for Software Vulnerability Detection
本研究提出SCoPE框架优化CVEFixes数据集,并微调三个预训练大语言模型进行软件漏洞检测,最佳模型F1分数达53%。
2024-07-19 cs.AI cs.CR cs.LG
Taxonomy of migration scenarios for Qiskit refactoring using LLMs
Universidad Nacional de La Plata, Facultad de Informática Laboratorio de Investigación y Formación en Informática Avanzada (LIFIA), Argentina(拉普拉塔国立大学计算机学院高级信息技术研究与培训实验室,阿根廷)
本研究面向 Qiskit 版本迁移中的量子代码重构问题,比较专家与 LLM 构建的分类体系并整合为统一框架,以支持 AI 辅助迁移和自动化重构评估。
2025-06-08 cs.AI cs.ET cs.SE
LLMs as Packagers of HPC Software
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出端到端框架 SpackIt,结合仓库分析、示例检索与诊断反馈迭代优化,将 HPC 软件 Spack 配方自动生成的安装成功率从 20% 提升至 80% 以上。
2025-11-07 cs.AI cs.DC cs.SE
LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights
Texas A&M University(得克萨斯农工大学);City University of Hong Kong(香港城市大学)
本文综述 LLMs 在软件漏洞检测中的模型、方法、数据集与指标,分析现有挑战并提出统一框架和未来方向。
2025-02-12 cs.AI cs.CR
How to Configure Masked Event Anomaly Detection on Software Logs?
具有屏蔽事件预测的软件日志异常事件检测具有多种技术方法,具有无数的配置和参数。我们的目标是为将来类似的研究提供一个基线。我们使用的模型是N-Gram模型,这是自然语言处理(NLP)领域的经典方法,以及两种深度学习(DL)模型-长短期记忆(LSTM)和卷积神经网络(CNN)。对于数据集,我们使用了四个数据集Profilence、BlueGene/L(BGL)、Hadoop分布式文件系统(HDFS)和Hadoop。其他设置是滑动窗口的大小,它决定了我们使用多少周围事件来预测给定事件,掩码位置(我们预测的窗口内的位置),仅使用唯一序列,以及用于训练的数据部分。结果显示了可以在数据集上推广的设置的明确指示。DL模型的性能不会随着窗口大小的增加而恶化,而N-Gram模型在BGL和Profilence数据集上显示出更差的性能。尽管下一个事件预测很受欢迎,但结果表明,在这种情况下,最好不要预测子序列边缘的事件,即,第一个或最后一个事件,当窗口大小为5时,预测第四个事件的结果最好。关于用于训练的数据量,结果显示了数据集和模型之间的差异。例如,N-Gram模型似乎比DL模型对缺乏数据更敏感。总的来说,对于类似的实验设置,我们建议以下一般基线:窗口大小10,掩码位置倒数第二,不过滤掉非唯一序列,并使用总数据的一半进行训练。
2022-08-03 cs.SE
Gistable: Evaluating the Executability of Python Code Snippets on GitHub
软件开发人员在线创建和共享代码,以演示程序设计语言概念和编程任务。代码段是解释和演示编程概念的有用方法,但可能并不总是直接可执行的。代码段可能包含分析错误,或者在环境包含未满足的依赖项时无法执行。本文对通过GitHub gist系统共享的Python代码片段的可执行状态以及熟悉软件配置的开发人员正确配置和运行它们的能力进行了实证分析。我们发现,75.6%的GIST需要非平凡的配置,以克服缺少的依赖关系,配置文件,依赖于特定的操作系统,或其他一些环境配置。我们的研究还表明,开发人员在解决配置错误时对资源名称的自然假设只有不到一半的正确率。我们还介绍了Gistable,一个建立在GitHub的gist系统上的数据库和可扩展框架,它提供了可执行的代码片段,以便在软件工程中进行可重复的研究。Gistable包含10,259个代码片段,其中大约5,000个带有Dockerfile,用于配置和执行它们而不会发生导入错误。Gistable可在https://github.com/gistable/gistable上公开获取。
2018-08-14 cs.SE
Engineering Trustworthy Software: A Mission for LLMs
该研究探讨大语言模型(LLMs)对软件工程的变革作用,指出其完全集成后能推动全生命周期进程,但需解决准确性、可扩展性等挑战以实现可信的LLM驱动软件工程。
2024-11-27 cs.SE
Model-Assisted and Human-Guided: Perceptions and Practices of Software Professionals Using LLMs for Coding
University of Hawai‘i at Mānoa(夏威夷大学马诺阿分校);University of Calgary(卡尔加里大学)
基于对131名软件从业者的全球调查,本研究揭示了大语言模型在编码任务中的实际应用、感知益处与风险,并指出开发者普遍将其视为辅助工具,为负责任采纳提供了实践视角。
2025-10-10 cs.SE
Software Architecture Meets LLMs: A Systematic Literature Review
本文通过系统性文献综述,分析了18篇研究,探讨大语言模型在软件架构任务中的应用效果、自动化程度、所用模型及评估方式,发现其常优于基线但部分领域仍待探索。
2025-05-22 cs.SE