From Developer Pairs to AI Copilots: A Comparative Study on Knowledge Transfer
本文通过实证研究比较人-人结对与人-AI(GitHub Copilot)场景下的知识迁移,发现两者成功迁移频率相近且主题重叠,但开发者对 AI 建议审视更少,同时 AI 能提醒开发者易忽略的代码细节。
2025-06-05 cs.SE
From Code Generation to Software Testing: AI Copilot with Context-Based RAG
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
本文将缺陷检测与低缺陷编码统一为有限资源下的减错问题,提出基于上下文 RAG 的自动化测试系统 Copilot for Testing,使缺陷检测与代码库更新同步,并在准确率、覆盖率和用户接受率上取得显著提升。
2025-04-05 cs.AI cs.PL cs.SE
Do LLMs Provide Links to Code Similar to what they Generate? A Study with Gemini and Bing CoPilot
本研究实证评估了Bing CoPilot和Gemini生成代码与提供链接的相关性,发现两者均存在来源债务,其中Bing CoPilot的66%链接相关,Gemini仅28%。
2025-01-21 cs.SE
Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
University of Auckland(奥克兰大学);University of New South Wales(新南威尔士大学)
研究人工智能代码工具融入编程环境下学生代码生成规范,通过分析四年数据集,引入涵盖注释类型、代码表达水平和代码结构的分类法,用自动分类研究维度变化及学生反思,发现学生注释特点及关注点。
2026-07-14 cs.AI cs.CY cs.SE
Analyzing Prominent LLMs: An Empirical Study of Performance and Complexity in Solving LeetCode Problems
本研究对四个主流大语言模型在150个LeetCode问题上的Java和Python解决方案进行基准测试,评估执行时间、内存和算法复杂度,发现ChatGPT效率稳定,为开发者选型提供指导。
2025-08-05 cs.SE
Green My LLM: Studying the key factors affecting the energy consumption of code assistants
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
本文通过模拟20位开发者使用GitHub Copilot的场景,研究影响代码助手能耗的关键配置因素,发现并发数、模型规模、量化与流式传输等均影响能耗,并指出大量生成请求被取消,提出优化配置可显著节能。
2024-11-07 cs.AI cs.SE
Generative AI for Pull Request Descriptions: Adoption, Impact, and Developer Interventions
本研究采用混合方法考察了18,256个PR,发现GitHub Copilot for PRs的采用率显著上升,能缩短审查时间并提高合并率,且开发者常手动补充AI生成的描述。
2024-02-14 cs.SE
Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study
本文通过分析 GitHub 项目中 Copilot 等工具生成的 733 个代码片段,实证揭示了生成代码中安全弱点的高发生率及其 CWE 分布,并验证了 Copilot Chat 结合静态分析警告可修复最多 55.5% 的安全问题。
2025-02-06 cs.CR cs.SE
Security Concerns in Generative AI Coding Assistants: Insights from Online Discussions on GitHub Copilot
Hamburg University of Technology(汉堡工业大学);University of Saskatchewan(萨斯喀彻温大学);RMIT University(皇家墨尔本理工大学)
研究分析开发者在公共论坛中提出的安全问题,识别出数据泄露、代码授权、对抗攻击和不安全代码建议等四大安全关切,揭示生成式AI在软件工程中的局限性与权衡。
2026-04-09 cs.CR cs.HC cs.SE
Nissist: An Incident Mitigation Copilot based on Troubleshooting Guides
Peking University(北京大学);Microsoft(微软公司)
本文提出 Nissist,一个利用 LLM 从非结构化 TSG 与历史缓解记录构建知识库、并通过多智能体系统主动提供处置方案的事件缓解副驾驶,实验表明其可显著缩短 TTM。
2024-05-10 cs.AI cs.CL cs.SE
AutoDev: Automated AI-Driven Development
Microsoft(微软)
AutoDev是一个全自动AI驱动软件开发框架,通过自主AI代理在Docker容器内执行复杂任务,在HumanEval上实现代码生成和测试生成Pass@1分别为91.5%和87.8%。
2024-03-13 cs.AI cs.SE
LLM-Powered Workflow Optimization for Multidisciplinary Software Development: An Automotive Industry Case Study
Chalmers University of Technology(查尔姆斯理工大学);University College London(伦敦大学学院)
本文提出基于图的工作流优化方法,利用大语言模型替代手动协调,提升多学科软件开发效率,通过汽车行业案例验证,实现93.7%的F1分数,将API开发时间从5小时缩短至7分钟。
2026-03-30 cs.AI cs.SE
MemoCoder: Automated Function Synthesis using LLM-Supported Agents
Queen's University(女王大学);York University(约克大学)
本文提出多智能体框架 MemoCoder,通过可检索的修复知识集与导师智能体监督自修复循环,在三个代码基准上显著提升 Pass@10 与 Pass@50。
2025-07-24 cs.AI cs.SE
Automated Code Review In Practice
本文通过分析工业环境中基于LLM的自动化代码审查工具的使用数据与开发者反馈,发现该工具虽能提升缺陷检测和代码质量意识,但也导致拉取请求关闭时间延长并引入错误审查等问题。
2024-12-28 cs.SE
Suggestion Bot: Analyzing the Impact of Automated Suggested Changes on Code Reviews
本文提出建议机器人,利用GitHub建议变更功能自动审查代码,以缩短拉取请求周转时间,并通过实证比较评估其影响,为改进人机交互提供启示。
2023-05-10 cs.HC cs.SE
Feedback Loops and Code Perturbations in LLM-based Software Engineering: A Case Study on a C-to-Rust Translation System
Otto von Guericke University(奥托·冯·格里克大学);Bosch Research(博世研究)
本文研究了反馈循环、LLM选择和代码扰动对C到Rust翻译系统性能的影响,发现反馈循环可减少模型差异并提升系统鲁棒性。
2026-08-06 cs.AI cs.SE
DEFECTCHECKER: Automated Smart Contract Defect Detection by Analyzing EVM Bytecode
智能合约是在区块链上运行的图灵完备程序。它们是不可变的,即使检测到bug也不能修改。因此,在将智能合约部署到区块链之前,确保智能合约没有错误并且设计良好非常重要。合约缺陷是智能合约中的错误、缺陷或故障,导致其产生不正确或意外的结果,或以非预期的方式表现。检测和删除合约缺陷可以避免潜在的错误,使程序更健壮。我们之前的工作为智能合约定义了20个合约缺陷,并将其分为五个影响级别。根据我们的分类,严重性级别在1-3之间的合同缺陷可能导致不必要的行为,例如,一份由攻击者控制的合同在本文中,我们提出了一种基于符号执行的方法和工具,用于检测八种可能导致以太坊区块链平台上智能合约出现不必要行为的合约缺陷。DefectMind可以从智能合约字节码中检测合约缺陷。我们使用开源数据集将Defectoral与以前的主要作品进行比较,包括Oyente,Mythril和Securify。我们的实验结果表明,在速度和准确性方面,Defectomy比这些工具表现得更好。我们还在以太坊平台上的165,621个不同的智能合约中应用了Defectrance。我们发现,这些智能合约中有25,815个包含至少一个属于影响级别1-3的合约缺陷,包括一些现实世界的攻击。
2021-03-23 cs.SE
Analyzing the Instability of Large Language Models in Automated Bug Injection and Correction
本研究分析ChatGPT等LLM在缺陷修复中的不稳定性,发现温度升高导致输出结构、语法和功能差异增大,高温下功能失败率高,为LLM修复系统的可靠性提供方法论见解。
2025-09-08 cs.SE
A Text Mining and Classification Approach for Analyzing Architecture Decision Records
ISISTAN Research Institute, CONICET-UNCPBA(ISISTAN研究所,CONICET-UNCPBA);Johannes Kepler University(约翰内斯·开普勒大学)
本文提出一种结合主题建模、LLM分类和模板检查的自动化文本挖掘方法,用于大规模分析约550个开源仓库中的架构决策记录,发现其常记录存在性、技术和流程决策,而备选方案等记录不足,为架构师改进实践提供参考。
2026-09-09 cs.SE
"TODO: Fix the Mess Gemini Created": Towards Understanding GenAI-Induced Self-Admitted Technical Debt
Missouri University of Science and Technology(密苏里科技大学)
本文研究了GenAI在软件开发中导致的技术债务问题,提出GIST概念框架,分析开发者在使用AI生成代码时的自我承认行为及技术债务的产生原因。
2026-01-12 cs.SE
Automated use case diagram generator using NLP and ML
本研究针对用例图手动及半自动化设计效率低的问题,提出用NLP和ML分析用户故事全自动生成用例图的新方法,可节省SDLC设计阶段的时间与精力。
2023-06-12 cs.SE
Automating the Detection of Code Vulnerabilities by Analyzing GitHub Issues
RISE AB;Delft University of Technology(代尔夫特理工大学);KTH Royal Institute of Technology(皇家理工学院(KTH));Red Hat(红帽公司)
本文提出利用基于 transformer 的模型分析 GitHub issues 以自动识别软件漏洞,构建专用分类数据集并评估多种分类技术,提供可扩展、高效的早期漏洞检测框架。
2025-01-09 cs.AI cs.CR cs.SE
LLM-Agents Driven Automated Simulation Testing and Analysis of small Uncrewed Aerial Systems
本文提出AutoSimTest,一个由多个LLM智能体协作驱动的框架,自动化sUAS仿真测试的创建、执行与分析流程,显著提升测试效率与场景覆盖范围,减少人工工作量。
2025-01-21 cs.SE
PARNESS: A Paper Harness for End-to-End Automated Scientific Research with Dynamic Workflows, Full-Text Indexing, and Cross-Run Knowledge Accumulation
Sino-German Joint Software Institute, Beihang University(中德软件工程学院,北京航空航天大学)
PARNESS通过动态工作流、全文索引和跨运行知识积累,解决传统科研系统流程僵化、知识累积不足的问题,实现端到端自动化科研。
2026-05-06 cs.SE
Large Language Models for Code Generation: A Comprehensive Survey of Challenges, Techniques, Evaluation, and Applications
School of Computer Science, University of Oklahoma(俄克拉荷马大学计算机科学学院)
本综述系统梳理了大型语言模型在代码生成任务中的挑战、微调技术、评估基准及实际应用,旨在帮助研究者全面理解当前最先进技术并有效利用 LLMs。
2025-04-02 cs.LG cs.SE
Exploring Large Language Models for Analyzing and Improving Method Names in Scientific Code
本文评估了四种大语言模型分析并改进496个来自Jupyter Notebook的科学代码方法名的能力,发现LLM虽能遵循基本命名规范但对领域术语处理不一致,需人工评估辅助。
2025-07-22 cs.SE
Who Introduces and Who Fixes? Analyzing Code Quality in Collaborative Student's Projects
本研究分析嵌入式系统课程34名学生的个人实验与小组项目数据,探究协作项目中代码错误的引入、修复主体及时间规律,发现活跃贡献者易引入问题、非关键问题常被忽略等结论,为代码质量教育提供参考。
2025-05-20 cs.SE
A New Generation of Intelligent Development Environments
本文提出将传统 IDE 演进为智能开发环境,由程序员管理 AI 智能体与自动化工具协同组装 API、包和新代码,并梳理从需求到部署验证的工作流及挑战。
2024-06-13 cs.PL cs.SE