Automated Code Review Using Large Language Models at Ericsson: An Experience Report
Ericsson(爱立信)
针对资深开发者时间有限难以深度开展代码审查的问题,本文分享了爱立信结合大语言模型与静态程序分析开发轻量级自动化代码审查工具的实践,初步实验获积极结果,可减轻开发者认知负担。
2025-07-31 cs.AI cs.SE
An Experience Report On Applying Software Testing Academic Results In Industry: We Need Usable Automated Test Generation
软件工程研究对当前工业实践的影响是什么?在本文中,我报告了我作为博士/博士后在软件工程研究项目中工作的直接经验,然后在接下来的五年里在两家不同的公司担任工程师(第一家是我在博士后期间合作的公司)。鉴于我有软件工程研究的背景,在开发和测试这些公司的系统时,我在日常工作中使用了哪些学术界的尖端技术和工具?关于确认和验证(我的主要研究领域),答案相当简短:据我所知,只有FindBugs。在本文中,我报告了为什么会出现这种情况,并讨论了我们在工业中面临的所有具有挑战性的,复杂的开放性问题,这些问题在学术界被“忽视”了。特别是,我将首先讨论我在日常工作中可以使用的实际工具,例如JaCoCo和Selenium。然后,我将讨论我面临的主要开放问题,特别是与环境模拟器,单元和Web测试有关的问题。然后介绍了当前学术界的热门话题,如UML、回归测试和变异测试。然后讨论了他们对我在工业界工作的项目类型缺乏影响。最后,从这个行业的经验,我提供了我的意见,如何改善这种情况,特别是有关如何评估学者,并倡导更多地参与开源项目。
2019-01-12 cs.SE
Automated Computer Program Evaluation and Projects -- Our Experiences
本文总结六年教学实践,介绍通过 CodeRunner 集成 LMS 以及 Git(GitHub)实现编程练习、项目提交与代码自动评估的方法,并分享工具定制与有效学习的经验。
2024-04-06 cs.PL cs.SE
Agents for Automated User Experience Testing
INESC-ID
软件功能测试的自动化使得开发人员能够在整个开发的迭代阶段不断检查对功能的负面影响。但对于用户体验(UX)来说,情况并非如此,迄今为止,UX几乎完全依赖于对真实用户的测试。用户测试是一项缓慢的工作,可能成为开发交互式系统的瓶颈。为了解决这个问题,我们在这里提出了一个基于代理的自动UX测试方法。我们开发具有基本问题解决技能和核心影响模型的代理,使我们能够在他们穿越游戏的不同级别时模拟人工情感状态。虽然这项研究仍然处于原始状态,但我们相信这里的结果为使用具有情感计算模型的智能代理自动化UX测试提供了强有力的理由。
2021-04-13 cs.AI cs.SE
Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而,为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此,大多数自动化测试生成工具使用的是一些琐碎的预言机,这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中,我们提供了一个实证研究的结果表明,利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Automated data validation: an industrial experience report
在过去的十年里,客户生成的数据和公司保留的数据大量爆炸。然而,数据量的增加与缺乏自动化方法和工具之间存在着严重的不匹配。数据科学编程中缺乏最佳实践可能会导致软件质量下降,发布时间表延误和预算超支。为了缓解这些担忧,我们希望将软件工程最佳实践引入数据科学。具体来说,我们关注于软件开发生存周期的数据准备阶段的自动化数据验证。本文研究了一个真实的工业案例,并应用软件工程最佳实践来开发一个自动化测试工具RESTORE。我们将RESTORE作为开源R包发布。我们在地理人口数据上完成的经验报告表明,RESTORE可以高效地检测数据准备阶段注入的错误。RESTORE还大大降低了测试成本。我们希望社区能够从开源项目和基于我们经验的实用建议中受益。
2022-12-05 cs.DB cs.SE stat.AP
Improving Quantum Developer Experience with Kubernetes and Jupyter Notebooks
针对经典系统模拟量子计算机计算需求高、量子软件开发难度大的问题,本文研究了借助Kubernetes与Jupyter Notebooks,以易用经济的远程算力提升量子开发者体验的可行性。
2024-08-13 cs.SE quant-ph
CppPerf: An Automated Pipeline and Dataset for Performance-Improving C++ Commits
ETH Zurich(苏黎世联邦理工学院)
本文提出CppPerf-Mine流水线,通过结合结构化提交过滤、LLM分类器和容器化构建测试阶段,挖掘改进执行时间的补丁,并构建包含347个手动验证补丁的CppPerf-DB数据集,评估仓库级修复工具。
2026-05-11 cs.SE
Improving Code Comprehension through Cognitive-Load Aware Automated Refactoring for Novice Programmers
Jahangirnagar University(贾汉吉尔纳加尔大学);Case Western Reserve University(凯斯西储大学);Missouri University of Science and Technology(密苏里科技大学)
本文提出基于认知驱动开发的自动化重构方法CDDRefactorER,通过减少控制流复杂度提升初学者代码理解,实验显示其在减少重构失败和降低复杂度方面效果显著。
2026-04-16 cs.SE
On the experiences of adopting automated data validation in an industrial machine learning project
背景资料:数据错误是机器学习(ML)项目中的常见挑战,通常会导致支持ML的软件系统的性能显著下降。为了确保早期检测错误数据并避免使用不良数据训练ML模型,研究和工业实践建议在ML系统开发过程中纳入数据验证过程和工具。目的:该研究调查了工业ML项目中数据验证过程和工具的采用。数据验证过程需要大量的工程资源用于工具开发和维护。因此,确定最佳实践以供采用是非常重要的,特别是对于处于部署支持ML的软件系统的早期阶段的开发团队。方法:行动研究是在电信行业的大型软件密集型组织中进行的,特别是在分析研发组织中,用于对返回的硬件电信设备进行故障分类的ML用例。结果如下:根据评估结果和行动研究的学习,我们确定了在ML项目中采用数据验证过程和工具的三个最佳实践、三个好处和两个障碍。我们还提出了一个数据验证框架(DVF)的系统化采用的数据验证过程。结论:结果表明,在ML项目中采用数据验证过程和工具是测试ML支持的软件系统的有效方法。它需要对数据级别(特征、数据集、交叉数据集、数据流)有一个概述,在这个级别上可以应用某些数据质量测试。
2021-03-06 cs.SE
Re-Imagining Performance Reviews: Automated Dashboards for Continuous Visibility of Engineers Performance
传统的绩效评估方法不适合敏捷快节奏的软件公司。自从早期采用敏捷方法以来,这已经在软件行业中实现了。尽管如此,软件公司仍然在努力寻找一种实用的解决方案,以适应其团队的高度动态特性。特别是,高增长的公司,规模扩大,需要在如何处理绩效评估方面具有创造性。在这次演讲中,我们将介绍自动化的评审仪表板,以支持无缝的评估过程和软件工程师绩效的持续可见性。拟议的仪表板利用现有增长框架的结构,同时自动汇总相关的定性和定量业绩指标。我们反思了在Robusta(一家中型软件扩展公司)使用仪表板的经验。仪表板使一个由四名经理组成的团队能够向56名工程师提供及时的反馈,并为持续的可见性奠定基础。我们从不同利益相关者的角度探讨了仪表板的设计、可定制的指标和整体审查体验。最后,我们总结了经验教训,并为面临同样挑战的规模扩大提出了实用建议。
2021-03-08 cs.SE
Designing for Cognitive Diversity: Improving the GitHub Experience for Newcomers
本文利用 GenderMag 识别 GitHub 对女性常见认知风格不友好的包容性缺陷,并通过浏览器插件重设计相关功能;75人被试间实验表明,修改显著提升了相关用户的表现与自我效能。
2023-02-10 cs.SE
Reproducible Automated Program Repair Is Hard -- Experiences With the Defects4J Dataset
University of Hildesheim(希尔德斯海姆大学)
本文探讨了Defects4J数据集在自动程序修复中的挑战,发现21.6%的缺陷无法重复,7.1%的测试套件不足,提出了更严格的评估框架以解决测试套件问题。
2026-04-29 cs.SE
An Appraisal Transition System for Event-driven Emotions in Agent-based Player Experience Testing
Utrecht University(乌得勒支大学);Umeå University(于默奥大学)
玩家体验(PX)评估已经成为游戏行业的一个感兴趣的领域。已经引入了几种手动PX技术来帮助开发人员理解和评估玩家在计算机游戏中的体验。然而,玩家体验的自动化测试仍然需要解决。一个自动化的玩家体验测试框架将允许设计师在早期开发阶段评估PX需求,而无需人类玩家参与。在本文中,我们提出了一个自动化的玩家体验测试方法,提出了一个正式的基于事件的情绪模型。特别是,我们讨论了一个基于事件的过渡系统,正式使用Ortony,Clore,和柯林斯(OCC)的情绪理论的相关情绪。该模型的工作原型集成在Aplib,战术代理编程库,创建智能PX测试代理,能够评估情绪的3D游戏案例研究。结果例如以热图的形式图示。测试代理的情感可视化最终将帮助游戏设计师创建能唤起玩家某种体验的内容。
2021-05-12 cs.AI cs.SE
Data-driven Risk Management for Requirements Engineering: An Automated Approach based on Bayesian Networks
需求工程(RE)是一种降低交付不满足涉众需求的产品风险的方法。因此,RE中的一个主要挑战是决定需要多少RE以及应用什么RE方法。这些决策的质量主要取决于RE专家在仔细分析项目背景和当前状态时的经验和专业知识。然而,最近的工作表明,缺乏经验和资格是可再生能源问题的常见原因。我们根据NaPiRE调查的数据训练了一系列贝叶斯网络,以模拟RE问题之间的关系,其原因以及具有不同背景特征的项目的影响。这些模型被用于进行(1)事后(诊断)分析,得出次优RE性能的可能原因,以及(2)进行预防性分析,预测年轻项目可能遇到的问题。在评估之前,该方法对两个用例进行了严格的交叉验证程序
2020-07-07 cs.SE
Automated Prompt Generation for Code Intelligence: An Empirical study and Experience in WeChat
The Chinese University of Hong Kong(香港中文大学);WeChat Group, Tencent Inc.(腾讯公司微信事业群)
针对代码智能中手动提示设计耗时且依赖特定模型的问题,本文实证研究了指令生成(IG)和多步推理(MSR),并提出一种结合两者最佳方法的新型自动化提示生成(APG)方法,在多个代码任务及微信工业数据集上均取得显著性能提升。
2025-11-05 cs.SE
Automated Detection, Categorisation and Developers' Experience with the Violations of Honesty in Mobile Apps
诚实、社会责任、公平、隐私等人类价值观是个人和社会认为重要的东西。软件系统,包括移动软件应用程序(app),可能会忽视或违反这些价值观,从而以各种方式对个人和社会产生负面影响。虽然有些作品已经调查了不同方面的人的价值观在软件工程,这种混合方法的研究集中在诚实作为一个关键的人的价值。特别是,我们研究了(i)如何检测移动应用程序中的诚实违规行为,(ii)移动应用程序中诚实违规行为的类型,以及(iii)应用程序开发人员对这些检测到的诚实违规行为的看法。我们首先开发和评估7个机器学习(ML)模型,以从最终用户的角度自动检测应用评论中违反诚实价值的行为。最有前途的是深度神经网络模型,F1得分为0.921。然后,我们对401条包含诚实违规行为的评论进行了手动分析,并将移动应用程序中的诚实违规行为分为10类:不公平的取消和退款政策;虚假广告;欺骗性订阅;作弊系统;不准确的信息;不公平的费用;没有服务;删除评论;冒充;和欺诈性外观应用程序。一项针对移动开发人员的开发人员调查和访谈研究确定了移动应用程序中违反诚信的7个关键原因,以及避免或修复此类违规行为的8种策略。我们的开发人员研究结果还阐明了违反诚信可能给企业、开发人员和用户带来的负面后果。最后,应用程序开发人员的反馈表明,我们的基于ML的原型模型在实践中可以带来很大的好处。
2022-11-14 cs.SE
Improving the Learnability of Machine Learning APIs by Semi-Automated API Wrapping
University of Bonn(波恩大学)
对于想要进入机器学习(ML)世界的学生和专业软件开发人员来说,一个主要的障碍是不仅要掌握科学背景,还要掌握可用的ML API。因此,我们解决了创建易于学习和使用的API的挑战,特别是新手。然而,目前尚不清楚如何在不影响表现力的情况下实现这一点。我们针对scikit-learn(一种广泛使用的ML API)研究了这个问题。在本文中,我们分析了Kaggle社区对它的使用,确定了API中未使用和明显无用的部分,这些部分可以在不影响客户端程序的情况下删除。此外,我们还将讨论剩余部分中的可用性问题,提出相关的设计改进,并展示如何通过现有第三方API的半自动包装来实现这些改进。
2022-04-06 cs.LG cs.SE
Improving Automated Secure Code Reviews: A Synthetic Dataset for Code Vulnerability Flaws
针对现有代码审查数据集漏洞样本不足的问题,本文提出利用大语言模型生成漏洞聚焦的合成审查数据集,并计划微调三个现有模型以提升其安全代码审查性能。
2025-04-22 cs.SE
TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration
TestART通过生成与修复的协同进化,利用模板修复、覆盖率反馈和正向提示注入,提升LLM单元测试的通过率与覆盖率。
2025-03-31 cs.SE
Improving Test Distance for Failure Clustering with Hypergraph Modelling
自动调试技术,如故障定位(FL)或自动程序修复(APR),通常是在单一故障假设(SFA)下设计的。然而,在实践中,未知数量的故障可能会独立地导致多个测试用例失败,这使得难以分配调试资源和使用自动化调试技术。聚类算法已被应用到组的测试失败,根据他们的根本原因,但他们的准确性往往是缺乏由于测试用例的距离度量的固有限制。我们引入了一个新的测试距离度量超图的基础上,并评估其准确性,使用多故障基准,我们已经建立在上面的缺陷4J和SIR。结果表明,我们的技术,Hybiscus,可以自动实现完美的聚类(即,与根本原因的基础真值数目相同的簇数目,具有相同根本原因的所有失败测试被分组在一起)。更好的故障聚类还使我们能够分离不同的根本原因,并在SFA下应用FL技术,与最先进的多故障定位技术相比,节省了高达82%的总浪费工作量。
2021-04-21 cs.SE
Improving the Ability of Pre-trained Language Model by Imparting Large Language Model's Experience
针对大模型少样本下非生成类软件工程任务表现差、小模型微调依赖高质量数据的问题,提出用大语言模型生成领域数据增强预训练语言模型的方法,在故障定位等任务上取得显著性能提升。
2025-01-15 cs.SE
JExtract: An Eclipse Plug-in for Recommending Automated Extract Method Refactorings
虽然提取方法是提高程序理解的关键重构,但用于此目的的重构工具通常未得到充分利用。为了解决这个缺点,我们提出了JExtract,一个基于结构相似性的推荐系统,它可以识别直接由基于IDE的重构工具自动化的Extract Method重构机会。我们的评估表明,JExtract要有效得多(w.r.t.召回率和精确度)来识别方法中错位的代码,而不是JDeodorant(一种最先进的工具)
2015-06-19 cs.SE
Context-Encoded Code Change Representation for Automated Commit Message Generation
本文提出一种结合变更代码及其程序依赖的未变更代码的上下文编码表示方法,克服了现有代码变更表示的局限,显著提升了5种最先进自动化提交信息生成方法的性能。
2023-06-26 cs.SE
TrioXpert: An Automated Incident Management Framework for Microservice System
Nankai University(南开大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);Lenovo (TianJin) Co., Ltd.(联想(天津)有限公司);BizSeer;Key Laboratory of Data and Intelligent System Security, Ministry of Education, China(教育部数据与智能系统安全重点实验室);National University of Defense Technology(国防科技大学);Tianjin Key Laboratory of Software Experience and Human Computer Interaction(天津市软件体验与人机交互重点实验室)
针对现有微服务自动化事件管理方法依赖单模态数据、多任务处理能力弱且可解释性不足的问题,提出多模态端到端框架TrioXpert,通过多流水线处理与LLM协同推理,在三类任务上实现显著性能提升并已落地生产。
2025-10-22 cs.SE
LLMLOOP: Improving LLM-Generated Code and Tests through Automated Iterative Feedback Loops
King's College London(伦敦国王学院)
LLMLOOP通过自动化迭代反馈循环提升大语言模型生成的代码和测试质量,通过五种循环解决编译错误、静态分析问题、测试失败和测试质量改进,验证了其在HUMANEVAL-X基准上的有效性。
2026-03-24 cs.AI cs.SE
Improving Problem Identification via Automated Log Clustering using Dimensionality Reduction
Simula Research Laboratory(Simula研究实验室)
目标:我们考虑的问题,自动分组日志的运行失败的相同的根本原因,使他们能够得到更有效的治疗,并调查以下问题:(1)是否开发的方法来识别系统日志中的问题推广到识别问题的连续部署日志?(2)降维如何影响自动日志聚类的质量?(3)聚类算法中用于合并聚类的标准如何影响聚类质量?方法:我们复制和扩展早期的集群系统日志文件的工作,以评估其泛化到连续部署日志。我们考虑这些降维技术之一的可选包括:主成分分析(PCA),潜在语义索引(LSI),和非负矩阵分解(NMF)。此外,我们考虑三种替代集群合并标准(单一连锁,平均连锁,加权连锁),除了在早期的工作中使用的完全连锁标准。我们经验性地评估了16个由我们的工业合作者提供的连续部署日志上的配置。结果如下:我们的研究表明,(1)通过聚类识别连续部署日志中的问题是可行的,(2)包括NMF显着提高了整体准确性和鲁棒性,(3)完全链接在所有分析的合并标准中表现最好。结论:我们的结论是,通过自动日志聚类的问题识别,包括降维改进,因为它降低了管道的参数选择的敏感性,从而增加了处理不同输入的鲁棒性。
2020-09-07 cs.IR cs.LG cs.SE
Improving Automated Program Repair with Domain Adaptation
University of Calgary(卡尔加里大学)
自动程序修复(APR)是指通过自动化工具修复源代码中的错误/缺陷的过程。APR工具最近通过利用最先进的神经语言处理(NLP)技术取得了可喜的成果。像TFix和CodeXGLUE这样的APR工具将文本到文本Transformers与特定于软件的技术相结合,这些工具的性能优于其他工具。然而,在大多数APR研究中,训练和测试集是从同一组项目中选择的。然而,实际上,APR模型是为了推广到新的和不同的项目。因此,当新项目的特征或其缺陷与训练集的特征不同(域偏移)时,报告的具有高有效性的APR模型表现不佳,这是一个潜在的威胁。在本研究中,我们首先定义并测量自动程序修复中的域转移问题。然后,我们提出了一个领域自适应框架,可以适应一个给定的目标项目的APR模型。我们进行了实证研究,三个领域自适应方法FullFineTuning,TuningWithLightWeightAdapterLayers和CurriculumLearning使用两个国家的最先进的领域自适应工具(TFix和CodeXGLUE)和两个APR模型611错误从19个项目。结果表明,我们提出的框架可以提高13.05%的TFix和23.4%的CodeXGLUE的有效性。本研究的另一个贡献是提出了一种数据合成方法,以解决缺乏标记的数据在APR。我们利用Transformers创建一个错误生成器模型。我们使用生成的合成数据对没有数据的项目…
2022-12-21 cs.AI cs.LG cs.SE
Alibaba LingmaAgent: Improving Automated Issue Resolution via Comprehensive Repository Exploration
Alibaba Group(阿里巴巴集团);Tongyi Lab(通义实验室)
本文提出阿里巴巴 LingmaAgent,通过知识图谱和蒙特卡洛树搜索全面探索仓库,提升自动化问题解决能力,在 SWE-bench Lite 上相对提升 18.5%,并已开源。
2025-03-26 cs.CL cs.SE
LLMs as Continuous Learners: Improving the Reproduction of Defective Code in Software Issues
Shanghai Jiao Tong University(上海交通大学);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
本文提出多智能体持续学习框架EvoCoder,通过反思机制和分层经验池使LLM动态学习并适应仓库特定缺陷,将问题代码复现率较SOTA提升20%,并显著改善问题解决流程的整体准确率。
2024-11-21 cs.AI cs.SE
A Brief Survey of Current Software Engineering Practices in Continuous Integration and Automated Accessibility Testing
本文综述了通过持续集成改善软件无障碍性的现状与采用障碍,并探讨了敏捷团队实施自动化无障碍测试的培训步骤及可视化流程。
2021-02-27 cs.CY cs.HC cs.MM