An Agentic Approach Towards Replication Package Quality Evaluation
Technical University of Munich, Germany(慕尼黑工业大学);fortiss, Germany(福蒂斯研究所);Blekinge Institute of Technology, Sweden(布莱金厄理工学院)
提出一种多智能体方法,将开放科学指南转化为机器可验证标准,自动检查复制包质量并生成改进报告,初步评估显示高一致性和正确性。
2026-07-24 cs.SE
Intent Preserving Generation of Diverse and Idiomatic (Code-)Artifacts
提出一种基于抽象构建块组合的通用方法,用于自动生成多样化且惯用的代码及相关工件,避免编写整体生成器,提高适应性和可维护性。
2025-08-05 cs.SE
Research Artifacts in Software Engineering Publications: Status and Trends
本文实证分析2017—2022年四大顶级SE会议论文中的1,487个研究工件,从实践、维护、流行度和质量维度揭示开放工件的发展趋势与不足,并提出改进建议。
2024-04-10 cs.SE
Agent-Based Software Artifact Evaluation
Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
研究针对软件工件评估中人工评估难及现有政策缺乏验证标准的问题,构建ArtifactGuide评分标准,设计ArtifactCopilot代理,通过实验评估,该框架提升了评估性能,提高了评审信心,还为设计高质量工件提供了实践指导。
2026-07-15 cs.SE
Using Consensual Biterms from Text Structures of Requirements and Code to Improve IR-Based Traceability Recovery
可追溯性根据两个工件是否通过系统功能相关来批准软件工件之间的跟踪链接。这些痕迹对软件开发很有价值,但很难手动获得。为了应对昂贵的和容易出错的手动恢复,自动化的方法被提出来恢复痕迹,通过软件工件之间的文本相似性,如那些基于信息检索(IR)。然而,低质量和数量的工件文本的负面影响计算的IR值,从而极大地阻碍了基于IR的方法的性能。在这项研究中,我们提出从需求和代码的文本结构中提取共现词对(即,共识双项),以提高基于IR的可追溯性恢复。我们首先根据需求文本的词性收集一组双术语,然后通过代码文本过滤它们。然后,我们使用这些一致的双术语,既丰富了输入语料库的IR技术,提高计算的IR值。基于九个系统的评估表明,一般来说,当单独用于增强IR技术时,我们的方法可以在AP中分别超过纯IR方法和另一基线21.9%和21.8%,在MAP中分别超过9.3%和7.2%。此外,当用于从不同角度与另一种增强策略合作时,它可以在AP和MAP中分别超过该基线5.9%和4.8%。
2022-09-05 cs.SE
Who's Who? LLM-assisted Software Traceability with Architecture Entity Recognition
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出ArTEMiS方法,通过语义推理实现架构实体匹配,结合ExArch自动构建SAM,提升软件架构与代码的可追溯性。
2026-03-19 cs.SE
Defining and executing temporal constraints for evaluating engineering artifact compliance
针对安全关键系统工程流程时间约束检查依赖人工、反馈滞后的问题,提出基于扩展OCL的增量式自动化检查方法,可在制品变更时及时反馈偏差,工业用例下单约束平均评估约0.2毫秒。
2023-12-20 cs.SE
Mining Software Repositories with a Collaborative Heuristic Repository
许多软件工程研究或任务依赖于对软件工程工件进行分类。在实践中,这是通过定义简单但通常不精确的分类,或者通过人工标记工件来完成的。不幸的是,这些分类中的错误会影响依赖它们的任务。为了提高这些分类的精度,我们建议在一个协作的启发式存储库中收集知识,研究人员可以为各种SE工件上的各种任务贡献大量不同的知识。然后,利用最先进的弱监督技术来训练高质量的分类器,从而改进分类。我们提出了一个初始版本的启发式存储库,我们适用于提交分类的具体任务。
2021-03-02 cs.SE
DocFetch - Towards Generating Software Documentation from Multiple Software Artifacts
针对开源软件文档维护困难且现有方法仅关注源代码的问题,提出DocFetch,采用基于多层提示的LLM从多软件制品生成结构化文档,经评估性能良好,可半自动生成文档并降低维护工作量。
2025-08-25 cs.SE
Repository for Reusing Artifacts of Artificial Neural Networks
HTW University of Applied Sciences(HTW应用科学大学);University of Guilan(吉兰大学);Pitzer College(皮策学院);University Hospital Bonn(波恩大学医院);University of Southampton(南安普顿大学)
人工神经网络(ANN)在诸如机器翻译、自然语言处理和图像处理的各个领域中取代了传统的软件系统。那么,为什么我们需要人工神经网络的存储库呢?这些系统是用标记数据开发的,我们在用于训练和测试网络的数据之间有很强的依赖性。另一个挑战是数据质量和可重用性。在那里,我们试图应用经典软件工程的概念,而不限于模型,而数据和代码在其他项目中没有得到处理。首先想到的问题可能是,为什么我们不使用GitHub,一个众所周知的广泛传播的重用工具,来解决我们的问题。原因是,GitHub虽然在同类产品中非常出色,但它并不是为机器学习设备开发的,而是更注重软件重用。除此之外,GitHub不允许直接在平台上执行代码,这对于一个项目的协作工作非常方便。
2020-03-30 cs.LG cs.SE
TRIAD: Automated Traceability Recovery based on Biterm-enhanced Deduction of Transitive Links among Artifacts
针对不同抽象层级软件制品文本差异导致 IR 追溯失效的问题,提出 TRIAD,利用中间制品的共识 biterm 与内外部传递链接调整相似性,在五个系统上显著优于四种现有方法。
2024-01-17 cs.SE
Large Language Models for Software Engineering: A Reproducibility Crisis
本文探讨了基于大型语言模型的软件工程研究中可重复性问题,揭示了制品可用性、环境规范和文档清晰度等方面的不足,并提出了可重复性成熟度模型以提升评估的全面性。
2025-11-29 cs.LG cs.SE
Generating Unit Tests for Documentation
软件项目捕获各种工件中的信息,包括源代码、测试和文档。这样的伪像通常编码冗余的信息,即,当编码在源代码中的规范也被单独测试和记录时。如果没有技术支持,这种重复很容易导致不一致和文件质量下降。我们设计了一种工具支持的技术,称为DScribe,它利用测试和文档之间的冗余来生成一致的和可检查的文档和基于单一信息源的单元测试。DScribe基于新的模板和工件生成技术生成单元测试和文档片段。通过配对测试和文档生成,DScribe提供了一种自动检测和替换过时文档的机制。我们对Apache Commons IO库的评估显示,在835个关于异常处理的规范中,85%的规范没有经过测试或正确记录,而DScribe可以用来自动生成97%的测试和文档。
2020-05-20 cs.SE
Explainability as a Compliance Requirement: What Regulated Industries Need from AI Tools for Design Artifact Generation
本研究通过访谈安全关键行业从业者,揭示了AI设计制品生成工具因缺乏可解释性导致的合规风险与效率损失,并提出了来源追踪、决策理由和合规验证等改进路线图。
2025-07-12 cs.SE
WIP: Assessing the Effectiveness of ChatGPT in Preparatory Testing Activities
本研究在Capstone课程中评估ChatGPT生成准备性测试制品的有效性,发现其能自动化多数任务但无法完全替代人类,建议逐步将AI引入软件测试教育。
2025-03-05 cs.AI cs.SE
Semantically Enhanced Software Traceability Using Deep Learning Techniques
在大多数安全关键领域中,认证机构规定了对可追溯性的需求。跟踪链接通常是在需求、设计、源代码、测试用例和其他工件之间创建的,然而,手动创建这样的链接既耗时又容易出错。自动化解决方案使用信息检索和机器学习技术来生成跟踪链接,然而,当前技术未能理解软件工件的语义或将领域知识集成到跟踪过程中,因此倾向于提供不精确和不准确的结果。在本文中,我们提出了一个解决方案,使用深度学习将需求工件语义和领域知识纳入跟踪解决方案。我们提出了一个跟踪网络架构,利用词嵌入和递归神经网络(RNN)模型来生成跟踪链接。词嵌入学习表示领域语料库知识的词向量,RNN使用这些词向量来学习需求工件的句子语义。我们使用正训练控制域中现有的跟踪链路训练了360种不同配置的跟踪网络,并将双向门控递归单元(BI-GRU)确定为跟踪任务的最佳模型。BI-GRU的性能明显优于最先进的跟踪方法,包括向量空间模型和潜在语义索引。
2018-04-06 cs.SE
Analyzing and Mitigating (with LLMs) the Security Misconfigurations of Helm Charts from Artifact Hub
本研究提出流水线从Artifact Hub挖掘Helm charts,用Checkov和KICS分析错误配置,并利用LLM生成缓解重构,同时评估工具与LLM输出中的误报,以提升K8s部署安全性。
2024-03-14 cs.SE
Advancing Trace Recovery Evaluation - Applied Information Retrieval in a Software Engineering Context
软件系统的成功开发涉及软件工件之间的有效导航。结构化信息的一种实践方法是在工件之间建立跟踪链接,这也是几个开发标准所强制执行的实践。不幸的是,在不断发展的系统中手动维护跟踪链接是一项繁琐的任务。为了解决这个问题,一些研究人员提出了治疗的捕获和恢复跟踪链接的信息检索(IR)的问题。该工作包含对基于IR的痕量回收的先前评价的系统性文献综述(SLR)。我们发现,大多数以前的评估都是以技术为导向的,在“IR评估的洞穴”中进行,使用小数据集作为实验输入。此外,源于学生项目的软件工件经常被用于评估。我们在可追溯性研究人员中进行了一项调查,发现大多数人认为学生的工件只能部分代表工业同行。我们的研究结果需要更多的案例研究,以评估基于IR的痕量恢复在工业环境的全部复杂性。此外,本论文有助于在两个实验与工业软件工件的IR为基础的痕迹恢复的经验证据的身体。以技术为导向的实验突出了数据集之间的明显依赖性和基于IR的痕迹恢复的准确性,与SLR的发现一致。以人为本的实验研究了不同质量水平的工具输出如何影响工程师的跟踪精度。最后,我们提出了如何在IR研究的一般领域的工具和方法进行评估,并提出了一个分类的评估上下文为基础的跟踪恢复。
2016-02-24 cs.SE
Traceability Support for Multi-Lingual Software Projects
软件可追溯性在不同的软件工件(如需求、设计、代码和测试用例)之间建立关联。由于手工创建和维护链接的成本很高,许多研究人员提出了基于信息检索技术的自动化方法。然而,许多全球分布的软件项目产生用两种或更多种语言编写的软件工件。混合语言的使用降低了自动跟踪解决方案的效率。在本文中,我们首先分析和讨论跨多个项目的混合语言使用的模式,然后评估几种不同的跟踪算法,包括向量空间模型(VSM),潜在语义索引(LSI),潜在狄利克雷分配(LDA),以及各种模型,结合单语言和跨语言的词嵌入与生成向量空间模型(GVSM)。基于对14个汉英项目的分析,我们的结果表明,使用单语种词嵌入集成到GVSM与机器翻译作为预处理步骤,实现了最佳的性能。
2020-06-30 cs.SE
The Perception and Impact of Non-inclusive Language in Software Artifacts
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);University of Jeddah(吉达大学)
通过调查1517名开源贡献者,研究软件开发者对非包容性术语的感知及其对团队动态、生产力、归属感和幸福感的影响,发现不同人口群体感知和影响存在差异。
2026-07-02 cs.SE
Improving the Effectiveness of Traceability Link Recovery using Hierarchical Bayesian Networks
William & Mary(威廉与玛丽学院);Cisco Advanced Security Research Group(思科高级安全研究组);Cisco Security and Trust Engineering(思科安全与信任工程部)
可追溯性是现代软件开发过程的基本组成部分,有助于确保程序正常运行和安全。由于手动建立跟踪链接的成本很高,研究人员已经开发出自动化的方法,使用相似性度量来绘制文本软件工件之间的关系。然而,这种技术的有效性往往是有限的,因为它们只利用单一的测量工件相似性,不能同时建模(隐式和显式)的各种开发工件的组之间的关系。在本文中,我们说明了如何通过使用量身定制的概率模型来克服这些限制。为此,我们设计并实现了一个层次化的ProObjectiveModel for SoftwarE Traceability(彗星),它能够推断出候选跟踪链接。Comet能够通过结合文本相似性的多种测量的互补观察能力来建模工件之间的关系。此外,我们的模型可以从整体上整合来自不同来源的信息,包括开发人员的反馈和软件工件组之间的传递(通常是隐式的)关系,以提高推理的准确性。我们对Comet进行了全面的实证评估,说明了在最佳情况下$\approx$ 14%的一组最佳配置基线上的改进,以及在所有受试者中$\approx$ 5%的平均精度。Comet在实践中的相对有效性可能更高,因为通常不可能进行最佳配置。最后,我们在对使用原型Comet Jenkins插件的Cisco Systems开发人员的调查中说明了Comet的实用性潜力。
2022-04-11 cs.AI cs.SE
EmbC-Test: How to Speed Up Embedded Software Testing Using LLMs and RAG
Technical University of Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与智能研究所);Hydac Software GmbH(海达克软件有限公司)
本文提出利用LLMs和RAG技术,通过生成自动测试用例,显著提高嵌入式软件测试效率,节省66%的测试时间并每小时生成270个测试用例。
2026-03-10 cs.SE
RiskHarvester: A Risk-based Tool to Prioritize Secret Removal Efforts in Software Artifacts
本文提出RiskHarvester工具,通过评估资产价值和攻击易度计算安全风险评分,帮助开发者优先移除软件制品中的机密,实验证明其高精确率且86%开发者愿按风险评分排序移除。
2025-02-03 cs.CR cs.SE