Automatically detecting the conflicts between software requirements based on finer semantic analysis
Beihang University(北京航空航天大学)
背景:软件需求之间的冲突给产品开发带来了不确定性。已经提出了一些很好的方法来识别这些冲突。然而,它们通常需要用特定的模板表示的软件需求和/或依赖于其他外部资源,这在实践中通常很难为许多项目构建。目的:本文提出了一种基于语义分析的需求冲突检测器(FSARC),通过分析自然语言功能需求的语义成分,自动检测它们之间的冲突。方法:建立一个统一的八元组形式的功能需求语义元模型。然后,我们提出了算法来自动分析的语言特征的需求和注释的语义元素的语义模型的建设。根据文本模式和语义依赖性,定义了七种冲突类型及其启发式检测规则。最后,设计并实现了冲突检测算法。结果如下:在四个需求数据集上的实验表明,FSARC的冲突检测召回率接近100%,平均准确率为83.88%。结论:我们提供了一个有用的工具来检测自然语言功能需求之间的冲突,以提高最终的需求集的质量。此外,该方法能够将自然语言的功能需求转换为8个语义元组,不仅可以用于需求间冲突的检测,还可以用于需求间关联的构建等任务。
2021-03-03 cs.AI cs.SE
RTj: a Java framework for detecting and refactoring rotten green test cases
烂绿测试是指至少有一个断言没有执行的测试。这给了开发者一种虚假的信心。在本文中,我们提出,RTJ,一个框架,分析测试用例从Java项目的目标是检测和重构腐烂的测试用例。RTj从GitHub上托管的26个开源Java项目中自动发现了427个烂测试。使用RTj,开发人员可以自动推荐需要修改的测试,以提高测试中应用程序的质量。
2019-12-16 cs.SE
Yuga: Automatically Detecting Lifetime Annotation Bugs in the Rust Language
针对Rust中不正确的生命周期标注导致的内存安全漏洞,提出静态分析工具Yuga,采用多阶段分析(模式匹配与别名分析)自动检测此类缺陷,并公开数据集验证其高精度。
2025-01-24 cs.SE
Willful Disobedience: Automatically Detecting Failures in Agentic Traces
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文提出AgentPex工具,通过提取规则自动评估代理轨迹,发现传统仅关注结果的评估方法无法检测到关键流程故障,如错误的工作流路由、不安全的工具使用或违反提示规则的情况。
2026-05-08 cs.AI cs.SE
Wait, wasn't that code here before? Detecting Outdated Software Documentation
本文针对软件文档易过时的问题,基于作者此前提出的过时代码引用检测方法,开发了一个 GitHub Actions 工具,可在每次提交拉取请求时自动扫描项目文档中的过时引用,帮助开发者维护文档时效性。
2023-07-10 cs.SE
A Pilot Study on Detecting Software Design Patterns with Large Language Models: An Empirical Evaluation
School of Computing, University of Otago(奥塔哥大学计算机学院)
本文评估了四种大语言模型和两种集成方法在检测五种设计模式(单例、适配器、桥接、组合和装饰器)中的性能,发现NextCoder和Gemma 3在准确性上表现更优,集成方法提升了整体效率。
2026-04-19 cs.SE
Automatically Detecting Numerical Instability in Machine Learning Applications via Soft Assertions
本文提出软断言方法,通过自动训练的ML模型编码数值不稳定条件,引导输入变异以触发错误,在GRIST和真实应用中有效检测数值错误。
2025-04-23 cs.SE
Learning how to listen: Automatically finding bug patterns in event-driven JavaScript APIs
事件驱动编程在JavaScript社区中得到了广泛的实践,在客户端处理UI事件和AJAX请求,在服务器端处理文件或网络I/O等长时间运行的操作。许多流行的基于事件的API允许将事件名称指定为自由格式的字符串而不进行任何验证,这可能导致未注册侦听器的事件丢失,以及从未发出的事件的死侦听器。在以前的工作中,Madsen等人提出了一种用于检测此类问题的精确静态分析,但他们的分析无法扩展,因为它可能需要大量的上下文,这些上下文在程序大小上是指数级的。集中在检测死侦听器的问题,我们提出了一种方法来学习如何正确使用基于事件的API,首先使用一个简单的静态分析挖掘一个大型的JavaScript代码语料库,以识别注册事件侦听器的代码片段,然后应用统计建模来识别异常模式,这往往表明不正确的API使用。通过对127,531个开源JavaScript代码库的大规模评估,我们的技术能够检测到75个异常标记注册模式,同时在我们的验证集上保持90.9%的精度和7.5%的召回率,这表明基于学习的方法来检测事件处理错误是可行的。在另一个实验中,我们调查了25个开源项目中这些模式的实例,并向项目维护人员报告了30个问题,其中7个已被确认为bug。
2022-02-11 cs.SE
PopSweeper: Automatically Detecting and Resolving App-Blocking Pop-Ups to Assist Automated Mobile GUI Testing
本文提出 PopSweeper,利用深度学习视觉方法实时检测移动应用阻塞弹窗并定位关闭按钮,以低开销提升自动化 GUI 测试的连续性、准确性与效率。
2024-12-04 cs.SE
A manual categorization of new quality issues on automatically-generated tests
针对自动生成测试存在过往测试坏味未覆盖的质量问题这一研究空白,通过对2340个测试的人工分析与主题分类,提出含13类新问题的分类体系、其出现频率及8项质量提升建议。
2023-12-14 cs.SE
Petri Nets-based Methods on Automatically Detecting for Concurrency Bugs in Rust Programs
Tongji university(同济大学)
本文提出一种基于Petri网的Rust并发缺陷检测方法,通过语法保持的程序转换、上下文感知状态压缩和可达性分析,结合流敏感指针分析,在基准测试中显著降低了误报和漏报,并实现了比动态工具Miri更快的验证速度。
2025-09-23 cs.FL cs.PL cs.SE
Automatic Detecting Unethical Behavior in Open-source Software Projects
鉴于开源软件(OSS)项目的快速增长,道德考虑变得越来越重要。过去的研究集中在特定的伦理问题上(例如,开放源码软件中的性别偏见和公平性)。在OSS项目中,几乎没有关于不同类型的不道德行为的研究。本文首次从利益相关者的角度对OSS项目中的不道德行为进行了研究。我们对316个GitHub问题的研究提供了一个由六个道德原则指导的15种不道德行为的分类(例如,新的不道德行为的例子包括软分叉(复制一个仓库而不分叉)和自我推广(推广一个仓库而不自我识别为仓库的贡献者)。我们还确定了18种受不道德行为影响的软件工件。在我们的研究中发现的各种类型的不道德行为(1)在GitHub中做出贡献时,需要引起开发人员和研究人员的注意,(2)指出了OSS项目中自动检测不道德行为的未来研究。基于我们的研究,我们提出了Etor,一种可以自动检测六种类型的不道德行为的方法,通过使用本体工程和语义Web规则语言(SWRL)规则来建模GitHub属性和软件工件。我们对195,621个GitHub问题(1,765个GitHub存储库)的评估显示,Etor可以自动检测548个不道德行为,平均真阳性率为74.8%。这表明了OSS项目中自动检测不道德行为的可行性。
2023-02-23 cs.SE
Detecting False Alarms from Automatic Static Analysis Tools: How Far are We?
自动静态分析工具(ASAT),如Findbugs,具有很高的误报率。产生的大量假警报对采用构成了障碍。研究人员已经提出使用机器学习来修剪错误警报,并仅向开发人员提供可操作的警告。这项最先进的研究已经确定了一组“黄金特性”,这些特性是基于对文件、代码和警告的特征和历史记录计算的度量标准。最近的研究表明,使用这些特征的机器学习非常有效,并且它们几乎达到了完美的性能。我们进行了详细的分析,以更好地了解“黄金特性”的强劲表现。我们发现,有几项研究使用了一种实验程序,导致数据泄漏和数据重复,这是具有重大意义的微妙问题。首先,地面事实标签已经泄露到测量给定上下文中可操作警告比例的功能中。其次,测试数据集中的许多警告出现在训练数据集中。接下来,我们展示了确定地面实况标签的警告预言中的局限性,这是一种将给定版本中的警告与未来的参考版本进行比较的启发式方法。我们发现,参考修订的选择影响的警告分布。此外,启发式产生的标签与人类的预言不一致。因此,以前看到的这些技术的强大性能是过于乐观的,如果在实践中采用它们的真实性能。我们的研究结果传达了几个教训,并提供评估虚警检测器的指导方针。
2022-02-12 cs.SE
Automatically Detecting and Fixing Deadlocks in Go Code with GoDDaR
NOVA LINCS;NOVA FCT(NOVA科学技术学院)
GoDDaR 通过将 Go 源码转为中间表示并进行符号分析,检测全局和部分死锁,并生成修复差异,在检测上与顶尖方法相当,并推进了自动修复技术。
2026-10-08 cs.DC cs.PL cs.SE
Mind the Gap: On the Relationship Between Automatically Measured and Self-Reported Productivity
提高软件开发人员的生产率一直是软件工程研究的圣杯。但是,在我们宣称已经改进之前,我们必须首先能够衡量生产率。这绝非小事。事实上,关于软件工程师生产力的两条独立的研究路线几乎完全孤立地共存了很长一段时间:一方面是自动化产品和过程测量,另一方面是自我报告或感知的生产力。在这篇文章中,我们弥合了两者之间的差距与81软件开发人员在微软的实证研究。
2020-12-14 cs.SE
HapCiD: Detecting API-related Compatibility Issues in OpenHarmony Apps
Beihang University(北京航空航天大学);Australian National University(澳大利亚国立大学)
针对OpenHarmony应用,提出开源工具HapCiD自动检测API兼容性问题,在4,478个应用中准确识别163个应用的2,040个问题,并分类研究及提出改进建议。
2026-09-18 cs.SE
Parichayana: An Eclipse Plugin for Detecting Exception Handling Anti-Patterns and Code Smells in Java Programs
反模式和代码气味是源代码中的标志,它们不是缺陷(不会阻止程序运行,也不会导致编译错误),而是更深层次和更大问题的指标。异常处理是一种编程构造,设计用于处理异常或异常条件(改变程序执行的正常流程)的发生。在本文中,我们提出了一个Eclipse插件(称为Parichayana),用于检测Java程序中的异常处理反模式和代码气味。Parichayana能够自动检测几个常见的例外处理编程错误。我们扩展了Eclipse IDE,并通过Parichayana插件(托管在GitHub上的免费开源)创建了新的菜单项和相关操作。我们比较和对比Parichayana与几个代码气味检测工具,并证明我们的工具提供了独特的能力,在现有的工具。我们已经创建了一个更新站点,开发人员可以使用Eclipse更新管理器从我们的站点安装Parichayana。我们在几个基于Java的大型开源项目中使用了Parichyana,并检测到异常处理反模式的存在
2016-12-31 cs.SE
Evaluating Large Language Models in Detecting Test Smells
本研究评估了ChatGPT-4、Mistral Large和Gemini Advanced三种大型语言模型在七种编程语言代码库中自动检测30种测试坏味的能力,发现它们分别识别出21、15和17种,展现了作为测试坏味检测工具的潜力。
2024-07-30 cs.SE
Automatically Detecting Checked-In Secrets in Android Apps: How Far Are We?
McGill University(麦吉尔大学);Concordia University(康考迪亚大学)
本文实证评估了三种已检入密钥检测工具在 5,135 个安卓应用上的表现,发现现有工具存在大量漏报但具有互补性,并提出基于方法内字符串组分析以克服混淆挑战的新策略。
2025-11-10 cs.CR cs.SE
Automatically Identifying Relations Between Self-Admitted Technical Debt Across Different Sources
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence(伯努利数学、计算机科学与人工智能研究所);University of Groningen(格罗宁根大学)
自我承认的技术债务或SATD可以在各种来源中找到,例如源代码注释,提交消息,问题跟踪系统和拉取请求。以往的研究已经建立了不同来源的SATD项目之间的关系,这种关系可以是有用的调查和改善SATD管理。然而,目前缺乏自动检测这些SATD关系的方法。为了解决这个问题,我们提出并评估了自动识别不同来源的SATD关系的方法。我们的研究结果表明,我们的方法优于基线方法的大幅度,实现了平均F1得分为0.829,在确定SATD项目之间的关系。此外,我们探讨了103个开源项目中的SATD关系的特点,描述了9个主要案例,其中相关的SATD记录在第二个来源,并给出了26种关系的定量概述。
2023-03-13 cs.AI cs.SE
Towards Automatically Addressing Self-Admitted Technical Debt: How Far Are We?
Università della Svizzera italiana (USI)(瑞士意大利语区大学(USI));University of Sannio(桑尼奥大学)
本文构建5,039个SATD移除数据集并评估七种生成式DL配置及LLM聊天机器人,发现最佳模型仅能自动修复约2%至8%的实例,预训练与SATD注释输入至关重要。
2023-08-17 cs.AI cs.SE
Detecting Security Patches via Behavioral Data in Code Repositories
Tel-Aviv University(特拉维夫大学)
当今绝大多数软件都是使用协作版本控制工具(如Git)协作开发的。通常的做法是,一旦发现并修复了漏洞,软件背后的开发人员就会发布一个常见漏洞和暴露或CVE记录,以提醒用户社区注意安全隐患,并敦促他们集成安全补丁。然而,有些公司可能不会披露他们的漏洞,只是更新他们的存储库。因此,用户不知道该漏洞,并可能仍然暴露。在本文中,我们提出了一个系统来自动识别安全补丁,只使用Git存储库中的开发人员行为,而不分析代码本身或伴随修复的注释(提交消息)。我们可以发现隐藏的安全补丁,准确率为88.3%,F1得分为89.8%。这是第一次提出一个语言无关的解决方案。
2023-02-04 cs.CR cs.LG cs.SE