A ground-truth dataset and classification model for detecting bots in GitHub issue and PR comments
University of Mons(蒙斯大学)
机器人经常在Github存储库中使用,以自动化分布式软件开发过程中的重复活动。他们通过评论与人类演员交流。虽然由于许多原因,检测它们的存在是重要的,但没有大的和有代表性的真值数据集可用,也没有分类模型来基于这样的数据集检测和验证机器人。本文提出了一个真值数据集,该数据集基于对5,000个不同Github账户的拉取请求和问题评论的手动分析,其中527个已被识别为机器人。使用这个数据集,我们提出了一个自动分类模型来检测机器人,将每个帐户的空评论和非空评论的数量、评论模式的数量以及评论模式中评论之间的不平等作为主要特征。我们在包含40%数据的测试集上获得了非常高的加权平均精确度,召回率和F1分数为0.98。我们将分类模型集成到一个开源命令行工具中,以允许从业者检测给定Github存储库中的哪些帐户实际上对应于机器人。
2021-01-19 cs.LG cs.SE
Beyond Textual Issues: Understanding the Usage and Impact of GitHub Reactions
最近,GitHub推出了一个新的社交功能,名为reactions,它是一种“图形字符”,类似于目前在基于文本的通信中广泛使用的表情符号。特别是,GitHub用户可以使用一组预定义的符号来响应问题和拉取请求。然而,人们对GitHub反应的实际使用和影响知之甚少。在本文中,我们分析了开发人员对超过250万个问题和970万个问题评论的反应,以回答关于反应的使用和采用的九个研究问题。我们表明,反应越来越多地被开源开发人员使用。此外,我们还发现,有反应的问题通常需要更多的时间来处理,并进行更长的讨论。
2019-10-01 cs.SE
Beyond Duplicates: Towards Understanding and Predicting Link Types in Issue Tracking Systems
University of Hamburg(汉堡大学)
软件项目使用JIRA等问题跟踪系统(Issue Tracking Systems,ITS)来跟踪问题并围绕问题组织工作流。问题通常通过不同的链接相互连接,例如默认的JIRA链接类型Duplicate,Relate,Block或Subtask。虽然以前的研究主要集中在分析和预测重复链接,这项工作的目的是了解各种其他链接类型,其流行程度和特点,以更可靠的链接类型预测。为此,我们研究了15个公共JIRA存储库中连接698,790个问题的607,208个链接。除了默认类型外,自定义类型Depend、Incorporate、Split和Cause也很常见。我们手动将存储库中使用的所有75种链接类型分为五个一般类别:一般关系,重复,组合,时间/因果和工作流。比较相应图的结构,我们观察到几个趋势。例如,复制链接倾向于表示通常具有两个组件的更简单的问题图,而组合链接表示最高数量的分层树结构(97.7%)。令人惊讶的是,一般关系链接的传递性得分明显高于重复和时间/因果链接。出于链接类型之间的差异及其受欢迎程度,我们评估了JIRA数据集文献中两种最先进的重复检测方法的鲁棒性。我们发现,目前的深度学习方法在几乎所有的存储库中都混淆了重复和其他链接。平均而言,一种方法的分类准确率下降了6%,另一种方法下降了12%。使用其他链接类型扩展训练集似乎可以部分解决这个问题。我们讨论了我们的研究结果及其对研究和实践…
2022-04-27 cs.AI cs.SE
Classifying Issues in Open-source GitHub Repositories
该研究面向 GitHub 开源仓库问题标签缺失问题,分析知名仓库并用 ML 与 DNN 模型将 issue 分为 Bug、API、Documentation 等常见类别,以提升分派与开发效率。
2025-07-25 cs.SE
What Makes a GitHub Issue Ready for Copilot?
École de Technologie Supérieure, Université de Québec(魁北克大学技术学院)
本文提出32条准则,通过可解释机器学习模型评估GitHub问题质量,提升Copilot合并拉取请求的可能性,模型中位AUC达72%。
2025-12-24 cs.SE
QuerTCI: A Tool Integrating GitHub Issue Querying with Comment Classification
经验软件工程(ESE)研究人员研究(开源)项目问题以及其中的评论和线程,以发现开发人员在整合新技术、平台和程序设计语言结构时面临的挑战。然而,这样的线索积累,变得笨拙,阻碍任何洞察力研究人员可能获得。虽然现有的方法通过对问题线程评论进行分类来减轻这种负担,但是在搜索流行的开源软件存储库(例如,GitHub上的那些),用于包含特定关键字的问题,并将结果输入分类模型。本文展示了一个名为QuerTCI的研究基础设施工具,它通过将GitHub问题评论搜索API与现有方法中的分类模型集成来弥合这一差距。使用查询,ESE研究人员可以检索包含特定关键字的GitHub问题,例如,这些问题与特定的程序设计语言结构有关,然后对这些问题中发生的讨论进行分类。我们希望ESE研究人员可以使用我们的工具,通过流行的开源存储库,使用特定的关键字,比以前更无缝地发现与特定技术相关的挑战。工具演示视频可以在https://youtu.be/fADKSxn0QUk上找到。
2022-07-19 cs.SE
"Won't We Fix this Issue?" Qualitative Characterization and Automated Identification of Wontfix Issues on GitHub
背景:以bug报告和Github问题的形式解决用户请求是任何成功软件项目的关键任务。然而,用户提交的问题报告往往在质量上存在很大差异,开发人员需要花费大量时间来处理它们。目标:通过收集279个GitHub项目的约6,000个问题的数据集,我们观察到开发人员花费了大量时间(即,大约五个月,平均)之前标记为wontfix的问题。出于这个原因,在本文中,我们实证研究的性质wontfix问题和方法,以促进问题管理过程。方法:我们首先手动分析了667 wontfix问题的样本,从异构项目中提取,调查背后的“wontfix决定”,wontfix问题的主要特征和潜在的因素,可以连接到关闭它们的时间的共同原因。此外,我们实验的方法,使wontfix问题的预测,通过分析提交时报告的问题的标题和描述。结果和结论:我们的调查揭示了wontfix问题的特征,以及可能影响做出“wontfix决定”所需时间的潜在因素。我们的研究结果还表明,有可能以较高的精确度,召回率和F-测量(90%-93%)的平均值来预测wontfix问题。
2021-07-21 cs.SE
GIRT-Data: Sampling GitHub Issue Report Templates
GitHub的问题报告为开发人员提供了对软件开发项目的发展至关重要的宝贵信息。贡献者可以使用这些报告来执行软件工程任务,如提交bug、请求功能和协作构思。在最初版本的问题报告中,没有使用它们的标准方法。因此,问题报告的质量差别很大。为了提高问题报告的质量,GitHub引入了问题报告模板(IRT),当打开新问题时,该模板会预填充问题描述。IRT通常包含问候贡献者,描述项目指南和收集相关信息。然而,尽管这个功能在2016年推出,但只有近5%的GitHub存储库(超过10颗星)使用它。目前关于IRT的文章很少,可用的文章只考虑了少数存储库。在这项工作中,我们引入了GIRT数据,这是YAML和Markdown格式的第一个也是最大的IRT数据集。该数据集及其相应的开源爬虫工具旨在支持这一领域的研究,并鼓励更多的开发人员在其存储库中使用IRT。数据集的稳定版本包含1,084,300个存储库,其中50,032个支持IRT。数据集和爬虫程序的稳定版本可在此处获得:www.example.com
2023-03-21 cs.SE
Deciphering WONTFIX: A Mixed-Method Study on Why GitHub Issues Get Rejected
Boise State University(博伊西州立大学);The University of Tennessee(田纳西大学)
本研究采用混合方法分析GitHub 3132个热门仓库的wontfix标签使用情况,发现约30%项目使用该标签,归纳出八大使用原因,指出其是资源管理关键工具但可能影响社区参与与管理透明度。
2025-10-01 cs.SE
IssueGuard: Real-Time Secret Leak Prevention Tool for GitHub Issue Reports
Brac University(布拉大学);The University of British Columbia(不列颠哥伦比亚大学);York University(约克大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
IssueGuard通过实时检测和防止在GitHub问题报告中泄露敏感信息,利用正则表达式和CodeBERT模型实现高准确率的分类,有效识别真实秘密并避免误报。
2026-04-08 cs.CR cs.SE
Visual Analysis of GitHub Issues to Gain Insights
本文提出一个原型Web应用,通过可视化GitHub issues时间线与生命周期揭示相关因素,帮助开发者快速理解issue解决过程与项目开发模式。
2024-07-30 cs.HC cs.SE
What Drives Issue Resolution Speed? An Empirical Study of Scientific Workflow Systems on GitHub
University of Saskatchewan(萨斯喀彻温大学)
本文通过实证研究分析了GitHub上科学工作流系统中问题解决速度的影响因素,发现标签和分配问题等机制与更快的解决速度相关,并提出了改进建议。
2026-01-16 cs.SE
What Do Users Ask in Open-Source AI Repositories? An Empirical Study of GitHub Issues
受益于大规模数据集的可用性和不断增加的计算能力的人工智能系统已经成为各种关键任务(诸如自然语言理解、语音识别和图像处理)的有效解决方案。这些人工智能系统的进步与开源软件(OSS)密不可分。本文提出了一项实证研究,调查开源AI存储库中的问题,以帮助开发人员在使用AI系统的过程中理解问题。我们从PapersWithCode平台收集了576个仓库。在这些存储库中,我们通过使用GitHub REST API发现了24,953个问题。我们的实证研究包括三个阶段。首先,我们手动分析这些问题,对开发人员在开源AI存储库中可能遇到的问题进行分类。具体来说,我们提供了与AI系统相关的13个类别的分类。最常见的两个问题是运行时错误(23.18%)和指令不清晰(19.53%)。第二,我们看到67.5%的问题已经关闭。我们还发现,这些问题中有一半在四天内解决。此外,问题管理功能,例如,标签和分配,在开源AI存储库中没有被广泛采用。特别是,分别只有7.81%和5.9%的存储库标记问题并将这些问题分配给受让人。最后,我们通过经验证明,使用GitHub问题管理功能并编写详细描述的问题有助于解决问题。根据我们的研究结果,我们为开发人员提出了建议,以帮助更好地管理开源AI存储库的问题并提高其质量。
2023-03-17 cs.SE
How heated is it? Understanding GitHub locked issues
尽管开源软件的问题是为了讨论和解决技术问题而创建的,但对话可能会变得激烈,讨论者会因为各种原因而变得愤怒和/或激动,例如糟糕的建议或违反社区惯例。为了防止和缓解讨论变得激烈,GitHub等工具引入了锁定违反行为准则或其他社区准则的问题讨论的功能。尽管有一些关于锁定问题的早期研究,但对社区如何使用此功能以及依赖锁定问题数据集作为激烈讨论的甲骨文的研究人员的有效性的潜在威胁缺乏了解。为了解决这一差距,我们(i)定量分析了79个GitHub项目,这些项目至少有一个问题被锁定为过热,(ii)定性分析了79个项目中所有被锁定为过热的问题,总共205个问题,包括5,511条评论。我们发现,项目在锁定问题时有不同的行为:54个项目锁定了不到10%的已关闭问题,14个项目锁定了90%以上的已关闭问题。此外,锁定的问题往往与非锁定的问题具有类似数量的评论,参与者和表情符号反应。在205个被锁定为“过于激烈”的问题中,我们发现三分之一的评论不包含任何不文明的话语,只有8.82%的评论是不文明的。最后,我们发现维护人员提供的锁定理由并不总是与用于锁定问题的标签相匹配。根据我们的研究结果,我们确定了在使用GitHub锁定的问题数据时需要避免的三个陷阱,并为研究人员和从业者提供了建议。
2022-04-01 cs.HC cs.SE
Understanding Quantum Software Engineering Challenges An Empirical Study on Stack Exchange Forums and GitHub Issues
随着量子计算的发展,量子软件对于探索量子计算系统的全部潜力至关重要。近年来,量子软件工程(QSE)成为一个新兴的领域,受到越来越多的关注。然而,目前尚不清楚软件工程社区面临的量子计算的挑战和机遇是什么。这项工作旨在了解开发人员所感知的QSE相关挑战。我们在Stack Exchange论坛上进行了实证研究,开发人员在那里发布了QSE相关的问题和答案,Github发布了开发人员在实际量子计算项目中提出QSE相关问题的报告。基于Stack Overflow上现有的问题类型分类,我们首先对Stack Exchange论坛上提出的QSE相关问题类型进行定性分析。然后,我们使用自动化主题建模来揭示与QSE相关的Stack Exchange帖子和GitHub问题报告中的主题。我们的研究强调了QSE的一些特别具有挑战性的领域,这些领域与传统的软件工程不同,例如解释量子计算代码背后的理论,解释量子程序输出,弥合量子计算和经典计算之间的知识差距,以及相关的机会。
2022-05-06 cs.SE
Predicting Merge Conflicts in Collaborative Software Development
University of Alberta(阿尔伯塔大学);University of British Columbia(不列颠哥伦比亚大学)
背景在协作软件开发过程中,开发人员经常使用分支来添加功能或修复错误。当合并来自两个分支的更改时,如果更改不一致,则可能发生冲突。开发人员需要在完成合并之前解决这些冲突,这是一个容易出错且耗时的过程。合并冲突的早期检测是处理此问题的方法之一,它警告开发人员在冲突变得庞大和复杂之前解决冲突。现有技术通过在后台连续地拉取和合并分支的所有组合来实现这一点,以在冲突发生时立即通知开发人员,这是计算上昂贵的过程。降低此成本的一种潜在方法是使用基于机器学习的冲突预测器,该预测器过滤掉不太可能具有冲突的合并场景,即安全合并场景。目标。在本文中,我们评估冲突预测是否可行。法我们设计了一个分类器预测合并冲突,基于9个轻量级的Git功能集。为了评估我们的预测器,我们对来自7种程序设计语言的744个GitHub存储库的267,657个合并场景进行了大规模研究。结果我们的研究结果表明,我们实现了高f1分数,从0.95到0.97不同的程序设计语言,预测安全合并的情况下。对于冲突的合并场景,f1分数在0.57和0.68之间。结论.预测合并冲突在实践中是可行的,特别是在预测安全合并场景作为推测性合并的预过滤步骤的上下文中。
2019-07-14 cs.LG cs.SE
How are Diverse End-user Human-centric Issues Discussed on GitHub?
许多软件系统无法满足社会上不同最终用户的需求,并且容易产生问题,例如可访问性和可用性问题。其中一些问题(部分)源于在软件开发过程中未能考虑不同最终用户的特性,限制和能力。我们把这类问题称为以人为中心的问题。尽管它们很重要,但对开发人员遇到的以人为中心的问题类型的理解有限。深入了解这些以人为中心的问题是设计软件系统,更好地满足其不同的最终用户的需求。本文旨在为软件开发和研究社区提供见解,其中以人为本的问题是GitHub上开发人员讨论的主题。我们进行了一项实证研究,从12个不同的项目中提取并手动分析了1,691条问题评论,从小型到大型项目,包括为有挑战性的最终用户设计的项目,例如,视障人士和有阅读障碍的人士。我们的分析表明,开发人员讨论了八类以人为中心的问题。这些包括包容性,隐私和安全性,兼容性,位置和语言,偏好,满意度,情感方面和可访问性。在我们的研究结果的指导下,我们强调了一些影响和未来可能的路径,以进一步理解和纳入以人为本的问题,在软件开发,能够设计软件,满足不同的最终用户在社会上的需求。
2022-01-15 cs.SE
Identifying bot activity in GitHub pull request and issue comments
开发机器人在Github上用于自动化重复性活动。这些机器人通过问题评论和拉取请求评论与人类演员进行通信。识别这些机器人评论可以防止与软件开发相关的社会技术研究中的偏见。为了自动识别它们,我们提出了一个基于自然语言处理的分类模型。从19,282个PR和问题评论的平衡地面事实数据集开始,我们使用词袋和TF-IDF技术的组合将评论编码为向量。我们训练了一系列的二进制分类器,以预测基于此向量表示的评论类型(人类或机器人)。多项朴素贝叶斯分类器提供最佳结果。它在包含50%数据的测试集上的性能达到了0.88的平均精度,召回率和F1得分。尽管该模型在pull request和issue comments上显示了有希望的结果,但需要进一步的工作来将该模型推广到其他类型的活动,如提交消息和代码审查。
2021-03-10 cs.SE
Bounties in Open Source Development on GitHub: A Case Study of Bountysource Bounties
由于开源软件的自愿性质,很难找到一个开发人员来完成特定的任务。例如,有些问题报告可能过于繁琐,而且对于自愿做这些报告的人来说并不令人兴奋,但这些问题报告可能对项目的成功具有高度优先级。为了激励实施这样的问题报告,可以提出金钱奖励,即,奖励给完成该特定任务的开发人员。在本文中,我们研究了GitHub上开源项目中的奖金,以更好地了解如何利用奖金来解决问题报告方面的问题。我们调查了5,445个GitHub项目的赏金。这些赏金是通过Bountysource平台提出的,总赏金价值为406,425美元。我们发现,1)一般来说,提出奖金的时间和奖金使用频率是影响问题得到解决的可能性的最重要因素。更具体地说,如果问题报告是针对奖金使用更频繁的项目,并且如果奖金提议更早,那么问题报告更有可能得到解决。2)在以前没有使用奖金的项目中,问题报告的奖金价值是影响问题解决可能性的最重要因素。这些项目的支持者提出了更高的赏金价值来解决问题。3)对于那些将资金投资于长期问题报告的支持者来说,存在浪费资金的风险。
2019-04-04 cs.SE
MAGIS: LLM-Based Multi-Agent Framework for GitHub Issue Resolution
Fudan University(复旦大学);University of Macau(澳门大学);Sun Yat-sen University(中山大学);Chongqing University(重庆大学);The Chinese University of Hong Kong(香港中文大学)
针对LLM解决仓库级GitHub Issue的困难,本文提出多智能体框架MAGIS,通过四个专门智能体协作完成规划与编码,在SWE-bench上解决率达13.94%,较直接使用GPT-4提升八倍。
2024-06-27 cs.AI cs.SE
SentTrack: Sentiment-Driven Bottleneck Detection in GitHub Issue Repositories
University of Tennessee(田纳西大学)
提出SentTrack双管道框架,结合大语言模型摘要与ABCDE交互分类,从约9000个GitHub问题线程中检测社会技术瓶颈,发现49%线程停滞,仅13%解决,并通过加权评分引擎优先处理高摩擦讨论。
2026-06-11 cs.SE
Improving Code Review with GitHub Issue Tracking
软件质量对于技术公司来说是一个重要的问题,因为它极大地影响了最终产品的效率,有用性和可维护性;因此,代码审查是软件开发人员必须做的活动。在代码审查过程中,高级工程师监视其他开发人员的工作,以发现可能的问题并执行编码标准。GitHub是使用最广泛的开源软件平台之一,吸引了数百万开发人员使用它来存储他们的项目。本研究旨在从代码审查的角度分析GitHub上的代码质量。我们使用GitHub的Issues Tracker检查了代码审查过程,该跟踪器允许团队成员在批准之前评估,讨论和分享他们对拟议代码的意见。基于我们的分析,我们提出了一种新的方法,通过促进规律性和社区参与来改善代码审查过程。
2022-10-10 cs.SE cs.SI
Incivility in Open Source Projects: A Comprehensive Annotated Dataset of Locked GitHub Issue Threads
本文构建了一个包含 404 个锁定议题线程和 5961 条评论的标注数据集,用于分析开源项目中的不文明行为,并识别其常见特征、触发因素、目标和后果,为自动检测工具提供资源。
2024-02-06 cs.SE
How Do Developers Deal with Security Issue Reports on GitHub?
安全问题报告是告知开发团队项目中的安全风险的主要手段,但对当前的实践知之甚少。我们的目标是了解开源项目中这些报告的特征,并发现改进开发人员实践的机会。我们分析了GitHub上182个不同项目中的3,493份安全问题报告,并手动研究了333份报告及其讨论和拉取请求。我们发现,安全问题报告的数量随着时间的推移而增加,它们得到更快的解决,并且与过去几年相比,它们在更早的开发阶段被报告。然而,一小部分开发人员频繁参与,安全问题进展缓慢,其中许多问题已经悬而未决了很长一段时间。我们意识到,只有一小部分安全问题报告包括可重复性数据,很少建议潜在的修复方法,并且没有关于报告者如何发现问题的提示。我们注意到,当对安全报告的第一反应很快并且存在已知漏洞时,问题的解决时间会显著缩短。
2021-12-20 cs.CR cs.SE
What Challenges Do Developers Face in AI Agent Systems? An Empirical Study on Stack Overflow & GitHub Issues
Delft University of Technology(代尔夫特理工大学);JetBrains Research(JetBrains 研究院)
本研究通过分析Stack Overflow和GitHub问题,识别出人工智能代理系统开发中的五大主要挑战,包括环境管理、检索与记忆、协调控制、交互契约及运行时可靠性。
2026-01-23 cs.SE
An Empirical Study of ChatGPT-Related Projects and Their Issues on GitHub
本文基于 GitHub 上 200 个高星 ChatGPT 相关项目及其 23,609 个议题,通过主题建模识别三类项目和十个议题主题,分析其流行度、难度与演化差异,并为开发者和平台管理者提供改进建议。
2024-08-11 cs.SE
XAgent: eXecution-guided Agentic AI for Effective Localization and Resolution of GitHub Issues
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算机与信息学院);Monash University(蒙纳士大学)
XAgent 通过执行引导分析动态行为与程序上下文,在 SWE-bench-lite 上实现 62.0% 解决率,优于现有方法,推动从静态描述向动态执行的 GitHub 问题解决范式转变。
2026-09-10 cs.SE
Demystifying Software Release Note Issues on GitHub
发布说明(RN)总结了两个连续软件版本之间的主要更改,并在用户升级软件时作为中心信息源。虽然生成高质量的RN可能很难,并对开发人员提出了各种挑战,但仍然缺乏对这些挑战的全面经验理解。在本文中,我们通过手动分析1,731个最新的GitHub问题来弥合这一知识差距,以建立一个全面的RN问题分类,包括四个维度:内容,演示,可访问性和生产。在这些问题中,近一半(48.47%)集中在生产方面,内容、可访问性和呈现分别占25.61%、17.65%和8.27%。我们发现:1)RN生产者更有可能错过信息而不是包括不正确的信息,特别是对于破坏性的更改; 2)不正确的布局可能会隐藏重要信息并混淆用户; 3)许多用户发现RN由于链路恶化而无法访问,缺乏通知,并且混淆RN位置; 4)尽管RN生产者有很大的需求,但自动化和规范RN生产仍然具有挑战性。我们的分类法不仅描绘了一个路线图,以提高RN生产在实践中,但也揭示了有趣的自动化RN生产的未来研究方向。
2022-03-29 cs.SE
OmniGIRL: A Multilingual and Multimodal Benchmark for GitHub Issue Resolution
本文提出多语言、多模态、多领域的 GitHub Issue 解决基准 OmniGIRL,包含 959 个实例,并揭示当前大语言模型在该任务上表现有限,为后续改进提供分析。
2025-05-07 cs.SE
From Threads to Trajectories: A Multi-LLM Pipeline for Community Knowledge Extraction from GitHub Issue Discussions
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出SWE-MIMIC-Bench数据集,通过多LLM管道从GitHub讨论生成问题轨迹,用于提取复杂问题的结构化知识,提升软件工程社区的协作理解与LLM训练效果。
2026-04-28 cs.SE
FixMe: A GitHub Bot for Detecting and Monitoring On-Hold Self-Admitted Technical Debt
自我承认的技术债务(SATD)是一种特殊形式的技术债务,开发人员通过添加注释来故意在代码中记录他们的黑客行为。在这里,我们关注与问题相关的“暂停SATD”,即开发人员由于项目内部或外部报告的问题而暂停适当的实现。当所引用的问题得到解决时,还需要解决On-hold SATD,但由于监视这些问题报告需要花费大量时间和精力,因此开发人员可能不知道已解决的问题,并将On-hold SATD留在代码中。在本文中,我们提出了FixMe,这是一个GitHub机器人,可以帮助开发人员检测和监控其存储库中的On-hold SATD,并在On-hold SATD准备修复时通知他们(即解决了引用的问题)。机器人可以使用机器学习技术自动检测源代码中的等待SATD注释,并发现引用的问题。当所提到的问题得到解决时,FixMe bot将通知开发人员。对11名参与者进行的评估表明,我们的FixMe机器人可以支持他们处理等待SATD。FixMe可在https://www.fixmebot.app/上获得,FixMe的VDO可在https://youtu.be/YSz9kFxN_YQ上获得。
2021-09-07 cs.SE
Analyzing the Effects of CI/CD on Open Source Repositories in GitHub and GitLab
许多文章强调了在软件开发中实现持续集成和交付(CI/CD)管道的好处。这些管道有望提高项目的声誉,并减少存储库中的提交和问题数量。虽然CI/CD的采用最初可能会很慢,但从长远来看,它可以加速服务的交付和部署。本研究旨在调查CI/CD对两个开源存储库GitLab和GitHub中的提交速度和问题数量的影响。通过分析超过12,000个存储库并记录每个提交和问题,我们发现CI/CD将提交速度提高了141.19%,但问题数量也增加了321.21%。
2023-03-29 cs.SE
Prioritising GitHub Priority Labels
本研究针对GitHub仓库优先级标签不统一、难以跨仓库分析的问题,构建了含812个人工分类优先级标签的数据集,并开发了可提取仓库最高优先级议题的工具,助力开源社区高效处理高优议题。
2024-05-17 cs.SE
What Characteristics Make ChatGPT Effective for Software Issue Resolution? An Empirical Study of Task, Project, and Conversational Signals in GitHub Issues
Drexel University(德雷塞尔大学);Belmont University(贝尔蒙特大学);Florida State University(佛罗里达州立大学)
本文研究了ChatGPT在软件问题解决中的有效性特征,发现其在代码生成和工具推荐方面表现较好,但代码解释能力较弱,且更受欢迎的项目和经验丰富的开发者从中受益更多。
2025-09-29 cs.SE
The whos, whats, and whys of issues related to personal data and data protection in open-source projects on GitHub
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Passau(帕绍大学);IT University of Copenhagen(哥本哈根信息技术大学);University of Southern Denmark(南丹麦大学)
本研究通过归纳编码分析GitHub开源项目的652个问题,探索数据保护法规对软件开发过程的影响,发现GDPR生效显著增加了隐私讨论,且多数隐私增强请求得以顺利解决。
2025-10-14 cs.SE
Can GitHub Issues Help in App Review Classifications?
本文提出利用 GitHub issues 提取信息并扩充标注数据集的新方法,通过定义语言模式和分析方法增强应用评论分类,使 bug 报告和功能请求的 F1-score 分别提升 6.3 和 7.2。
2024-07-24 cs.SE
Exploring Moral Principles Exhibited in OSS: A Case Study on GitHub Heated Issues
本研究采用道德基础理论分析GitHub issue中的毒性交流,发现道德原则与毒性评论存在关联,为开源软件毒性检测提供了新视角。
2023-07-28 cs.SE
When Conversations Turn Into Work: A Taxonomy of Converted Discussions and Issues in GitHub
针对 GitHub Issue 与 Discussion 互转现象,本文实证分析 NPM 与 PyPI 仓库,提出两类转换原因分类并量化转换耗时,以完善渠道使用指南。
2023-07-14 cs.SE
MaintainoMATE: A GitHub App for Intelligent Automation of Maintenance Activities
North Dakota State University(北达科他州立大学)
本文提出GitHub应用MaintainoMATE,利用BERT自动分类和分配问题报告,F1分数分别达80%和54%,可提升软件质量并降低维护成本。
2023-08-31 cs.AI cs.SE
Technical Debt Management in OSS Projects: An Empirical Study on GitHub
技术债(TD)是指延迟的任务和不成熟的工件,可能会带来短期的好处,但在长期的维护和发展过程中会产生额外的更改成本。在过去的十年中,人们对TD进行了广泛的研究,许多开源软件项目被用来探索TD的具体方面,并验证TD管理的各种方法。然而,对于开放源码软件开发中的时分复用实践,仍然缺乏全面的理解,这渗透了开放源码软件社区对时分复用概念的理解,以及在开放源码软件开发中如何管理时分复用。为此,我们对整个GitHub进行了实证研究,以探索基于OSS项目中的问题的TDM的采用和执行。我们从GitHub的问题跟踪系统中收集了2009年至2020年期间分布在3,598个存储库中的35,278个标记为TD(TD问题)的问题。调查结果如下:(1)开放源码软件社区正在接受TD概念;(2)对TD实例的分析表明,TD可能会影响软件系统的内部和外部质量;(3)在31.1%的存储库中只发现了一个TD问题,在69.0%的存储库中,所有TD问题都是由一个开发人员发现的;(4)27.3%的知识库在发现TD问题后忽视了TDM;(5)在有TD标签的知识库中,32.9%的知识库放弃了TDM,只有8.2%的知识库采用TDM作为一贯做法。这些发现为TDM实践者提供了有价值的见解,并为进一步调查提供了有前途的研究方向。
2022-12-11 cs.SE
Predicting Health Indicators for Open Source Projects (using Hyperparameter Optimization)
在公共平台上开发的软件是可用于对这些项目进行预测的数据来源。虽然单个开发活动可能是随机的,很难预测,但当大型开发人员在软件项目上一起工作时,项目级别上的开发行为可以很好地预测。为了证明这一点,我们使用了来自1,159个GitHub项目的64,181个月的数据,对这些项目的最新状态(截至2020年4月)进行了各种预测。我们发现,传统的估计算法有很多错误。像$k$ -最近邻(KNN)、支持向量回归(SVR)、随机森林(RFT)、线性回归(LNR)和回归树(CART)这样的算法具有高出错率。但是使用超参数优化可以大大降低出错率。据我们所知,这是迄今为止进行的最大规模的研究,使用最新数据预测开源项目的多个健康指标。
2022-03-17 cs.SE
An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues
本研究通过分析GitHub PR和问题中共享的ChatGPT对话,揭示了开发者寻求帮助的16种咨询类型、多轮对话模式及角色特定贡献,为理解人机协作开发提供了实证基础。
2024-03-15 cs.SE
Automating the Detection of Code Vulnerabilities by Analyzing GitHub Issues
RISE AB;Delft University of Technology(代尔夫特理工大学);KTH Royal Institute of Technology(皇家理工学院(KTH));Red Hat(红帽公司)
本文提出利用基于 transformer 的模型分析 GitHub issues 以自动识别软件漏洞,构建专用分类数据集并评估多种分类技术,提供可扩展、高效的早期漏洞检测框架。
2025-01-09 cs.AI cs.CR cs.SE
The Effectiveness of Supervised Machine Learning Algorithms in Predicting Software Refactoring
重构是在不改变软件外部行为的情况下改变软件内部结构以提高其质量的过程。经验研究一再表明,重构对软件系统的可理解性和可维护性有积极的影响。然而,在执行重构活动之前,开发人员需要识别重构机会。目前,重构机会识别严重依赖于开发人员的专业知识和直觉。在本文中,我们调查的有效性机器学习算法在预测软件重构。更具体地说,我们训练了六种不同的机器学习算法(即,逻辑回归,朴素贝叶斯,支持向量机,决策树,随机森林和神经网络),数据集包含来自Apache,F-Droid和GitHub生态系统的11,149个真实项目的超过200万次重构。结果模型预测了类、方法和变量级别的20种不同重构,准确率通常高于90%。我们的研究结果表明,(i)随机森林是预测软件重构的最佳模型,(ii)过程和所有权度量似乎在创建更好的模型中发挥了至关重要的作用,(iii)模型在不同的环境中推广良好。
2020-09-11 cs.SE
RepoTrace: Browser-Assisted Evidence Collection for GitHub Research Datasets
Monash University(蒙纳士大学)
研究利用GitHub问题和拉取请求构建数据集时,传统流程证据分散难审计。RepoTrace是浏览器辅助工具,结合扩展、后端和仪表盘收集证据,验证表明可支持完整本地证据收集工作流程。
2026-08-18 cs.SE
Phoenix: Safe GitHub Issue Resolution via Multi-Agent LLMs
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);Carnegie Mellon University(卡内基梅隆大学)
提出多智能体LLM系统Phoenix,通过六个专业智能体和七层安全控制,在SWE-bench Lite子集上达到75%的解决率,并在真实问题中保持100%正确性。
2026-06-19 cs.MA cs.SE
Can Github issues be solved with Tree Of Thoughts?
本研究探索将思维树(ToT)推理框架应用于解决GitHub问题,实验表明仅靠ToT不足以超越现有方法,并提出了深化思维与引入智能体能力等改进方向。
2024-05-20 cs.AI cs.SE
Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow
本文通过分析GitHub和Stack Overflow上的用户反馈,系统揭示了AI结对编程工具Copilot的常见问题、成因及解决方案,并为用户、开发团队和研究者提供改进建议。
2024-08-31 cs.SE
Analyzing developer discussions on EU and US privacy legislation compliance in GitHub repositories
University of Cyprus(塞浦路斯大学);Singapore Management University(新加坡管理大学)
借助GitHub仓库中开发者问题数据,通过挖掘分析32820个问题(部分自动、部分手动),探究开源软件开发者为遵守隐私立法所讨论的问题,构建分类法助从业者、教育界和研究界应对隐私合规。
2026-07-07 cs.SE
Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios
Centre for Research on Intelligent Software Engineering(智能软件工程研究中心);School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本研究通过评估10个顶级智能体在SWE-Bench Verified中500个真实GitHub问题上生成的4,892个补丁,系统分析了补丁模式、代码质量与问题复杂度,揭示了现有基准的测试覆盖局限,并指出任务分解可提升智能体在复杂代码库上的表现。
2024-12-27 cs.AI cs.SE
Characterizing the Failure Modes of LLMs in Resolving Real-World GitHub Issues
Tianjin University(天津大学);University of Limerick(利默里克大学);University of Ottawa(渥太华大学)
本文通过评估三种先进模型在SWE-bench Verified数据集上的表现,揭示了LLMs在复杂修复任务中故障模式的分类,发现策略制定和逻辑综合是错误率最高的阶段,而故障定位错误率最低,同时揭示了不同模型在鲁棒性和成本上的差异。
2026-05-12 cs.SE
Whom Are You Going to Call?: Determinants of @-Mentions in GitHub Discussions
开源软件(OSS)项目的成功依赖于群众的贡献。当一个问题出现在基于拉式请求的系统中时,@-提及被用来呼吁人们进行任务;以前的研究表明,讨论中的@-提及与更快的问题解决有关。在大多数项目中,可能有许多开发人员可以在技术上处理各种任务。但OSS支持分布在各种社会和地理背景以及参与程度的动态团队。因此,重要的是要知道该向谁求助,即,谁可以信赖或信任的重要任务相关的职责,为什么。在本文中,我们试图了解开发人员的哪些可观察的社会技术属性可以用来构建良好的模型,这些模型在GitHub问题和拉请求讨论中被提到。我们建立了未来@提及的整体和特定项目预测模型,以捕捉200个GitHub项目中@提及的决定因素,并了解这些决定因素是否以及如何在项目之间存在差异。我们发现,知名度,专业知识和生产力与@-提及的增加,而响应不是,在一些控制变量的存在。此外,我们发现,尽管存在特定于项目的差异,但整体模型可用于跨项目预测,这表明其在GitHub范围内的实用性。
2018-06-21 cs.SE
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学)
本文提出 SWE-bench 评估框架,包含 2,294 个来自真实 GitHub 问题的软件工程任务,发现当前最先进模型(如 Claude 2)仅能解决 1.96% 的问题,揭示了语言模型在复杂代码推理上的局限性。
2024-11-11 cs.AI cs.CL cs.SE
Analyzing GitHub Issues and Pull Requests in nf-core Pipelines: Insights into nf-core Pipeline Repositories
University of Saskatchewan(萨斯喀彻温大学)
本文通过分析 nf-core 流水线的 GitHub 问题和拉取请求,揭示了开发和维护过程中面临的挑战,如工具开发、仓库维护及 CI 配置管理,并提出提升流水线可持续性和可重复性的方法。
2026-02-10 cs.SE