Mining API Usage Scenarios from Stack Overflow
我们提出了一个框架，从堆栈溢出挖掘API使用场景。每个任务都由一个代码示例、任务描述和开发人员对代码示例的反应组成。首先，我们提出了一种算法，可以自动将论坛帖子中的代码示例链接到论坛帖子的文本内容中提到的API。其次，我们通过总结围绕代码示例的讨论来生成任务的自然语言描述。第三，我们自动关联开发人员的反应（即，积极和消极的意见），以提供有关代码质量的信息。我们使用三个基准评估算法。
2021-02-17 cs.SE
Developer Challenges on Large Language Models: A Study of Stack Overflow and OpenAI Developer Forum Posts
本文通过 BERTopic 分析 Stack Overflow 和 OpenAI 开发者论坛帖子，识别出 LLM 开发者在 API 使用、微调、训练等方面的九类和 17 类挑战，揭示其高未解决率和长响应时间，并呼吁加强社区支持与针对性资源建设。
2024-11-22 cs.SE
Automated Paper Screening for Clinical Reviews Using Large Language Models
Cumming School of Medicine, University of Calgary（卡尔加里大学卡明医学院）；Temerty Faculty of Medicine, University of Toronto（多伦多大学特默蒂医学院）
本研究提出基于OpenAI GPT API的临床综述论文自动筛选工作流，在6篇综述超24000条数据上实现0.91的准确率，可辅助提升临床综述效率与质量。
2023-05-01 cs.AI cs.CL
Code2API: A Tool for Generating Reusable APIs from Stack Overflow Code Snippets
针对Stack Overflow代码片段无法直接测试复用的问题，提出Chrome扩展Code2API，利用LLMs的思维链推理和少样本学习自动将其转换为可调用API，评估显示其显著优于基于规则的方法。
2025-04-19 cs.SE
Scaling Down to Scale Up: A Cost-Benefit Analysis of Replacing OpenAI's LLM with Open Source SLMs in Production
Jaseci Labs（贾塞奇实验室）；University of Michigan（密歇根大学）
针对企业依赖专有LLM服务的弊端，本文提出系统性评估方法与开源工具SLaM，测试显示9款开源SLM的29个变体在产品功能中效果可比GPT-4，性能一致性更优且成本降低5~29倍。
2024-04-16 cs.AI cs.LG cs.SE
Bootstrapping Cookbooks for APIs from Crowd Knowledge on Stack Overflow
成熟的库通常都有API文档。然而，它们经常缺乏示例和解释，可能难以有效地重用它们。Stack Overflow是一个面向软件开发相关问题的问答网站。尽管越来越多地采用堆栈溢出，但与特定主题相关的信息（例如，API）分布在整个网站上。因此，Stack Overflow仍然缺乏对现有群众知识的组织。我们的目标是通过提供一个替代工件来解决API文档质量差的问题，该工件基于Stack Overflow上可用的群众知识来记录API，称为群众食谱。烹饪书是一本以食谱为导向的书，我们将我们的烹饪书称为人群烹饪书，因为它包含了人群生成的内容。烹饪书的目的是通过探索过程来使用，即浏览。在本文中，我们提出了一种半自动的方法，该方法组织了Stack Overflow上可用的人群知识，以构建API的食谱。我们已经为软件开发社区广泛使用的三种API生成了食谱：SWT，LINQ和QT。我们还定义了人群食谱必须满足的期望属性，并且我们对人类受试者的食谱进行了评估。结果表明，使用我们的方法构建的食谱，一般来说，满足这些属性。作为一个亮点，大多数食谱被认为是适当的，在食谱和有自我包含的信息。我们的结论是，我们的方法是能够自动生成足够的食谱，这可以是手动制作的食谱一样有用。这为API设计者提供了一个机会，可以用来自人群的不同观点来丰富现有的食谱，甚至可以生成新食谱的初始版本。
2019-03-21 cs.SE
Interpreting Cloud Computer Vision Pain-Points: A Mining Study of Stack Overflow
Deakin University（迪肯大学）；Monash University（莫纳什大学）
智能服务正变得越来越普遍;应用程序开发人员希望利用计算机视觉等领域的最新进展为用户提供新的服务和产品，大型技术公司通过RESTful API实现这一点。虽然这些API承诺易于集成按需机器智能，但它们当前的设计，文档和开发人员界面隐藏了许多底层机器学习技术。这样的API看起来和感觉像传统的API，但抽象出数据驱动的概率行为-开发人员以与其他传统云服务（如云存储）相同的方式处理这些API的含义是值得关注的。本研究的目的是确定开发人员在实现依赖于这些智能服务中最成熟的服务的系统时面临的各种痛点，特别是那些提供计算机视觉的系统。我们使用Stack Overflow来挖掘开发人员在使用计算机视觉服务时似乎面临的挫折的迹象，根据两个最近的分类分类法（文档相关和一般问题）对他们的问题进行分类。我们发现，与移动开发等成熟领域不同，开发人员提出的问题类型存在差异。这些都表明了对支持这种系统的底层技术的肤浅理解。我们讨论了这些发现的几个影响，通过学习分类的镜头，建议软件工程社区如何改进这些服务，并评论开发人员使用它们的性质。
2020-01-28 cs.AI cs.SE
Benchmarking Floworks against OpenAI & Anthropic: A Novel Framework for Enhanced LLM Function Calling
Floworks；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出 ThorV2 架构以增强 LLM 函数调用能力，并通过 HubSpot CRM 基准证明其在准确性、可靠性、延迟和成本效率上优于 OpenAI 与 Anthropic 的领先模型，同时能用更小模型实现更优的多步骤函数调用。
2024-10-23 cs.AI
Revolutionizing API Documentation through Summarization
École de Technologie Supérieure（蒙特利尔高等技术学院）
本文利用 Stack Overflow 用户内容，结合 BERTopic 和抽取式摘要自动生成 API 摘要，以解决官方文档冗长难用的问题，并通过开发者评估验证其实用性。
2024-01-21 cs.AI cs.CL cs.SE
Leveraging Unsupervised Learning to Summarize APIs Discussed in Stack Overflow
Carleton University（卡尔顿大学）
自动源代码摘要是一项任务，它生成有关方法和类的目的、用法和/或实现的摘要信息，以支持对这些代码实体的理解。针对代码摘要中的监督学习和无监督学习，已经提出了多种方法和技术，然而，它们大多集中于为一段代码生成摘要。此外，很少有作品利用非官方文档。本文提出了一种自动和新颖的方法来总结堆栈溢出中讨论的Android API方法，我们认为这是本研究中的非官方文档。我们的方法将API方法的名称作为输入，并基于该API方法的Stack Overflow讨论生成一个自然语言摘要。我们对16位Android开发人员进行了一项调查，以评估我们自动生成的摘要的质量，并将其与官方Android文档进行比较。我们的研究结果表明，虽然开发人员发现官方文档更有用的一般，生成的摘要也有竞争力，特别是提供实施细节，并可以用作指导开发人员在软件开发和维护任务的补充来源。
2021-11-27 cs.LG cs.SE
Leveraging Large Language Models to Build and Execute Computational Workflows
Universidad San Francisco de Quito（基多圣弗朗西斯科大学）；University of Missouri（密苏里大学）；National Center for Supercomputing Applications（美国国家超级计算应用中心）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究探讨利用大语言模型及易用API的新兴能力简化复杂科学工作流，免去传统编码需求，展示了Phyloflow与OpenAI function-calling API整合的初步成果，并提出了开发综合工作流管理系统的策略。
2023-12-12 cs.AI
AEX: Non-Intrusive Multi-Hop Attestation and Provenance for LLM APIs
AEX为现有JSON基于LLM API提供非侵入式认证扩展，通过添加签名顶层认证对象，绑定客户端可见请求投影到完整响应或流式输出，支持真实部署并防止转换输出被误认为源流前缀。
2026-03-15 cs.AI cs.CR
A Semi-Automated Solution Approach Recommender for a Given Use Case: a Case Study for AI/ML in Oncology via Scopus and OpenAI
针对文献综述耗时长、方法筛选难的问题，提出由Scopus检索、GPT 3.5方法提取评分、分析三大模块构成的SARBOLD-LLM工具，可快速推荐用例解决方案，肿瘤学案例验证其F1值达0.77，适用于工程领域的方法初筛。
2024-05-15 cs.AI cs.IR cs.LG
An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation
University of Alberta（阿尔伯塔大学）；University of Stuttgart（斯图加特大学）；Northeastern University（东北大学）
本文提出TestPilot，利用LLM依据函数签名、实现和文档示例自动生成JavaScript单元测试，并通过失败信息重提示修复；在25个npm包上验证其覆盖率显著优于Nessie且跨模型有效。
2023-12-11 cs.AI cs.SE
Flama: a Python framework for development and deployment of production-ready APIs, machine learning, and LLM services
Vortico Tech（沃尔蒂科科技）
Flama是一款开源Python框架，基于ASGI构建，统一REST API开发、ML服务与LLM推理，含七大子系统及多项内置功能，可支持多后端LLM部署等场景。
2026-08-20 cs.AI cs.LG cs.SE
FineTuneBench: How well do commercial fine-tuning APIs infuse knowledge into LLMs?
Stanford University（斯坦福大学）
研究提出评估框架FineTuneBench，测试商业微调API对LLM的知识注入与更新能力，发现现有模型学习新知识平均准确率仅37%，更新知识仅19%，揭示了商业微调服务在可靠知识注入上的重大缺陷。
2024-11-11 cs.AI cs.CL cs.IR
RAILS: Retrieval-Augmented Intelligence for Learning Software Development
Mathematics \& Information Technology Concordia University of Edmonton Edmonton, Alberta, Canada
针对LLM在软件开发中因缺乏文档而产生错误导入的问题，提出RAILS框架，利用FAISS和OpenAI嵌入检索Java资源增强LLM提示，并结合编译器反馈迭代优化建议，在78个真实案例中优于基线提示。
2025-06-28 cs.AI cs.SE
FIRST: Federated Inference Resource Scheduling Toolkit for Scientific AI Model Access
Argonne National Laboratory（阿贡国家实验室）；The University of Chicago（芝加哥大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
该研究提出联邦推理资源调度工具包FIRST，通过兼容OpenAI的API实现跨分布式HPC集群的推理即服务，支持多种AI模型与推理后端，自动扩缩资源并维护低延迟节点，满足科学工作流对私有安全AI推理的需求。
2025-10-15 cs.AI cs.DC cs.SE
API Entity and Relation Joint Extraction from Text via Dynamic Prompt-tuned Language Model
从非结构化文本中提取应用编程接口（API）及其语义关系（例如，栈溢出）是软件工程任务的基础工作（例如，API建议）。然而，现有的方法是基于规则和序列标记的。他们必须手动枚举各种句型的规则或标签数据，这涉及大量的劳动力开销，并且由于形态和常用词的歧义而加剧。与匹配或标注API实体和关系不同，本文将异构API抽取和API关系抽取任务定义为序列到序列的生成任务，并提出了基于大型预训练语言模型的API实体-关系联合抽取模型AERJE。在对少量模糊但正确标记的数据进行训练后，AERJE构建了一个多任务架构，使用动态提示从非结构化文本中提取API实体和关系。我们在Stack Overflow的一组长而模糊的句子上系统地评估了AERJE。实验结果表明，AERJE在API实体-关系联合抽取中具有较高的准确率和区分能力，即使在零次或Few-Shot微调的情况下也能保持较高的准确率和区分能力。
2023-01-10 cs.SE
Automating API Documentation with LLMs: A BERTopic Approach
École de Technologie Supérieure（高等技术学院）
针对官方API文档冗长复杂的问题，提出利用BERTopic从360万条Stack Overflow帖子中提取主题并生成摘要，用户研究显示该方法提升了开发者生产力。
2025-09-06 cs.LG cs.SE
Aspect-Based API Review Classification: How Far Can Pre-Trained Transformer Model Go?
API（应用程序编程接口）是可重用的软件库，是现代快速软件开发的构建块。以前的研究表明，程序员经常在主流软件问答（Q&A）平台（如Stack Overflow）上分享和搜索API评论，这促使研究人员设计与自动处理API评论相关的任务和方法。在这些任务中，将API审查分类为不同的方面（例如，性能或安全），这被称为基于方面的API审查分类，非常重要。目前最先进的（SOTA）解决方案是基于传统的机器学习算法。受预训练模型在许多软件工程任务中取得的巨大成功的启发，本文针对基于方面的API评审分类任务，对六个预训练模型进行了微调，并在Uddin等人收集的API评审基准上将它们与当前的SOTA解决方案进行了比较（BERT、RoBERTa、ALBERT和XLNet）是在自然语言上进行预训练的，BERTOverflow是在从Stack Overflow上的帖子中提取的文本语料库上进行预训练的，CosSensBERT是为处理不平衡数据而设计的。结果表明，所有六个微调模型优于传统的机器学习为基础的工具。更具体地说，F1评分的改善范围为21.0%至30.2%。我们还发现，BERTOverflow，一个在Stack Overflow的语料库上预先训练的模型，并没有表现出比BERT更好的性能。结果还表明，CosSensBERT在F1方面也没有表现出比BERT更好的性能，但它仍然值得考虑，因为它在MCC和AU…
2022-01-27 cs.SE
Effective Reformulation of Query for Code Search using Crowdsourced Knowledge and Extra-Large Data Analytics
软件开发者在使用代码搜索引擎时经常发出用于代码搜索的通用自然语言查询（例如，GitHub原生搜索，Krugle）。由于词汇不匹配的问题，这样的查询通常不会导致任何相关的结果。在本文中，我们提出了一种新的技术，自动识别相关的和特定的API类从堆栈溢出Q & A网站的编程任务编写为一个自然语言查询，然后重新制定的查询，以改善代码搜索。我们首先使用伪相关反馈和两个术语加权算法从Stack Overflow中收集候选API类，然后使用Borda计数和查询关键字与API类之间的语义接近度对候选API类进行排名。语义接近度是通过对Stack Overflow的130万个问题和答案的分析确定的。使用310个代码搜索查询的实验报告说，我们的技术以48%的准确率和58%的召回率提出了相关的API类，分别比最先进的技术高出32%和48%。Google、Stack Overflow和GitHub native search）报告称，我们重新制定的查询（1）优于最先进的查询，（2）显著改善了这些当代搜索引擎提供的代码搜索结果。
2018-07-23 cs.SE
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）；IBM Research（IBM研究院）；Stanford University（斯坦福大学）
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险，少量对抗样本或良性数据集微调都可能削弱安全防护，并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
HiveMind: OS-Inspired Scheduling for Concurrent LLM Agent Workloads
Sperix Labs（Sperix实验室）；VIA Cybersecurity Lab（VIA网络安全实验室）；KNUST（科罗纳大学）；Quantum and Assistive Technologies Lab（量子与辅助技术实验室）
HiveMind通过引入五个操作系统启发的调度原语，解决并发LLM代理在共享API端点时的资源竞争问题，显著降低失败率并减少浪费计算。
2026-04-18 cs.AI cs.DC
On the Tool Manipulation Capability of Open-source Large Language Models
SambaNova Systems, Inc.（SambaNova系统公司）
本文研究如何以实用量级人工监督增强开源大语言模型的工具操作能力，通过程序化数据生成、系统提示和上下文演示检索等方法，在ToolBench基准上使开源LLM成功率提升最高90%，并在部分任务上达到与GPT-4竞争的水平。
2023-05-25 cs.AI cs.CL cs.LG
Contrastive Learning for API Aspect Analysis
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；York University（约克大学）
本文提出 CLAA，用有监督对比损失训练 transformer 以检测 API 评论方面，并在 Stack Overflow 数据和开发者研究中验证其优于 SOTA。
2023-08-14 cs.AI cs.CL cs.SE
Free and Customizable Code Documentation with LLMs: A Fine-Tuning Approach
Department of Computer Science and Engineering（计算机科学与工程系）；Northwestern University（西北大学）；School of Electrical & Computer Engineering（电气与计算机工程学院）；Purdue University（普渡大学）
本文提出一种基于LLM的免费代码文档生成工具，通过微调方法解决现有开源应用在成本和可定制性上的不足。
2024-12-01 cs.AI cs.LG cs.SE
Stealing Reasoning Traces from Proprietary LLM APIs
MATS Research（MATS研究院）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）
该研究发现专有LLM API的加密推理轨迹存在跨会话、用户及模型的兼容性漏洞，开发了可扩展解密越狱方法，能提取模型推理、窃取PII等，还提出了对应缓解措施。
2026-08-11 cs.AI cs.CR cs.LG
What Was Your Prompt? A Remote Keylogging Attack on AI Assistants
Ben-Gurion University（本-古里安大学）；Offensive AI Research Lab（进攻性人工智能研究实验室）
本文揭示AI助手加密响应中的令牌长度侧信道，结合LLM翻译、句间上下文及风格微调，实现对ChatGPT-4和Copilot响应的部分重建与主题推断。
2024-03-14 cs.AI cs.CL cs.CR
What Do Developers Ask About ML Libraries? A Large-scale Study Using Stack Overflow
现代软件系统越来越多地将机器学习（ML）作为一个不可分割的组成部分。然而，我们还不了解软件开发人员在学习ML库并在其系统中使用它们时所面临的困难。为此，本文报告了对3,243篇与十个ML库（即Tensorflow、Keras、scikit-learn、Weka、Caffe、Theano、MLlib、Torch、Mahout和H2O）相关的高评价问答帖子的详细（手动）检查，这些帖子位于Stack Overflow（一个流行的在线技术问答论坛）上。我们将这些问题分为ML管道的七个典型阶段，以了解库和阶段之间的相关性。然后，我们研究的问题，并进行统计分析，以探索四个研究目标的答案（找到最困难的阶段，了解问题的性质，图书馆的性质和研究是否随着时间的推移保持一致的困难）。我们的研究结果表明，迫切需要在这一领域的软件工程（SE）的研究。静态分析和动态分析基本上都不存在，并且迫切需要帮助开发人员更早地发现错误。虽然已经有一些关于调试的早期研究，但还需要做更多的工作。API误用很普遍，迫切需要改进API设计。最后，有点令人惊讶的是，在提供更高级别的抽象和需要理解训练模型的行为之间的拔河是普遍的。
2019-06-27 cs.SE
You've Changed: Detecting Modification of Black-Box Large Language Models
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对黑盒LLM服务行为变化难检测的问题，提出通过比较生成文本的语言与心理语言学特征分布、结合统计检验的监控方法，经多模型验证可有效区分模型变化，还能检测提示注入攻击，无需昂贵基准评估。
2025-04-14 cs.AI cs.CL
RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce Research（Salesforce研究院）；University of California Berkeley（加州大学伯克利分校）；University of Chicago（芝加哥大学）
本文提出RigorLLM框架，通过基于能量的数据增强、极小极大优化安全后缀及融合KNN与LLM的模型，高效审核有害内容，在检测效果与抗越狱攻击弹性上均超越现有基线。
2024-07-23 cs.AI cs.CL cs.CR
Understanding Developer Pain Points in Federated Learning: Insights from Stack Overflow and GitHub
University of Saskatchewan（萨斯喀彻温大学）
研究通过分析Stack Overflow帖子和GitHub问题，利用主题建模等方法，刻画联邦学习开发者痛点，包括环境设置等多方面问题，并按问题意图分类，为框架设计者等提供建议，给出持续监测痛点及改进系统的可扩展方法。
2026-07-23 cs.AI cs.SE
Energy-Efficient Software Development: A Multi-dimensional Empirical Analysis of Stack Overflow
针对现有开发者能耗认知调研样本量有限的不足，本研究通过分析1193条Stack Overflow能耗相关问题开展多维度实证分析，揭示了能效开发中的核心痛点并提出分层优化启示。
2025-11-15 cs.PF cs.SE
SOTorrent: Studying the Origin, Evolution, and Usage of Stack Overflow Code Snippets
Stack Overflow（SO）是最受软件开发人员欢迎的问答网站，提供了大量可复制的代码片段。像其他软件工件一样，SO上的代码会随着时间的推移而演变，例如，当bug被修复或API被更新到最新版本时。为了能够分析SO上的代码和周围的文本是如何演变的，我们构建了SOTorrent，这是一个基于官方SO数据转储的开放数据集。SOTorrent提供了对整个帖子以及单个文本和代码块级别的SO内容的版本历史的访问。它通过聚合来自周围文本块和评论的URL，以及通过收集来自GitHub文件的引用来将SO帖子中的代码片段连接到其他平台。我们的愿景是，研究人员将使用SOTorrent来调查和了解SO上代码的演变和维护，以及它与其他平台（如GitHub）的关系。
2019-03-09 cs.SE
Addressing Compiler Errors: Stack Overflow or Large Language Models?
本研究对比Stack Overflow与大语言模型解决编译器错误的效果，发现GPT-4表现最优，提示词表述、搜索方式会显著影响解决效果，为AI辅助编程提供参考。
2023-07-20 cs.SE
Does This Apply to Me? An Empirical Study of Technical Context in Stack Overflow
Stack Overflow已经成为开发人员必不可少的技术资源。然而，考虑到Stack Overflow上的大量知识，找到与给定任务相关的正确信息仍然具有挑战性，特别是当开发人员正在寻找适用于其特定需求或技术堆栈的解决方案时。用技术背景清楚地标记答案，即，描述这一答案所需的技术和假设的信息可能是改进导航的一种方法。然而，没有资料说明这种背景多久被提到一次，以及它可能提供什么样的信息。在本文中，我们进行了一项实证研究，以了解技术上下文的发生在堆栈溢出的答案和评论，使用标签作为代理的技术上下文。我们特别关注额外的上下文，其中答案/评论提到了问题中尚未讨论的信息。我们的研究结果表明，我们研究的线程中有近一半包含至少一个额外的上下文。我们发现几乎50%的附加上下文是库/框架、程序设计语言、工具/应用程序、API或数据库。总的来说，我们的研究结果表明，使用额外的上下文作为导航线索的承诺。
2022-03-31 cs.SE
APIHarvest: Harvesting API Information from Various Online Sources
本文提出了APIHarvest工具，旨在简化从GitHub、Stack Overflow等多种在线来源查找和跟踪API相关信息的过程，解决信息分散和识别困难的问题。
2023-04-05 cs.SE
A Systematic Mapping Study of Crowd Knowledge Enhanced Software Engineering Research Using Stack Overflow
该研究开展系统映射研究，分析18个知名SE期刊会议的384篇基于Stack Overflow的论文，划分10个主题，明确各领域使用情况、发文趋势及高潜力方向，为SE研究者利用SO数据提供参考。
2024-08-15 cs.SE
Byam: Fixing Breaking Dependency Updates with Large Language Models
KTH Royal Institute of Technology（皇家理工学院）；New York University Abu Dhabi（阿布扎比纽约大学）；Université de Montréal（蒙特利尔大学）
本文利用大型语言模型自动修复因依赖更新导致的客户端代码问题，通过BUMP数据集验证，o3-mini模型在修复构建和编译错误方面表现最佳。
2026-02-17 cs.SE
Plot2API: Recommending Graphic API from Plot via Semantic Parsing Guided Neural Network
Chongqing University（重庆大学）；Pengcheng Laboratory（鹏城实验室）；Zhejiang University（浙江大学）；Monash University（莫纳什大学）
基于绘图的图形API推荐（Plot2API）是一个未被研究但有意义的问题，它在软件工程和数据可视化方面有几个重要的应用，如初学者的绘图指导、图形API相关性分析和绘图代码转换。Plot2API是一项非常具有挑战性的任务，因为每个图通常与多个API相关联，并且由于参数的不同设置，同一API绘制的图形的外观可能会非常不同。此外，不同原料药的样品也极不平衡。考虑到Plot2API中缺乏技术，我们提出了一种新的深度多任务学习方法，称为语义解析引导神经网络（SPGNN），它将Plot2API问题转化为多标签图像分类和图像语义解析任务。在SPGNN中，最近先进的卷积神经网络（CNN）命名为EfficientNet被用作API推荐的骨干网络。同时，在特征学习中引入语义解析模块，充分利用语义相关的视觉信息，剔除可能混淆基于视觉信息的API推荐的外观相关视觉信息。此外，最近的数据增强技术称为随机擦除也被用于缓解API类别的不平衡。我们使用Stack Overflow中的图形API来收集图，并发布了三个新的Plot2API数据集，对应于R和Python程序设计语言的图形API，用于评估Plot2API技术的有效性。大量的实验结果不仅证明了我们的方法优于最近的深度学习基线，而且还显示了我们的方法在图形API推荐中的实用性。
2021-04-02 cs.AI cs.CV cs.SE
Ranking Computer Vision Service Issues using Emotion
软件开发人员越来越多地使用机器学习API来实现“智能”功能。研究表明，将机器学习纳入应用程序会增加技术债务，产生数据依赖性，并由于不确定性行为而引入不确定性。然而，我们对处理这些问题的软件开发人员的情绪状态知之甚少。在本文中，我们对1，245个关于计算机视觉API的Stack Overflow帖子中的情感进行了横向分析。我们调查现有的情感分类器的应用程序，并手动验证我们的结果。我们发现，不同的问题类别的情绪概况不同。
2020-05-27 cs.SE
Representation Learning for Stack Overflow Posts: How Far are We?
本文在统一设置下比较 Post2Vec、BERTOverflow 及多种 BERT 类模型在标签、相关性和 API 推荐任务上的表现，并提出经 Stack Overflow 语料继续预训练的 SOBERT。
2024-04-09 cs.SE
On Using Stack Overflow Comment-Edit Pairs to recommend code maintenance changes
代码维护数据集通常由包含改进或修复的代码的前后版本组成。这样的数据集对于与代码维护相关的软件工程支持工具是重要的，例如程序修复、代码推荐系统或应用编程接口（API）误用检测。当前的大多数数据集都是通过挖掘版本控制系统中的提交历史或问题跟踪系统中的问题来构建的。在本文中，我们将研究Stack Overflow是否可以用作额外的数据源。Stack Overflow上的评论为开发人员提供了一种有效的方法，可以指出现有答案、替代解决方案或陷阱中的问题。在本文中，我们从Stack Overflow中挖掘评论-编辑对，并研究它们的潜在有用性。这些对具有额外的好处，即对为什么需要更改进行具体描述，并且可能需要处理的更改较少。我们首先设计了一种技术来提取相关的评论编辑对，然后调查这些对的性质。我们发现大多数评论-编辑对并不纠缠在一起，但只有27%的研究对可能对上述应用有用。我们对挖掘对的类型进行了分类，发现有用对的最高比例来自纠正，Objective，Flaw和Extension类别。为了证明我们提取的对的有效性，我们在GitHub上提交了15个pull请求，其中10个已被广泛使用的存储库（如Apache Beam和nltk）接受。我们的工作是第一个研究Stack Overflow注释-编辑对的工作，并为未来的工作打开了大门。基于我们的发现和观察，我们提供了关于如何潜在地识别更大的有用的评论-编辑…
2021-01-25 cs.SE
Automating API Documentation from Crowdsourced Knowledge
Purdue University（普渡大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Davis（加州大学戴维斯分校）
AutoDoc通过从Stack Overflow提取API知识，生成更准确、简洁且全面的API文档，有效解决官方文档过时和不完整的问题。
2026-01-12 cs.SE
Enhancing API Documentation through BERTopic Modeling and Summarization
École de technologie supérieure（高等技术学院）
针对官方 API 文档冗长且不友好的问题，本文结合 BERTopic 主题建模与 NLP 自动生成文档摘要和主题，并评估其性能、连贯性与互操作性。
2023-08-17 cs.AI cs.CL cs.LG
An Empirical Study of API Misuses of Data-Centric Libraries
University of Alberta（阿尔伯塔大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Singapore Management University（新加坡管理大学）
本文通过分析Stack Overflow和GitHub数据，研究五种数据导向库的API误用特征，发现其误用模式与传统库不同，揭示了数据导向库API误用的挑战。
2026-04-16 cs.SE
Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models
本文提出 LLM 驱动的 DFUZZ，通过 API 白盒信息引导边界情况推理与测试程序生成，提升 TensorFlow 和 PyTorch 的 API 覆盖率并发现 37 个 bug。
2025-01-08 cs.SE
APIDocBooster: An Extract-Then-Abstract Framework Leveraging Large Language Models for Augmenting API Documentation
针对现有抽取式和抽象式 API 文档总结方法在可读性、信息量与忠实度上的不足，提出先抽取后抽象的框架 APIDocBooster，通过 CSSC 和 UPSUM 两阶段生成高质量摘要，显著提升了文档增强效果。
2024-01-10 cs.SE
PromptDebt: A Comprehensive Study of Technical Debt Across LLM Projects
本文首次大规模实证研究LLM项目中的自我承认技术债务，分析93,142个Python文件，发现OpenAI集成和提示设计是主要债务来源，并发布数据集以支持可复现性。
2025-09-24 cs.SE
An Empirical Study of Java Code Improvements Based on Stack Overflow Answer Edits
Faculty of Information and Communication Technology, Mahidol University（马希达大学信息与通信技术学院）；State University of Ceara (UECE)（塞阿拉州立大学）
本研究通过分析Stack Overflow的Java回答编辑，识别可改进的开源Java代码，发现近7%的采纳回答有多次修订，近半数编辑代码可应用于开源项目，11个bug修复方案被接受。
2026-08-25 cs.SE
What Kinds of Contracts Do ML APIs Need?
Bradley University（布拉德利大学）；Iowa State University（爱荷华州立大学）；University of Central Florida（中佛罗里达大学）
通过对Stack Overflow上四大ML库的实证研究，发现ML API最需要的契约是检查单参数约束和API调用顺序，建议结合行为与时间契约挖掘方法以在流水线早期捕获错误。
2023-07-26 cs.LG cs.PL cs.SE
An Empirical Study on Challenges for LLM Application Developers
针对LLM应用开发给开发者带来的新挑战缺乏深入实证研究的问题，本研究通过爬取分析OpenAI开发者论坛的29057个问题并手动分析2364个样本，构建了挑战分类体系，为相关利益相关者提供了研究发现和可操作启示。
2025-02-18 cs.SE
An exploratory analysis of Community-based Question-Answering Platforms and GPT-3-driven Generative AI: Is it the end of online community-based learning?
本文通过对比ChatGPT与Stack Overflow人类答案在2564个Python和JavaScript问题上的表现，发现ChatGPT回答更短、情感更积极、准确率达71%-75%，并伴随社区互动下降38%，揭示了生成式AI对在线社区学习的潜在替代影响。
2024-09-30 cs.SE
