Error Identification Strategies for Python Jupyter Notebooks
计算型笔记本--如Quixyter或Colab --结合了文本和数据分析代码。它们在数据科学和探索性数据分析的世界中无处不在。由于这些笔记本提供了与传统IDE驱动编程不同的编程范式，因此计算笔记本中的调试也可能不同。更具体地说，由于创建笔记本混合了领域知识、统计分析和编程，因此笔记本用户在这些不同形式中查找和修复错误的方式可能会有所不同。在本文中，我们提出了一个探索性的，观察性的研究，关于Python的笔记本用户如何发现和理解笔记本中的潜在错误。通过研究R notebook用户的错误识别策略的研究设计的概念复制，我们向用户提供了预先填充了常见笔记本错误的Python PythonYter笔记本-错误根源于统计数据分析，领域概念知识或编程。然后，我们分析了研究参与者用来发现这些错误的策略，并确定了每种策略在识别错误方面的成功程度。我们的研究结果表明，虽然笔记本电脑的编程环境是不同的环境用于传统的编程，调试策略仍然非常相似。我们希望本文中提出的见解能够帮助笔记本工具设计者和教育工作者做出改变，以改善数据科学家如何更容易地发现他们编写的笔记本中的错误。
2022-04-07 cs.SE
Mining the Characteristics of Jupyter Notebooks in Data Science Projects
本研究旨在挖掘和分析 Kaggle 和 GitHub 平台上高投票及流行的 Jupyter Notebooks 特征，通过探索性分析、数据可视化和特征重要性分析识别最佳实践模式，为数据科学从业者提供从新手到可部署项目的培训指南。
2025-04-26 cs.SE
Typhon: Automatic Recommendation of Relevant Code Cells in Jupyter Notebooks
针对开发者对Jupyter Notebook代码推荐的需求，提出Typhon方法，通过文本相似度算法匹配相关代码单元，实验验证其具备中等推荐准确率，为该领域后续优化提供基础。
2024-05-15 cs.SE
JunoBench: A Benchmark Dataset of Crashes in Python Machine Learning Jupyter Notebooks
Linköping University（林雪平大学）；University of Murcia（穆尔西亚大学）
JunoBench通过提供真实崩溃案例、修复方案和详细标注，促进Jupyter笔记本中机器学习bug检测、定位、诊断与修复的研究。
2026-04-30 cs.SE
A Large-Scale Comparison of Python Code in Jupyter Notebooks and Scripts
近年来，Xueyter笔记本电脑在软件工程的多个领域越来越受欢迎，例如数据科学、机器学习和计算机科学教育。它们的流行与其丰富的功能，用于呈现和可视化数据，但是，最近的研究表明，笔记本电脑也有很多缺点：大量的代码克隆，低再现性等，在这项工作中，我们进行了比较Python代码写在笔记本电脑和传统的Python脚本。我们从两个角度比较代码：结构和风格。在分析的第一部分中，我们报告了行数、函数的使用以及各种复杂性指标的差异。在第二部分中，我们展示了文体问题数量的差异，并对所研究的媒体中最常见的15个文体问题进行了广泛的概述。总的来说，我们证明了笔记本电脑的特点是较低的代码复杂性，但是，他们的代码可以被认为是比在脚本更纠缠。至于风格，笔记本往往有1.4倍的风格问题，但同时，其中一些是由笔记本中的特定编码实践引起的，应被视为误报。通过这项研究，我们希望为研究笔记本电脑的具体问题铺平道路，这些问题应该通过开发笔记本电脑专用工具来解决，并提供在这方面有用的各种见解。
2022-03-30 cs.SE
Why do Machine Learning Notebooks Crash? An Empirical Study on Public Python Jupyter Notebooks
60 yter笔记本已经成为数据科学的核心，在灵活的环境中集成代码，文本和输出。随着机器学习（ML）的兴起，笔记本电脑越来越多地用于原型设计和数据分析。然而，由于它们依赖于复杂的机器学习库和灵活的笔记本语义，允许单元以任何顺序运行，笔记本容易受到软件错误的影响，这些错误可能导致程序崩溃。本文提出了一项全面的实证研究，重点关注公开可用的Python ML笔记本中的崩溃。我们从GitHub和Kaggle收集了64，031个笔记本，其中包含92，542个崩溃，并手动分析了746个崩溃样本的各个方面，包括崩溃类型和根本原因。我们的分析确定了独特的ML特定崩溃类型，例如违反API约束的张量形状不匹配和数据集值错误。此外，我们强调了与笔记本语义相关的独特根本原因，包括乱序执行和以前单元格的残留错误，这些在以前的研究中基本上被忽视了。此外，我们还确定了最容易出错的ML库，并分析了ML管道阶段的崩溃分布。我们发现，超过40%的崩溃源于API滥用和笔记本特定的问题。在使用TensorFlow/Keras和Torch等ML库时经常发生崩溃。此外，超过70%的崩溃发生在ML管道的数据准备、模型训练和评估或预测阶段，而数据可视化错误往往是ML笔记本所独有的。
2025-05-27 cs.SE
Pynblint: a Static Analyzer for Python Jupyter Notebooks
University of Bari（巴里大学）
Xuyter Notebook是许多数据科学家在ML工作流早期阶段的首选工具。然而，notebook格式被批评为导致不良的编程实践;事实上，研究人员已经表明，开源存储库被质量差的notebook淹没。ML工作流原型阶段的低质量输出构成了ML模型产品化的明显瓶颈。为了促进更好的笔记本的创建，我们开发了Pynblint，这是一个用Python编写的用于笔记本的静态分析器。该工具检查笔记本电脑（和周围的存储库）与一组经验验证的最佳实践的合规性，并在检测到违规时提供有针对性的建议。
2022-05-24 cs.LG cs.SE
Method Names in Jupyter Notebooks: An Exploratory Study
本研究分析了384个Jupyter Notebook中691个方法的命名实践，揭示了其对简洁性的偏好及偏离传统命名模式的特征，为科学代码命名评估工具和教育资源开发提供参考。
2025-04-29 cs.SE
Exploring the Jupyter Ecosystem: An Empirical Study of Bugs and Vulnerabilities
本文通过分析两大平台的大规模 Notebook 数据集，结合定量分析、扎根理论与安全提交研究，构建缺陷分类并揭示配置、API 使用及部署框架漏洞风险。
2025-07-24 cs.SE
Characterising Bugs in Jupyter Platform
本文针对Jupyter平台缺陷研究空白，分析387个缺陷并划分11类根因与11类症状，提出14项开发者发现，为Jupyter缺陷检测修复工具研发提供新方向。
2025-06-16 cs.SE
Jupyter Notebooks on GitHub: Characteristics and Code Clones
Cyberter Notebooks已经成为数据科学编程的标准工具。Xueyter笔记本中的程序与典型的程序不同，因为它们是由一组与文本和可视化交织的代码片段构成的。这允许交互式探索，并且片段可以以不同的顺序执行，这可能由于片段之间的副作用而导致不同的结果。以前的研究已经表明，在传统程序的源代码中存在大量的代码重复--代码克隆--在所谓的系统程序设计语言和所谓的脚本语言中。在本文中，我们提出了第一个大规模的研究，在笔记本电脑的代码克隆。我们分析了GitHJub上托管的270万字节笔记本的语料库，代表了3700万个片段和2.27亿行代码。我们在单个片段的水平上研究克隆，并研究片段在多个笔记本中重复出现的程度。我们研究了相同的克隆和近似克隆，并对最常见的克隆进行了小规模的目视检查。我们发现，代码克隆是常见的，所有代码片段的70%以上是其他片段的精确副本（在空白处可能有差异），大约50%的所有笔记本没有任何独特的片段，但仅由其他地方也发现的片段组成。在用Python编写的笔记本中，至少80%的代码片段是近似克隆，并且Python中代码克隆的流行程度高于其他语言。我们进一步发现，不同存储库之间的克隆比同一存储库中的克隆更常见。但是，最常见的单个存储库是其自身所在的存储库，其中，一个XNUYTER笔记本包含来自该存储库的克隆。
2021-02-26 cs.PL cs.SE
Observing Fine-Grained Changes in Jupyter Notebooks During Development Time
JetBrains Research（JetBrains 研究院）；University of Zurich（苏黎世大学）
针对软件工程中笔记本分析研究少的情况，本文引入收集代码变化的工具集，收集超100小时开发者相关数据形成数据集，用以研究笔记本开发过程动态特性及变化，有诸多发现并提研究方向。
2026-07-07 cs.SE
JupOtter: Cell-Level Bug Detection in Jupyter Notebooks
University of Alberta（阿尔伯塔大学）
提出JupOtter系统，通过保留单元结构的标记化策略和单元级错误预测技术，在三个评估数据集中的两个上超越静态分析器和大型语言模型，实现高F1分数的单元级错误检测。
2026-06-24 cs.AI cs.SE
Similarity-Based Assessment of Computational Reproducibility in Jupyter Notebooks
University of Missouri（密苏里大学）；Northern Illinois University（北伊利诺伊大学）
本文提出 SRI 指标，通过面向不同 Python 对象类型的相似度度量比较重跑与原始输出，以定量分数和定性见解评估 Jupyter Notebook 的计算可复现性。
2025-09-28 cs.DB cs.SE
Characterizing Feedback Statements in Machine Learning Jupyter Notebooks
Delft University of Technology（代尔夫特理工大学）
本研究通过挖掘 GitHub 和 Kaggle 上的 Jupyter notebook，提取并分类了超过百万条反馈语句，构建了分类体系，揭示了探索性反馈的主导地位及对静默失败的防御实践。
2026-09-22 cs.SE
HAConvGNN: Hierarchical Attention Based Convolutional Graph Neural Network for Code Documentation Generation in Jupyter Notebooks
University of Waterloo（滑铁卢大学）；IBM Research（IBM研究院）；University of Michigan（密歇根大学）；IBM Research Europe（IBM欧洲研究院）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
MysterNotebook允许数据科学家在单元格中编写机器学习代码及其文档。在本文中，我们提出了一个新的任务的代码文档生成（CDG）的计算笔记本电脑。与之前专注于为单个代码片段生成文档的CDG任务相比，在计算笔记本中，标记单元中的一个文档通常对应于多个代码单元，并且这些代码单元具有固有的结构。我们提出了一个新的模型（HAConvGNN），它使用一个分层的注意力机制，以考虑相关的代码单元格和相关的代码令牌信息时，生成的文档。在一个新的语料库上进行测试，该语料库是从有据可查的Kaggle笔记本构建的，我们表明我们的模型优于其他基线模型。
2021-09-08 cs.LG cs.SE
Understanding Feedback Mechanisms in Machine Learning Jupyter Notebooks
本文通过挖掘 29.78 万个 Jupyter Notebook 和 230 万个代码单元，识别并分类了断言、打印语句和最后一个单元语句三种反馈机制，揭示了隐式反馈在机器学习关键设计决策中的广泛使用，并为利用现有反馈机制减轻技术债务和提升可复现性提供了实用建议。
2024-07-31 cs.SE
Code Duplication and Reuse in Jupyter Notebooks
复制自己的代码可以更快地编写软件。这种便利对于计算笔记本的用户特别有价值。复制功能允许笔记本用户快速检验假设并覆盖数据。在本文中，我们探讨了多少，如何以及从哪里发生的代码重复计算笔记本电脑，并确定潜在的障碍代码重用。以前在计算笔记本领域的工作描述了开发人员重用和重复的动机，但没有显示重用发生了多少，或者他们在重用代码时面临哪些障碍。为了解决这一差距，我们首先分析了GitHub存储库中包含在存储库的笔记本中的代码重复，然后进行了一项代码重用的观察性用户研究，参与者使用笔记本解决了特定任务。我们的研究结果表明，在我们的样本库有一个平均的自我复制率为7.6%。然而，在我们的用户研究中，很少有参与者复制自己的代码，他们更喜欢重用来自在线资源的代码。
2020-05-27 cs.HC cs.SE
A Systematic Literature Review of Software Engineering Research on Jupyter Notebook
University of Alberta（阿尔伯塔大学）；Queen’s University（女王大学）
本文系统回顾了Jupyter Notebook的软件工程研究，发现其在人机交互领域更受欢迎，且存在代码重用、可读性等研究空白，未来需探索自动化测试和文档生成等方向。
2026-01-04 cs.CE cs.HC cs.SE
Training and Evaluating a Jupyter Notebook Data Science Assistant
Microsoft（微软）
我们研究了由序列到序列的Transformer驱动的数据科学助手的可行性，方法是在所有公开可用的Jupyter Notebook GitHub存储库上训练一个新模型JuPyT5，并开发一个新的度量标准：数据科学问题（DSP）。DSP是从306个教学笔记本中精选的1119个问题的集合，其中包括92个数据集依赖关系，自然语言和Markdown问题描述，以及基于断言的单元测试。这些笔记本旨在测试大学生对数学和数据科学的各种Python实现的掌握程度，我们现在利用它们来研究JuPyT5理解和通过测试的能力。我们分析了DSP的内容，验证了它的质量，我们发现，给定100次采样尝试，JuPyT5能够解决77.5%的DSP问题。我们进一步提出了各种消融和统计分析，并比较DSP的其他最近的自然语言代码基准。
2022-01-30 cs.LG cs.SE
How Scientists Use Jupyter Notebooks: Goals, Quality Attributes, and Opportunities
通过观察20位科学家日常使用 Jupyter notebooks，研究其目标、质量属性、实现策略及AI工具融入方式，并提出改进计算笔记本与未来编程系统的设计建议。
2025-03-16 cs.HC cs.SE
Jup2Kub: algorithms and a system to translate a Jupyter Notebook pipeline to a fault tolerant distributed Kubernetes deployment
Jup2Kub 是一个软件系统，通过将 Jupyter notebooks 中的科学工作流转换为分布式、高性能的 Kubernetes 环境，解决了其扩展性、容错性和依赖稳定性问题。
2023-11-21 cs.DC cs.SE
Improving Quantum Developer Experience with Kubernetes and Jupyter Notebooks
针对经典系统模拟量子计算机计算需求高、量子软件开发难度大的问题，本文研究了借助Kubernetes与Jupyter Notebooks，以易用经济的远程算力提升量子开发者体验的可行性。
2024-08-13 cs.SE quant-ph
Suggesting Code Edits in Interactive Machine Learning Notebooks Using Large Language Models
University of Waterloo（滑铁卢大学）
本文构建首个含48,398项Jupyter编辑的数据集，评估LLM预测代码修改，发现编辑高度局部但模型准确率低，凸显上下文的重要性。
2025-01-16 cs.CL cs.LG cs.SE
Understanding the Characteristics of Visual Contents in Open Source Issue Discussions: A Case Study of Jupyter Notebook
大多数开源软件开发的问题跟踪系统都包括社区成员嵌入可视内容的功能，如图像和视频，以增强讨论。虽然扮演着重要的角色，有一点知识的视觉内容的特点，以支持他们的使用。为了解决这一差距，我们进行了一项实证研究，对笔记本电脑项目。我们发现，超过四分之一的问题，在笔记本电脑项目包括视觉内容。此外，在评论中有视觉内容但在问题帖子中没有的问题往往会有更长的讨论时间，并有更多的讨论者参与。在我们的定性分析中，我们在样本中确定了八种类型的视觉内容，其中约60%包括主要产品的屏幕截图或模型。我们还发现，视觉内容服务于不同的目的，触及问题和解决问题的空间。我们的努力是在开放源码软件问题讨论中全面了解视觉内容特征的重要一步。我们的研究结果提供了一些设计问题跟踪系统，以更好地促进视觉内容的使用。
2022-04-28 cs.HC cs.SE
Packaging Jupyter notebooks as installable desktop apps using LabConstrictor
Turku Bioscience Centre, University of Turku and Åbo Akademi University（图尔库生物科学中心，图尔库大学和奥布阿克adem大学）；Faculty of Science and Engineering, Cell Biology, Åbo Akademi University（奥布阿克adem大学科学与工程学院细胞生物学系）；InFLAMES Research Flagship Centre, University of Turku（图尔库大学InFLAMES研究旗舰中心）；Instituto de Tecnologia Química e Biológica António Xavier, Universidade Nova de Lisboa（安东尼奥·亚历山大化学与生物理工学院，里斯本新大学）；UCL Laboratory for Molecular Cell Biology, University College London（伦敦大学学院分子细胞生物学实验室）；Foundation for the Finnish Cancer Institute（芬兰癌症研究所基金会）
LabConstrictor通过自动化流程简化Jupyter笔记本的分发、安装和共享，使学术研究更高效。
2026-03-11 cs.SE q-bio.QM
Containing the Reproducibility Gap: Automated Repository-Level Containerization for Scholarly Jupyter Notebooks
Chemnitz University of Technology（开姆尼茨工业大学）；FIZ Karlsruhe — Leibniz Institute for Information Infrastructure（卡尔斯鲁厄FIZ——莱布尼茨信息基础设施研究所）
本文提出自动化可重复性工程流水线，通过依赖推断、容器生成和隔离执行，评估学术笔记本的执行环境，解决依赖问题并提升执行稳定性，但发现仍存在低输出保真度的可重复性差距。
2026-04-01 cs.CE cs.SE
Automated Assertion Generation and Regression Testing for Machine Learning Notebooks
Cornell University（康奈尔大学）；Veermata Jijabai Technological Institute（维尔玛塔·吉贾拜技术学院）；Dwarkadas J Sanghvi College of Engineering（德瓦卡达斯·J·桑格维工程学院）
本研究提出NBTestGen自动生成ML笔记本的回归断言，搭配NBTest框架实现非侵入式回归测试，在Kaggle笔记本上验证了其高有效性，获开发者认可且被SHAP集成至CI。
2026-08-06 cs.SE
A Flexible Cell Classification for ML Projects in Jupyter Notebooks
RWTH Aachen University（亚琛工业大学）
针对现有Jupyter Notebook ML代码单元分类工具依赖静态查找表、灵活性不足的问题，提出结合规则与决策树的混合分类方法，实现为JupyLabel工具，实验证明其性能显著优于现有工具HeaderGen。
2024-03-12 cs.LG cs.SE
Static Analysis Driven Enhancements for Comprehension in Machine Learning Notebooks
本文提出 HeaderGen 工具，通过增强 PyCG 调用图分析并引入流敏感性和外部库返回类型解析，自动为机器学习 notebook 代码单元生成分类标题，从而提升 notebook 的可读性与理解效率，实验显示其在调用图分析和标题生成上均具有较高准确率。
2024-06-11 cs.SE
Bridging the Prototype-Production Gap: A Multi-Agent System for Notebooks Transformation
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
本文提出多智能体系统 Codelevate，通过 Architect、Developer 和 Structure 三个智能体协同工作，自动将 Jupyter notebook 转换为结构良好、可维护的 Python 代码仓库，在保留计算语义的同时提升代码质量指标。
2025-11-10 cs.MA cs.SE
Themisto: Jupyter-Based Runtime Benchmark
JetBrains Research（JetBrains研究院）
本研究提出包含Jupyter笔记本开发轨迹的Themisto基准测试，用于衡量LLMs利用运行时信息的能力，发现当前LLMs表现不佳，指出代码模型开发中纳入运行时上下文的领域研究不足。
2025-04-16 cs.AI cs.LG cs.SE
CRANE-LLM: Runtime-Augmented LLMs for Crash Prediction and Diagnosis in ML Notebooks
Linköping University（林雪平大学）；University of Murcia（穆尔西亚大学）
CRANE-LLM通过整合运行时信息提升ML笔记本崩溃检测与诊断的准确性与F1分数。
2026-08-25 cs.SE
Practical programming research of Linear DML model based on the simplest Python code: From the standpoint of novice researchers
QUT（昆士兰科技大学）
本文用最简Python代码在Jupyter notebook中实现并比较线性DML模型，发现当前库API不足以支持新手构建高质量模型，且存在结果变量维度不匹配问题。
2025-02-22 cs.LG cs.SE
CodePod: A Language-Agnostic Hierarchical Scoping System for Interactive Development
针对Jupyter Notebook线性结构与全局命名空间限制大型项目扩展性的问题，提出语言无关的分层作用域系统CodePod，通过源码级转换实现嵌套模块增量求值，经形式化证明与用户研究验证可显著提升项目可扩展性。
2025-07-31 cs.PL cs.SE
