Mining the Characteristics of Jupyter Notebooks in Data Science Projects
本研究旨在挖掘和分析 Kaggle 和 GitHub 平台上高投票及流行的 Jupyter Notebooks 特征，通过探索性分析、数据可视化和特征重要性分析识别最佳实践模式，为数据科学从业者提供从新手到可部署项目的培训指南。
2025-04-26 cs.SE
Typhon: Automatic Recommendation of Relevant Code Cells in Jupyter Notebooks
针对开发者对Jupyter Notebook代码推荐的需求，提出Typhon方法，通过文本相似度算法匹配相关代码单元，实验验证其具备中等推荐准确率，为该领域后续优化提供基础。
2024-05-15 cs.SE
JunoBench: A Benchmark Dataset of Crashes in Python Machine Learning Jupyter Notebooks
Linköping University（林雪平大学）；University of Murcia（穆尔西亚大学）
JunoBench通过提供真实崩溃案例、修复方案和详细标注，促进Jupyter笔记本中机器学习bug检测、定位、诊断与修复的研究。
2026-04-30 cs.SE
A Large-Scale Comparison of Python Code in Jupyter Notebooks and Scripts
近年来，Xueyter笔记本电脑在软件工程的多个领域越来越受欢迎，例如数据科学、机器学习和计算机科学教育。它们的流行与其丰富的功能，用于呈现和可视化数据，但是，最近的研究表明，笔记本电脑也有很多缺点：大量的代码克隆，低再现性等，在这项工作中，我们进行了比较Python代码写在笔记本电脑和传统的Python脚本。我们从两个角度比较代码：结构和风格。在分析的第一部分中，我们报告了行数、函数的使用以及各种复杂性指标的差异。在第二部分中，我们展示了文体问题数量的差异，并对所研究的媒体中最常见的15个文体问题进行了广泛的概述。总的来说，我们证明了笔记本电脑的特点是较低的代码复杂性，但是，他们的代码可以被认为是比在脚本更纠缠。至于风格，笔记本往往有1.4倍的风格问题，但同时，其中一些是由笔记本中的特定编码实践引起的，应被视为误报。通过这项研究，我们希望为研究笔记本电脑的具体问题铺平道路，这些问题应该通过开发笔记本电脑专用工具来解决，并提供在这方面有用的各种见解。
2022-03-30 cs.SE
Why do Machine Learning Notebooks Crash? An Empirical Study on Public Python Jupyter Notebooks
60 yter笔记本已经成为数据科学的核心，在灵活的环境中集成代码，文本和输出。随着机器学习（ML）的兴起，笔记本电脑越来越多地用于原型设计和数据分析。然而，由于它们依赖于复杂的机器学习库和灵活的笔记本语义，允许单元以任何顺序运行，笔记本容易受到软件错误的影响，这些错误可能导致程序崩溃。本文提出了一项全面的实证研究，重点关注公开可用的Python ML笔记本中的崩溃。我们从GitHub和Kaggle收集了64，031个笔记本，其中包含92，542个崩溃，并手动分析了746个崩溃样本的各个方面，包括崩溃类型和根本原因。我们的分析确定了独特的ML特定崩溃类型，例如违反API约束的张量形状不匹配和数据集值错误。此外，我们强调了与笔记本语义相关的独特根本原因，包括乱序执行和以前单元格的残留错误，这些在以前的研究中基本上被忽视了。此外，我们还确定了最容易出错的ML库，并分析了ML管道阶段的崩溃分布。我们发现，超过40%的崩溃源于API滥用和笔记本特定的问题。在使用TensorFlow/Keras和Torch等ML库时经常发生崩溃。此外，超过70%的崩溃发生在ML管道的数据准备、模型训练和评估或预测阶段，而数据可视化错误往往是ML笔记本所独有的。
2025-05-27 cs.SE
Pynblint: a Static Analyzer for Python Jupyter Notebooks
University of Bari（巴里大学）
Xuyter Notebook是许多数据科学家在ML工作流早期阶段的首选工具。然而，notebook格式被批评为导致不良的编程实践;事实上，研究人员已经表明，开源存储库被质量差的notebook淹没。ML工作流原型阶段的低质量输出构成了ML模型产品化的明显瓶颈。为了促进更好的笔记本的创建，我们开发了Pynblint，这是一个用Python编写的用于笔记本的静态分析器。该工具检查笔记本电脑（和周围的存储库）与一组经验验证的最佳实践的合规性，并在检测到违规时提供有针对性的建议。
2022-05-24 cs.LG cs.SE
Method Names in Jupyter Notebooks: An Exploratory Study
本研究分析了384个Jupyter Notebook中691个方法的命名实践，揭示了其对简洁性的偏好及偏离传统命名模式的特征，为科学代码命名评估工具和教育资源开发提供参考。
2025-04-29 cs.SE
Exploring the Jupyter Ecosystem: An Empirical Study of Bugs and Vulnerabilities
本文通过分析两大平台的大规模 Notebook 数据集，结合定量分析、扎根理论与安全提交研究，构建缺陷分类并揭示配置、API 使用及部署框架漏洞风险。
2025-07-24 cs.SE
Characterising Bugs in Jupyter Platform
本文针对Jupyter平台缺陷研究空白，分析387个缺陷并划分11类根因与11类症状，提出14项开发者发现，为Jupyter缺陷检测修复工具研发提供新方向。
2025-06-16 cs.SE
Jupyter Notebooks on GitHub: Characteristics and Code Clones
Cyberter Notebooks已经成为数据科学编程的标准工具。Xueyter笔记本中的程序与典型的程序不同，因为它们是由一组与文本和可视化交织的代码片段构成的。这允许交互式探索，并且片段可以以不同的顺序执行，这可能由于片段之间的副作用而导致不同的结果。以前的研究已经表明，在传统程序的源代码中存在大量的代码重复--代码克隆--在所谓的系统程序设计语言和所谓的脚本语言中。在本文中，我们提出了第一个大规模的研究，在笔记本电脑的代码克隆。我们分析了GitHJub上托管的270万字节笔记本的语料库，代表了3700万个片段和2.27亿行代码。我们在单个片段的水平上研究克隆，并研究片段在多个笔记本中重复出现的程度。我们研究了相同的克隆和近似克隆，并对最常见的克隆进行了小规模的目视检查。我们发现，代码克隆是常见的，所有代码片段的70%以上是其他片段的精确副本（在空白处可能有差异），大约50%的所有笔记本没有任何独特的片段，但仅由其他地方也发现的片段组成。在用Python编写的笔记本中，至少80%的代码片段是近似克隆，并且Python中代码克隆的流行程度高于其他语言。我们进一步发现，不同存储库之间的克隆比同一存储库中的克隆更常见。但是，最常见的单个存储库是其自身所在的存储库，其中，一个XNUYTER笔记本包含来自该存储库的克隆。
2021-02-26 cs.PL cs.SE
Observing Fine-Grained Changes in Jupyter Notebooks During Development Time
JetBrains Research（JetBrains 研究院）；University of Zurich（苏黎世大学）
针对软件工程中笔记本分析研究少的情况，本文引入收集代码变化的工具集，收集超100小时开发者相关数据形成数据集，用以研究笔记本开发过程动态特性及变化，有诸多发现并提研究方向。
2026-07-07 cs.SE
JupOtter: Cell-Level Bug Detection in Jupyter Notebooks
University of Alberta（阿尔伯塔大学）
提出JupOtter系统，通过保留单元结构的标记化策略和单元级错误预测技术，在三个评估数据集中的两个上超越静态分析器和大型语言模型，实现高F1分数的单元级错误检测。
2026-06-24 cs.AI cs.SE
Similarity-Based Assessment of Computational Reproducibility in Jupyter Notebooks
本文提出 SRI 指标，通过面向不同 Python 对象类型的相似度度量比较重跑与原始输出，以定量分数和定性见解评估 Jupyter Notebook 的计算可复现性。
2025-09-28 cs.DB cs.SE
Characterizing Feedback Statements in Machine Learning Jupyter Notebooks
Delft University of Technology（代尔夫特理工大学）
本研究通过挖掘 GitHub 和 Kaggle 上的 Jupyter notebook，提取并分类了超过百万条反馈语句，构建了分类体系，揭示了探索性反馈的主导地位及对静默失败的防御实践。
2026-09-22 cs.SE
HAConvGNN: Hierarchical Attention Based Convolutional Graph Neural Network for Code Documentation Generation in Jupyter Notebooks
University of Waterloo（滑铁卢大学）；IBM Research（IBM研究院）；University of Michigan（密歇根大学）；IBM Research Europe（IBM欧洲研究院）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
MysterNotebook允许数据科学家在单元格中编写机器学习代码及其文档。在本文中，我们提出了一个新的任务的代码文档生成（CDG）的计算笔记本电脑。与之前专注于为单个代码片段生成文档的CDG任务相比，在计算笔记本中，标记单元中的一个文档通常对应于多个代码单元，并且这些代码单元具有固有的结构。我们提出了一个新的模型（HAConvGNN），它使用一个分层的注意力机制，以考虑相关的代码单元格和相关的代码令牌信息时，生成的文档。在一个新的语料库上进行测试，该语料库是从有据可查的Kaggle笔记本构建的，我们表明我们的模型优于其他基线模型。
2021-09-08 cs.LG cs.SE
Understanding Feedback Mechanisms in Machine Learning Jupyter Notebooks
本文通过挖掘 29.78 万个 Jupyter Notebook 和 230 万个代码单元，识别并分类了断言、打印语句和最后一个单元语句三种反馈机制，揭示了隐式反馈在机器学习关键设计决策中的广泛使用，并为利用现有反馈机制减轻技术债务和提升可复现性提供了实用建议。
2024-07-31 cs.SE
Code Duplication and Reuse in Jupyter Notebooks
复制自己的代码可以更快地编写软件。这种便利对于计算笔记本的用户特别有价值。复制功能允许笔记本用户快速检验假设并覆盖数据。在本文中，我们探讨了多少，如何以及从哪里发生的代码重复计算笔记本电脑，并确定潜在的障碍代码重用。以前在计算笔记本领域的工作描述了开发人员重用和重复的动机，但没有显示重用发生了多少，或者他们在重用代码时面临哪些障碍。为了解决这一差距，我们首先分析了GitHub存储库中包含在存储库的笔记本中的代码重复，然后进行了一项代码重用的观察性用户研究，参与者使用笔记本解决了特定任务。我们的研究结果表明，在我们的样本库有一个平均的自我复制率为7.6%。然而，在我们的用户研究中，很少有参与者复制自己的代码，他们更喜欢重用来自在线资源的代码。
2020-05-27 cs.HC cs.SE
A Systematic Literature Review of Software Engineering Research on Jupyter Notebook
University of Alberta（阿尔伯塔大学）；Queen’s University（女王大学）
本文系统回顾了Jupyter Notebook的软件工程研究，发现其在人机交互领域更受欢迎，且存在代码重用、可读性等研究空白，未来需探索自动化测试和文档生成等方向。
2026-01-04 cs.CE cs.HC cs.SE
Training and Evaluating a Jupyter Notebook Data Science Assistant
Microsoft（微软）
我们研究了由序列到序列的Transformer驱动的数据科学助手的可行性，方法是在所有公开可用的Jupyter Notebook GitHub存储库上训练一个新模型JuPyT5，并开发一个新的度量标准：数据科学问题（DSP）。DSP是从306个教学笔记本中精选的1119个问题的集合，其中包括92个数据集依赖关系，自然语言和Markdown问题描述，以及基于断言的单元测试。这些笔记本旨在测试大学生对数学和数据科学的各种Python实现的掌握程度，我们现在利用它们来研究JuPyT5理解和通过测试的能力。我们分析了DSP的内容，验证了它的质量，我们发现，给定100次采样尝试，JuPyT5能够解决77.5%的DSP问题。我们进一步提出了各种消融和统计分析，并比较DSP的其他最近的自然语言代码基准。
2022-01-30 cs.LG cs.SE
How Scientists Use Jupyter Notebooks: Goals, Quality Attributes, and Opportunities
通过观察20位科学家日常使用 Jupyter notebooks，研究其目标、质量属性、实现策略及AI工具融入方式，并提出改进计算笔记本与未来编程系统的设计建议。
2025-03-16 cs.HC cs.SE
Jup2Kub: algorithms and a system to translate a Jupyter Notebook pipeline to a fault tolerant distributed Kubernetes deployment
Jup2Kub 是一个软件系统，通过将 Jupyter notebooks 中的科学工作流转换为分布式、高性能的 Kubernetes 环境，解决了其扩展性、容错性和依赖稳定性问题。
2023-11-21 cs.DC cs.SE
Improving Quantum Developer Experience with Kubernetes and Jupyter Notebooks
针对经典系统模拟量子计算机计算需求高、量子软件开发难度大的问题，本文研究了借助Kubernetes与Jupyter Notebooks，以易用经济的远程算力提升量子开发者体验的可行性。
2024-08-13 cs.SE quant-ph
Suggesting Code Edits in Interactive Machine Learning Notebooks Using Large Language Models
University of Waterloo（滑铁卢大学）
本文构建首个含48,398项Jupyter编辑的数据集，评估LLM预测代码修改，发现编辑高度局部但模型准确率低，凸显上下文的重要性。
2025-01-16 cs.CL cs.LG cs.SE
Understanding the Characteristics of Visual Contents in Open Source Issue Discussions: A Case Study of Jupyter Notebook
大多数开源软件开发的问题跟踪系统都包括社区成员嵌入可视内容的功能，如图像和视频，以增强讨论。虽然扮演着重要的角色，有一点知识的视觉内容的特点，以支持他们的使用。为了解决这一差距，我们进行了一项实证研究，对笔记本电脑项目。我们发现，超过四分之一的问题，在笔记本电脑项目包括视觉内容。此外，在评论中有视觉内容但在问题帖子中没有的问题往往会有更长的讨论时间，并有更多的讨论者参与。在我们的定性分析中，我们在样本中确定了八种类型的视觉内容，其中约60%包括主要产品的屏幕截图或模型。我们还发现，视觉内容服务于不同的目的，触及问题和解决问题的空间。我们的努力是在开放源码软件问题讨论中全面了解视觉内容特征的重要一步。我们的研究结果提供了一些设计问题跟踪系统，以更好地促进视觉内容的使用。
2022-04-28 cs.HC cs.SE
Packaging Jupyter notebooks as installable desktop apps using LabConstrictor
Turku Bioscience Centre, University of Turku and Åbo Akademi University（图尔库生物科学中心，图尔库大学和奥布阿克adem大学）；Faculty of Science and Engineering, Cell Biology, Åbo Akademi University（奥布阿克adem大学科学与工程学院细胞生物学系）；InFLAMES Research Flagship Centre, University of Turku（图尔库大学InFLAMES研究旗舰中心）；Instituto de Tecnologia Química e Biológica António Xavier, Universidade Nova de Lisboa（安东尼奥·亚历山大化学与生物理工学院，里斯本新大学）；UCL Laboratory for Molecular Cell Biology, University College London（伦敦大学学院分子细胞生物学实验室）；Foundation for the Finnish Cancer Institute（芬兰癌症研究所基金会）
LabConstrictor通过自动化流程简化Jupyter笔记本的分发、安装和共享，使学术研究更高效。
2026-03-11 cs.SE q-bio.QM
Containing the Reproducibility Gap: Automated Repository-Level Containerization for Scholarly Jupyter Notebooks
Chemnitz University of Technology（开姆尼茨工业大学）；FIZ Karlsruhe — Leibniz Institute for Information Infrastructure（卡尔斯鲁厄FIZ——莱布尼茨信息基础设施研究所）
本文提出自动化可重复性工程流水线，通过依赖推断、容器生成和隔离执行，评估学术笔记本的执行环境，解决依赖问题并提升执行稳定性，但发现仍存在低输出保真度的可重复性差距。
2026-04-01 cs.CE cs.SE
Automated Assertion Generation and Regression Testing for Machine Learning Notebooks
Cornell University（康奈尔大学）；Veermata Jijabai Technological Institute（维尔玛塔·吉贾拜技术学院）；Dwarkadas J Sanghvi College of Engineering（德瓦卡达斯·J·桑格维工程学院）
本研究提出NBTestGen自动生成ML笔记本的回归断言，搭配NBTest框架实现非侵入式回归测试，在Kaggle笔记本上验证了其高有效性，获开发者认可且被SHAP集成至CI。
2026-08-06 cs.SE
A Flexible Cell Classification for ML Projects in Jupyter Notebooks
RWTH Aachen University（亚琛工业大学）
针对现有Jupyter Notebook ML代码单元分类工具依赖静态查找表、灵活性不足的问题，提出结合规则与决策树的混合分类方法，实现为JupyLabel工具，实验证明其性能显著优于现有工具HeaderGen。
2024-03-12 cs.LG cs.SE
Nalin: Learning from Runtime Behavior to Find Name-Value Inconsistencies in Jupyter Notebooks
变量名对于理解和维护代码很重要。如果变量名和存储在变量中的值不匹配，则程序会出现名称-值不一致，这是由于开发人员可能希望修复的两种情况之一：通过误导性名称引用正确的值，这对代码的可理解性和可维护性产生负面影响，或者正确的名称绑定到错误的值，这可能导致意外的运行时行为。查找名称-值不一致是很困难的，因为它需要理解名称的含义以及有关在运行时分配给变量的值的知识。本文介绍了Nalin，一种自动检测名称-值不一致的技术。该方法结合了一个动态分析，它跟踪名称的值分配，并结合了一个神经机器学习模型，预测名称和值是否匹配。据我们所知，这是第一次将发现编码问题的问题公式化为名称和运行时值的分类问题。我们将Nalin应用于106，652个真实的Python程序，由于没有静态声明的类型，有意义的名称特别重要。我们的研究结果表明，分类器检测名称值不一致的准确性很高，Nalin报告的警告有80%的精度和76%的召回w.r.t.用户研究中创建的基本事实，并且我们的方法补充了查找编码问题的现有技术。
2021-12-12 cs.SE
Static Analysis Driven Enhancements for Comprehension in Machine Learning Notebooks
本文提出 HeaderGen 工具，通过增强 PyCG 调用图分析并引入流敏感性和外部库返回类型解析，自动为机器学习 notebook 代码单元生成分类标题，从而提升 notebook 的可读性与理解效率，实验显示其在调用图分析和标题生成上均具有较高准确率。
2024-06-11 cs.SE
Bridging the Prototype-Production Gap: A Multi-Agent System for Notebooks Transformation
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
本文提出多智能体系统 Codelevate，通过 Architect、Developer 和 Structure 三个智能体协同工作，自动将 Jupyter notebook 转换为结构良好、可维护的 Python 代码仓库，在保留计算语义的同时提升代码质量指标。
2025-11-10 cs.MA cs.SE
Notably Inaccessible -- Data Driven Understanding of Data Science Notebook (In)Accessibility
本文通过对10万个Jupyter笔记本的大规模系统分析，揭示了盲人和视力受损用户面临的可访问性障碍，并提出改进笔记本产物、编写实践和基础设施的建议。
2023-08-07 cs.CY cs.HC cs.SE
Predicting the Understandability of Computational Notebooks through Code Metrics Analysis
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢赫拉兹大学）
本研究提出利用用户评论和笔记本指标（如UOCU）预测Jupyter笔记本代码可理解性，通过随机森林分类器达到89%准确率，验证了用户意见信号的有效性。
2025-06-17 cs.AI cs.SE
Analysing Python Machine Learning Notebooks with Moose
Univ. Lille（里尔大学）；CNRS（国家科学研究中心）；Inria（法国国家信息与自动化技术研究所）；Centrale Lille（里尔中央理工大学）；UMR 9189 CRIStAL（9189号联合研究单位）
针对ML Notebook代码质量问题，本文提出基于Moose的多级静态分析工具Vespucci Linter，通过元建模方法统一结构与代码实体，实现跨三个层面的违规检测，并在5000个Kaggle Notebook上验证了其有效性。
2025-09-15 cs.LG cs.SE
LeakageDetector 2.0: Analyzing Data Leakage in Jupyter-Driven Machine Learning Pipelines
本文提出 LeakageDetector 这一 VS Code 扩展，用于检测 Jupyter Notebook 中 ML 流水线的数据泄漏，并提供快速修复与 LLM 驱动两种纠正机制，帮助开发者提升代码质量。
2025-09-19 cs.SE
Practical programming research of Linear DML model based on the simplest Python code: From the standpoint of novice researchers
QUT（昆士兰科技大学）
本文用最简Python代码在Jupyter notebook中实现并比较线性DML模型，发现当前库API不足以支持新手构建高质量模型，且存在结果变量维度不匹配问题。
2025-02-22 cs.LG cs.SE
Natural Language to Code Generation in Interactive Data Science Notebooks
Google Inc.（谷歌公司）
计算笔记本电脑，如Quixyter笔记本电脑，是交互式计算环境，在数据科学家中无处不在，用于执行数据整理和分析任务。为了衡量人工智能配对程序员的性能，这些程序员自动合成程序以完成用户给出的自然语言（NL）意图，我们使用数据科学笔记本中的pandas数据分析框架构建了ARCADE，这是一个包含1082个代码生成问题的基准测试。ARCADE的特点是从同一个笔记本中产生多轮NL到代码的问题。它需要一个模型来理解丰富的多模态上下文，例如现有的笔记本单元及其执行状态以及先前的交互。为了在这个具有挑战性的任务上建立一个强大的基线，我们开发了PaChiNCo，这是一个用于Python计算笔记本的62 B代码语言模型（LM），它的性能明显优于公共代码LM。最后，我们探索了Few-Shot提示策略，以逐步分解和NL解释来引出更好的代码，显示了提高模型预测的多样性和可解释性的潜力。
2022-12-19 cs.CL cs.SE
CodePod: A Language-Agnostic Hierarchical Scoping System for Interactive Development
针对Jupyter Notebook线性结构与全局命名空间限制大型项目扩展性的问题，提出语言无关的分层作用域系统CodePod，通过源码级转换实现嵌套模块增量求值，经形式化证明与用户研究验证可显著提升项目可扩展性。
2025-07-31 cs.PL cs.SE
Fine-Grained Lineage for Safer Notebook Interactions
计算笔记本已成为数据科学和分析工作流的首选平台，可实现快速迭代和探索。通过将中间程序状态保存在内存中，并将执行单元分割成所谓的“单元”，笔记本允许用户交互式地执行他们的工作流程，并享受特别紧密的反馈。然而，随着单元格被添加、删除、重新排序和重新排序，这种隐藏的中间状态以不一定与笔记本的可见代码相关的方式积累，使得执行行为难以推理，并导致错误和缺乏可重复性。我们提出了NBSafety，一个自定义的嵌入式内核，使用运行时跟踪和静态分析自动管理与细胞执行和全局笔记本状态相关联的血统。NBSafety检测并防止用户在独立的笔记本交互过程中犯下的错误，同时保留现有笔记本语义的灵活性。我们通过回放和分析666个真实笔记本会话来评估NBSafety防止错误交互的能力。其中，NBSafety确定了117个具有潜在安全性错误的会话，在其余549个会话中，与随机基线相比，NBSafety确定为解决安全性问题的单元格被用户选择重新执行的可能性超过$7\times$，即使用户未使用NBSafety，因此不受其建议的影响。
2021-06-19 cs.DB cs.HC cs.PL
Towards Automatic Translation of Machine Learning Visual Insights to Analytical Assertions
本文提出将机器学习可视化中的视觉属性自动翻译为 Python 断言，基于从 GitHub 挖掘的 269 对可视化-断言对构建分类体系，并比较传统 NLP4Code 模型与大型语言模型的效果，以增强 ML 系统验证。
2024-01-15 cs.SE
On the Relation between Code Quality and Machine Learning Performance: A Large-scale Empirical Study
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 CRIStAL（UMR 9189 里尔计算机、信号与自动控制实验室）
本研究通过分析Kaggle上265,363个Python笔记本，发现通用代码质量与机器学习性能无关，而机器学习特定违规与性能呈小负相关，流行度和代码专业知识不指示质量或性能，竞赛专业知识则与更好性能相关。
2026-09-11 cs.LG cs.SE
PandasCorpus: A Resource of Real-World Pandas Workflows and Usage Patterns
Gisma University of Applied Sciences（吉斯马应用科学大学）
该研究构建了包含13.9万个Jupyter笔记本的PandasCorpus数据集，分析2015-2025年Pandas工作流特征，为相关研究提供公开资源。
2026-08-18 cs.LG cs.SE
