Deep Learning & Software Engineering: State of Research and Future Directions
University of California, Davis(加州大学戴维斯分校);University of Virginia(弗吉尼亚大学);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);William & Mary(威廉玛丽学院);Columbia University(哥伦比亚大学);Google(谷歌公司);Purdue University(普渡大学)
鉴于目前处于深度学习(DL)和软件工程(SE)交叉点的研究的变革潜力,NSF赞助的社区研讨会与第34届IEEE/ACM自动化软件工程国际会议(ASE'19)在加利福尼亚州圣地亚哥举行。这次讲习班的目的是概述交叉研究的高度优先领域。虽然确定了许多令人兴奋的未来工作方向,但本报告提供了代表研讨会上讨论的最优先领域的研究领域的一般摘要。本报告的目的是作为一个潜在的路线图,以指导未来的工作,坐在SE和DL的交叉点。
2020-09-17 cs.AI cs.LG cs.SE
An Empirical Investigation of Pre-Trained Deep Learning Model Reuse in the Scientific Process
Loyola University Chicago(洛伊拉大学芝加哥分校);Purdue University West Lafayette, IN, USA(普渡大学西拉法基分校)
通过对17,718篇同行评审开放获取论文的实证研究,量化了自然科学中预训练深度学习模型(PTM)的复用模式、利用率和影响,发现“生物化学、遗传学和分子生物学”领域复用最多,“适配”复用模式最普遍,且“测试”阶段受PTM集成影响最大。
2026-09-01 cs.AI cs.SE
A Systematic Literature Review on Explainability for Machine/Deep Learning-based Software Engineering Research
Yangzhou University(扬州大学);Singapore Management University(新加坡管理大学);University of Southern Queensland(南昆士兰大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文对软件工程领域AI模型可解释性研究进行系统文献综述,涵盖108篇论文和23个SE任务,总结XAI成功应用场景、分类分析XAI技术并调查评估方法,指出尚存挑战与未来研究方向。
2025-02-05 cs.AI cs.SE
Secure Deep Learning Engineering: A Software Quality Assurance Perspective
Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);Optus Macquarie University Cyber Security Hub(Optus麦考瑞大学网络安全中心);Kyushu University(九州大学);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA AI Tech Centre(英伟达人工智能技术中心)
在过去的几十年里,深度学习(DL)系统取得了巨大的成功,并在各种应用中获得了极大的普及,例如智能机器、图像处理、语音处理和医疗诊断。深度神经网络是其最近成功背后的关键驱动力,但似乎仍然是一个缺乏可解释性和理解的神奇黑匣子。这带来了许多开放的安全和安全问题,对严格的方法和工程实践提出了巨大而迫切的要求,以提高质量。大量研究表明,最先进的DL系统存在缺陷和漏洞,可能导致严重的损失和悲剧,特别是在应用于现实世界的安全关键型应用时。在本文中,我们进行了一项大规模的研究,并构建了一个包含223篇与深度学习的质量保证、安全性和解释相关的论文库。从软件质量保证的角度来看,我们明确了通用安全深度学习工程的挑战和未来机遇。我们希望这项工作和所附的文件库可以铺平道路的软件工程社区解决紧迫的工业需求的安全智能应用程序。
2018-10-10 cs.AI cs.CR cs.LG
Evaluation of tools for describing, reproducing and reusing scientific workflows
在计算科学和工程领域,工作流程通常需要应用各种软件,例如,用于模拟或预处理和后处理。通常,这些组件必须在任意复杂的工作流程中组合,以解决特定的研究问题。为了让同行研究人员理解,复制和(重新)使用科学出版物的研究结果,必须解决几个挑战。例如,所采用的工作流程必须是自动化的,所有使用的软件的信息必须可用于结果的再现。此外,结果必须是可追踪的,工作流程必须有文件记录和可读,以便外部验证和更大的信任。在本文中,现有的工作流管理系统(WFMS)的描述,复制和重用科学工作流的适用性进行了讨论。为此,一组WFMS的一般要求推导出用户的故事,我们认为在计算科学和工程领域的相关。基于在GitHub(https://github.com/BAMresearch/NFDI4IngScientific WorkflowRequirements)公开托管的示例性工作流实现,关于这些要求比较不同的工作流管理系统的选择,以支持同行科学家识别最适合他们要求的工作流管理系统。
2022-11-10 cs.SE
Software Engineering Challenges of Deep Learning
Peltarion AB(佩尔塔里昂公司)
近年来,深度学习(DL)系统取得了令人惊讶的有希望的结果。其中许多成就是在学术环境中取得的,或者是由拥有高技能研究团队和先进支持基础设施的大型科技公司取得的。对于没有大型研究团队或先进基础设施的公司来说,使用DL组件构建高质量的生产就绪系统已被证明具有挑战性。显然缺乏用于构建深度学习系统的功能良好的工具和最佳实践。本研究的目标是通过与不同规模和类型的公司密切合作,采用解释性研究方法,确定主要挑战是什么。我们选择了七个项目来描述这项新技术的潜力,并确定相关的主要挑战。一组12个主要的挑战已经被确定,并分为三个领域的发展,生产和组织的挑战。此外,还定义了挑战和项目之间的映射,以及关于挑战如何以及为什么适用于特定项目的选定激励性描述。与软件工程或数据库技术等其他领域相比,DL显然还相当不成熟,需要进一步的工作来促进高质量系统的开发。本文中确定的挑战可以用来指导未来的研究由软件工程和DL社区。我们可以让大量公司开始利用DL技术的巨大潜力。
2018-10-29 cs.AI cs.LG cs.SE
Importance-Driven Deep Learning System Testing
University of York(约克大学);MPI-SWS(马克斯·普朗克软件系统研究所);Bogazici University(博阿齐奇大学)
深度学习(DL)系统能够解决图像识别和机器翻译等复杂任务,因此是工程智能应用的关键推动因素。然而,在安全和安全关键应用中使用DL系统需要为其可靠运行提供测试证据。最近在这个方向的研究集中在适应测试标准,从传统的软件工程作为一种手段,增加信心,他们的正确行为。然而,它们不足以捕捉这些系统所表现出的内在特性。我们通过引入DeepImportance来弥合这一差距,DeepImportance是一种系统化的测试方法,伴随着DL系统的重要性驱动(IDC)测试充分性标准。应用IDC能够建立对DL系统组件重要性的逐层功能理解,并使用此信息来评估测试集的语义多样性。我们对多个DL系统,多个DL数据集和最先进的对抗生成技术进行的实证评估表明了DeepImportance的有用性和有效性,以及它支持更强大的DL系统工程的能力。
2020-02-09 cs.AI cs.LG cs.SE
A Systematic Literature Review on the Use of Deep Learning in Software Engineering Research
Washington & Lee University(华盛顿与李大学);William & Mary(威廉与玛丽学院);George Mason University(乔治梅森大学)
软件工程(SE)研究人员采用的一组越来越流行的技术来自动化开发任务,这些技术植根于深度学习(DL)的概念。这些技术的流行主要源于它们的自动化特征工程能力,这有助于对软件工件进行建模。然而,由于DL技术的快速发展,很难提炼出当前研究领域的成功、失败和机遇。在努力使清晰的工作,从它的现代成立到现在,这个跨领域的研究,本文提出了一个系统的文献综述SE & DL的交叉点。这篇评论涉及最著名的SE和DL会议和期刊中出现的工作,涵盖了23个独特SE任务的128篇论文。我们围绕学习的组成部分进行分析,这是一组管理机器学习技术(ML)应用于给定问题领域的原则,在粒度级别上讨论了调查工作的几个方面。我们的分析的最终结果是一个研究路线图,既描绘了应用于SE研究的DL技术的基础,并突出了未来可能的肥沃的探索领域。
2021-09-23 cs.AI cs.LG cs.NE
CodeTrans: Towards Cracking the Language of Silicon's Code Through Self-Supervised Deep Learning and High Performance Computing
Technical University of Munich(慕尼黑工业大学);Google AI(谷歌AI);Google(谷歌);Nvidia(英伟达)
目前,越来越多成熟的自然语言处理应用使人们的生活更加方便。这样的应用程序是由源代码构建的--源代码是软件工程中的语言。然而,理解源代码语言,以简化软件工程过程的应用研究不足。同时,Transformer模型,特别是它与迁移学习的结合,已被证明是自然语言处理任务的强大技术。这些突破为处理源代码和破解软件工程任务指明了一个有希望的方向。本文描述了CodeTrans --一种软件工程领域任务的编码器-解码器转换器Transformer模型,探讨了编码器-解码器转换器Transformer模型对6个软件工程任务(包括13个子任务)的有效性。此外,我们还研究了不同训练策略的效果,包括单任务学习、迁移学习、多任务学习和微调多任务学习。CodeTrans在所有任务上都优于最先进的模型。为了加快软件工程领域的未来工作,我们发布了我们的CodeTrans预训练模型。https://github.com/agemagician/CodeTrans
2021-05-12 cs.AI cs.CL cs.LG
Post-Workshop Report on Science meets Engineering in Deep Learning, NeurIPS 2019, Vancouver
Facebook AI(Facebook 人工智能研究院);DeepMind(DeepMind 公司);Google Brain(谷歌大脑)
深度学习中的科学与工程结合在温哥华举行,作为NeurIPS 2019研讨会的一部分。作为研讨会的组织者,我们创建了以下报告,试图将整个活动中出现的新主题和反复出现的主题分离出来。深度学习尽管近年来取得了巨大的成功,但它仍然是艺术和工程的复杂组合。本次研讨会旨在将所有人聚集在一起,共同解决他们正在处理的问题中看似截然不同的挑战。作为研讨会的一部分,我们特别关注架构、数据和优化之间的相互依赖性,这些相互依赖性导致了设计和性能复杂性的巨大景观,而这些景观尚未得到很好的理解。今年,我们的目标是在我们的社区中强调以下方向:(i)确定通往更好的模型和算法的障碍;(ii)确定我们希望建立科学和潜在理论理解的一般趋势;(iii)确定我们希望建立的科学和潜在理论理解的一般趋势。以及(iii)科学实验和实验方案的严格设计,其目的是解决和查明谜团的起源,同时确保可重复性结论的稳健性。结果,这些主题出现并得到了广泛讨论,符合我们的期望,并为这些方向的新研究铺平了道路。虽然我们承认,文本通过我们的镜头自然是有偏见的,但我们在这里试图公平地突出研讨会的成果。
2020-07-29 cs.AI cs.LG
A Transfer Learning Evaluation of Deep Neural Networks for Image Classification
Computer Science Institute, Ruhr West University of Applied Sciences, 46236 Bottrop(鲁尔西大学应用科学学院计算机科学研究所)
本文研究如何选择最佳预训练模型以满足图像分类任务需求,通过优化输出层和网络参数,将11种ImageNet预训练模型知识应用于5个目标数据集,评估模型在单次训练和十次训练中的准确性、准确率密度、训练时间和模型大小。
2026-05-12 cs.AI cs.CV
TREC Deep Learning Track: Reusable Test Collections in the Large Data Regime
Microsoft(微软);University College London(伦敦大学学院);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Institute of Standards and Technology(美国国家标准与技术研究院)
TREC深度学习(DL)Track研究大数据体系中的即席搜索,这意味着大量人工标记的训练数据可用。到目前为止的结果表明,大数据的最佳模型可能是深度神经网络。本文通过三种方式支持TREC DL测试集合的重用。首先,我们详细描述了数据集,在一个地方清楚地记录了一些细节,这些细节分散在跟踪指南,概述文件和我们相关的MS MARCO排行榜页面中。我们希望此描述能使新手更容易使用TREC DL数据。其次,由于在重用数据集时存在一些迭代和选择偏差的风险,我们描述了使用TREC DL数据撰写论文的最佳实践,而不会过度拟合。我们提供了一些说明性的分析。最后,我们解决了一些问题,围绕TREC DL数据,包括可重用性的分析。
2021-04-19 cs.AI cs.IR cs.LG
Feature-Set-Engineering for Detecting Freezing of Gait in Parkinson's Disease using Deep Recurrent Neural Networks
Tilburg University(蒂尔堡大学)
步态冻结(FoG)是帕金森病常见的步态障碍,通常出现在其晚期。冻结事件与跌倒、受伤和心理后果相关,对患者的生活质量产生负面影响。为了自动检测FoG事件,需要高精度的检测方法。本文提出了一种利用深度递归神经网络(RNN)对3D加速度计测量检测FoG事件的方法。我们调查合适的功能和功能组合提取的传感器的时间序列数据。具体来说,为了检测FoG事件,我们应用了具有长短期记忆细胞的深度RNN。在我们的实验中,我们进行用户相关和用户独立的实验,检测冻结事件。我们的实验结果表明,从躯干传感器中提取的频域特征是受试者独立方法中信息量最大的特征组,平均AUC得分为93%,特异性为90%,灵敏度为81%。此外,所有传感器的频率和统计特征被确定为受试者依赖性方法的最佳单个输入,实现了97%的平均AUC评分,96%的特异性和87%的灵敏度。总体而言,在比较国家的最先进的方法从文献作为基线方法,我们提出的方法优于这些显着。
2019-09-08 cs.AI cs.LG eess.SP
Automated data processing and feature engineering for deep learning and big data applications: a survey
Cape Coast Technical University(海岸角技术大学);University of Mines and Technology(矿业与技术大学)
该综述全面梳理了深度学习与大数据应用中自动化数据处理与特征工程的方法,涵盖数据预处理、增强及特征工程,并探讨了AutoML在端到端流水线优化中的作用。
2024-03-19 cs.AI cs.DB cs.LG
A Convolutional Neural Network Approach to the Classification of Engineering Models
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本文提出了一种使用卷积神经网络(CNN)对工程(CAD)模型进行分类的深度学习方法。由于大型注释数据集的可用性以及GPU形式的足够计算能力,最近提出了许多基于深度学习的对象分类解决方案,特别是在图像和图形模型领域。然而,很少有解决方案已被提出的CAD模型的功能分类的任务。因此,对于这项研究,CAD模型已从工程形状基准(ESB),国家设计库(NDR)收集,并使用建模软件创建的更新模型进行增强,以形成数据集-“CADNET”。受流行的ResNet的启发,建议使用CADNET的剩余网络架构。选择加权光场描述符(LFD)方案作为特征提取的方法,并且将生成的图像作为输入馈送到CNN。使用类权重方法解决数据集中类不平衡的问题。已经使用深度网络以及CADNET上的其他网络架构对测地线距离等其他签名进行了实验。使用所提出的网络架构的基于LFD的CNN方法以及梯度提升在CADNET上产生了最佳的分类精度。
2021-07-14 cs.AI cs.CV cs.GR
Repository for Reusing Artifacts of Artificial Neural Networks
HTW University of Applied Sciences(HTW应用科学大学);University of Guilan(吉兰大学);Pitzer College(皮策学院);University Hospital Bonn(波恩大学医院);University of Southampton(南安普顿大学)
人工神经网络(ANN)在诸如机器翻译、自然语言处理和图像处理的各个领域中取代了传统的软件系统。那么,为什么我们需要人工神经网络的存储库呢?这些系统是用标记数据开发的,我们在用于训练和测试网络的数据之间有很强的依赖性。另一个挑战是数据质量和可重用性。在那里,我们试图应用经典软件工程的概念,而不限于模型,而数据和代码在其他项目中没有得到处理。首先想到的问题可能是,为什么我们不使用GitHub,一个众所周知的广泛传播的重用工具,来解决我们的问题。原因是,GitHub虽然在同类产品中非常出色,但它并不是为机器学习设备开发的,而是更注重软件重用。除此之外,GitHub不允许直接在平台上执行代码,这对于一个项目的协作工作非常方便。
2020-03-30 cs.LG cs.SE
Component Based Software Development: A State of Art
软件设计的目标之一是以可重用的方式对系统进行建模。积极地重用设计或代码允许利用对可重用组件的投资。然而,领域特定组件的开发及其在成本和时间方面对工作的影响仍然是一个具有挑战性的问题。基于组件的技术经过一段时间的发展,已经从简单的组件发展到了领域特定的组件。本文介绍了构件技术从构件工程到领域工程的巨大变化。
2014-06-14 cs.SE
Reusing Convolutional Neural Network Models through Modularization and Composition
本文提出 CNNSplitter 与 GradSplitter,将训练好的 CNN 按类别拆分为可复用卷积核模块并通过组合修补或构建模型,实验证明其模块更小、精度损失低且复用效果良好。
2023-11-08 cs.SE
Knowledge-Based Version Incompatibility Detection for Deep Learning
针对现有深度学习版本不兼容检测技术覆盖范围有限的问题,该研究利用Stack Overflow讨论数据,通过预训练QA模型抽取知识并构建加权知识图,实现了更高准确率和召回率的版本不兼容检测。
2023-08-28 cs.SE
Survey on Essential and Accidental Real-Time Issues in Software Engineering
软件产品线是近年来被认为是提高软件开发效率的最有前途的方法之一。不同的研究工作有助于支持参数和谈判的问题,产生一个完美的软件计划。传统的方法或回收软件不能有效地解决软件竞争力问题。随着软件工程在过去几年中的快速发展,研究表明,一些方法在工业界和大学都得到了广泛的关注。这种方法被归类为软件产品线改进,支持大型组织中的软件重用。不同行业正采用新产品开发的生产线,以提高效率和减少运营开支。本研究论文的目的是对软件工程的复杂性、一致性、易变性、不可见性、时间限制、预算限制和安全性等问题进行深入研究。我们通过走访不同的专业软件开发机构进行了各种调研,并从专业软件工程师那里获得反馈,分析他们在软件系统开发过程中所面临的实时的【形】问题。调查结果表明,复杂性是大多数软件开发人员在开发软件应用程序时面临的最常见的问题。此外,根据调查,隐形是很少发生的问题。
2017-03-10 cs.SE
Deep Learning-based Software Engineering: Progress, Challenges, and Opportunities
本文提出首个面向任务的基于深度学习的软件工程综述,涵盖贯穿软件生命周期的十二个主要子领域,系统梳理了深度学习驱动各子领域的进展、挑战与机遇。
2024-10-17 cs.SE
Deep Learning in Software Engineering
近年来,深度学习在软件工程(Software Engineering,SE)领域越来越流行。然而,许多悬而未决的问题仍有待调查。研究人员如何将深度学习整合到SE问题中?深度学习促进了SE的哪些阶段?从业者是否从深度学习中受益?这些答案有助于从业者和研究人员为SE任务开发实用的深度学习模型。为了回答这些问题,我们对SE中使用深度学习技术的98篇研究论文进行了参考书目分析。我们发现,所有SE阶段的41项SE任务都得到了深度学习集成解决方案的帮助。其中,84.7%的论文仅使用标准的深度学习模型及其变体来解决SE问题。实用性成为利用深度学习技术的关注点。如何提高基于深度学习的解决方案的有效性、效率、可理解性和可测试性可能会在未来吸引更多的SE研究人员。
2018-05-13 cs.SE
Software Engineering Practice in the Development of Deep Learning Applications
深度学习(DL)应用程序已被广泛用于协助各种任务。它们是基于数据驱动的编程范式构建的,与传统的软件应用程序不同。鉴于深度学习应用程序的日益普及和重要性,软件工程从业者有一些专门针对它们的技术。然而,很少有研究来确定实践中的挑战和不足。为了填补这一空白,在本文中,我们调查了195从业者了解他们的见解和经验,在软件工程实践的DL应用程序。具体而言,我们要求受访者确定DL应用程序开发生存周期实践中的不足和挑战。结果提出了13个发现,为我们提供了一个更好的理解软件工程实践的DL应用程序。此外,我们将这些发现转化为7个可操作的建议,供软件工程研究人员和实践者改进深度学习应用程序的开发。
2019-10-08 cs.SE
A Survey on Deep Learning for Software Engineering
2006年,Geoffrey Hinton提出了训练“深度神经网络(DNNs)”的概念和一种改进的模型训练方法,以打破神经网络发展的瓶颈。最近,2016年AlphaGo的推出展示了深度学习的强大学习能力及其巨大潜力。深度学习越来越多地用于开发最先进的软件工程(SE)研究工具,因为它能够提高各种SE任务的性能。有许多因素,例如,深度学习模型选择、内部结构差异和模型优化技术,这些可能会影响SE中应用的DNN的性能。迄今为止,很少有工作集中于总结、分类和分析深度学习技术在SE中的应用。为了填补这一空白,我们进行了一项调查,分析自2006年以来发表的相关研究。我们首先提供一个示例来说明如何在SE中使用深度学习技术。然后,我们总结并分类了SE中使用的不同深度学习技术。我们分析了这些深度学习模型中使用的关键优化技术,最后描述了在SE中使用DNN的一系列关键研究主题。根据我们的调查结果,我们提出了一系列当前仍有待调查的挑战,并概述了拟议的研究路线图,强调了未来工作的关键机遇。
2020-11-30 cs.SE
Modularizing while Training: A New Paradigm for Modularizing DNN Models
Beihang University(北京航空航天大学);Chongqing University(重庆大学)
针对现有训练后DNN模块化方法开销大、精度损失高的问题,提出训练同时模块化范式MwT,通过优化内聚与耦合的损失函数训练模块化CNN模型,在精度、模块精简度和时间成本上均优于现有最优方法。
2023-10-05 cs.AI cs.LG cs.SE
Towards Understanding the Impact of Data Bugs on Deep Learning Models in Software Engineering
本文通过实证调查研究了软件工程中代码、文本和度量数据缺陷对深度学习模型的影响,发现不同数据问题会导致梯度不稳定、过拟合等不同症状,并利用六个新数据集验证了结论,为开发监控系统和数据清理方法提供了依据。
2025-08-11 cs.SE
Software Engineering Meets Deep Learning: A Mapping Study
Federal Institute of the Southeast of Minas Gerais (IF Sudeste MG)(米纳斯吉拉斯东南联邦学院);Federal Institute of Minas Gerais (IFMG)(米纳斯吉拉斯联邦学院);Federal University of Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学)
深度学习(DL)现在被用于许多传统的软件工程(SE)问题和任务。然而,由于深度学习技术的复兴仍然是最近,我们缺乏总结和浓缩在深度学习和SE的交叉点进行的最新和相关的研究工作。因此,在本文中,我们描述了映射研究的第一个结果,涵盖了81篇关于DL & SE的论文。我们的研究结果证实,多年来,DL在SE研究人员中的势头越来越好,分析论文解决的前3个研究问题是文档,缺陷预测和测试。
2020-12-04 cs.LG cs.SE
DARVIZ: Deep Abstract Representation, Visualization, and Verification of Deep Learning Models
传统的软件工程编程范式大多是面向对象或过程的,由确定性算法驱动。随着深度学习和认知科学的出现,数据驱动编程的趋势正在出现,这在软件工程社区中创造了编程范式的转变。可视化和解释当前大规模数据驱动的软件开发的执行是具有挑战性的。此外,对于深度学习开发,有许多库采用多种程序设计语言,如TensorFlow(Python)、CAFFE(C++)、Theano(Python)、Torch(Lua)和Deeplearning4j(Java),这推动了对跨库互操作性的巨大需求。
2017-08-16 cs.SE
Deep Learning Models in Software Requirements Engineering
Innopolis University(因诺波利斯大学)
需求获取是任何软件项目的一个重要阶段:修正需求中的错误比修正软件生存周期后期引入的错误要昂贵得多。然而,许多项目没有为需求投入足够的时间。自动化的需求生成可以提高软件项目的质量。在这篇文章中,我们已经完成了这个主题的研究的第一步:我们已经将香草句子自动编码器应用到句子生成任务中,并评估了它的性能。生成的句子不是似是而非的英语,只包含几个有意义的单词。我们相信,将该模型应用于更大的数据集可能会产生更好的结果。需要进一步研究,以提高生成数据的质量。
2021-05-17 cs.LG cs.SE
An Empirical Study of Deep Learning Sentiment Detection Tools for Software Engineering in Cross-Platform Settings
软件工程(SE)中的情感检测已经显示出支持各种开发活动的前景。然而,鉴于SE平台的多样性,SE特定的情感检测工具在跨平台设置中的性能可能会受到影响。最近,发现基于深度学习(DL)的特定于SE的情感检测工具比基于浅机器学习(ML)/基于规则的工具提供更好的性能。然而,目前还不知道DL工具在跨平台设置中的性能如何。在本文中,我们研究了在跨平台设置中,特定于SE的DL情感检测器是否比基于ML/基于规则的浅情感检测器更有效。在三个数据集中,我们研究了三种DL工具(SentiMoji,BERT 4SentiSE,RNN 4SentiSE),并将其与三种基线进行比较:两种浅层学习工具(Senti 4SD,SentiCR)和一种基于规则的工具(SentistrengthSE)。我们发现(1)SE的深度学习SD工具BERT 4SentiSE在大多数情况下在跨平台设置中优于其他监督工具,但在大多数情况下,该工具优于基于规则的工具SentistrengthSE。(2)BERT 4SentiSE在三个数据集的平台内设置中大幅优于SentistrengthSE,并且在六个跨平台设置中的四个中仅略优于SentiStrengthSE。这一发现为在跨平台设置中进一步改进预训练的Transformer模型(如BERT 4SentiSE)提供了希望。(3)两个表现最好的深度学习工具(BERT 4SentiSE和Se…
2023-01-17 cs.SE
Explainable AI for Engineering Design: A Unified Approach of Systems Engineering and Component- Based Deep Learning Demonstrated by Energy- Efficient Building Design
Leibniz University Hannover(汉诺威莱布尼茨大学);Technical University of Munich(慕尼黑工业大学)
本文提出融合系统工程与基于组件深度学习的可解释AI方法,通过接口可解释激活提升模型泛化与复用,并在节能建筑设计中验证其精度与可解释性。
2024-09-09 cs.LG cs.SE cs.SY
On the Value of Oversampling for Deep Learning in Software Defect Prediction
深度学习的一个真理是,自动特征工程(在这些网络的第一层中可见)使数据科学家在运行深度学习之前不必执行繁琐的手动特征工程。对于缺陷预测的深度学习的特定情况,我们证明了这一真理是错误的。具体来说,当我们使用称为模糊采样的新型过采样技术预处理数据时,作为称为GHOST(面向目标的可扩展训练超参数优化)的更大管道的一部分,我们可以在14/20缺陷数据集中做得比现有的DL技术更好。我们的方法产生了最先进的结果,大大加快了深度学习者的速度。这些结果为在软件缺陷预测数据集上应用深度学习之前使用过采样提供了令人信服的案例。
2021-04-20 cs.SE
Synergy between Machine/Deep Learning and Software Engineering: How Far Are We?
Southern Methodist University(南卫理公会大学);Nanjing University(南京大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
自2009年以来,由ImageNet引入引发的深度学习革命激发了机器学习(ML)/深度学习(DL)和软件工程(SE)之间的协同作用。与此同时,出现了一些批评性的评论,建议ML/DL应该谨慎使用。为了提高ML/DL相关SE研究的质量(特别是适用性和普遍性),并刺激和加强SE/AI研究人员与行业从业者之间的未来合作,我们对2009年至2018年期间发表的906篇ML/DL相关SE论文进行了为期10年的系统文献综述(SLR)。我们的趋势分析表明,ML/DL和SE相互影响。然而,与此同时,我们也观察到缺乏可复制和可重复的ML/DL相关SE研究,并确定了影响其可复制性和可重复性的五个因素。为了提高研究结果的适用性和普遍性,我们分析了研究中的哪些成分有助于理解为什么选择ML/DL技术来解决特定的SE问题。此外,我们确定了DL模型对SE任务影响的独特趋势,以及为了更好地利用DL来提高SE任务的生产力而需要满足的五个独特挑战。最后,我们概述了一个路线图,我们相信它可以促进基于ML/DL的SE研究成果转化为现实世界的行业实践。
2020-08-12 cs.LG cs.SE
Data Engineering for HPC with Python
随着深度学习和机器学习的采用,数据工程正在成为科学发现中越来越重要的一部分。数据工程涉及各种数据格式、存储、数据提取、转换和数据移动。数据工程的一个目标是将数据从原始数据转换为深度学习和机器学习应用程序接受的向量/矩阵/张量格式。在这些数据工程阶段,有许多结构(如表、图和树)来表示数据。其中,表格是加载和处理数据的通用且常用的格式。在本文中,我们提出了一个分布式的Python API的基础上表抽象表示和处理数据。与现有的纯用Python编写的最先进的数据工程工具不同,我们的解决方案采用C++中的高性能计算内核,具有基于Cython的Python绑定的内存表表示。在核心系统中,我们使用MPI进行分布式内存计算,并采用数据并行方法处理HPC集群中的大型数据集。
2020-10-13 cs.CY cs.DC cs.PF