Practices, Challenges, and Opportunities When Inferring Requirements From Regulations in the FinTech Sector - An Industrial Study
本文通过一项金融科技领域工业多案例研究，系统调查从法规中推断软件需求的实践与挑战，识别关键实践和问题，并为未来问题驱动的研究提出建议。
2024-05-05 cs.SE
Adopting Automated Bug Assignment in Practice -- A Registered Report of an Industrial Case Study
[背景/上下文]在大型开发项目中，bug报告的持续流入是一个相当大的挑战。受当代挖掘软件存储库工作的启发，我们在2011-2016年设计了一个基于机器学习的原型错误分配解决方案。该原型在2017-2018年演变为爱立信内部产品TRR。TRR的第一个没有人为干预的错误分配发生在2019年。[目的/目的]我们的探索性研究将评估TRR在爱立信工业环境中的采用情况。我们试图了解1）TRR在该领域的表现，2）TRR为爱立信提供了什么价值，以及3）TRR如何影响工作方式。其次，我们将提供与公司内研究原型产品化相关的经验教训。[方法]设计了一个工业案例研究，结合对TRR开发人员和用户的访谈，以及对爱立信缺陷跟踪系统中提取的数据的分析。此外，我们还将分析产品化过程中记录的sprint计划会议。我们的数据分析将包括主题分析，描述性统计和贝叶斯因果分析。
2021-09-28 cs.SE
Software Architecture Decision-Making Practices and Challenges: An Industrial Case Study
软件体系结构决策对于软件系统的成功至关重要，因为软件体系结构设置了系统的结构，确定了系统的质量，并在整个系统生存周期中具有深远的影响。软件开发环境的复杂性和问题的重要性促使研究界开发了一些技术、工具和过程来帮助软件架构师做出更好的决策。尽管作出了这些努力，但在实践中采用这种系统性办法似乎相当有限。此外，实践者也面临着新的挑战，因为不同的软件开发方法建议不同的方法进行架构设计。在本文中，我们研究了目前的软件架构决策的做法，在行业中使用的专业软件架构师在三个不同的公司在欧洲进行的案例研究。因此，我们确定了软件团队遵循的不同软件架构决策实践，以及遵循这些实践的原因，与之相关的挑战，以及从软件架构师的角度来看可能的改进。在此基础上，我们认识到，改进软件架构知识管理可以解决大多数已识别的挑战，并将导致更好的软件架构决策。
2016-10-28 cs.SE
How is Performance Addressed in DevOps? A Survey on Industrial Practices
DevOps是一种现代软件工程范式，在工业中得到广泛采用。DevOps的目标是以高频率和快速反馈周期将软件更改带入生产。这与软件质量保证活动相冲突，特别是在性能方面。例如，性能评估活动--比如负载测试--需要大量的时间来获得统计上有意义的结果。我们进行了一项行业调查，以深入了解如何在工业DevOps环境中解决性能问题。特别是，我们对执行性能评估的频率、使用的工具、获得的性能数据的粒度以及基于模型的技术的使用感兴趣。来自不同行业的各种参与者的调查回应表明，性能工程方法和工具的复杂性是DevOps中广泛采用性能分析的障碍。我们的结果意味着性能分析工具需要有一个短的学习曲线，并且应该很容易集成到DevOps管道中。
2018-08-21 cs.SE
Continuous Experimentation and the Cyber-Physical Systems challenge: An overview of the literature and the industrial perspective
背景：新的软件开发模式正在出现，旨在加速交付价值的过程。一种是持续实验，它允许在开发阶段系统地部署和运行仪表化软件变体，以便从应用领域收集数据。虽然目前这种做法每天都在基于网络的系统上使用，但在计算资源受到限制的领域中，技术困难对其采用提出了挑战，例如，网络物理系统和汽车行业。目的：本文旨在概述在网络物理系统的背景下，对持续实验实践的参与。了解在网络物理系统的背景下，持续实验实践的最新技术是什么，以及从业者对此实践的反馈是什么。方法：进行了系统的文献综述，以调查实践和应用领域之间的联系。此外，工业多个案例研究报告。结果：该研究介绍了当前关于网络物理系统领域连续实验的最新技术水平。最后介绍了连续试验在工业上的应用前景。结论：该领域尚未成熟。发现的概念分析多于解决方案建议，实践状况尚待实现。然而，预计随着时间的推移，将提出越来越多的解决方案并加以验证。
2020-09-11 cs.SE
Improving Development Practices through Experimentation: an Industrial TDD Case
测试驱动开发（TDD）是一种敏捷开发方法，它通过连续的微迭代测试编码周期来加强软件系统的构建，被广泛认为可以提高软件的外部质量。有鉴于此，Paf（一家北欧游戏娱乐公司）的一些经理很想知道TDD在他们的场所会如何表现。最终，如果TDD优于他们的传统编码方式（即，YW，Your Way的缩写），考虑到在公司层面取得的经验证据，转向TDD是可能的。我们在Paf进行了一项实验，以评估TDD、YW和TDD的反向方法（即，ITL，Iterative-Test Last的缩写）。TDD在Paf的表现优于YW和ITL。尽管结果令人鼓舞，但我们不能建议Paf立即采用TDD，因为YW和TDD之间的性能差异很小。然而，由于TDD在Paf上看起来很有前途，我们建议将一些开发人员转移到TDD，并在未来进行实验以比较TDD和YW的性能。在TDD新手的对照实验中，TDD的表现略优于ITL。然而，仍然需要更多的工业实验来评估TDD在现实生活中的性能。
2018-09-06 cs.SE
An Industrial Case Study on Test Cases as Requirements
本文通过三家公司的案例研究，探讨测试用例如何替代需求文档，并总结了其益处、挑战及三种应用场景，为敏捷开发中的需求实践提供指导。
2023-08-12 cs.SE
Industrial Survey on Robustness Testing In Cyber Physical Systems
CETIC Research Centre（CETIC研究中心）
本文通过工业调查评估了蜂窝物理系统鲁棒性测试的现状，探讨了其在需求工程、系统设计和测试执行中的应用及存在的挑战。
2026-03-04 cs.SE
Extreme mutation testing in practice: An industrial case study
变异测试用于评估测试集的有效性。近年来，出现了一种称为极端突变测试的有前途的变化，这种变化在计算上更便宜。它标识了可以完全删除其功能的方法，并且测试套件不会注意到它，尽管有覆盖率。这些方法被称为伪测试。在本文中，我们比较了传统和极端突变测试的执行和分析时间，并讨论了它们在实践中的意义。我们将研究极端突变测试如何影响当前的软件开发实践，并讨论需要解决的开放性挑战，以促进行业采用。为此，我们进行了一个工业案例研究，包括在半导体行业的一个大型软件项目中运行传统和极端突变测试，该项目由超过11，000个单元测试的测试套件覆盖。除此之外，我们还对25个伪测试方法进行了定性分析，并采访了两个有经验的开发人员，看看他们是如何编写单元测试的，并收集了关于极端突变测试结果的有用性的意见。我们的结果包括执行时间，分数，执行的测试和mutator的数量，为什么方法是伪测试的原因，以及采访摘要。我们的结论是，较短的执行和分析时间是很明显的，在实践中，极端的突变测试补充编写单元测试与代码覆盖工具。我们建议，伪测试的代码应突出显示在代码覆盖率报告，极端的突变测试应在编写单元测试，而不是在一个解耦的会话。未来的研究应该研究如何在编写单元测试时执行极端突变测试，以便结果足够快但仍然有意义。
2021-03-15 cs.SE
Formal Methods: From Academia to Industrial Practice. A Travel Guide
本文探讨了形式化方法与工业实践之间差距依然存在的原因，建议通过提升工具易用性、改变利益相关者思维模式以及促进研究界合作来弥合该差距。
2024-02-13 cs.SE
Industrial-Strength Model-Based Testing - State of the Art and Current Challenges
到目前为止，基于模型的测试（MBT）被认为是行业中的前沿技术。根据我们的经验，我们概述了目前在实践中应用的不同MBT型号，特别强调航空电子、铁路和汽车领域。成功的工业规模应用MBT的关键因素进行了描述，无论是从科学和管理的角度来看。对于前一种观点，我们描述了并发反应式实时系统的自动测试用例、测试数据和测试过程生成技术，这些技术被认为是实践中MBT最重要的推动者。关于后者的观点，我们的经验，介绍了MBT方法在测试团队的概述。最后，讨论了最具挑战性的开放科学问题，其解决方案必将提高MBT在工业中的接受度和有效性。
2013-03-05 cs.SE
Automated Security Findings Management: A Case Study in Industrial DevOps
本文针对工业 DevOps 中的安全发现管理问题，提出一种遵循 DevOps 原则的自动化管理方法，并开发了语义知识库 Security Flama，通过两个工业项目的案例研究验证了其有效性与实践价值。
2024-01-12 cs.SE
Model-based testing in practice: An experience report from the web applications domain
在一家大型软件测试公司的背景下，我们已经部署了基于模型的测试（MBT）方法，以将公司的测试自动化实践提升到更高的成熟度和能力水平。我们从一组开源/商业MBT工具中选择了一个名为GraphWalker的开源工具，并务实地使用MBT对几个大型Web和移动应用程序进行端到端测试自动化。到目前为止，在我们的项目中，MBT方法在改进测试覆盖率（测试的路径数量）、改进测试设计实践以及改进实际故障检测有效性方面提供了各种有形和无形的好处。本经验报告（应用研究报告）的目的是基于“行动研究”，分享我们在实际工业环境中应用和评估MBT作为软件技术（技术和工具）的经验。我们的目标是通过分享我们在实践中应用MBT的行业-学术项目，我们所获得的见解以及我们迄今为止所面临和解决的挑战和问题，为MBT工业应用的经验证据做出贡献。我们讨论了行业背景的概述，提供动机，解释导致结果的事件，讨论所面临的挑战，总结结果，并总结经验教训，外卖信息和基于所述经验的实用建议。通过学习本文中的最佳实践，其他测试工程师可以在他们的测试项目中进行更成熟的MBT。
2021-04-05 cs.SE
Assessing the Integration of Software Agents and Industrial Automation Systems with ISO/IEC 25010
除了在工业系统中执行较低级别的自动化和控制功能外，代理技术还用于更高级别的决策制定。最近的研究已经确定了一些架构模式，在工业自动化系统中使用代理，但这些做法在几个方面有所不同，包括代理与物理系统及其控制功能的紧密耦合。这些实践可能在信息物理系统集成和交互中发挥关键作用。因此，显然需要一套通用的标准来评估可用的实践，并为给定的工业用例确定最适合的实践。遗憾的是，目前还没有这样的共同标准。这项工作提出了一个评估标准的方法，以及一种方法，使基于用例的选择的最佳实践集成代理和工业系统。ISO/IEC 25010系列标准提出的软件产品质量模型被用作起点，并被放置在工业自动化环境中。随后，应用所提出的方法，并对该领域的专家进行调查，以揭示对该主题的关键特征的一些见解。
2021-08-18 cs.SE cs.SY eess.SY
Industrial Practices of Requirements Engineering for ML-Enabled Systems in Brazil
本研究通过分析72名巴西从业者的调查数据，调查了巴西ML使能系统开发中需求工程的应用情况，发现任务主要由数据科学家执行且存在理解不足等问题，为提升需求工程成熟度提供了指导。
2024-07-22 cs.SE
Best Practices for Machine Learning Systems: An Industrial Framework for Analysis and Optimization
本文提出了一个工业框架，通过引入专为ML系统定制的分层软件质量模型（SQM）并结合集合函数优化技术，分析最佳实践集合对软件质量的影响与实施优先级。
2023-06-09 cs.LG cs.SE
On the experiences of adopting automated data validation in an industrial machine learning project
背景资料：数据错误是机器学习（ML）项目中的常见挑战，通常会导致支持ML的软件系统的性能显著下降。为了确保早期检测错误数据并避免使用不良数据训练ML模型，研究和工业实践建议在ML系统开发过程中纳入数据验证过程和工具。目的：该研究调查了工业ML项目中数据验证过程和工具的采用。数据验证过程需要大量的工程资源用于工具开发和维护。因此，确定最佳实践以供采用是非常重要的，特别是对于处于部署支持ML的软件系统的早期阶段的开发团队。方法：行动研究是在电信行业的大型软件密集型组织中进行的，特别是在分析研发组织中，用于对返回的硬件电信设备进行故障分类的ML用例。结果如下：根据评估结果和行动研究的学习，我们确定了在ML项目中采用数据验证过程和工具的三个最佳实践、三个好处和两个障碍。我们还提出了一个数据验证框架（DVF）的系统化采用的数据验证过程。结论：结果表明，在ML项目中采用数据验证过程和工具是测试ML支持的软件系统的有效方法。它需要对数据级别（特征、数据集、交叉数据集、数据流）有一个概述，在这个级别上可以应用某些数据质量测试。
2021-03-06 cs.SE
Bridging Research and Practice in Simulation-based Testing of Industrial Robot Navigation Systems
University of Bern, Bern, Switzerland（伯恩大学）
本文介绍仿真测试框架Surrealist在工业机器人导航中的实际应用，通过搜索算法自动生成挑战性场景，发现关键故障并提供客观基准，显著增强验证流程。
2025-10-10 cs.RO cs.SE
Industrial Practice of LLM-Based Test Case Carving and Assertion Generation (Experience Paper)
Fudan University（复旦大学）；ByteDance（字节跳动）
针对微服务系统回归测试因文档问题面临的挑战，提出NL2Test工具，通过自然语言描述和流量捕获生成可执行API回归测试，经大语言模型和确定性算法完成测试用例提取与断言生成等任务，在工业场景中效果良好，减少人工并提升自动化程度。
2026-07-28 cs.SE
Comparing Mutation Coverage Against Branch Coverage in an Industrial Setting
软件开发的实践状态是由持续集成服务器推动的不断变化所驱动的。这种不断的变化需要频繁的、完全自动化的测试，这些测试能够在项目构建时立即检测到错误。由于测试套件的故障检测能力变得如此重要，现代软件开发团队也不断地监控测试套件的质量。然而，似乎国家的实践是不愿意采用强覆盖度量（即突变覆盖），而是依赖于较弱的覆盖（即分支覆盖）。在本文中，我们调查了三个原因，禁止采用突变覆盖在持续集成设置：（1）它的集成到构建系统的难度，（2）的看法，分支覆盖是“足够好”，（3）在构建过程中的性能开销。我们的调查是基于一个案例研究，涉及四个开源系统和一个工业系统。我们证明了突变覆盖率揭示了测试套件中的其他弱点相比，分支覆盖率，它是能够做到这一点，在项目建设过程中的一个可接受的性能开销。
2021-04-23 cs.SE
An Industrial Experience Report on Retro-inspection
为了加强代码交付的质量，特别是为了提高未来的编码质量，一个全球性的信息和通信技术（ICT）的企业已经制度化的回顾式检查（即追溯检查），这是类似于费根检查，但不同的阶段，参与者等。本文报道了一个工业案例研究，旨在调查的经验和教训，从这个软件实践。为此，我们收集并分析了数据三角测量的各种经验证据。结果表明，追溯检查通过识别更复杂和潜在的缺陷，提供更多的指示性和暗示性的评论，将自己与同行代码审查区分开来。许多经验丰富的检查员指出缺陷及其背后的理由，并提供纠正和预防的建议。因此，追溯检查不仅有利于质量保证（如费根检查），而且有利于内部审计、部门间沟通和能力提升。另一方面，我们确定了现阶段追溯检查的几个教训，例如，开发商的接受度和组织者的困境，为下一步改进这一做法。具体而言，讨论了一些建议，以供追溯检查，例如，更充分的准备和更认真的宣传。这项研究的结论是，大多数的预期效益的追溯检查可以在这个企业的经验证实，其价值的进步，以持续成熟度可以被公认的组织范围。该方法在某大型软件企业的实施经验对其他软件组织的代码质量保证具有一定的参考价值。
2022-05-01 cs.SE
State of the Practice in Software Effort Estimation: A Survey and Literature Review
工作量估计是软件项目成功的关键因素，定义为在时间表和预算内交付商定质量和功能的软件。传统上，工作量估计用于计划和跟踪项目资源。基于这些目标的工作量估计方法通常专注于提供精确的估计，并且通常不支持最近在软件行业中变得重要的目标，例如因果工作依赖关系的系统和可靠分析。本文介绍了从工业的角度来看，软件工作量估计的研究结果。该研究调查的工业目标，软件组织的能力，以应用某些估计方法，并实际应用的软件工作量估计的做法。最后，在调查中确定的努力估计方法的要求进行比较，对现有的估计方法。
2014-01-23 cs.SE
Triage in Software Engineering: A Systematic Review of Research and Practice
Nankai University（南开大学）；Tsinghua University（清华大学）；Microsoft（微软）
本综述针对软件工程中问题分类（Triage）的研究与实践展开系统分析，回顾234篇相关论文，对比学术与工业目标，识别部署障碍，总结数据集与指标，为方法选择提供参考并指出未来研究方向。
2025-11-05 cs.SE
The Applicability of ISO/IEC 25023 Measures to the Integration of Agents and Automation Systems
工业自动化系统和软件代理的集成已经实践了很多年。然而，这种整合通常是由专家完成的，没有一致的方法来评估这些做法，并为特定的系统选择一个最佳的做法。诸如ISO/IEC 25023之类的标准提出了可以用于获得关于这种集成的特性的量化的措施。在这项工作中，这些特点和他们提出的计算，用于评估工业自动化系统与软件代理的连接的适用性进行了讨论。结果表明，虽然大多数的措施是相关的代理和工业自动化系统的集成，有些是不相关的，在这种情况下。此外，还注意到，有些措施，特别是技术性较强的措施，要么在自动化系统整合中很难计算，要么没有提供足够的指导来确定要采用的做法。
2021-08-06 cs.SE
xASTNN: Improved Code Representations for Industrial Practice
Tsinghua University（清华大学）；Fudan University（复旦大学）；VMware；Chongqing University（重庆大学）
针对现有代码表示方法难落地工业的问题，提出基于AST的xASTNN神经网络，通过三项设计保障效果并以动态批处理降复杂度，在代码理解任务上性能超SOTA且速度更快。
2023-11-06 cs.AI cs.SE
Finding Security Threats That Matter: An Industrial Case Study
软件工程的最新趋势（即，敏捷，DevOps）缩短了开发生命周期，限制了用于软件设计安全分析的资源。在这种情况下，架构模型（通常是手动）分析潜在的安全威胁。风险最后威胁分析建议在确定优先级之前识别所有安全威胁。相比之下，风险优先的威胁分析建议在威胁之前识别风险，绕过威胁优先级。这对于开发速度非常重要的组织来说似乎很有希望。然而，很少有经验证据存在的影响，牺牲系统性的高优先级威胁的性能和威胁分析的执行。为此，我们与汽车领域的工业专家进行了案例研究，在那里我们根据经验比较了风险优先技术和风险最后技术。在本研究中，我们有意识地改变参与者的数量，以在实践中对威胁分析会话进行更真实的模拟。这使我们能够密切观察工业专家，并深入了解工业实践。这项工作有助于：（i）性能的定量比较，（ii）执行的定量和定性比较，以及（iii）两种技术的比较讨论。我们发现，在发现高优先级的安全威胁的生产力和及时性没有差异。然而，我们发现分析执行的差异。特别是，使用风险优先技术的参与者发现了两倍的高优先级威胁，开发了详细的攻击场景，并详细讨论了威胁的可行性。另一方面，使用风险最后技术的参与者发现了更多的中低优先级威胁，并提前完成了任务。
2019-10-08 cs.SE
Precision in Practice: Knowledge Guided Code Summarizing Grounded in Industrial Expectations
School of Computer Science, Wuhan University, China（武汉大学计算机科学学院）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology, China（香港科学与技术大学计算机科学与工程系）；Department of Computer Science（计算机科学系）
ExpSum 通过整合元数据抽象和领域知识检索，生成符合工业期望的代码摘要，显著提升摘要质量与实用性。
2026-02-03 cs.AI cs.SE
Teaching Software Engineering with LLM and MCP Integration: From Classroom to Industry Practice
City University of Hong Kong（香港城市大学）；HSBC（汇丰银行）；Hong Kong Metropolitan University（香港都会大学）
本研究将LLM和MCP集成到软件工程协作教学模式中，通过嵌入驱动工具到教学、代码辅助和工程模拟，弥合传统教学与工业流程的差距，提升学生编程、问题解决和智能工具使用能力。
2026-06-18 cs.SE
InfraMind: A Novel Exploration-based GUI Agentic Framework for Mission-critical Industrial Management
Nanyang Technological University（南洋理工大学）
针对工业管理中通用GUI智能体面临的五大挑战，提出基于探索的智能体框架InfraMind，集成系统搜索、记忆驱动规划、状态识别、知识蒸馏与多层安全机制，在DCIM平台上显著提升了任务成功率与运营效率。
2025-09-17 cs.AI cs.SE
Alternatives for Testing of Context-Aware Contemporary Software Systems in industrial settings: Results from a Rapid review
上下文感知的当代软件系统（CACSS）是主流。此外，它们对当前的工程实践提出了挑战。这些挑战在测试CACSS时尤为突出，因为上下文的变化加深了现有软件测试实践和技术的局限性。目的：了解行业在测试CACSS时如何应对上下文的变化。方法：委托进行快速审查，以发现实现目标所需的证据。结果如下：我们的研究结果表明，目前的研究计划的目的是生成或改进测试套件，可以处理上下文的变化和测试输入的可能性的绝对量。为了实现这一目标，他们主要依赖于对系统的动态行为进行建模并增加计算资源来生成测试输入。我们没有发现旨在通过测试生命周期过程管理上下文变化的研究结果的证据。结论：我们讨论了如何确定的解决方案还没有准备好主流采用。它们都是特定领域的，虽然这些想法和方法可以在不同的环境中复制，但这些技术必须重新设计并适应特定的CACSS。
2021-04-14 cs.SE
Quality Assurance in MLOps Setting: An Industrial Perspective
Karlstad University（卡尔斯塔德大学）；Czech Technical University in Prague（捷克技术大学布拉格分校）；Uddeholms AB（乌德霍尔姆公司）
如今，机器学习（ML）在工业中被广泛用于提供生产系统的核心功能。然而，它实际上总是在生产系统中作为更大的端到端软件系统的一部分使用，该系统由ML模型之外的其他几个组件组成。由于生产需求和时间限制，自动化软件工程实践非常适用。在制造业和公用事业等行业中越来越多地使用自动化ML软件工程实践，需要将自动化质量保证（QA）方法作为ML软件的组成部分。在这里，QA通过提供对软件任务的客观观点来帮助降低风险。虽然传统的软件工程已经为数据驱动的ML提供了自动化的QA数据分析工具，但缺乏对ML运行（MLOps）的QA实践的使用。本文探讨了QA的挑战，出现在工业MLOps和概念化的模块化战略，以处理数据完整性和数据质量（DQ）。本文附有来自工业合作伙伴的真实工业用例。该文件还提出了一些挑战，可能作为未来研究的基础。
2022-11-24 cs.AI cs.LG cs.SE
Coding With AI: From a Reflection on Industrial Practices to Future Computer Science and Software Engineering Education
R. B. Annis School of Engineering（R. B. Annis 工程学院）；University of Indianapolis（印第安纳大学）；E. S. Witchger School of Engineering（E. S. Witchger 工程学院）；Marian University（玛丽安大学）；University of Maryland Eastern Shore（马里兰大学东部分校）；The Boehm Center for Systems and Software Engineering（Boehm 系统与软件工程中心）
本文探讨了AI在工业实践中对软件开发的影响，分析了LLM工具带来的生产力提升与风险，并提出教育应转向问题解决和项目式学习以适应变化。
2025-12-30 cs.AI cs.SE
On the Illusion of Success: An Empirical Study of Job Reruns and Silent Failures in Industrial CI
本文首次对工业级CI中成功任务的“静默失败”与重跑现象进行了实证研究，通过分析142,387个任务和92个公开问题，发现11%的成功任务被重跑，并利用混合效应模型识别出测试任务、脚本语言等关键因素，揭示了静默失败的原因以提升CI可靠性。
2026-10-02 cs.SE
Machine Learning Software Engineering in Practice: An Industrial Case Study
Polytechnique Montreal（蒙特利尔综合理工学院）；SAP Canada Inc（SAP加拿大公司）
SAP是企业软件的市场领导者，提供端到端的应用程序和服务套件，使其全球客户能够运营业务。特别是，SAP的零售客户处理数百万的销售交易，为他们的日常业务。交易在零售期间在销售点（POS）终端创建，然后发送到一些中央服务器进行验证和其他业务操作。由于许多技术和人为错误，相当大比例的零售交易可能存在不一致性。SAP提供了一个自动化的错误检测过程，但仍然需要专门的员工使用工作台软件进行纠正的手动过程。然而，这些错误的手动校正是耗时的、劳动密集型的，并且可能由于不正确的修改而导致进一步的错误。这不仅对客户的业务工作流程造成性能开销，而且还带来了高昂的运营成本。因此，自动检测和纠正交易错误对于其潜在的商业价值和业务流程的改进非常重要。在本文中，我们提出了一个工业案例研究，我们应用机器学习（ML）来自动检测交易错误并提出纠正建议。我们从三个不同的角度：软件工程、机器学习和产学合作，确定并讨论了我们在这个合作研发项目中面临的挑战。我们报告了我们从项目中获得的经验和见解，以及针对已确定挑战的指导方针。我们相信，我们的研究结果和建议可以帮助研究人员和从业人员进行类似的努力。
2019-06-17 cs.LG cs.SE
Automated data validation: an industrial experience report
在过去的十年里，客户生成的数据和公司保留的数据大量爆炸。然而，数据量的增加与缺乏自动化方法和工具之间存在着严重的不匹配。数据科学编程中缺乏最佳实践可能会导致软件质量下降，发布时间表延误和预算超支。为了缓解这些担忧，我们希望将软件工程最佳实践引入数据科学。具体来说，我们关注于软件开发生存周期的数据准备阶段的自动化数据验证。本文研究了一个真实的工业案例，并应用软件工程最佳实践来开发一个自动化测试工具RESTORE。我们将RESTORE作为开源R包发布。我们在地理人口数据上完成的经验报告表明，RESTORE可以高效地检测数据准备阶段注入的错误。RESTORE还大大降低了测试成本。我们希望社区能够从开源项目和基于我们经验的实用建议中受益。
2022-12-05 cs.DB cs.SE stat.AP
Deriving and Validating Requirements Engineering Principles for Large-Scale Agile Development: An Industrial Longitudinal Study
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Grundfos Holding A/S（格兰富控股股份有限公司）
本研究通过纵向研究推导并验证了适用于大规模敏捷开发的需求工程原则，旨在提升此类环境下的需求管理实践。
2026-02-11 cs.SE
Compliance Requirements in Large-Scale Software Development: An Industrial Case Study
法规遵从性是一个研究得很好的领域，包括研究如何建模，检查，分析，制定和验证软件的遵从性。然而，虽然理论知识体系是巨大的，经验证据的挑战与法规遵从性，所面临的行业从业者，特别是在软件工程领域，仍然缺乏。在本文中，我们报告了一个行业案例研究，旨在深入了解检查和分析监管合规性的常见做法和挑战，并讨论了与报告证据状态直接相关的见解。我们的研究是在爱立信公司进行的，爱立信公司是一家大型电信公司，必须遵守当地和国际监管机构和标准，如GDPR。这项工作的主要贡献是爱立信所经历的挑战的经验证据，补充了现有的法规遵从性知识体系。
2021-03-02 cs.SE
Robotics Software Engineering: A Perspective from the Service Robotics Domain
University of Gothenburg（哥德堡大学）；Radboud University Nijmegen（拉德堡德大学）；University of Bergamo（贝加莫大学）
通过执行有用的任务来支持人类的机器人（又称，服务机器人）在全球范围内蓬勃发展。与工业机器人相比，服务机器人的发展带来了严重的软件工程挑战，因为它们需要高水平的鲁棒性和自主性，以便在高度异构的环境中运行。作为一个具有关键安全影响的领域，服务机器人面临着对良好软件开发实践的需求。在本文中，我们提出了第一个大规模的实证研究，以评估国家的艺术和机器人软件工程的实践。我们对来自9个不同国家的15家公司的工业从业者进行了18次半结构化访谈，并对来自机器人领域的156名受访者（来自26个国家）进行了调查。我们的研究结果提供了一个全面的图片（i）机器人工业和学术从业者应用的实践，包括过程，范例，语言，工具，框架和重用的做法，（ii）机器人软件工程的显着特点，（iii）经常面临的挑战，以及采用的解决方案。本文最后讨论的意见，推导出的假设，并提出行动的研究人员和从业人员。
2020-09-08 cs.RO cs.SE
On Introducing Automatic Test Case Generation in Practice: A Success Story and Lessons Learned
Università di Milano-Bicocca（米兰-比科卡大学）；USI Università della Svizzera Italiana（瑞士意大利语区大学）；SIT Schaffhausen Institute of Technology（沙夫豪森理工学院）
自动化的水平和质量极大地影响着软件测试活动，决定了测试过程的成本和有效性，并在很大程度上影响着最终产品的质量。虽然在工业实践中自动化许多测试活动（包括管理质量过程，执行大型测试套件，管理回归测试套件）的成本和好处是很好的理解和记录，在工业实践中自动生成系统测试套件的好处和障碍还没有很好的报告，尽管最近的自动化测试用例生成工具的进展。用于自动生成测试用例的专有工具在大型软件组织中正在成为常见的实践，并且商业工具也可用于某些应用领域和测试级别。然而，在中小型软件公司中，生成系统测试用例在很大程度上仍然是一种手工的、低效的和临时的活动。本文报告了我们的经验，介绍了自动生成系统测试套件的技术在一个中型公司。我们描述的技术和组织的障碍，我们在公司的开发过程中引入自动测试用例生成时所面临的，并提出了解决方案，我们成功地经历了在这种情况下。特别是，本文讨论了自动生成测试用例的问题，通过参考定制的ERP应用程序，中型公司开发的第三方跨国公司，并提出了ABT2.0，测试用例生成器，我们开发的剪裁ABT，一个研究国家的最先进的GUI测试生成器，他们的工业环境。本文介绍了ABT2.0的新功能，并讨论了这些新功能如何解决我们面临的问题。
2021-02-28 cs.LG cs.SE
Understanding the Limits of Automated Evaluation for Code Review Bots in Practice
Bilkent University（比尔肯特大学）
研究探讨了在工业环境中自动化评估LLM驱动的代码审查机器人评论的可行性及限制，发现不同模型和评估方法在与人类标签的一致性上表现不一，揭示了静态 artifacts 难以捕捉上下文约束和优先级决策的挑战。
2026-04-27 cs.AI cs.SE
Characterizing and Mitigating Anti-patterns of Alerts in Industrial Cloud Systems
警报对于在云异常时请求及时的人工干预至关重要。警报的质量会显著影响云的可靠性和云提供商的业务收入。在实践中，我们观察到，由于大量存在误导性、非信息性、不可操作的警报，待命工程师无法快速定位和修复故障云服务。我们将警报的无效性称为“警报的反模式”。为了更好地理解警报的反模式，并提供可操作的措施来减轻反模式，在本文中，我们进行了第一次实证研究的做法，减轻反模式的警报在工业云系统。我们研究了领先的云提供商华为云的警报策略和警报处理流程。我们的研究结合了两年内对数百万警报的定量分析和对18位经验丰富的工程师的调查。因此，我们总结了警报的四个单独的反模式和两个集体反模式。我们还总结了四个当前的反应，以减轻警报的反模式，和警报策略的配置的一般预防性指导方针。最后，我们建议探索自动评估的质量警报（QoA），包括指示性，精度和可重复性的警报，作为未来的研究方向，有助于自动检测警报的反模式。研究结果对优化云监控系统、提高云服务的可靠性具有一定的参考价值。
2022-04-13 cs.DC cs.SE
Analysis of Design Patterns and Benchmark Practices in Apache Kafka Event-Streaming Systems
Georgia Institute of Technology（佐治亚理工学院）
本文分析了Apache Kafka事件流系统中的九种常见设计模式及基准实践，通过综合42篇研究，揭示了配置披露、评估严谨性和可重复性方面的不一致，为设计可重复、高性能和容错的Kafka系统提供指导。
2025-12-18 cs.DC cs.SE
Testing Untestable Neural Machine Translation: An Industrial Case
Tencent Inc.（腾讯公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；ETH Zurich（苏黎世联邦理工学院）
神经机器翻译（NMT）由于其相对于传统的统计机器翻译（SMT）的优势，近年来得到了广泛的应用。然而，由于自然语言的复杂性和设计神经网络的复杂性，NMT系统仍然经常产生翻译失败。虽然内部黑盒系统测试基于参考翻译（即，有效翻译的实例）已经成为NMT质量保证的常见实践，一种越来越重要的工业实践，称为体内测试，当真实用户使用部署的工业NMT系统时，暴露了不可见的翻译失败类型或实例。为了填补缺乏测试预言机的NMT系统的体内测试的空白，在本文中，我们提出了一种新的方法，自动识别翻译失败，而不需要参考翻译的翻译任务，我们的方法可以直接作为一个测试预言机的体内测试。我们的方法专注于可以系统地检查的自然语言翻译的属性，并使用来自测试输入的信息（即，要翻译的文本）和测试输出（即，NMT系统的翻译）。我们在真实世界数据集上进行的评估表明，我们的方法可以有效地将有针对性的属性违规检测为翻译失败。我们在微信（一个月活跃用户超过10亿的信使应用程序）的生产和开发环境中部署我们的方法的经验证明了我们的方法的高效率以及高行业影响力。
2018-10-03 cs.AI cs.CL cs.SE
