Motivations, Challenges, Best Practices, and Benefits for Bots and Conversational Agents in Software Engineering: A Multivocal Literature Review
本研究通过多声部文献综述梳理软件工程机器人与会话智能体的采用动机、挑战、缓解策略及最佳实践，连接学术研究与产业实践。
2025-03-17 cs.SE
Test Flakiness' Causes, Detection, Impact and Responses: A Multivocal Review
片状测试（具有非确定性结果的测试）对软件测试提出了重大挑战。众所周知，它们会导致重大问题，例如降低测试的有效性和效率以及延迟软件发布。近年来，人们对片状测试越来越感兴趣，研究集中在片状的不同方面，例如确定原因，检测方法和缓解策略。测试不稳定性也成为从业者的一个关键讨论点（在博客文章、技术杂志等中）。因为整个行业都感受到了测试的影响。本文提出了一个多角度的审查，调查如何测试，作为一个主题，已在研究和实践中解决。我们总共涵盖了651篇文章（560篇学术文章和91篇灰色文献文章/帖子），并使用四个不同的维度构建了相关研究和知识的主体：原因，检测，影响和反应。对于每一个维度，我们都提供了一个分类，并对现有的研究、讨论、方法和工具进行了分类。有了这个，我们提供了一个全面的和当前的快照现有的想法测试片状，涵盖学术观点和工业实践，并确定限制和机会，为未来的研究。
2022-12-01 cs.SE
The Developer Experience of LGBTQIA+ People in Agile Teams: a Multivocal Literature Review
本研究通过多声文献综述探讨敏捷团队中LGBTQIA+专业人士的开发者体验，发现隐形、偏见和歧视损害其体验，而包容性环境能提升团队动态和参与度。
2025-04-20 cs.SE
Improving Test Automation Maturity: a Multivocal Literature Review
成熟的测试自动化是快速实现软件质量的关键。在本文中，我们提出了一个多域的文献综述，目的是调查和综合文献中给出的指导方针，以提高测试自动化成熟度。我们选择并回顾了81个原始研究，包括26个学术文献和55个灰色文献来源。从初步研究中，我们提取了26个测试自动化最佳实践（例如，定义有效的测试自动化策略，建立良好的测试环境，开发高质量的测试脚本），并收集了许多建议（例如，以实施/改进方法、技术技巧、概念、基于经验的方法等形式）介绍如何实施这些最佳做法。我们提出了主要意见：（1）只有6个最佳实践对成熟度改进的积极作用已经被学术研究使用正式的经验方法进行了评估;（2）本MLR中的一些技术相关的最佳实践没有在测试成熟度模型中提出;（3）一些最佳实践可以与其他学者提出的成功因素和成熟度障碍联系起来;（4）关于如何实施拟议最佳做法的大多数建议是从经验研究中确定的，其有效性需要使用正式的经验方法，通过跨地点的经验证据进一步评估;（5）在文献中，关于如何进行某些最佳做法的一些建议是相互矛盾的，关于如何进行某些最佳做法的一些建议仍然需要进一步的定性分析。
2022-02-18 cs.SE
Motivations, Benefits, and Issues for Adopting Micro-Frontends: A Multivocal Literature Review
微前端越来越受欢迎，被几家大公司采用，如DAZN，宜家，星巴克等。Micro-Frontends可将单片前端拆分为独立的小型微型应用程序。然而，许多公司仍然对采用微前端犹豫不决，因为缺乏对其好处的了解。此外，提供的在线文档往往是困惑和矛盾的。[目标]这项工作的目标是通过了解公司采用此类应用程序的动机以及可能的好处和问题，绘制有关微前端的现有知识。[方法]采用文献综述法，对43个来源进行分析，并对动机、益处和问题进行分类。[结果]结果表明，如果应用程序和开发团队增长，并且如果多个团队需要开发相同的前端应用程序，则构建Web应用程序的现有架构选项会很麻烦。微前端的应用证实了预期的好处，微前端提供了与后端微服务相同的好处，将开发团队合并为一个完全跨职能的开发团队，可以在需要时扩展流程。然而，微前端也显示出一些问题，例如应用程序的有效负载大小增加，团队之间的代码重复和耦合增加，以及监控复杂性。[结论]微前端允许公司根据业务需求扩展开发，就像微服务在后端一样。此外，.
2021-03-10 cs.SE
DevOps in an ISO 13485 Regulated Environment: A Multivocal Literature Review
背景资料：医疗器械开发项目必须遵循适当的指令和法规，以便能够在各自的区域内销售和销售最终产品。法规描述的要求似乎与有效的软件开发和短的上市时间相反。随着敏捷方法（如DevOps）在软件行业越来越流行，这些现代方法与传统规范开发之间的差异已经被报道。虽然在这方面存在成功采用的例子，但研究很少。目的：本研究的目的有两个：审查DevOps在受监管医疗器械环境中的采用现状;并根据该审查提出一份清单，用于在该背景下引入DevOps。方法：进行了多域文献综述，并从2015年至2020年3月期间发表的来源中合成了证据，以获取该领域专家和社区的意见。结果如下：我们的研究结果表明，在ISO 13485等受监管的医疗设备环境中采用DevOps具有挑战性，但潜在的好处可能超过监管，合规，安全，组织和技术等领域。结论：与传统方法相比，用于受监管医疗设备环境的DevOps是一种非常有吸引力的方法，特别适合受监管的医疗开发。然而，一个组织必须在高层管理中正确地锚定向DevOps的过渡，并在初始阶段利用专业辅导和迭代学习的空间提供支持;因此，这是一项复杂的组织和技术任务。
2020-07-22 cs.SE
Vibe Coding in Software Development: A Multivocal Literature Review
Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息与传播科学学院）
该研究对2022年至2025年10月的文献进行多视角综述，探讨软件开发中氛围编码实践。通过分析47篇文献发现其是迭代流程，开发者工作转变，短期生产力有提升，不同应用场景证据强弱有别，此为整合两类文献的首次综述并提出未来研究方向。
2026-11-06 cs.SE
Blockchain Developer Experience: A Multivocal Literature Review
本研究通过多声部文献综述分析62项研究，发现区块链开发者体验（BcDEx）在学术与工业界关注不均，并识别出复杂性抽象、采用促进、生产力提升、开发者教育和评估五个关键视角，为后续研究奠定基础。
2025-01-20 cs.SE
The Myth of Immutability: A Multivocal Review on Smart Contract Upgradeability
本研究通过多声文献综述系统地识别、分类和评估了现有的智能合约升级机制，建立统一定义并将其分为全面升级和部分升级方法，利用软件质量属性分析各方法的权衡，为开发者和研究人员提供机制选择指导。
2025-04-03 cs.SE
Faster Code, Deeper Debt? A Multivocal Literature Review on Technical Debt and Its Early Signs in LLM-Assisted Software Development
Drexel University（德雷塞尔大学）
通过104篇文献的多声部综述，发现LLM辅助开发放大传统技术债务（代码、设计、文档债务）并引入新债务（快速集成、提示、伦理、数据、来源债务），提出人机协同、提示工程等缓解策略，但缺乏标准化基准。
2026-06-16 cs.SE
Log severity levels matter: A multivocal mapping
日志严重性级别的选择可能具有挑战性，并在生成可靠的日志数据时引起问题。然而，缺乏支持这一挑战的规范和实用指南。在这项研究中，我们提出了一个多域系统映射日志严重程度从同行评审的文献，日志库，和从业者的意见。我们分析了19个严重性级别、27项研究和40个日志库。我们的研究结果表明，冗余和语义相似的水平和趋势，共六个级别的水平收敛。我们的贡献有助于利用日志条目的可靠性：（i）映射有关日志严重性级别的文献，（ii）映射日志库中的严重性级别，（iii）一组综合的六个定义和四个一般用途的严重性级别。我们建议开发人员使用标准的命名法，对于日志库创建者，我们建议提供日志严重性级别的准确和明确的定义。
2021-12-07 cs.SE
Smells and Refactorings for Microservices Security: A Multivocal Literature Review
保护基于微服务的应用程序至关重要，因为许多IT公司正在通过微服务交付业务。如果安全气味影响基于微服务的应用程序，则它们可能会遭受安全泄漏，需要重构以减轻其中安全气味的影响。目的：由于目前关于保护微服务的知识分散在不同的白色和灰色文献中，我们的目标是提取用于保护微服务的众所周知的气味，以及能够减轻这些气味影响的重构。方法：为了捕捉微服务安全的最新技术和实践，我们对现有的关于该主题的白色和灰色文献进行了多方面的审查。我们系统地分析了2014年至2020年底发表的58项研究。结果如下：确定了十种用于保护微服务的不良气味，我们将其组织在一个分类中，将每种气味与它可能违反的安全属性以及能够减轻其影响的重构相关联。结论：安全气味和相应的重构对于从业者来说具有实用价值，他们可以在日常工作中利用它们来保护微服务。它们也是希望在保护微服务方面建立新研究方向的研究人员的起点。
2021-04-27 cs.CR cs.SE
Successful Management of Cloud Based Global Software Development Projects: A Multivocal Study
软件行业正在不断探索更好的方法来开发应用程序。实现这一目标的一个新现象是基于云的全球软件开发（CGSD），它指的是组织采用云计算服务来支持全球软件开发项目。CGSD方法影响项目管理方式的战略和业务方面。目的：本研究的目的是确定有助于CGSD项目管理的成功因素。研究方法：我们进行了多焦点文献综述（MLR），以确定CGSD项目管理的最新技术和实践的成功因素。我们确定了有助于CGSD项目管理的32个成功因素。结果如下：MLR的研究结果表明，上市时间，持续发展，财务重组，可扩展性此外，研究结果表明，有一个正式的文献和行业的灰色文献报道的成功因素之间的正相关。结论：本研究的结果可以帮助实践者制定有效的CGSD项目管理所需的策略。
2022-08-18 cs.SE
A Multivocal Literature Review on the Benefits and Limitations of Automated Machine Learning Tools
本研究通过多声部文献综述分析 162 个学术与灰色文献来源，系统梳理 AutoML 工具的 18 项优势与 25 项局限，指出其可简化 ML 流程但仍依赖专业用户。
2024-01-21 cs.SE
Monitoring Machine Learning Systems: A Multivocal Literature Review
Monash University（墨尔本大学）；Deakin University（德金大学）
本文通过多声部文献综述系统梳理了136篇机器学习监控研究，从动机、监控内容、贡献与局限等方面总结实践与不足，为研究和工具开发提供方向。
2025-09-17 cs.LG cs.SE
Guidelines for including grey literature and conducting multivocal literature reviews in software engineering
背景：多焦点文献综述（MLR）是系统性文献综述（SLR）的一种形式，包括灰色文献（例如，博客文章和白皮书）除了公开的（正式的）文献（例如，期刊和会议论文）。MLR对研究人员和从业人员都很有用，因为它们提供了特定领域的最新技术和实践总结。目的：在SE中进行SLR研究有几个指南。然而，由于多目标激光雷达的几个阶段不同于传统的激光雷达，例如在搜索过程和源质量评估方面。因此，SLR指南对于进行MLR研究仅部分有用。我们在本文中的目标是提出如何进行MLR研究在SE的指导方针。方法：为了制定MLR指南，我们受益于三个输入：（1）SE中现有的SLR指南，（2）MLR指南的文献调查和其他领域的经验文件，以及（3）我们自己在SE中进行几次MLR的经验。所有派生的准则进行了讨论的背景下，三个例子MLR运行的例子（两个从SE和一个MLR从医学科学）。结果如下：由此产生的准则涵盖了在社会企业中进行和报告多重法律责任的所有阶段，从规划阶段，到进行审查，再到审查的最后报告。特别是，我们认为，通过纳入和采纳MLR指南和其他领域经验文件中的大量建议，我们能够提出一套具有坚实基础的指南。结论：在三种类型的坚实经验和证据的基础上制定的MLR指南支持研究人员在任何SE领域有效和高效地进行新的MLR。
2018-09-18 cs.DL cs.SE
AI for Better UX in Computer-Aided Engineering: Is Academia Catching Up with Industry Demands? A Multivocal Literature Review
Siemens AG（西门子公司）；Chalmers University of Technology（查尔姆斯理工大学）；Eindhoven University of Technology（埃因霍温理工大学）；Malmö University（马尔默大学）
本文通过多来源文献综述揭示AI提升CAE用户体验方面学术界与行业实践之间的显著差距，指出AI引导、自适应界面和工作流自动化是未来研究的关键机遇。
2025-07-22 cs.AI cs.HC cs.SE
Socio-Technical Smell Dynamics in Code Samples: A Multivocal Review on Emergence, Evolution, and Co-Occurrence
本文通过多声部文献综述分析开源生态系统中代码示例的代码坏味道与社区坏味道的涌现、共现与演化，识别出九种社会-技术模式，揭示社区功能障碍常预示并加剧技术退化，呼吁建立面向共享教学工件的社会-技术质量指标与轻量级治理机制。
2025-07-17 cs.CY cs.SE
The Software Supply Chain as a Market for Lemons: A Multivocal Review of Trust Signal Collapse
North Carolina State University（北卡罗来纳州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过多视角综述252个谷歌搜索来源和870个Reddit线程，揭示开源依赖项的廉价信任信号因三种力量崩溃，提出需强制实施加密证明等成本更高的信号。
2026-08-24 cs.CR cs.SE
Design Patterns for AI-based Systems: A Multivocal Literature Review and Pattern Repository
University of Stuttgart（斯图加特大学）
本研究通过多来源文献综述梳理了70种面向基于AI的系统的设计模式，构建网页模式库，为该领域研究与实践提供参考。
2023-03-23 cs.AI cs.SE
Chaos Engineering: A Multi-Vocal Literature Review
针对混沌工程缺乏综合综述的现状，本文系统分析96篇文献，提出统一定义、平台分类法，并识别关键功能与开放问题。
2025-06-19 cs.SE
A Multi-Vocal Review of Security Orchestration
组织使用各种类型的安全解决方案来防止网络攻击。多个供应商提供使用异构技术和范例开发的安全解决方案。因此，要轻松地使安全解决方案以集成的方式工作是一个挑战，而不是不可能的。安全编排旨在顺利集成多供应商安全工具，这些工具可以有效和高效地互操作，以支持安全运营中心（SOC）的安全人员。鉴于安全编排的作用和重要性日益增加，有关安全编排解决方案不同方面的文献越来越多。然而，没有作出努力系统地审查和分析所报告的解决办法。我们报告了一份多焦点文献综述，该文献综述系统地选择并回顾了2007年1月至2017年7月发表的关于安全编排不同方面的学术和灰色（博客，网页，白皮书）文献。该审查使我们能够提供安全编排的工作定义，并将安全编排的主要功能分为三个主要领域：统一，编排和自动化。我们还确定了安全编排平台的核心组件，并根据技术和社会技术方面对安全编排的驱动因素进行了分类。我们还根据执行环境、自动化策略、部署类型、任务模式和资源类型提供了安全编排的分类。这篇评论帮助我们揭示了安全编排中进一步研究和开发的几个领域。
2020-02-21 cs.CR cs.SE
