A Trust-Based Approach for Volunteer-Based Distributed Computing in the Context of Biological Simulation
随着模拟复杂的生物过程对现代医学变得越来越重要，需要新的方法来计算这些日益具有挑战性的数据。本文分析了目前应用最广泛的基于志愿者的分布式计算系统folding@home，并在此基础上提出了一种基于信任的分布式计算方法，分析了其优缺点。这种方法使用受信任的社区，这些社区是所有可用客户端的子集，它们相互信任。使用这样的TC，系统变得更加有机，并更好地响应恶意或故障客户端。
2021-01-31 cs.DC q-bio.QM
Personal Volunteer Computing
我们提出了个人志愿者计算，一个新的范例，鼓励技术解决方案，利用个人设备，如智能手机和笔记本电脑，为个人应用程序，需要大量的计算，如动画渲染和图像处理。这种模式不需要额外的硬件投资，而是依赖于用户及其社区已经拥有的设备，并支持可以由单个开发人员兼职实现的简单工具。我们展示了今天的个人设备样本与两年前的顶级笔记本电脑具有竞争力。我们还提出了新的方向来扩展范式。
2019-03-19 cs.CY cs.DC
Joint QoS-aware and Cost-efficient Task Scheduling for Fog-Cloud Resources in a Volunteer Computing System
志愿者计算是一种基于Internet的分布式计算系统，志愿者共享他们额外的可用资源来管理大规模任务。然而，志愿者计算系统（Volunteer Computing System，简称UMTS）中的计算设备在其处理能力、货币成本和数据传输延迟方面是高度动态和异构的。为了保证不同请求的高服务质量（QoS）和低成本，必须有效地利用所有可用的计算资源。任务调度是一个NP难问题，被认为是异构并行计算中的主要挑战之一。基于此，本文设计了两种面向虚拟控制系统的任务调度算法Min-CCV和Min-V。算法的主要目标是联合最小化物联网（IoT）请求的计算、通信和延迟违规成本。我们广泛的模拟结果表明，所提出的算法能够更有效地分配任务到志愿者雾/云资源比国家的最先进的。具体来说，我们的算法提高了约99.5%的最后期限满意度的任务率，并降低了15至53%之间的总成本相比，基于遗传算法。
2021-04-28 cs.DC math.OC
A Robust Asynchronous Newton Method for Massive Scale Computing Systems
志愿者计算网格以相对较低的服务器运行成本提供超级计算级别的计算能力。在以前的工作中，作者已经表明，它是可以采取传统的迭代进化算法，并执行他们的志愿者计算网格异步执行。异步实现极大地提高了可伸缩性，并减少了收敛到解决方案所需的时间。迭代和异步优化算法实现集群和超级计算机上使用MPI，和BOINC志愿者计算网格已打包在一起的通用分布式优化（FGDO）的框架。本文提出了一种新的扩展FGDO的异步牛顿法（ANM）的局部优化。ANM对异构、故障和不可靠的计算节点具有弹性，并且具有极高的可扩展性。初步结果表明，它可以收敛到局部最优显着快于共轭梯度下降。
2016-12-30 cs.DC
Genet: A Quickly Scalable Fat-Tree Overlay for Personal Volunteer Computing using WebRTC
WebRTC使浏览器能够直接交换数据，但到单个源的可能并发连接的数量是有限的。我们克服了组织参与者在胖树覆盖的限制：当一个树节点的连接的最大数量达到时，新的参与者连接到节点的孩子。当大量参与者在短时间内加入时，我们的设计可以快速扩展，依靠一种新的方案，只需要本地信息来路由连接消息：目的地是从消息源和持有消息的节点的组合标识符的哈希值中获得的。该方案提供了确定性路由的一系列连接消息从一个单一的来源和新的连接之间的叶子的概率平衡。我们表明，这种设计将至少83%的节点置于与确定性算法相同的深度，可以在本地网络中在21-55秒内连接1000个浏览器窗口，并且可以部署用于志愿者计算，以在本地网络上在不到30秒的时间内接入320个核心，从而将Collatz应用程序的总吞吐量与单个核心相比增加两个数量级。
2019-04-25 cs.DC
Synergy of Volunteer Measurements and Volunteer Computing for Effective Data Collecting, Processing, Simulating and Analyzing on a Worldwide Scale
本文关注“公民科学”的炒作理念及其范式转变：从被动的“志愿者计算”到科学家指导下的“志愿者测量”等志愿者行动。它们可以由普通人使用标准计算设备（智能手机、平板电脑等）进行。以及各种标准传感器。这里特别注意研究宇宙射线引起的空气簇射的志愿科学测量系统。该技术的实施是基于数据的整合有关注册夜间闪光（通过辐射测量软件）在屏蔽相机芯片，同步时间和GPS数据在普通的小工具：以确定夜间“空气阵雨”的基本粒子;分析频率和地图的分布“空气阵雨”在人口稠密的城市。该项目目前包括乌克兰国家技术大学的学生“KPI”，这是competsible位于基辅市，并贡献他们的志愿者测量.该技术对于其他应用也将非常有效，特别是如果它将是自动化的（例如，基于用于分布式计算的XtremWeb或/和BOINC技术），并在一些有许多志愿者的小区域中使用，例如在当地社区中（企业/社区人群计算）。
2015-04-03 cs.CY cs.DC physics.ins-det
High-Performance Physics Simulations Using Multi-Core CPUs and GPGPUs in a Volunteer Computing Context
本文提出了两个概念上简单的方法并行化的并行回火蒙特卡罗模拟在分布式志愿者计算的情况下，计算机属于公众使用。第一种方法使用传统的多线程。第二种方法使用CUDA，一种图形卡计算系统。并行回火，如并行随机数生成和映射的蒙特卡洛链到不同的线程的挑战进行了说明。虽然CPU上的常规多线程已得到很好的建立，但GPGPU编程技术和工艺仍在开发中，并存在若干挑战，例如有效使用相对大量的线程。在并行回火中有多个链允许以类似于串行算法的方式进行并行化。志愿者计算引入了重要的限制，高性能计算，我们表明，这两个版本的应用程序都能够适应志愿者的计算机的变化和不可预测的计算资源，同时离开机器响应足够使用。我们目前的实验表明，这两种方法的可扩展性能，并表明该方法的效率随着问题的大小而增加。
2010-03-31 cs.DC cs.PF physics.comp-ph
Using Volunteer Computing for Mounting SAT-based Cryptographic Attacks
在本文中，我们描述了志愿者计算项目SAT@家，我们开发和维护。该项目旨在解决布尔可满足性问题（SAT）的困难实例。我们相信，该项目可以为一些密码函数的反演问题的计算研究提供一个有用的工具。特别是，我们描述了一系列的实验在SAT@home上进行的密码分析的广为人知的密钥流生成器A5/1。在所有的实验中，我们分析了一个已知的突发（114位）的密钥流产生的A5/1。在密码分析本身之前，有一个阶段将原始问题划分为一系列子问题。每个子问题都应该足够简单，以便志愿者的PC可以在相对较短的时间内解决。我们构造这样的划分使用特殊的技术的基础上的Monte Carlo方法和离散优化算法的特殊预测功能。此外，本文还描述了将密码函数的求逆问题转化为SAT的技术。
2014-11-20 cs.CR cs.DC
Distributed Deep Learning Using Volunteer Computing-Like Paradigm
Eydle Inc.（Eydle公司）
深度学习（DL）在商业应用中的使用越来越多，如图像分类、情感分析和语音识别。当训练具有大量参数和/或大数据集的DL模型时，训练的成本和速度可能变得过高。分布式DL训练解决方案将训练作业拆分为子任务并在多个节点上执行，可以减少训练时间。然而，目前的解决方案，主要是为集群计算系统构建的成本，仍然是一个问题。与集群计算系统相比，志愿者计算（VC）系统可以降低计算成本，但运行在VC系统上的应用程序必须处理容错、可变网络延迟和计算节点的异构性，而当前的解决方案并不是这样设计的。我们设计了一个分布式的解决方案，可以运行DL训练VC系统通过使用数据并行的方法。我们实现了一种新的异步SGD方案称为VC-ASGD适合VC系统。与传统的通过使用不值得信任的志愿者设备来降低成本的VC系统相比，我们通过在商业云平台上利用可抢占的计算实例来降低成本。通过使用要求应用程序具有容错能力的可抢占实例，我们将成本降低了70-90%，并提高了数据安全性。
2021-05-27 cs.AI cs.DC cs.LG
Using Machine Learning to reduce the energy wasted in Volunteer Computing Environments
Newcastle University（纽卡斯尔大学）；Durham University（杜伦大学）
高吞吐量计算（HTC）提供了一种方便的机制来运行数千个任务。许多HTC系统通过利用空闲时间-志愿者计算来利用为其他目的提供的计算机。这具有很大的优势，因为它可以以很少或没有成本的方式访问大量的计算能力。缺点是，如果计算机的主要用途是需要它，则会牺牲正在运行的任务。正常终止必须在另一台计算机上重新启动的任务-导致浪费能源和增加任务完成时间。我们演示了，通过使用模拟，我们如何可以减少这种浪费的能源，目标任务在计算机上不太可能需要的主要用途，通过机器学习预测这个空闲时间。通过结合两种机器学习方法，即随机森林和多层感知器，我们节省了51.4%的能量，而不会显著影响完成任务的时间。
2018-10-19 cs.DC cs.LG
NodIO, a JavaScript framework for volunteer-based evolutionary algorithms : first results
JavaScript是一种解释语言，主要以其包含在Web浏览器中而闻名，使其成为基于富Internet的应用程序的容器。这激发了它的使用，很长一段时间，作为进化算法的工具，主要是在基于浏览器的志愿者计算环境中。迄今为止，还出版了几个图书馆，并已投入使用。然而，在过去的几年里，人们对该语言的兴趣又重新抬头，成为最受欢迎的语言之一，从而促进了其实现的改进，这些实现现在是许多新的客户端-服务器应用程序的基础。我们提出了这样一个应用程序运行分布式志愿者为基础的进化算法实验，我们做了一系列的测量，以建立进化算法的速度JavaScript，可以作为基线与其他分布式计算实验进行比较。这些实验使用了不同的整数和浮点问题，并证明了JavaScript的速度实际上与进化算法从业者常用的其他语言具有竞争力。
2016-01-07 cs.DC cs.NE
V-BOINC: The Virtualization of BOINC
Berkeley Open Infrastructure for Network Computing（BOINC）是一个开源的客户端-服务器中间件系统，允许具有大型计算需求的项目（通常设置在科学领域）利用分布在大物理距离上的技术上无限数量的志愿者机器。然而，使用BOINC在这些异构机器上部署应用程序存在各种问题：应用程序必须被移植到每个机器架构类型，项目服务器必须被信任以提供真实的应用程序，不定期检查点的应用程序可能会在志愿者机器终止时丢失执行进度，并且具有依赖关系的应用程序可能会发现难以在BOINC下运行。为了解决这些问题，我们引入了虚拟BOINC，或V-BOINC，其中虚拟机用于在志愿机器上运行计算。然后，应用程序开发人员可以在单个架构上编译他们的应用程序，通过虚拟化API解决检查点问题，并通过虚拟机的沙箱环境解决许多安全问题。在本文中，我们重点概述了一种独特的方法，如何虚拟化可以引入BOINC，并证明V-BOINC提供可接受的计算性能相比，定期BOINC。最后，我们表明具有依赖关系的应用程序可以在V-BOINC下轻松运行，从而增加了志愿者计算为公众和项目开发人员提供的计算潜力。
2013-06-04 cs.DC cs.OS
The Distributed Computing Model Based on The Capabilities of The Internet
论文从理论和实践两个方面介绍了所提出的利用分布式计算进行全球网络互联网通信的模型。分布式计算被广泛应用于现代解决方案中，如研究，其中要求非常高的处理能力，这不能放在一个集中的点。提出的解决方案是基于开放的技术和计算机来执行主要由互联网用户谁是志愿者提供的计算。
2012-10-04 cs.DC cs.NI
Distributed Deep Learning in Open Collaborations
Yandex；Hugging Face；HSE University（高等经济学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；University of Toronto（多伦多大学）；Vector Institute
现代深度学习应用需要越来越多的计算来训练最先进的模型。为了满足这一需求，大型企业和机构使用专用的高性能计算集群，其构建和维护既环保又超出了大多数组织的预算。因此，一些研究方向成为少数大型工业和更少的学术行为者的专属领域。为了缓解这种差异，较小的小组可以集中他们的计算资源，并运行有利于所有参与者的协作实验。这种被称为网格或志愿者计算的范例已经在许多科学领域得到了成功的应用。然而，使用这种方法进行机器学习是困难的，由于高延迟，不对称的带宽，以及一些独特的志愿者计算的挑战。在这项工作中，我们仔细分析了这些限制，并提出了一种新的算法框架，专门为协作训练。我们证明了我们的方法在现实条件下的SwAV和ALBERT预训练的有效性，并以一小部分成本实现了与传统设置相当的性能。最后，我们提供了一个详细的报告，成功的协作语言模型预训练与40名参与者。
2021-11-08 cs.DC cs.LG
A Comparative Study of AI-based Intrusion Detection Techniques in Critical Infrastructures
College of Technological Innovation, Zayed University（扎耶德大学技术创新学院）；University of Ottawa（渥太华大学）
志愿者计算使用互联网连接的设备（笔记本电脑、个人电脑、智能设备等），其中它们的所有者自愿将它们作为存储和计算能力资源，已经成为许多应用中的资源管理的基本机制。互联网上数据流量的数量和种类的增长导致人们对网络物理系统的稳健性，特别是对关键基础设施的稳健性感到关切。因此，实施一个有效的入侵检测系统，收集这些传感器数据已变得至关重要。在本文中，我们提出了一个人工智能（AI）驱动的入侵检测系统的无线连接的传感器，跟踪关键的应用程序的比较研究。具体来说，我们深入分析了机器学习、深度学习和强化学习解决方案的使用，以识别收集的流量中的侵入行为。我们使用KD'99作为真实的攻击数据集在我们的模拟评估所提出的机制。结果提出了三种不同的入侵检测系统，即自适应监督和入侵检测混合入侵检测系统（ASCH-IDS），基于限制玻尔兹曼机的入侵检测系统（RBC-IDS）和基于Q学习的入侵检测系统（QL-IDS）检测恶意行为的性能指标。我们还介绍了不同的强化学习技术，如状态-动作-奖励-状态-动作学习（SARSA）和时间差学习（TD）的性能。通过仿真，我们表明，QL-IDS执行100%的检测率，而SARSA-IDS和TD-IDS执行在99.5%的顺序。
2020-07-24 cs.DC cs.LG cs.NI
A Stochastic Game Framework for Analyzing Computational Investment Strategies in Distributed Computing
本文研究了一个动态局中人集合的随机博弈框架，用于建模和分析分布式计算中局中人的计算投资策略。玩家通过解决问题或提供计算资源获得一定的奖励，同时根据投入的时间和计算能力产生一定的成本。我们首先研究了一个场景，其中为解决问题提供奖励，例如在区块链采矿中。我们发现，在马尔可夫完美均衡，玩家的成本参数超过一定的阈值，不投资，而那些成本参数小于这个阈值，投资最大的权力。在这里，玩家不需要知道系统状态。然后，我们考虑的情况下，奖励是提供一个共同的中央实体，如在志愿者计算的计算能力作出贡献。在这里，在马尔可夫完美均衡中，只有在给定状态下成本参数处于相对较低范围内的参与者才会投资。对于同质玩家的情况，他们的投资比例与“回报与成本”之比成正比。对于这两种情况下，我们研究了球员的到达率和离开率对他们的效用使用模拟的影响，并提供额外的见解。
2019-11-16 cs.DC cs.GT cs.MA
Creating Robust Deep Neural Networks With Coded Distributed Computing for IoT Systems
对无服务器计算和无处不在的无线网络的兴趣日益增加，导致我们周围的许多连接设备。在这些设备中，物联网设备可以访问大量的原始数据，但它们在计算方面的资源不足限制了它们的能力。具体而言，随着深度神经网络（DNN）的出现，不仅对物联网设备计算能力的需求不断增加，而且隐私问题也将计算推向边缘。为了克服资源不足的问题，一些研究提出了在物联网设备之间分配工作。这些有前途的方法收获了环境中空闲物联网设备的聚合计算能力。然而，由于这种分布式系统强烈依赖于每个设备、不稳定的延迟和间歇性故障，物联网设备和无线网络的共同特征导致高恢复开销。为了减少这种开销，我们提出了一种新的鲁棒性方法，其恢复延迟接近于零。我们的解决方案永远不会丢失请求或花费时间从故障中恢复。为此，首先，我们分析了受分布影响的底层矩阵-矩阵计算。然后，我们介绍了一种新的编码的分布式计算（CDC）的方法，具有恒定的成本与设备的数量增加，不同于模块冗余的线性成本。此外，我们的方法适用于库级别，不需要对程序进行大量更改，同时仍然确保在分发过程中平衡的工作分配。为了说明我们的方法，我们进行实验，分布式系统，包括多达12乌藨子PI。
2021-04-09 cs.DC
Servo: Increasing the Scalability of Modifiable Virtual Environments Using Serverless Computing -- Extended Technical Report
针对可修改虚拟环境（MVE）的独特扩展挑战，本研究设计了无服务器后端架构Servo，经AWS和Azure平台实验验证，其单实例支持玩家数达40至140名，显著优于现有方案，且已开源。
2023-04-28 cs.DC
Observability in Fog Computing
针对雾计算因节点分布式、设备资源受限等导致服务维护难、恢复慢的问题，本文阐述可观测性三大支柱，讨论挑战与方法，介绍架构、工具及示例，为提升雾服务可观测性提供全面参考并展望未来方向。
2024-11-25 cs.DC
Job Scheduling in High Performance Computing
近几十年来，超级计算机不断增长的处理能力使我们能够探索越来越复杂的科学问题。有效地调度这些作业对单个作业的性能和系统效率至关重要。传统的高性能计算（HPC）中的作业调度器是简单的，集中在提高CPU利用率。新的硬件资源和新的硬件结构的出现对传统的嵌入式系统提出了严峻的挑战。日益多样化的工作负载（包括计算密集型和数据密集型应用程序）需要更高效的数据处理器。更糟糕的是，上述两个因素相互作用，这使得调度问题更具挑战性。近年来，许多研究探讨了新的调度方法，以应对系统快速变化带来的问题。在这项研究中，我们调查了HPC调度和最先进的调度方法所面临的挑战，以克服这些挑战。此外，我们提出了一个智能调度框架，以减轻现代作业调度中遇到的问题。
2021-09-20 cs.DC
Mechanisms for Outsourcing Computation via a Decentralized Market
随着个人计算和物联网设备数量的快速增长，边缘可用的计算能力也在快速增长。由于这些设备中的许多设备通常处于空闲状态，因此目前有大量的计算能力尚未开发，可以用于外包计算。利用这种能力的现有解决方案，如志愿者计算（例如，BOINC）是集中式平台，单个组织或公司可以控制参与和定价。相比之下，一个开放的计算资源市场，资源所有者和资源使用者直接相互交易，可能会导致更大的参与和更具竞争力的定价。为了提供一个开放的市场，我们引入了MODiCuM，一个分散的外包计算系统。MODiCuM通过专门的调解人解决争端和实施可强制执行的罚款，阻止参与者进行不当行为-这是分散系统的一个关键问题。然而，与其他分散的外包解决方案不同，MODiCuM最大限度地减少了计算开销，因为它不需要对调解结果的全局信任。我们提供的分析结果证明，MODiCuM可以阻止不当行为，我们评估的开销MODiCuM使用实验结果的基础上实现我们的平台。
2020-07-19 cs.DC cs.MA
A User-centric Kubernetes-based Architecture for Green Cloud Computing
本文提出一种以用户为中心的基于 Kubernetes 的绿色云计算架构，通过碳强度预测器结合区域和时间变化调度工作负载，在资源受限场景下最高可减少13%的碳排放。
2025-08-22 cs.DC
A Flow Sensitive Security Model for Cloud Computing Systems
云计算的范围和重要性由于对互联网服务和通信的不断增长的需求而迅速增加。第三方可以在其大型服务器云中托管数据库或软件，而不是构建单独的信息技术基础设施。大型组织可能希望将敏感信息保存在其更受限制的服务器上，而不是公共云中。这导致了联邦云计算（FCC）的引入，其中公共和私有云计算资源都被使用。
2014-04-30 cs.CR cs.DC
HPCClusterScape: Increasing Transparency and Efficiency of Shared High-Performance Computing Clusters for Large-scale AI Models
本文提出HPCClusterScape可视化系统，通过系统级和应用级信息监控及诊断工具，提升共享HPC集群对大规模AI模型的透明度和资源利用效率。
2023-12-21 cs.DC cs.HC
Performance Measurement of Cloud Computing Services
云计算如今已经作为新技术和新商业模式不断发展。从分布式技术的角度来看，云计算最像基于Web或Web服务的客户端-服务器服务，但它使用虚拟资源来执行。目前，云计算依赖于使用弹性虚拟机和使用网络进行数据交换。我们进行了一个实验设置，以衡量云计算客户收到的服务质量。通过创建在云计算基础设施中运行的HTTP服务完成的实验性设置。我们有兴趣了解增加用户数量对用户收到的平均质量的影响。用户接收的质量由两个参数组成的平均响应时间和请求超时的数量。本研究的实验结果表明，增加用户的数量增加了平均响应时间。同样，请求超时的数量随着用户数量的增加而增加。这意味着用户所接受的服务质量也在下降。我们发现用户数量对服务质量的影响不再是线性趋势。本文的研究结果可作为网络运营商在执行服务时的参考模型，其中一定数量的用户，以获得最优的服务质量。
2012-05-08 cs.DC cs.NI cs.PF
