Application Distribution Model In Volunteer Computing Environment Using Peer-to-Peer Torrent Like Approach
志愿者计算被认为是解决复杂问题的替代解决方案。它因其简单性和在多个操作系统上工作的能力而得到认可。尽管如此，设置用于志愿者计算的服务器可能是耗时的，并且实现起来相对复杂。本文提出了一个模型，通过使代理以两种方式工作，如播种者和leecher，可以减轻建立服务器的努力，就像P2P洪流一样。该模型由管理分布式应用程序的度量单元、系统层次结构以及服务器和代理的基本过程组成。该模型已在四种情况下使用2，000，000至3，000，000整数数据，采用多达六个节点进行了测试。测试证明了在三个场景中的加速。
2015-08-20 cs.DC
A Trust-Based Approach for Volunteer-Based Distributed Computing in the Context of Biological Simulation
随着模拟复杂的生物过程对现代医学变得越来越重要，需要新的方法来计算这些日益具有挑战性的数据。本文分析了目前应用最广泛的基于志愿者的分布式计算系统folding@home，并在此基础上提出了一种基于信任的分布式计算方法，分析了其优缺点。这种方法使用受信任的社区，这些社区是所有可用客户端的子集，它们相互信任。使用这样的TC，系统变得更加有机，并更好地响应恶意或故障客户端。
2021-01-31 cs.DC q-bio.QM
Joint QoS-aware and Cost-efficient Task Scheduling for Fog-Cloud Resources in a Volunteer Computing System
志愿者计算是一种基于Internet的分布式计算系统，志愿者共享他们额外的可用资源来管理大规模任务。然而，志愿者计算系统（Volunteer Computing System，简称UMTS）中的计算设备在其处理能力、货币成本和数据传输延迟方面是高度动态和异构的。为了保证不同请求的高服务质量（QoS）和低成本，必须有效地利用所有可用的计算资源。任务调度是一个NP难问题，被认为是异构并行计算中的主要挑战之一。基于此，本文设计了两种面向虚拟控制系统的任务调度算法Min-CCV和Min-V。算法的主要目标是联合最小化物联网（IoT）请求的计算、通信和延迟违规成本。我们广泛的模拟结果表明，所提出的算法能够更有效地分配任务到志愿者雾/云资源比国家的最先进的。具体来说，我们的算法提高了约99.5%的最后期限满意度的任务率，并降低了15至53%之间的总成本相比，基于遗传算法。
2021-04-28 cs.DC math.OC
Web-based volunteer distributed computing for handling time-critical urgent workloads
紧急计算工作负载是时间关键的、不可预测的和高度动态的。虽然正在努力在传统的HPC机器上运行这些，但另一种选择是利用志愿者捐赠的计算能力。志愿者计算，即公众将他们的一些CPU时间捐赠给大型项目，多年来一直很受欢迎，因为它是为特定问题提供计算的强大方式，公众通常渴望为社会利益做出贡献。然而，传统的志愿者计算需要用户安装专业软件，这是一个进入的障碍，并且项目本身的软件开发，即使是在现有框架之上，也是不平凡的。因此，近年来，为这些志愿者计算项目捐赠CPU时间的用户数量有所减少，而这正是气候变化导致的灾害频率快速上升的时候。我们认为，另一种方法，即网站的访问者在浏览时捐赠一些CPU时间，有可能解决这些问题。然而，基于Web的分布式计算是一个不成熟的领域，有许多问题，必须回答充分了解利用网站访问者所代表的大规模并行的可行性。在本文中，我们描述了我们的基于Web的分布式计算框架，黑豹，并进行了深入的性能实验的两个基准使用真实世界的硬件和真实世界的浏览习惯的第一次。通过探索我们的方法的性能特点，我们证明了这是可行的紧急工作负载，但也有许多警告，尤其是最合适的访问者模式的网站，必须考虑。
2022-12-28 cs.DC
An Adaptive Checkpointing Scheme for Peer-to-Peer Based Volunteer Computing Work Flows
志愿者计算（Volunteer Computing），有时也称为公共资源计算（Public Resource Computing），是一种新兴的计算模型，非常适合工作池并行处理。随着越来越复杂的网格应用程序在设计和部署中使用工作流，考虑工作流部署对志愿者计算基础设施的影响是合理的。在这种情况下，工作流间I/O会导致工作池服务器上的I/O需求显著增加。一个可能的解决方案是使用基于对等的并行计算架构来卸载这个I/O需求的工人，其中的工人可以履行工作流协调和I/O检查等的某些方面，但是，在这样一个大规模的系统实现鲁棒性是一个具有挑战性的障碍，对分散执行的工作流和一般的并行处理。为了提高鲁棒性，我们提出并展示了使用自适应检查点方案的优点，该方案根据相关网络和对等参数的估计有效地检查点并行进程的状态。我们的方案使用在运行时观察到的统计数据，以完全分散的方式动态地做出检查点决策。仿真结果表明，支持我们提出的方法在减少所需的运行时间。
2007-11-26 cs.DC
High-Performance Physics Simulations Using Multi-Core CPUs and GPGPUs in a Volunteer Computing Context
本文提出了两个概念上简单的方法并行化的并行回火蒙特卡罗模拟在分布式志愿者计算的情况下，计算机属于公众使用。第一种方法使用传统的多线程。第二种方法使用CUDA，一种图形卡计算系统。并行回火，如并行随机数生成和映射的蒙特卡洛链到不同的线程的挑战进行了说明。虽然CPU上的常规多线程已得到很好的建立，但GPGPU编程技术和工艺仍在开发中，并存在若干挑战，例如有效使用相对大量的线程。在并行回火中有多个链允许以类似于串行算法的方式进行并行化。志愿者计算引入了重要的限制，高性能计算，我们表明，这两个版本的应用程序都能够适应志愿者的计算机的变化和不可预测的计算资源，同时离开机器响应足够使用。我们目前的实验表明，这两种方法的可扩展性能，并表明该方法的效率随着问题的大小而增加。
2010-03-31 cs.DC cs.PF physics.comp-ph
Using Volunteer Computing for Mounting SAT-based Cryptographic Attacks
在本文中，我们描述了志愿者计算项目SAT@家，我们开发和维护。该项目旨在解决布尔可满足性问题（SAT）的困难实例。我们相信，该项目可以为一些密码函数的反演问题的计算研究提供一个有用的工具。特别是，我们描述了一系列的实验在SAT@home上进行的密码分析的广为人知的密钥流生成器A5/1。在所有的实验中，我们分析了一个已知的突发（114位）的密钥流产生的A5/1。在密码分析本身之前，有一个阶段将原始问题划分为一系列子问题。每个子问题都应该足够简单，以便志愿者的PC可以在相对较短的时间内解决。我们构造这样的划分使用特殊的技术的基础上的Monte Carlo方法和离散优化算法的特殊预测功能。此外，本文还描述了将密码函数的求逆问题转化为SAT的技术。
2014-11-20 cs.CR cs.DC
Distributed Deep Learning Using Volunteer Computing-Like Paradigm
Eydle Inc.（Eydle公司）
深度学习（DL）在商业应用中的使用越来越多，如图像分类、情感分析和语音识别。当训练具有大量参数和/或大数据集的DL模型时，训练的成本和速度可能变得过高。分布式DL训练解决方案将训练作业拆分为子任务并在多个节点上执行，可以减少训练时间。然而，目前的解决方案，主要是为集群计算系统构建的成本，仍然是一个问题。与集群计算系统相比，志愿者计算（VC）系统可以降低计算成本，但运行在VC系统上的应用程序必须处理容错、可变网络延迟和计算节点的异构性，而当前的解决方案并不是这样设计的。我们设计了一个分布式的解决方案，可以运行DL训练VC系统通过使用数据并行的方法。我们实现了一种新的异步SGD方案称为VC-ASGD适合VC系统。与传统的通过使用不值得信任的志愿者设备来降低成本的VC系统相比，我们通过在商业云平台上利用可抢占的计算实例来降低成本。通过使用要求应用程序具有容错能力的可抢占实例，我们将成本降低了70-90%，并提高了数据安全性。
2021-05-27 cs.AI cs.DC cs.LG
A Robust Asynchronous Newton Method for Massive Scale Computing Systems
志愿者计算网格以相对较低的服务器运行成本提供超级计算级别的计算能力。在以前的工作中，作者已经表明，它是可以采取传统的迭代进化算法，并执行他们的志愿者计算网格异步执行。异步实现极大地提高了可伸缩性，并减少了收敛到解决方案所需的时间。迭代和异步优化算法实现集群和超级计算机上使用MPI，和BOINC志愿者计算网格已打包在一起的通用分布式优化（FGDO）的框架。本文提出了一种新的扩展FGDO的异步牛顿法（ANM）的局部优化。ANM对异构、故障和不可靠的计算节点具有弹性，并且具有极高的可扩展性。初步结果表明，它可以收敛到局部最优显着快于共轭梯度下降。
2016-12-30 cs.DC
Using Machine Learning to reduce the energy wasted in Volunteer Computing Environments
Newcastle University（纽卡斯尔大学）；Durham University（杜伦大学）
高吞吐量计算（HTC）提供了一种方便的机制来运行数千个任务。许多HTC系统通过利用空闲时间-志愿者计算来利用为其他目的提供的计算机。这具有很大的优势，因为它可以以很少或没有成本的方式访问大量的计算能力。缺点是，如果计算机的主要用途是需要它，则会牺牲正在运行的任务。正常终止必须在另一台计算机上重新启动的任务-导致浪费能源和增加任务完成时间。我们演示了，通过使用模拟，我们如何可以减少这种浪费的能源，目标任务在计算机上不太可能需要的主要用途，通过机器学习预测这个空闲时间。通过结合两种机器学习方法，即随机森林和多层感知器，我们节省了51.4%的能量，而不会显著影响完成任务的时间。
2018-10-19 cs.DC cs.LG
NodIO, a JavaScript framework for volunteer-based evolutionary algorithms : first results
JavaScript是一种解释语言，主要以其包含在Web浏览器中而闻名，使其成为基于富Internet的应用程序的容器。这激发了它的使用，很长一段时间，作为进化算法的工具，主要是在基于浏览器的志愿者计算环境中。迄今为止，还出版了几个图书馆，并已投入使用。然而，在过去的几年里，人们对该语言的兴趣又重新抬头，成为最受欢迎的语言之一，从而促进了其实现的改进，这些实现现在是许多新的客户端-服务器应用程序的基础。我们提出了这样一个应用程序运行分布式志愿者为基础的进化算法实验，我们做了一系列的测量，以建立进化算法的速度JavaScript，可以作为基线与其他分布式计算实验进行比较。这些实验使用了不同的整数和浮点问题，并证明了JavaScript的速度实际上与进化算法从业者常用的其他语言具有竞争力。
2016-01-07 cs.DC cs.NE
V-BOINC: The Virtualization of BOINC
Berkeley Open Infrastructure for Network Computing（BOINC）是一个开源的客户端-服务器中间件系统，允许具有大型计算需求的项目（通常设置在科学领域）利用分布在大物理距离上的技术上无限数量的志愿者机器。然而，使用BOINC在这些异构机器上部署应用程序存在各种问题：应用程序必须被移植到每个机器架构类型，项目服务器必须被信任以提供真实的应用程序，不定期检查点的应用程序可能会在志愿者机器终止时丢失执行进度，并且具有依赖关系的应用程序可能会发现难以在BOINC下运行。为了解决这些问题，我们引入了虚拟BOINC，或V-BOINC，其中虚拟机用于在志愿机器上运行计算。然后，应用程序开发人员可以在单个架构上编译他们的应用程序，通过虚拟化API解决检查点问题，并通过虚拟机的沙箱环境解决许多安全问题。在本文中，我们重点概述了一种独特的方法，如何虚拟化可以引入BOINC，并证明V-BOINC提供可接受的计算性能相比，定期BOINC。最后，我们表明具有依赖关系的应用程序可以在V-BOINC下轻松运行，从而增加了志愿者计算为公众和项目开发人员提供的计算潜力。
2013-06-04 cs.DC cs.OS
Distributed Deep Learning in Open Collaborations
Yandex；Hugging Face；HSE University（高等经济学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；University of Toronto（多伦多大学）；Vector Institute
现代深度学习应用需要越来越多的计算来训练最先进的模型。为了满足这一需求，大型企业和机构使用专用的高性能计算集群，其构建和维护既环保又超出了大多数组织的预算。因此，一些研究方向成为少数大型工业和更少的学术行为者的专属领域。为了缓解这种差异，较小的小组可以集中他们的计算资源，并运行有利于所有参与者的协作实验。这种被称为网格或志愿者计算的范例已经在许多科学领域得到了成功的应用。然而，使用这种方法进行机器学习是困难的，由于高延迟，不对称的带宽，以及一些独特的志愿者计算的挑战。在这项工作中，我们仔细分析了这些限制，并提出了一种新的算法框架，专门为协作训练。我们证明了我们的方法在现实条件下的SwAV和ALBERT预训练的有效性，并以一小部分成本实现了与传统设置相当的性能。最后，我们提供了一个详细的报告，成功的协作语言模型预训练与40名参与者。
2021-11-08 cs.DC cs.LG
Opportunistic Federated Learning: An Exploration of Egocentric Collaboration for Pervasive Computing Applications
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Macquarie University（麦考瑞大学）
普适计算应用通常涉及用户的个人智能手机收集数据以影响应用行为。应用程序通常由模型支持，这些模型从用户的体验中学习，以提供个性化和响应性的行为。虽然模型通常在大规模数据集上进行预训练，但联邦学习因其能够在用户的私人数据上训练全球共享模型而无需用户直接共享数据而受到关注。然而，联邦学习需要设备通过中央服务器进行协作，前提是所有用户都希望学习相同的模型。我们定义了一种新的方法，机会主义联邦学习，其中属于不同用户的各个设备寻求学习根据用户自己的体验进行个性化的鲁棒模型。然而，这些模型不是孤立地学习，而是机会主义地将他们遇到的其他设备的经验结合起来。在本文中，我们探讨了这种方法的可行性和局限性，最终在一个框架，支持基于网络的成对协作学习。使用我们的机会主义的基于机器学习放大了个性化学习的性能，同时抵制过拟合遇到的数据。
2021-03-24 cs.DC cs.LG
DAG-based Task Orchestration for Edge Computing
随着我们携带的个人计算设备（移动设备、平板电脑、电子阅读器和笔记本电脑）数量的增加，这些设备配备了越来越多的资源，这些设备可以利用巨大的潜在计算能力。边缘计算有望利用这些更接近用户的底层计算资源来帮助运行延迟敏感的应用程序，如增强现实和视频分析。然而，一个关键的缺失是如何将个人拥有的非托管设备整合到可用的边缘计算系统中。主要的挑战是由于这些设备的异构性、缺乏干扰管理以及不可预测的可用性。在本文中，我们提出了一个编排框架IBDASH，它在边缘系统上编排应用程序任务，该边缘系统包括商业和个人边缘设备的混合。IBDASH的目标是减少端到端的执行延迟和应用程序的失败概率，这些应用程序在任务之间具有依赖性，由有向无环图（DAG）捕获。IBDASH考虑了每个边缘设备的内存限制和网络带宽。为了评估IBDASH的有效性，我们在具有广泛不同功能的真实边缘设备上运行真实应用程序任务。我们将这些测量结果输入到大规模运行IBDASH的模拟器中。与三种最先进的边缘编排方案LAVEA、Petrel和LaTS以及两种直观的基线相比，IBDASH将端到端延迟和故障概率平均分别降低了14%和41%。我们工作的主要收获是，将个人和商业设备结合到一个可用的边缘计算平台是可行的，这个平台可以提供低延迟、可预测和高可用性。
2023-01-23 cs.DC cs.NI
Designing a High Performance Parallel Personal Cluster
如今，许多科学和工程领域需要高性能计算来执行计算密集型实验。例如，传输现象、热力学、材料性质、计算化学和物理学的许多进步仅仅是因为这种大规模计算基础设施的可用性而成为可能。然而，许多挑战仍然存在。能源消耗、冷却、资源竞争的成本是科学和工程界将他们的兴趣转向利用低功耗CPU实现节能服务器以执行计算密集型任务的可能性的一些原因。在本文中，我们介绍了一种新的方法，这是最近在Linux欧洲会议2015年提出的，基于Beowulf概念和利用单板的计算机（SBC）。我们提出了一个低能耗的架构，能够解决苛刻的科学计算问题。此外，我们的目标是为科学家和工程师提供低成本的个人解决方案。为了评估所提出的架构的性能，我们运行了几个标准的基准测试。此外，我们评估机器在现实生活中的情况下，通过执行两个基准工具，涉及实际的TCAD的物理学家和工程师在半导体行业的可靠性。
2016-07-14 cs.DC cs.PF
Decentralized Machine Learning for Intelligent Health Care Systems on the Computing Continuum
University of Klagenfurt（克拉根福大学）；University of Innsbruck（因斯布鲁克大学）
电子个人健康记录（EHR）的引入使不同医疗保健系统之间的全国信息交换和管理成为可能。然而，当前的EHR系统不提供用于诊断支持、医学研究的透明手段，或者可以利用由个人医疗设备产生的无所不在的数据。此外，EHR系统是集中编排的，这可能导致单点故障。因此，在这篇文章中，我们探索了在分布式账本上分散机器学习的新方法，以创建智能EHR系统，该系统可以利用来自个人医疗设备的信息来改进知识提取。因此，我们提出并评估了一个概念性的EHR，以实现跨多个医疗机构的匿名预测分析。评估结果表明，分散的EHR可以部署在计算连续体上，减少机器学习时间高达60%，共识延迟低于8秒。
2022-10-03 cs.AI cs.DC cs.ET
Meta Computing
随着信息基础设施的不断完善，学术界和工业界一直在不断探索新的计算模式，以充分利用计算能力。Meta Computing是一种新的计算范式，它利用互联网上所有可用的计算资源，提供高效、容错、个性化的服务，并具有很强的安全性和隐私保障，将互联网虚拟成一台巨型计算机，即“网络即计算机”（Network-as-a-Computer，NaaC），简称“Meta Computer”，可按需为任何任务或任何人提供服务。
2023-02-19 cs.DC
A Comparative Study of AI-based Intrusion Detection Techniques in Critical Infrastructures
College of Technological Innovation, Zayed University（扎耶德大学技术创新学院）；University of Ottawa（渥太华大学）
志愿者计算使用互联网连接的设备（笔记本电脑、个人电脑、智能设备等），其中它们的所有者自愿将它们作为存储和计算能力资源，已经成为许多应用中的资源管理的基本机制。互联网上数据流量的数量和种类的增长导致人们对网络物理系统的稳健性，特别是对关键基础设施的稳健性感到关切。因此，实施一个有效的入侵检测系统，收集这些传感器数据已变得至关重要。在本文中，我们提出了一个人工智能（AI）驱动的入侵检测系统的无线连接的传感器，跟踪关键的应用程序的比较研究。具体来说，我们深入分析了机器学习、深度学习和强化学习解决方案的使用，以识别收集的流量中的侵入行为。我们使用KD'99作为真实的攻击数据集在我们的模拟评估所提出的机制。结果提出了三种不同的入侵检测系统，即自适应监督和入侵检测混合入侵检测系统（ASCH-IDS），基于限制玻尔兹曼机的入侵检测系统（RBC-IDS）和基于Q学习的入侵检测系统（QL-IDS）检测恶意行为的性能指标。我们还介绍了不同的强化学习技术，如状态-动作-奖励-状态-动作学习（SARSA）和时间差学习（TD）的性能。通过仿真，我们表明，QL-IDS执行100%的检测率，而SARSA-IDS和TD-IDS执行在99.5%的顺序。
2020-07-24 cs.DC cs.LG cs.NI
Resource-Efficient Personal Large Language Models Fine-Tuning with Collaborative Edge Computing
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）；The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（社会人工智能与机器人研究所（深圳））
本文提出PAC框架，通过算法与系统协同设计，实现高效资源利用的个性化大语言模型微调，提升边缘计算性能。
2026-02-14 cs.AI cs.DC cs.LG
A Critical Note on Social Cloud
社交云的概念已经成为社交网络环境中的资源共享范例。毫无疑问，最先进的社交云系统展示了社交云作为其他计算模式（如云、网格、点对点和志愿者计算）的补充的潜力。然而，在本文中，我们对社交云文献进行了批判性调查，并得出结论，这些初步的努力未能提供社交云的一般框架，也未能显示社交云的独特性。这份简短的说明揭示了社交云的概念，资源定义，资源共享和分配机制，以及其应用和利益相关者的显着差异。这项研究是一种尝试，以表达需要一个通用的框架的社会云，它可以结合各种意见和资源共享设置中讨论的文献。
2021-01-29 cs.DC cs.SI
ASCEND: Personal AI Agents for Autonomous Scientific Computing Across HPC Clusters and GPU Workstations
NC State University（北卡罗来纳州立大学）；Duke University（杜克大学）
本文提出ASCEND智能体，在研究者笔记本上运行，通过认证连接管理HPC集群和GPU工作站，实现故障恢复、结果复现、并行加速等自主科学计算，并验证了策略验证层的高效性。
2026-10-06 cs.AI cs.DC cs.SE
Mitigating Leakage from Data Dependent Communications in Decentralized Computing using Differential Privacy
Petrus team, Inria, France（法国国家信息与自动化研究所 Petrus 团队）；Magnet team, Inria, France（法国国家信息与自动化研究所 Magnet 团队）
想象一下，一群公民愿意为了共同利益集体贡献他们的个人数据，以产生对社会有用的信息，这些信息来自数据分析或机器学习计算。与执行计算的中央服务器共享原始个人数据可能会引发对隐私和大规模监控风险的担忧。相反，公民可以信任彼此以及他们自己的设备，以参与分散式计算，从而协作产生要共享的聚合数据发布。在安全计算节点在运行时通过安全信道交换消息的上下文中，关键的安全问题是防止外部攻击者观察业务，其对数据的依赖可能泄露个人信息。现有的解决方案是针对云环境设计的，其目标是隐藏底层数据集的所有属性，并且不能解决在上述上下文中出现的特定隐私和效率挑战。在本文中，我们定义了一个通用的执行模型来控制数据依赖的通信在用户端分散计算，其中差分隐私保证通信模式在全球执行计划可以分析结合保证获得的本地集群的节点。我们提出了一套算法，允许隐私，效用和效率之间的权衡。我们正式的隐私保证杠杆和扩展最近的结果隐私放大洗牌。我们说明了我们的建议的有用性的两个代表性的例子，分散的执行计划与数据依赖的通信。
2021-12-23 cs.CR cs.DB cs.DC
