TF-Replicator: Distributed Machine Learning for Researchers
DeepMind（深度思维）
Peter Buchlovsky, David Budden, Dominik Grewe, Chris Jones, John Aslanides, Frederic Besse, Andy Brock, Aidan Clark, Sergio Gómez Colmenarejo, Aedan Pope, Fabio Viola, Dan Belov
We describe TF-Replicator, a framework for distributed machine learning designed for DeepMind researchers and implemented as an abstraction over TensorFlow. TF-Replicator simplifies writing data-parallel and model-parallel research code. The same models can be effortlessly deployed to different cluster architectures (i.e. one or many machines containing CPUs, GPUs or TPU accelerators) using synchronous or asynchronous training regimes. To demonstrate the generality and scalability of TF-Replicator, we implement and benchmark three very different models: (1) A ResNet-50 for ImageNet classification, (2) a SN-GAN for class-conditional ImageNet image generation, and (3) a D4PG reinforcement learning agent for continuous control. Our results show strong scalability performance without demanding any distributed systems expertise of the user. The TF-Replicator programming model will be open-sourced as part of TensorFlow 2.0 (see https://github.com/tensorflow/community/pull/25).
Towards automated neural design: An open source, distributed neural architecture research framework
University of Macedonia（马其顿大学）
NORD（Neural Operations Research & Development）是一个开源的分布式深度学习架构研究框架，基于PyTorch、MPI和Horovod。它旨在使不同领域的专家更容易研究深度架构，以加快寻找更好架构的过程，并研究为不同数据集生成的最佳架构。虽然目前正在大力开发，但该框架旨在允许轻松实现不同的设计和优化方法系列（优化算法，元算法，强化学习等）。以及它们之间的公平比较。此外，由于优化和评估网络架构所需的计算资源，它利用了分布式计算的使用，同时旨在最大限度地减少研究人员实现它所需的开销。此外，它努力使架构的创建更加直观，通过实现网络描述符，允许单独定义架构的节点和连接。在本文中，我们提出了框架的发展现状，同时提出了它的基本概念，提供简单的例子，以及他们的实验结果。
A Survey and Taxonomy of Distributed Data Mining Research Studies: A Systematic Literature Review
Dian Nuswantoro University（迪安努斯万托罗大学）
内容：数据采掘（Data Mining，DM）方法已经在逐年发展，并且到今天为止，还存在DM技术的增强，其运行速度可以比传统方法快几倍，称为分布式数据采掘（Distributed Data Mining，DDM）。它实际上并不是数据处理中的一个新领域，但近年来这方面的研究受到了越来越多的关注。问题：关于DDM在高声誉期刊和会议上的出版物数量显着增加。这使得研究者很难对DDM有一个全面的了解，需要进一步的研究。解决方案：我们进行了系统的文献回顾，以映射以前在DDM领域的研究。我们的目标是通过识别DDM领域的差距以及热点领域本身来为新的研究提供动力。结果：通过对文献综述中提出的7个研究问题的回答，得出了一些结论。此外，本文还对DDM的研究领域进行了分类。最后，本文对2000年至2015年DDM的发展进行了系统的文献综述，以帮助未来的研究者对DDM的发展现状有一个全面的了解。
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
