arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2206.00470cs.LGcs.DBcs.DC
收藏

良好意图:通过意图信号实现自适应参数管理

Good Intentions: Adaptive Parameter Management via Intent Signaling

Technische Universität Berlin(柏林工业大学);BIFOLD(柏林人工智能与数据科学研究院);Universität Mannheim(曼海姆大学);IT University Copenhagen(哥本哈根信息技术大学)

Alexander Renz-Wieland, Andreas Kieslinger, Robert Gericke, Rainer Gemulla, Zoi Kaoudi, Volker Markl

AI总结:

针对分布式ML训练中高级参数管理需手动集成且调优昂贵的问题,本文提出意图信号机制与零调优的自适应参数管理器AdaPM,实现开箱即用并达到或超过SOTA性能。

摘要:

参数管理对于大型机器学习(ML)任务的分布式训练至关重要。一些ML任务难以分布式化,因为常见的参数管理方法可能效率极低。先进的参数管理方法——例如选择性复制或动态参数分配——可以提高效率,但要实现这一点,它们通常需要手动集成到每个任务的实现中,并且需要昂贵的前期实验才能正确调优。在本工作中,我们探索是否可以避免这两个问题。我们首先提出一种新颖的意图信号机制,该机制可自然集成到现有ML技术栈中,并向参数管理器提供有关参数访问的关键信息。随后,我们描述了AdaPM,这是一种基于该机制的完全自适应、零调优参数管理器。与先前系统相比,该方法将提供信息(简单,由任务完成)与有效利用信息(困难,由AdaPM自动完成)分离开来。在我们的实验评估中,AdaPM开箱即用地达到或超过了最先进参数管理器的性能,表明自动参数管理是可行的。

英文摘要:

Parameter management is essential for distributed training of large machine learning (ML) tasks. Some ML tasks are hard to distribute because common approaches to parameter management can be highly inefficient. Advanced parameter management approaches -- such as selective replication or dynamic parameter allocation -- can improve efficiency, but to do so, they typically need to be integrated manually into each task's implementation and they require expensive upfront experimentation to tune correctly. In this work, we explore whether these two problems can be avoided. We first propose a novel intent signaling mechanism that integrates naturally into existing ML stacks and provides the parameter manager with crucial information about parameter accesses. We then describe AdaPM, a fully adaptive, zero-tuning parameter manager based on this mechanism. In contrast to prior systems, this approach separates providing information (simple, done by the task) from exploiting it effectively (hard, done automatically by AdaPM). In our experimental evaluation, AdaPM matched or outperformed state-of-the-art parameter managers out of the box, suggesting that automatic parameter management is possible.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑