系统 — 论文笔记

分布式系统与机器学习系统

2014

OSDI-2014 用参数服务器扩展分布式机器学习

OSDI 系统 2014-10-06 distributed-dataflow

2019

NeurIPS-2019 GPipe：基于流水线并行的高效巨型神经网络训练

NeurIPS 系统 2019-12-06 pipeline-parallelism

2020

SC-2020 ZeRO：面向万亿参数模型训练的内存优化

SC 系统 2020-11-09 distributed-dataflow

GTC-2020 Megatron-LM：基于模型并行训练百亿参数语言模型

GTC 系统 2020-03-13 model-parallelism

2022

MLSys-2022 Pathways：面向机器学习的异步分布式数据流

MLSys 系统 2022-03-23 distributed-dataflow

← 浏览全部笔记