基于Ring All-Reduce的高擴展性分布式機器學(xué)習(xí)架構(gòu)

打開文本圖片集

摘要：如今，機器學(xué)習(xí)廣泛應(yīng)用于各個行業(yè)，然而隨著當(dāng)下各種應(yīng)用場景的數(shù)據(jù)量的增大，分布式機器學(xué)習(xí)幾乎成為唯一的選擇。因此，各個設(shè)備之間的數(shù)據(jù)通訊的優(yōu)化十分重要。在參數(shù)服務(wù)器架構(gòu)中，參數(shù)同步通信量大，參數(shù)服務(wù)器節(jié)點的帶寬會成為瓶頸;而在基于Ring All-Reduce的框架下，通信時間受限于環(huán)上最慢的連接，當(dāng)環(huán)中GPU節(jié)點數(shù)變多的時候，會導(dǎo)致延遲變大。（剩余7420字）