低通信開銷的分布式學(xué)習(xí)
目前,訓(xùn)練機(jī)器學(xué)習(xí)模型依賴于海量的數(shù)據(jù),當(dāng)以集中方式訓(xùn)練時(shí),會(huì)帶來很大的計(jì)算成本。因此,現(xiàn)在普遍的共識(shí)是,未來的機(jī)器學(xué)習(xí)應(yīng)該以分布式方式實(shí)施。通常,分布式學(xué)習(xí)是以server-worker模式中進(jìn)行的,其中server利用從workers收集的信息更新學(xué)習(xí)參數(shù),然后將這些參數(shù)廣播給workers。 但是,隨著worker數(shù)量的增加,通信開銷也會(huì)大幅
南方科技大學(xué)
2021-04-14