一種改進(jìn)的帶有動(dòng)量的隨機(jī)梯度下降優(yōu)化算法

打開(kāi)文本圖片集

【摘   要】   帶有動(dòng)量的隨機(jī)梯度下降（SGDM）優(yōu)化算法是目前卷積神經(jīng)網(wǎng)絡(luò)（CNNs）訓(xùn)練中最常用的算法之一。然而，隨著神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜化，利用SGDM算法去訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型所需時(shí)間越來(lái)越長(zhǎng)，因此，改進(jìn)SGDM算法的收斂性能是十分必要的。在SGDM算法的基礎(chǔ)上，提出了一種新算法SGDMNorm。（剩余12764字）