基于自適應(yīng)噪聲和動態(tài)加權(quán)的聯(lián)邦學(xué)習(xí)算法

打開文本圖片集

摘 要：將差分隱私應(yīng)用于聯(lián)邦學(xué)習(xí)是保護(hù)訓(xùn)練數(shù)據(jù)隱私的有效方法之一，但在現(xiàn)有的算法中，添加固定噪聲進(jìn)行模型訓(xùn)練會導(dǎo)致模型精度不高、數(shù)據(jù)隱私泄露的問題。為此，提出了一種基于自適應(yīng)噪聲和動態(tài)加權(quán)的聯(lián)邦學(xué)習(xí)算法（DP-FedANAW）。首先，考慮到梯度的異質(zhì)性，該算法為每個客戶端預(yù)測當(dāng)前輪次梯度范數(shù)，獲得裁剪閾值，為其進(jìn)行不同輪次自適應(yīng)裁剪梯度，從而實現(xiàn)自適應(yīng)調(diào)整噪聲；其次，為了進(jìn)一步提高模型的訓(xùn)練效率，該算法還提出了一種將客戶端貢獻(xiàn)度與數(shù)據(jù)量相結(jié)合的動態(tài)加權(quán)模型聚合方法。（剩余16302字）