基于濾波衰減的自知識蒸餾壓縮算法

打開文本圖片集

摘要：【目的】為了解決模型剪枝后性能損失嚴(yán)重的問題，提出了一種基于濾波衰減和自知識蒸餾的壓縮算法。【方法】文章通過濾波衰減機(jī)制來保留冗余濾波器的信息，進(jìn)而縮小剪枝前后的模型差異，降低剪枝導(dǎo)致的性能損耗。同時(shí)，在剪枝過程中引入一個(gè)退火衰減函數(shù)，使得濾波器的衰減呈現(xiàn)動態(tài)變化，進(jìn)而能夠快速高效地搜索模型的最佳子結(jié)構(gòu)，提高模型的收斂速度。（剩余12273字）