電力領(lǐng)域自然語言理解模型的輕量化研究

打開文本圖片集

摘 要：針對電力領(lǐng)域指標(biāo)問答的應(yīng)用需求問題，研究能夠平衡性能、計(jì)算資源消耗與推理時(shí)間的自然語言理解模型。提出了在知識蒸餾的輕量化過程中融入提前停止機(jī)制的方法，利用教師模型訓(xùn)練學(xué)生模型時(shí)，在每層編碼加入“耐心早退”機(jī)制，使得不同復(fù)雜度的樣本使用不同層數(shù)的編碼提取特征，減少了學(xué)生模型容易出現(xiàn)的過擬合問題，同時(shí)控制了模型的推理時(shí)間。（剩余13195字）