基于高效調(diào)優(yōu)方法的統(tǒng)一高效微調(diào)架構(gòu)及應(yīng)用

打開(kāi)文本圖片集

摘 要：為解決大規(guī)模參數(shù)調(diào)優(yōu)問(wèn)題，一系列高效微調(diào)方法誕生，但是在整合不同高效微調(diào)方法形成有效統(tǒng)一整體方面還存在挑戰(zhàn)。此外，統(tǒng)一調(diào)優(yōu)思想在視覺(jué)任務(wù)中的應(yīng)用仍然不足。因此，提出統(tǒng)一參數(shù)高效微調(diào)架構(gòu)ETTA（efficient Transformer tuning architecture）。首先通過(guò)適配器與前綴調(diào)優(yōu)工作原理的相似性，得出兩種方法整合形成統(tǒng)一調(diào)優(yōu)架構(gòu)的合理性；其次，在適配器選擇上，選用效果更好的并行適配器，同時(shí)對(duì)前綴調(diào)優(yōu)引入可調(diào)標(biāo)量得到縮放前綴調(diào)優(yōu)變體；然后將兩種方法整合形成統(tǒng)一調(diào)優(yōu)架構(gòu)ETTA，把并行適配器作用于Transformer前饋神經(jīng)網(wǎng)絡(luò)層并設(shè)置較大瓶頸維數(shù)，縮放前綴調(diào)優(yōu)作用于多頭注意力層并設(shè)置較小可調(diào)前綴向量數(shù)；最后將ETTA用于6個(gè)圖像分類(lèi)或目標(biāo)檢測(cè)任務(wù)，并與三種調(diào)優(yōu)策略進(jìn)行性能比較。（剩余17326字）