基于擴(kuò)散模型微調(diào)的局部定制圖像編輯算法

打開文本圖片集

摘 要：針對現(xiàn)有基于擴(kuò)散模型的圖像編輯方法存在無法靈活控制圖像編輯區(qū)域以及生成個(gè)性化內(nèi)容等問題，提出一種基于擴(kuò)散模型微調(diào)的局部定制圖像編輯算法。該方法借助穩(wěn)定擴(kuò)散模型作為基礎(chǔ)框架，首先從給定的一組圖像和詞嵌入中學(xué)習(xí)概念嵌入，并且為了提高模型的訓(xùn)練效率，解決由少量數(shù)據(jù)訓(xùn)練而產(chǎn)生的過擬合問題，在微調(diào)過程中通過分析訓(xùn)練過程中各層參數(shù)變化的程度降低訓(xùn)練參數(shù)數(shù)量；然后在聯(lián)合分割模型中通過局部選擇步驟得到掩碼特征，進(jìn)一步精確識別編輯區(qū)域邊界，從而保護(hù)了非編輯區(qū)域內(nèi)容；最后將參考圖像、掩碼特征和與定制概念綁定相關(guān)的條件文本描述共同輸入微調(diào)模型中，使其在編輯區(qū)域精確生成定制內(nèi)容，增加了在編輯區(qū)域生成用戶定制內(nèi)容的靈活性。（剩余19060字）