基于特征對(duì)齊融合的雙波段圖像描述生成方法

打開(kāi)文本圖片集

摘  要： 為了獲得更準(zhǔn)確、全面的現(xiàn)場(chǎng)信息，采用紅外和可見(jiàn)光同步成像探測(cè)復(fù)雜場(chǎng)景已成為常態(tài)，但現(xiàn)有圖像描述研究仍集中于可見(jiàn)光圖像，無(wú)法全面而準(zhǔn)確地描述已探測(cè)到的場(chǎng)景信息。為此，文中提出一種基于特征對(duì)齊融合的可見(jiàn)光?紅外雙波段圖像描述生成方法。首先，利用Faster?RCNN分別提取可見(jiàn)光圖像的區(qū)域特征和紅外圖像的網(wǎng)格特征；其次，以Transformer為基本架構(gòu)，在可見(jiàn)光?紅外圖像對(duì)齊融合（VIIAF）編碼器中引入位置信息做橋接，進(jìn)行可見(jiàn)光?紅外圖像特征的對(duì)齊與融合；接著，將融合得到的視覺(jué)信息輸入Transformer解碼器中得到粗粒度文本的隱藏狀態(tài)；最后將編碼器輸出的視覺(jué)信息、解碼器得到的隱藏狀態(tài)與經(jīng)訓(xùn)練的Bert輸出的語(yǔ)言信息輸入所設(shè)計(jì)的自適應(yīng)模塊，使視覺(jué)信息和語(yǔ)言信息參與文本預(yù)測(cè)，實(shí)現(xiàn)文本由粗到細(xì)的圖像描述。（剩余13201字）