基于特征對齊融合的雙波段圖像描述生成方法

打開文本圖片集

摘  要： 為了獲得更準(zhǔn)確、全面的現(xiàn)場信息，采用紅外和可見光同步成像探測復(fù)雜場景已成為常態(tài)，但現(xiàn)有圖像描述研究仍集中于可見光圖像，無法全面而準(zhǔn)確地描述已探測到的場景信息。為此，文中提出一種基于特征對齊融合的可見光?紅外雙波段圖像描述生成方法。首先，利用Faster?RCNN分別提取可見光圖像的區(qū)域特征和紅外圖像的網(wǎng)格特征；其次，以Transformer為基本架構(gòu)，在可見光?紅外圖像對齊融合（VIIAF）編碼器中引入位置信息做橋接，進行可見光?紅外圖像特征的對齊與融合；接著，將融合得到的視覺信息輸入Transformer解碼器中得到粗粒度文本的隱藏狀態(tài)；最后將編碼器輸出的視覺信息、解碼器得到的隱藏狀態(tài)與經(jīng)訓(xùn)練的Bert輸出的語言信息輸入所設(shè)計的自適應(yīng)模塊，使視覺信息和語言信息參與文本預(yù)測，實現(xiàn)文本由粗到細的圖像描述。（剩余13201字）