局部-全局特征引導(dǎo)的圖文多級關(guān)系分析與挖掘方法

打開文本圖片集

摘 要：具有語義相關(guān)性的文本、圖像數(shù)據(jù)往往具有互補(bǔ)性，可以從不同角度增強(qiáng)語義理解，因此，圖文語義關(guān)系挖掘是圖文數(shù)據(jù)得以充分利用的關(guān)鍵。為解決圖文數(shù)據(jù)深層語義關(guān)系挖掘不充分、檢索階段預(yù)測不精準(zhǔn)的問題，本文提出了一種局部-全局特征引導(dǎo)的多級關(guān)系分析與挖掘方法。采用多頭自注意力機(jī)制的Transformer建模圖像關(guān)系，構(gòu)建圖像引導(dǎo)的文本注意力模塊，挖掘圖像區(qū)域和全局文本間的細(xì)粒度關(guān)系，融合局部-全局特征有效增強(qiáng)圖文數(shù)據(jù)的語義關(guān)系。（剩余15554字）