基于圖像相對(duì)位置和負(fù)向感知的圖文匹配

打開(kāi)文本圖片集

摘  要： 圖文匹配任務(wù)在計(jì)算機(jī)視覺(jué)以及多模態(tài)信息處理領(lǐng)域引起了廣泛關(guān)注。這一跨模態(tài)任務(wù)主要難點(diǎn)在于如何高效地提取視覺(jué)和文本的信息以及如何解決不一致圖文沖突問(wèn)題。文中提出了一種新穎的圖像文本匹配方法，利用圖像對(duì)象相對(duì)位置的注意力機(jī)制解決忽視圖像中物體相對(duì)位置信息的問(wèn)題，從而更好地關(guān)注視覺(jué)信息的提取，同時(shí)為了解決忽視圖像?文本間不對(duì)齊內(nèi)容相似度貢獻(xiàn)的問(wèn)題，運(yùn)用了負(fù)向感知模塊關(guān)注物體相對(duì)位置和文本中的單詞非對(duì)齊的信息對(duì)相似度的負(fù)貢獻(xiàn)，從而提高圖像?文本匹配相似度的準(zhǔn)確性。（剩余12745字）