基于深度圖文細(xì)粒度對齊的弱監(jiān)督多模態(tài)情感分析

打開文本圖片集

摘 要：針對現(xiàn)有多模態(tài)情感分析方法在模態(tài)對齊上不夠精細(xì)，深度特征融合時易丟失重要信息的問題，提出了一種圖文深度交互模型。該模型擯棄使用圖像區(qū)域強(qiáng)監(jiān)督的方式檢測圖片中的物體，首先將圖片平等劃分成更精細(xì)的區(qū)域序列，通過雙路融合流的深度融合層來對齊多模態(tài)數(shù)據(jù)中蘊(yùn)涵的潛在模式，并使用自適應(yīng)門閥優(yōu)化殘差注意力信息的傳遞。（剩余19040字）