單向句法依存關(guān)系指導(dǎo)下的跨模態(tài)檢索

打開文本圖片集

摘  要：大多數(shù)現(xiàn)有的跨模態(tài)檢索方法僅使用每個模態(tài)內(nèi)的模態(tài)內(nèi)關(guān)系或圖像區(qū)域和文本詞之間的模態(tài)間關(guān)系。文章中提出了一種基于自然語言的句法依存關(guān)系的視覺語言模型，稱為Dep-ViLT。通過句法依存分析，構(gòu)建句法依存樹，利用單向的句法依存關(guān)系增強核心語義的特征表達，促進語言模態(tài)與視覺模態(tài)的特征交互。（剩余10999字）