基于知識(shí)增強(qiáng)的跨模態(tài)融合網(wǎng)絡(luò)的多模態(tài)對(duì)話情緒識(shí)別模型

打開文本圖片集

摘 要：針對(duì)未充分利用模態(tài)表征能力的差異和說話者情緒線索的問題，提出了一種基于知識(shí)增強(qiáng)的跨模態(tài)融合網(wǎng)絡(luò)模型。該模型設(shè)計(jì)了外部知識(shí)增強(qiáng)的跨模態(tài)模塊，將較弱模態(tài)特征與多層次文本和外部知識(shí)逐層融合嵌入到多頭注意力層中，充分挖掘較弱模態(tài)中的有效信息，實(shí)現(xiàn)模態(tài)間的特征互補(bǔ)和一致性。此外，模型還設(shè)計(jì)了基于有向圖的情緒線索增強(qiáng)模塊，利用基于說話者不同情緒線索的外部知識(shí)來增強(qiáng)融合特征，并構(gòu)建上下文信息有向圖，深入挖掘并利用說話者的情緒線索。（剩余17744字）