融合MacBERT和Talking?Heads Attention實體關系聯(lián)合抽取模型

打開文本圖片集

摘  要： 針對現(xiàn)有的醫(yī)學文本關系抽取任務模型在訓練過程中存在語義理解能力不足，可能導致關系抽取的效果不盡人意的問題，文中提出一種融合MacBERT和Talking?Heads Attention的實體關系聯(lián)合抽取模型。該模型首先利用MacBERT語言模型來獲取動態(tài)字向量表達，MacBERT作為改進的BERT模型，能夠減少預訓練和微調階段之間的差異，從而提高模型的泛化能力；然后，將這些動態(tài)字向量表達輸入到雙向門控循環(huán)單元（BiGRU）中，以便提取文本的上下文特征。（剩余11367字）