基于聚合局部鄰居三元組與特征增強(qiáng)注意力的知識(shí)圖譜表示

打開文本圖片集

關(guān)鍵詞：語言模型;Transformer;聚合局部鄰居三元組;特征增強(qiáng)注意力

0 引言（Introduction）

近年來，盡管人工智能在諸多任務(wù)上取得了顯著進(jìn)展，但仍面臨無法真正獲取和理解文本語義信息的問題，其核心問題在于機(jī)器缺乏足夠的先驗(yàn)知識(shí)，理解事物的能力還遠(yuǎn)達(dá)不到人類的平均水平，這限制了其聯(lián)想和推理能力的發(fā)展。（剩余9598字）