基于XLNet—BiLSTM—AFF—CRF的谷物收割機(jī)械維修知識(shí)命名實(shí)體識(shí)別

打開文本圖片集

摘要：針對(duì)谷物收割機(jī)械維修實(shí)體識(shí)別過程中存在上下文語(yǔ)義特征缺失、長(zhǎng)距離依賴信息不充足、實(shí)體復(fù)雜度較高等問題，提出一種引入注意力機(jī)制特征融合的谷物收割機(jī)械維修知識(shí)命名實(shí)體識(shí)別模型XLNet—BiLSTM—AFF—CRF。該模型采用基于Transformer—XL的廣義自回歸XLNet預(yù)訓(xùn)練模型作為嵌入層提取字向量；然后使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BiLSTM）獲取上下文語(yǔ)義特征；利用注意力特征融合AFF將XLNet層輸出與BiLSTM層輸出進(jìn)行組合，增強(qiáng)序列的語(yǔ)義信息；最后輸入條件隨機(jī)場(chǎng)CRF模型學(xué)習(xí)標(biāo)注約束規(guī)則生成全局最優(yōu)序列。（剩余13978字）