基于mBERT的東南亞小語種推特文本情感分析

打開文本圖片集

摘要：小語種由于其訓(xùn)練語料資源稀缺，在自然語言處理領(lǐng)域一直是一大難題，使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法與神經(jīng)網(wǎng)絡(luò)方法，具有很大的瓶頸。而跨語言預(yù)訓(xùn)練語言模型的出現(xiàn)，對于低資源語種的包括文本分類在內(nèi)的多項(xiàng)任務(wù)，都起到了很大的提升效果。在基于海量語料訓(xùn)練得到的跨語言預(yù)訓(xùn)練語言模型mBERT的基礎(chǔ)上進(jìn)行微調(diào)，相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，在情感分析任務(wù)的效率和準(zhǔn)確度都可得到不錯(cuò)的提升。（剩余4196字）