Ko-LLaMA：基于LLaMA的朝鮮語大語言模型

打開文本圖片集

提 要：在本文中，我們通過擴展LLaMA現(xiàn)有的詞表，增加額外的20，000個朝鮮語Token，從而提高其對朝鮮語的編碼和語義理解的能力；并且進一步使用朝鮮語數(shù)據(jù)進行繼續(xù)預訓練，使用朝鮮語指令微調數(shù)據(jù)集對模型進行SFT（Supervised Fine-Tuning），并分析不同數(shù)據(jù)量對指令精調效果的影響，經(jīng)過繼續(xù)預訓練和指令微調后的模型顯著提高了理解和遵循朝鮮語指令的能力。（剩余15089字）