基于申威CPU的大型語言模型推理研究與應(yīng)用

打開文本圖片集

摘 要：目前，ChatGPT、LLaMA、Gemini等大型語言模型已取得了顯著突破，對自然語言處理領(lǐng)域產(chǎn)生了深遠(yuǎn)影響。然而，這些模型通常擁有數(shù)百億甚至數(shù)千億個參數(shù)，在部署時對計算資源和存儲需求極高，導(dǎo)致其在計算資源有限的平臺上難以應(yīng)用。為此，介紹了當(dāng)前主流的模型壓縮方法，并結(jié)合llama.cpp項(xiàng)目，提出了一種在申威平臺上利用純CPU進(jìn)行大型語言模型部署的方案。（剩余9250字）