基于申威CPU的大型語(yǔ)言模型推理研究與應(yīng)用

打開(kāi)文本圖片集

摘 要：目前，ChatGPT、LLaMA、Gemini等大型語(yǔ)言模型已取得了顯著突破，對(duì)自然語(yǔ)言處理領(lǐng)域產(chǎn)生了深遠(yuǎn)影響。然而，這些模型通常擁有數(shù)百億甚至數(shù)千億個(gè)參數(shù)，在部署時(shí)對(duì)計(jì)算資源和存儲(chǔ)需求極高，導(dǎo)致其在計(jì)算資源有限的平臺(tái)上難以應(yīng)用。為此，介紹了當(dāng)前主流的模型壓縮方法，并結(jié)合llama.cpp項(xiàng)目，提出了一種在申威平臺(tái)上利用純CPU進(jìn)行大型語(yǔ)言模型部署的方案。（剩余9250字）