大語(yǔ)言模型發(fā)展現(xiàn)狀與應(yīng)用趨勢(shì)

打開(kāi)文本圖片集

〔內(nèi)容提要〕自然語(yǔ)言處理（Natural Language Processing，NLP）始于上世紀(jì)50年代，是人工智能（AI）研究的重要方向。2018年以來(lái)，NLP從預(yù)訓(xùn)練語(yǔ)言模型PLMs（Pre-trained Language Models）進(jìn)化到大規(guī)模語(yǔ)言模型LLMs（Large Language Models），語(yǔ)料庫(kù)達(dá)到百億規(guī)模，參數(shù)超過(guò)千億，特別是隨著ChatGPT 3.5和GPT 4的橫空出世，LLMs的發(fā)展和應(yīng)用進(jìn)入新紀(jì)元，以其為代表的AI已成為經(jīng)濟(jì)社會(huì)發(fā)展的重要驅(qū)動(dòng)力。（剩余5210字）