數(shù)據(jù)引擎驅(qū)動(dòng)的學(xué)術(shù)出版大模型

——實(shí)測(cè)檢驗(yàn)大規(guī)模高質(zhì)量數(shù)據(jù)在構(gòu)建高性能模型中的核心地位

打開文本圖片集

摘 要：在構(gòu)建高性能大模型時(shí)，大規(guī)模高質(zhì)量數(shù)據(jù)的重要性不容忽視。本研究旨在深入探究這一核心要素，并系統(tǒng)評(píng)估其在專業(yè)領(lǐng)域中的實(shí)際應(yīng)用效果與潛在價(jià)值。本研究基于中國(guó)知網(wǎng)大量專業(yè)文獻(xiàn)，構(gòu)建了一個(gè)包含1 316.45億token的學(xué)術(shù)資源數(shù)據(jù)集AcaDS和2 700萬(wàn)條指令的下游微調(diào)數(shù)據(jù)集AcaDSI，采用Transformer架構(gòu)設(shè)計(jì)并訓(xùn)練了一個(gè)70億參數(shù)規(guī)模的生成式學(xué)術(shù)大模型AcaLM-7B。（剩余12782字）