面向大語言模型應(yīng)用的數(shù)據(jù)服務(wù)平臺研究

打開文本圖片集

摘要：大語言模型應(yīng)用效果依賴于高質(zhì)量數(shù)據(jù)，從原始語料構(gòu)建訓練數(shù)據(jù)集和檢索增強知識的過程中，端到端的數(shù)據(jù)管理和處理變得至關(guān)重要。當前數(shù)據(jù)服務(wù)面臨著因數(shù)據(jù)處理質(zhì)量差而影響大語言模型應(yīng)用效果、數(shù)據(jù)準備效率低、實現(xiàn)的高復(fù)雜性和高成本等問題。為解決這些問題，文章提出一種面向大語言模型的數(shù)據(jù)協(xié)同服務(wù)方案，對原始語料、數(shù)據(jù)集和知識處理進行有效協(xié)同，基于算子可視化編排的自動化處理技術(shù)和跨平臺統(tǒng)一計算調(diào)度框架，設(shè)計實現(xiàn)了一種端到端數(shù)據(jù)服務(wù)平臺，能有效滿足各類大語言模型應(yīng)用對于數(shù)據(jù)的不同需求。（剩余13257字）