一種基于領(lǐng)域知識的檢索增強(qiáng)生成方法

打開文本圖片集

摘 要：

為了提高當(dāng)前大語言模型（large language model，LLM）在利用檢索文檔生成答案時(shí)的準(zhǔn)確性，提出一種基于領(lǐng)域知識的檢索增強(qiáng)生成（retrieval-augmented generation，RAG）方法。首先，在檢索過程中通過問題和領(lǐng)域知識進(jìn)行第1層的稀疏檢索，為后續(xù)的稠密檢索提供領(lǐng)域數(shù)據(jù)集；其次，在生成過程中采用零樣本學(xué)習(xí)的方法，將領(lǐng)域知識拼接在問題之前或之后，并與檢索文檔結(jié)合，輸入到大語言模型中；最后，在醫(yī)療領(lǐng)域和法律領(lǐng)域數(shù)據(jù)集上使用大語言模型ChatGLM2-6B、Baichuan2-7B-chat進(jìn)行多次實(shí)驗(yàn)，并進(jìn)行性能評估。（剩余17112字）