基于判別增強(qiáng)大語言模型微調(diào)的醫(yī)學(xué)影像報(bào)告生成

打開文本圖片集

摘 要：自動(dòng)化的醫(yī)學(xué)影像報(bào)告生成可以提高影像醫(yī)生的工作效率。傳統(tǒng)的醫(yī)學(xué)影像報(bào)告生成方法大多數(shù)基于判別式和圖像描述生成式，在準(zhǔn)確性、流暢性、多樣性方面存在不足。基于大語言模型微調(diào)的醫(yī)學(xué)影像生成技術(shù)有望改善以上問題。在預(yù)訓(xùn)練多模態(tài)大語言模型基礎(chǔ)上，提出一種判別增強(qiáng)的微調(diào)方法——MedVLM。以影像診斷作為輔助的判別目標(biāo)，引入低秩自適應(yīng)微調(diào)法、提示微調(diào)法以及凍結(jié)微調(diào)法，來微調(diào)多模態(tài)大語言模型的特征提取模塊、視覺-語言轉(zhuǎn)換模塊以及大語言模型模塊，使其能夠準(zhǔn)確診斷肺部CT影像的疾病，并生成準(zhǔn)確性更高的肺部CT影像報(bào)告。（剩余24301字）