基于多模態(tài)表征的醫(yī)學(xué)影像報(bào)告生成方法研究

打開文本圖片集

摘要：醫(yī)學(xué)影像報(bào)告自動(dòng)生成需要關(guān)注影像的整體結(jié)構(gòu)與局部細(xì)微變化以生成準(zhǔn)確流暢的文本描述。為此，文章提出了基于多模態(tài)表征的醫(yī)學(xué)影像報(bào)告自動(dòng)生成方法，利用跨模態(tài)注意力機(jī)制和滑動(dòng)窗口機(jī)制分別獲得影像與報(bào)告之間的局部以及全局特征，通過門控融合機(jī)制，自適應(yīng)整合來自不同尺度的多模態(tài)特征，在保持對影像全局感知的同時(shí)又能關(guān)注到微觀變化。（剩余6336字）