大語言模型時代Text-to-SQL 更準(zhǔn)確的評估指標(biāo)

打開文本圖片集

摘要：大型語言模型（LLM） 已成為推進(jìn) Text-to-SQL 任務(wù)的強(qiáng)大工具。研究發(fā)現(xiàn)，基于 LLM 的模型在不同評估指標(biāo)下，其性能表現(xiàn)與經(jīng)過微調(diào)的模型存在顯著差異。因此，文章分析了測試套件執(zhí)行準(zhǔn)確度（EXE） 和精確集匹配準(zhǔn)確度（ESM） 在評估基于 LLM 的 Text-to-SQL 模型時的不足，并提出了改進(jìn)指標(biāo) EESM（Enhanced Exact Set Matching） 。（剩余7769字）