如何測試ChatGPT的語義理解與常識推理水平？

——兼談大語言模型時代語言學(xué)的挑戰(zhàn)與機會

打開文本圖片集

關(guān)鍵詞ChatGPT；大語言模型；新圖靈測試；威諾格拉德模式挑戰(zhàn)；WinoGrande數(shù)據(jù)集

一、引言：大語言模型給語言學(xué)帶來的挑戰(zhàn)與機會

照理說，語言學(xué)家應(yīng)該是歡迎語言技術(shù)的進步與飛躍發(fā)展的，但是當人工智能聊天機器人ChatGPT風(fēng)靡全網(wǎng)、風(fēng)光無限時，不少語言學(xué)家又感到危機空前，因為ChatGPT等大語言模型（largelanguagemodel，LLM）在語言理解與生成方面功能強大，并且?guī)缀趵@開了當代主流的語言學(xué)理論與方法（詳見Piantadosi2023）。（剩余20618字）