頭條焦點：螞蟻保險科技團隊打破CLUE閱讀理解榜歷史紀錄

(資料圖)

【Techweb】8月10日消息，在中文語言理解領域最為權威的CLUE榜單中，螞蟻集團保險科技團隊以92.475的得分，打破了CLUE閱讀理解榜的歷史紀錄，排名第一。

一直以來，機器閱讀理解技術由于難度高、理解復雜，是語義理解領域最為關鍵的能力之一。據了解，憑借多年來在自然語言處理方面的深耕，螞蟻保險科技團隊自主研發了預訓練語言模型—AntInsBert，該模型僅包含十億參數量，卻一舉登頂CLUE閱讀理解榜，刷新歷史紀錄。

據悉，之所以AntInsBert僅使用1/10的參數量便取得了比肩甚至超越百億大模型的成績，主要是在兩個技術上進行了升級。首先，AntInsBert對傳統語言模型預訓練方案做了改進，設計了基于Prompt的知識增強預訓練方案，將海量知識圖譜內容引入到預訓練模型當中。

其次，為進一步挖掘AntInsBert在機器閱讀理解算法上的潛力，該方案將文本分類、信息抽取、指代消解等常見的中文語義理解任務，通過模板轉化為閱讀理解任務，模型的范化性得到了進一步提升。