首頁 > 新聞 > IT資訊 > 正文

張敏:提升算法公平性不會降低準確性,二者可相互促進

2022-03-24 20:46:12來源:中新經緯  

中新經緯3月24日電 (王玉玲)近日,由中國人民大學高瓴人工智能學院、智能社會治理跨學科交叉平臺和基于大數據文科綜合訓練國家級虛擬仿真實驗教學中心聯合主辦的算法公平性與內容生態建設研討會在線上舉行。清華大學計算機科學與技術系副教授張敏表示,非常高興看到越來越多的國際和國內同行,開始從技術層面關注算法公平性的研究。

她表示,“公平性”在信息檢索領域主流學術會議中已經受到廣泛的重視。早在2017年,張敏團隊就已經使用帕累托優化來做推薦系統的群組推薦。該工作已經被引用上百次,且在2020年以來激增。“我們使用帕累托優化關注群組的公平性。在群組里面,如果優化了對一個人的推薦,不會使群組中任何一個人受損,這樣的推薦就符合帕累托優化。”張敏說道。

張敏指出,TikTok的推薦算法入選MITT echnology Review2021的“全球十大突破技術”,是算法公平性受到廣泛關注的一個典型事件。在TikTok算法中,推薦結果的產生不僅僅依靠博主的粉絲數和熱門視頻的數量,更重要的是將視頻標題、聲音、內容標簽等屬性信息、以及與用戶觀看或點贊過的視頻、拍攝過的內容等細分興趣領域相結合,融合基于協同過濾及內容推薦的典型個性化推薦方法做出最終的推薦。由此,TikTok中普通用戶發布的視頻也有可能獲得與網紅視頻一樣甚至更多的推薦,此外,推薦算法還可以幫助用戶拓展其可能感興趣的新的細分領域的內容,從而提升了用戶在新穎性和驚喜性方面的需求,這是推薦算法在公平性方面的一個代表性的成功的產業應用。

接下來,張敏表示,在算法公平性中存在三大誤解,需要加以糾正與探討:第一,提升算法公平性并不總是會使準確性下降,算法的準確性和公平性可以實現雙贏。“早期相關研究中經常發現,提升了系統公平性,總是會使得準確性有所損失。但是隨著研究的不斷深入,在探究算法公平性和準確性的關系上,我們近期的研究成果表明:提升公平性并不總是會使得推薦準確性下降,我們在真實場景的大規模數據上的實驗結果,已經實現了在提升公平性的同時還能提升推薦系統的精準性。”張敏說道。

第二,“公平”與“無偏”并不等同。比如位置偏置在推薦系統中一定存在,位置靠前的推薦結果被用戶看到的可能性就會更大,這是客觀事實。“一方面,公平的系統不一定是無偏的;另一方面,無偏的系統也可能仍然存在不公平性。但是二者有關聯性。比如不同時間購買的機票,機票的價格可能會有所不同,但這并不是不公平的現象。因此,研究公平性需要關注的是那些表面上看起來無差別,但其實有可能帶來不公平現象的因素或者場景。因此,我們追求的不是、也不可能實現完全無偏的系統,關鍵在于算法的設計要考慮系統中存在的偏置。如果將偏見因素考慮進算法的設計過程中,那推薦結果有可能更公平一些。”張敏說道。

第三,對于個性化和公平性是否有沖突,“前面我們已經探討和驗證了提升算法公平性并不會使準確性下降,算法的準確性和公平性可以實現雙贏,而對于個性化和公平性,我直覺上認為它不一定有沖突,但還需要更多探討。”張敏說道。

此外,張敏還分享了算法公平性研究的經驗。第一,公平性問題非常復雜,其定義有多個標準,比如過程公平、結果公平;個體公平、群體公平;單一公平、均攤公平等。由此,對算法公平性的研究允許復雜的公平性定義,但需要透徹理解不同公平性定義的適用場景和范圍。

最后,還需要設計和構建的用于公平性研究的數據集、評估標準,以及測評方法。“我覺得是時候將來自不同領域的專家和學者聯合起來,通過交叉領域的融合,共同推進不同場景下的算法公平性研究。”張敏說道。(中新經緯APP)

關鍵詞:

責任編輯:hnmd003

相關閱讀

相關閱讀

精彩推送