AI前哨｜AI也有“黑匣子”？ChatGPT背后都藏著什么秘密？

ChatGPT掩蓋了它的內部運作原理

鳳凰網科技訊 《AI前哨》北京時間5月29日消息，對于一些人來說，“黑匣子”(black box，也稱黑盒子)這個詞會讓人想起飛機上的飛行記錄器。如果發生不堪設想的事情，這些設備對事后分析很有價值。但是在人工智能(AI)領域，黑匣子也是一個重要的術語。

(資料圖)

什么是AI黑匣子？

AI黑匣子，指的是內部運作原理對用戶不可見的AI系統。人們可以向它們提供輸入并獲得輸出，但是不能檢查產生輸出的系統代碼或邏輯。

機器學習是AI的主要分支，它是聊天機器人ChatGPT和圖像生成器DALL-E 2等生成式AI系統的基礎。機器學習有三個組成部分：一個算法或一組算法、訓練數據以及模型。算法是一組程序。在機器學習中，算法在接受大量示例(訓練數據)的訓練后學會識別模式。一旦機器學習算法被訓練，成果就是一個機器學習模型。模型就是人們使用的東西。

例如，人們可以設計一個機器學習算法來識別圖像中的模式，訓練數據可以是狗的圖像，由此產生的機器學習模型將是一個狗的識別器。你可以給它一個圖像作為輸入，并獲得輸出，判斷圖像中是否存在一只狗，以及圖像中哪些像素組成了一只狗。

黑匣子是在“黑箱作業”

機器學習系統的三個組成部分中的任何一個都可以被隱藏起來，或者成為一個黑匣子。通常情況下，算法是公開的，所以把它放入黑匣子中的效果并不理想。因此，為了保護知識產權，AI開發者通常會將模型放入黑匣子中。軟件開發者采取的另一種方法是對用于訓練模型的數據進行模糊處理。換句話說，將訓練數據放入黑盒子中，以防止它被泄露。

黑匣子算法讓外界很難理解AI是如何工作的，但情況并非完全是這樣。

黑匣子的反面有時被稱為玻璃匣子(glass box，又稱玻璃盒子，指的是內部運作透明)。AI玻璃匣子是一個系統，其算法、訓練數據和模型對任何人都是可見的。然而，研究人員有時會將這些玻璃匣子的某些方面描述為黑匣子。

這是因為研究人員并不完全了解機器學習算法，尤其是深度學習算法是如何運作的。可解釋的AI領域正在努力開發算法，雖然不一定是玻璃匣子，但可以被人類更好地理解。

黑匣子的弊端

在許多情況下，人們有充分的理由警惕黑匣子機器學習算法和模型。假設一個機器學習模型對你的健康狀況做出了診斷，你想要黑匣子還是玻璃匣子呢？對于給您開具治療方案的醫生，也許她想知道模型是如何作出決策的。

如果一個決定你是否有資格從銀行獲得商業貸款的機器學習模型拒絕了你，該怎么辦？你不想知道為什么嗎？如果你知道了原因，你可以更有效地上訴決定，或者改變你的情況，以增加你下次獲得貸款的機會。

黑匣子對于軟件系統安全也有重要的影響。多年來，計算機領域的許多人認為，將軟件保存在黑匣子中可以防止黑客檢查它，因此它是安全的。這種假設在很大程度上被證明是錯誤的，因為黑客可以對軟件進行逆向工程。也就是說，通過密切觀察軟件的工作原理來構建一個副本，并發現可利用的漏洞。

如果軟件是在一個玻璃匣子里，那么軟件測試人員和善意的黑客可以檢查它，并告知創建者它的弱點，從而最大限度地減少網絡攻擊。鳳凰網科技《AI前哨》對此將持續關注。(作者/簫雨)