22 人估值 10 億！對話 Character.ai CEO：與其直接研究醫(yī)學，不如研究人工智能

華爾街見聞按：

(資料圖片僅供參考)

Character.ai 是當下 AI 熱潮里最炙手可熱的創(chuàng)企明星之一。公司主打產(chǎn)品為可定制的 AI 聊天機器人，面向 C 端消費者娛樂需求，具備情感陪伴與設(shè)定虛構(gòu)人物的能力。Charater.AI 允許用戶自行創(chuàng)建具有特定個性、人設(shè)和知識儲備的聊天機器人，例如世界名人、歷史人物、文學影視虛構(gòu)人物乃至動物，為用戶提供新奇、強帶入感的聊天體驗。

今年年初，Charater.ai 完成 1.5 億美元 A 輪融資，估值突破 10 億美元，晉升獨角獸，團隊僅有 22 人。

4 月份，Character.ai 首席執(zhí)行官 Noam Shazeer、前谷歌大腦團隊成員，接受了播客 No Priors 的采訪。

核心觀點：

1. 早在 2021 年，谷歌就已經(jīng)有能力在 OpenAI 之前搶先推出 AI 聊天機器人，但卻由于安全方面的顧慮而放棄，大公司畏首畏尾也成了他離開谷歌、選擇創(chuàng)業(yè)的原因。

2. Character 最大的優(yōu)勢在于其用戶導(dǎo)向的產(chǎn)品策略。完全可定制的 AI 聊天機器人成了許多人派遣孤獨的方式，一些用戶甚至表示，Character 是他們的新任心理咨詢師。Noam 認為，AI 在情感支持方面有著巨大的潛力。情感支持工作不需要很高的智力，例如，寵物狗能很好地完成情感支持工作，雖然狗并不聰明，也不會說話，同理，一個參數(shù)有限的 AI 也能完成這項任務(wù)。

3. 數(shù)據(jù)要求往往會隨著算力而指數(shù)級上升，但數(shù)據(jù)并不稀缺，互聯(lián)網(wǎng)能提供幾乎無限的數(shù)據(jù)，Character 也在考慮用 AI 生成更多的數(shù)據(jù)。

4. Character.ai 目前還處在燒錢換規(guī)模階段，商業(yè)模式仍在探索中，未來團隊規(guī)模擴大后考慮開拓 TOB 業(yè)務(wù)。

5. Noam 認為，AGI 是很多 AI 創(chuàng)企的目標。但他創(chuàng)業(yè)的真正原因是想推動技術(shù)發(fā)展，用技術(shù)攻克難題，如醫(yī)學上的疑難雜癥。他指出，AI 能加速許多研究的進程，與其直接研究醫(yī)學，不如研究 AI。

以下為播客音頻逐字稿，ELAD 與 SARAH 為節(jié)目主持人，為便于理解，部分段落有刪改。

早年谷歌工作經(jīng)歷，與 transformer 的誕生

ELAD：

你在 NLP 和 AI 方面工作了很長時間。你在谷歌斷斷續(xù)續(xù)工作了 17 年，在谷歌的面試問題圍繞著拼寫檢查解決方案。當我加入谷歌時，當時用于廣告定位的主要系統(tǒng)之一菲爾集群，我想這是你和喬治 · 赫瑞克寫的。我想了解一下你在人工智能 NLP 語言模型方面的工作歷史，這一切是如何演變的，你是如何開始的，是什么激發(fā)了你的興趣？

NOAM：

謝謝 ELAD。是的，只是，總是自然而然地被吸引到 AI 上。希望它能讓電腦做一些聰明的事情。似乎是周圍最有趣的游戲。我很幸運地在早期發(fā)現(xiàn)了谷歌，參與了很多那里的早期項目，也許你現(xiàn)在不會稱之為人工智能。從 2012 年開始，我加入了谷歌大腦團隊。和一群非常聰明的人，做一些有趣的事情。我以前從未做過深度學習或神經(jīng)網(wǎng)絡(luò)。

你是在 2017 年 transformer 論文的參與者之一，然后你參與了 Mesh-TensorFlow 的工作。你能談一下所有這些是如何進行的嗎？

深度學習之所以成功，是因為它真的很適合現(xiàn)代硬件，你有這一代的芯片，在矩陣乘法和其他形式的東西，需要大量的計算相對于通信。因此，基本上深度學習真的起飛了，它的運行速度比其他任何東西都快成千上萬倍。一旦我掌握了這方面的知識，就開始設(shè)計那些真正聰明且運行速度快的東西。目前最令人興奮的問題是語言建模。因為有無限量的數(shù)據(jù)，只要刮開網(wǎng)絡(luò)，你就能得到所有你想要的訓練數(shù)據(jù)。

問題的定義非常簡單，就是預(yù)測下一個詞，胖貓咪坐在上面，下一個是什么。它非常容易定義，如果你能把它做得很好，那么你就能得到你現(xiàn)在看到的一切，而且你可以直接和這個東西對話，它真的是人工智能了。因此，大約在 2015 年左右，我開始研究語言建模，并與循環(huán)神經(jīng)網(wǎng)絡(luò)打交道，這就是當時的偉大之處。然后 transformer 就出現(xiàn)了。

我無意中聽到隔壁同事聊天，他們想用更好的東西來取代循環(huán)神經(jīng)網(wǎng)絡(luò)。我當時想，這聽起來不錯，我想幫忙，循環(huán)神經(jīng)網(wǎng)絡(luò)很煩人，這將會更有趣。

你能快速描述一下循環(huán)神經(jīng)網(wǎng)絡(luò)和基于 transformer 或基于注意力的模型之間的區(qū)別嗎？

循環(huán)神經(jīng)網(wǎng)絡(luò)是連續(xù)的計算，每一個詞你都會讀到下一個詞，你會根據(jù)你大腦的舊狀態(tài)和下一個詞的內(nèi)容來計算你當前的大腦狀態(tài)。然后你，你預(yù)測下一個詞。因此，你有這個非常長的計算序列，必須按順序執(zhí)行，所以，transformer 的神奇之處在于，你可以一次處理整個序列。

對后面的詞的預(yù)測取決于前面的詞是什么，但它發(fā)生在一個恒定的步驟中，你可以利用這種并行性，你可以一次看完整個事情，就像現(xiàn)代硬件所擅長的并行性。

現(xiàn)在你可以利用序列的長度，你的并行性，一切都工作得非常好。注意力本身。這有點像你在創(chuàng)建這個大的內(nèi)存鍵值關(guān)聯(lián)，你就像在建立這個大的表格，在序列中的每個詞都有一個條目。然后你就在這個表中尋找東西。這一切都像模糊的、微分的和一個大的、法國的函數(shù)，你可以通過它來進行反推。人們一直在使用這個方法來解決有兩個序列的問題，在那里你有機器翻譯，你就像把英語翻譯成法語，所以當你產(chǎn)生法語序列時，你就像在看英語序列并試圖注意該序列中的正確位置。但這里的洞察力是，你可以用同樣的注意力來回顧你試圖制作的這個序列的過去。美中不足的是，它在 GPU 和 GPU 上運行得很好，這與深度學習的發(fā)展是并行的，因為它在現(xiàn)有的硬件上很好。而這也給序列帶來了同樣的東西。

SARAH：

是的，我認為幫助人們想象它的經(jīng)典例子是，用法語和英語說同一個句子，單詞的排序是不同的，你不是在那個序列中一對一的映射，并且要弄清楚如何在沒有信息損失的情況下用并行計算做這個。所以這就像一個非常優(yōu)雅的事情。

似乎該技術(shù)也被應(yīng)用于各種不同的領(lǐng)域。明顯的是這些多模態(tài)的語言模型。所以它是像聊天 GPT 或你正在做的一個角色。我也對一些應(yīng)用感到驚訝，比如阿爾法折疊，谷歌所做的蛋白質(zhì)折疊工作，它實際上是以一種巨大的性能方式工作的。是否有任何應(yīng)用領(lǐng)域，你發(fā)現(xiàn)相對于 transformer 的工作方式和相對于它們能做的事情來說，真的是意想不到的？

我只是在語言上低下了頭，就像這里你有一個問題，可以做任何事情。我希望這個東西足夠好。所以我就問它，你怎么治好癌癥？然后它就像發(fā)明了一個解決方案。所以，我一直完全忽略了大家在所有這些其他模式下所做的事情，我認為很多深度學習的早期成功都是在圖像方面，人們對圖像都很興奮，但卻完全忽略了它。因為，一張圖片勝過千言萬語，但它有一百萬個像素，所以文字的密度是它的一千倍。所以，我是一個大的文字粉絲。但是，看到它在所有這些其他方式中起飛，非常令人興奮。這些東西是偉大的。它對建立人們想要使用的產(chǎn)品超級有用，但我認為很多核心的智能將來自這些文本模型。

大模型的局限性：算力不是問題，數(shù)據(jù)也不是

你認為這些模型的局限性在哪里？人們經(jīng)常談?wù)摰闹皇且?guī)模，就像你只是扔了更多的算力，這個東西將進一步擴展。有數(shù)據(jù)和不同類型的數(shù)據(jù)，可能有也可能沒有。還有算法上的調(diào)整，還有添加新的東西，如內(nèi)存或回環(huán)或類似的東西。你認為什么是人們?nèi)匀恍枰⒌拇笫虑椋阏J為作為一個架構(gòu)，它在哪里被挖掘出來？

是的，我不知道它是否會被淘汰。我的意思是，我們還沒有看到它退出來。與進入它的工作量相比，可能不算什么。因此，很可能會有各種像兩個低效率的因素，人們會通過更好的訓練算法、更好的模型架構(gòu)、更好的構(gòu)建芯片和使用量化的方法以及像所有這些來獲得。然后會有 10 個、100 個和 1000 個的因素，就像擴展和金錢一樣，人們會扔到這個東西上，因為嘿，每個人都剛剛意識到這個東西是非常有價值的。同時，我認為沒有人看到這東西有多好的一面墻。所以我認為它只是，它只是會繼續(xù)變得更好。我沒有，我不知道是什么阻止了它。

你怎么看這種想法，我們可以增加算力，但最大的模型訓練數(shù)據(jù)不夠。我們已經(jīng)使用了互聯(lián)網(wǎng)上所有容易獲得的文本數(shù)據(jù)。我們必須去提高質(zhì)量，我們必須去做人類反饋。你是怎么想的。

100 億人，每個人產(chǎn)出一千或者一萬個單詞，就是天量級的數(shù)據(jù)。大家都會做很多與人工智能系統(tǒng)的對話。所以我，我有一種感覺，很多數(shù)據(jù)將進入一些人工智能系統(tǒng)，我的意思是以保護隱私的方式，我希望可以去的這些數(shù)據(jù)。然后，數(shù)據(jù)要求往往會隨著算力而指數(shù)級上升，因為你要訓練一個更大的模型，然后你要向它扔更多的數(shù)據(jù)。我并不擔心缺少數(shù)據(jù)，我們也許可以用 AI 生成更多的數(shù)據(jù)。

然后你認為這些模型今后要解決的主要問題是什么？是幻覺，是記憶，還是別的什么？

我不知道。我有點喜歡幻覺。

這也是一個特點。

我們最想做的是記憶，因為我們的用戶肯定希望他們的虛擬朋友能記住他們。你可以在個性化方面做很多事情，你想傾倒大量的數(shù)據(jù)并有效地使用它。在試圖弄清什么是真實的，什么是幻覺方面，有大量的工作正在進行。當然，我認為我們會解決這個問題。

Character.ai 的創(chuàng)業(yè)故事

談一談 LaMDA 和你在其中的角色，你是怎么想到創(chuàng)辦 Character 的？

我的聯(lián)合創(chuàng)始人丹尼爾 · 弗雷塔斯，是我見過最勤奮、最努力、最聰明的人。他一生都在做這個建立聊天機器人的任務(wù)。從他還是個孩子的時候，他就一直在嘗試建立聊天機器人。所以他加入了谷歌大腦。他讀了一些論文，并認為這種神經(jīng)語言模型技術(shù)是一些可以真正普及和建立真正開放領(lǐng)域的東西。

雖然他并沒有得到很多人的支持，所以只把這個項目當成副業(yè)，在上面花 20% 的時間。

然后他就招募了一支由 20% 的助手組成的軍隊，他們幫助他建立系統(tǒng)。

他甚至到處去搶別人的 TPU 配額，他把他的項目稱為米娜，因為他喜歡，我猜是在夢中想到的。在某個時候我看著記分牌，想這是什么東西叫米娜，為什么它有 30 個 TPU 積分？

LaMDA 是這樣的，我知道它是谷歌在 GPT 之前就做出來的內(nèi)部聊天機器人。這條新聞很有名，因為一位工程師認為它有智慧。

是的，我們把它放在一些大語言模型上，然后在公司內(nèi)部轟動一時，米娜被重新命名為 LaMDA，那時候，我們已經(jīng)離開了，有人相信它有生命。

后來為什么沒有發(fā)布，有些什么擔憂？

對大公司來說，推出一個知無不言的產(chǎn)品有點兒危險。我猜這只是一個風險的問題。所以，想來想去，創(chuàng)業(yè)似乎是個正確的想法。

Character 的起源故事是什么樣的？

我們只是想打造一個東西，并且把它盡快推向市場。我組建了一個由工程師、研究人員組成的朋克團隊，得到了一些算力，然后就開始創(chuàng)業(yè)了。

你是怎么做招聘的？

我們在谷歌認識的一些人碰巧被介紹給以前來自 Meta 的 Myat，他推出了很多，以及建立了很多他們的大型語言模型的東西和他們的神經(jīng)語言模型基礎(chǔ)設(shè)施，其他一些 Meta 的人跟著他，他們很不錯。

你們在尋找人才時是否有具體的要求或測試方式？還是只是常規(guī)的面試方式？

NOAM

我覺得很大程度上是看動力的。我認為丹尼爾非常看重動力，他尋找的是一種介于強烈渴望和童年夢想之間的狀態(tài)，所以有很多優(yōu)秀的人我們沒有聘用，因為他們沒有達到那個程度，但我們也聘用了許多人，他們非常適合加入一家初創(chuàng)公司，他們非常有才華和動力。

市面上已經(jīng)有了 Siri 和 Alexa，別在功能性上和大公司硬碰硬

說到童年的夢想，你想描述一下這個產(chǎn)品嗎？你有這些機器人，它們可以是用戶創(chuàng)建的，也可以是角色創(chuàng)建的，可以是公眾人物，歷史人物，虛構(gòu)的人物，你怎么想到這個模式的？

用戶往往比你更清楚，他們想用這個東西做什么。市面上已經(jīng)有了 Siri 和 Alexa 和谷歌助手，不需要在功能性上和這些大公司競爭。

如果你試圖呈現(xiàn)一個大家都喜歡的公眾角色，最終產(chǎn)出的只有無聊。而人們不喜歡無聊，大家想與感覺像人的東西互動。

因此，基本上你需要去做多個角色，讓人們隨心所欲地發(fā)明角色，而且有點我喜歡 Character 這個名字，它有幾個不同的含義：文字、性格、角色。

那么，人們想要什么？一個朋友？寫小說？其他全新的事情嗎？

有一些用戶會在我們的產(chǎn)品上和虛擬公眾人物、網(wǎng)紅交談。用戶可以自己創(chuàng)造一個角色，然后和它交談。有一些用戶可能覺得孤獨，需要和人傾訴，很多人都沒有人可以傾訴。有些人會說，這個角色現(xiàn)在是我的新任心理咨詢師。

思考情感的兩種方式，對嗎？比如人們與角色的關(guān)系，或者像我們在表達連貫的情感時處于什么水平，這有多重要？

是的，我的意思是可能你不需要那么高端的智力水平來做情感支持。情感是偉大的，也是超級重要的，但一只狗也可以把情感支持做得很好。狗能提供偉大的情感支持，但幾乎沒有語言能力，

你認為當你擴大規(guī)模時，系統(tǒng)會發(fā)生什么變化？

我認為我們應(yīng)該能夠以各種方式使它更聰明。獲得更多的算力，訓練一個更大的模型，并訓練更長時間，應(yīng)該變得更聰明，更有知識，更好地適應(yīng)什么，人們想要什么，人們正在尋找什么。

你有一些用戶每天都要使用 Character 很多小時。你的目標受眾是哪些人？你期望的使用模式是什么。

我們要把這個問題留給用戶來決定。我們的目標一直是，把東西拿出來，讓用戶決定他們認為它有什么用。

我們看到今天在 Character 網(wǎng)站上的人，平均活躍時長為兩個小時。這是今天發(fā)送消息的人，這很瘋狂但意義重大，它說明人們正在發(fā)現(xiàn)某種價值。

然后正如我所說的，真的很難準確地說這種價值是什么，因為它真的像一個大的混合的東西。但我們的目標是讓這個東西對人們更有用，讓人們定制它，決定他們想用它做什么。讓我們把它拿到用戶手中，看看會發(fā)生什么。

正在燒錢換規(guī)模 TOC 是第一優(yōu)先事項

你是如何考慮商業(yè)化的？

我們會在每個用戶身上賠錢，然后用數(shù)量來彌補。

好。這是很好的策略。

不，我是在開玩笑。

像傳統(tǒng)的，1990 年代的商業(yè)模式，所以這很好。

這也是一種 2022 年的商業(yè)模式。

你應(yīng)該發(fā)行一個代幣，然后把它變成一個加密貨幣的東西。

我們很快就會在某個時間點實現(xiàn)貨幣化。這是一門受益于大量算力的生意。而不是燃燒投資者的錢，我們希望能給足夠多的用戶提供價值，順便賺錢。后面可能會嘗試一些類似高級訂閱類型的服務(wù)。隨著我們開發(fā)一些新功能，后面的收費可能會漲價。

我的意思是，Character 作為一項 TOC 服務(wù)，真的以一種非常引人注目的方式起飛了。如果你看一下用戶的數(shù)量和每個用戶的使用時間，這是很瘋狂的。后面會不會走上 TOB 業(yè)務(wù)？比如客戶服務(wù)機器人？

現(xiàn)在我們有 22 名員工，所以我們需要確定優(yōu)先次序，我們正在招聘。第一優(yōu)先事項是 TOC。

所以你說 LaMDA 當時沒有立刻推出的一個關(guān)鍵原因是安全。你們是怎么想的？

還有其他原因。比如，谷歌不想讓人們傷害自己或傷害其他人，還需要阻止色情內(nèi)容。圍繞這一點，已經(jīng)有一些抗議了。

你認為這一切是通往 AGI 或超級智能的道路嗎？對于一些公司來說，這似乎是目標的一部分，而對于一些公司來說，這似乎不是明確的目標。

是的，AGI 是很多 AI 創(chuàng)企的目標。真正的原因是我想推動技術(shù)發(fā)展。世界上有那么多的技術(shù)問題可以解決，比如醫(yī)學上的疑難雜癥。我們可以想出技術(shù)解決方案。

這就是為什么我一直在研究人工智能，因為與其直接研究醫(yī)學，不如研究人工智能，然后人工智能可以被用來加速其他研究工作。所以基本上這就是為什么我在人工智能方面如此努力工作，我想創(chuàng)辦一個既是 AGI 第一又是產(chǎn)品第一的公司。

你的產(chǎn)品完全取決于 AI 的質(zhì)量。我們產(chǎn)品的質(zhì)量的最大決定因素是這個東西會有多聰明。因此，現(xiàn)在我們就像有充分的動力，使人工智能更好，使產(chǎn)品更好。

是的，這是一種非常好的購買 - 反饋循環(huán)，因為就你的觀點而言，當你使產(chǎn)品變得更好時，更多的人與它互動，這有助于使它成為更好的產(chǎn)品。所以這是一個非常聰明的方法。你認為我們離與人一樣聰明或比人更聰明的人工智能還有多遠？顯然，它們在某些方面已經(jīng)比人更聰明了，但我只是在想一些類似的東西。

我們總是對人工智能在哪些方面比人強感到驚訝。有些 AI 現(xiàn)在可以為你做家庭作業(yè)。我希望我小時候也有這種東西。

你會給那些和你有類似背景的人提供什么建議？比如你作為創(chuàng)始人學到的東西，有哪些是你在谷歌或其他地方工作時不一定學到的？

好問題。基本上，你會從可怕的錯誤中學習。雖然我不覺得我們有犯過非常非常糟糕的錯誤，或者至少我們已經(jīng)彌補了。

你在尋找什么樣的人才？

到目前為止？22 人中有 21 人是工程師。我們還會雇傭更多的工程師。無論是深度學習還是前端和后端，一定要在業(yè)務(wù)和產(chǎn)品方面雇用更多的人。

最后兩到三個快速的問題，你最喜歡的數(shù)學家或計算機科學家是誰。

我在谷歌經(jīng)常和 Jeff Dean（谷歌大腦負責人）一起工作。他真的很好，工作起來很有趣。我想他現(xiàn)在正在研究他們的大型語言模型。這是離開谷歌的一點遺憾，希望將來能和他合作。

你認為數(shù)學是發(fā)明的還是發(fā)現(xiàn)的？

我想也許是被發(fā)現(xiàn)的，也許所有的東西都被發(fā)現(xiàn)了，我們只是在發(fā)現(xiàn)。