首頁 > 新聞 > 智能 > 正文

對話追一科技 CEO 吳悅:垂直大模型的機會在那些舊 bug 里 環球熱聞

2023-06-09 10:29:02來源:ZAKER科技  

深圳的科興科學園面前的那條路,地鐵修了好幾年,走動很不方便。


【資料圖】

這里是附近范圍里的一個集散地。園區下沉空間里的餐飲區域是包括騰訊在內的,周圍很多科技公司的 " 食堂 "。

也包括從創業之初就把公司放在距離騰訊不遠的追一科技。他們的辦公地在對面,與科興一街之隔。

很多追一科技的員工會去對面吃飯,但修了路,就不太方便了。

這很像這家公司最近幾年給人的感覺,它離熱鬧很近,但好像又不是很近。

不久前品玩寫過一篇對于追一科技的觀察文章,時間線終止在 2020 年。之后這家公司和整個 NLP 領域的沉寂一起消失在了外界的關注之中。

直到 ChatGPT 的出現重新把關于 AI 的一切活力喚起。但在生成式 AI 壓倒性的優越性面前,NLP 這個概念本身甚至有被整個拋棄的危險。

如果 NLP 都不重要了,一家以 NLP 領域技術為根基的 AI 公司該如何變化?

在這個角度上,從上一次 AI 浪潮中存活下來的追一科技仍然是很多 " 不夠大又不夠新 " 的中國 AI 公司的合適樣本。

品玩在深圳與追一科技的 CEO 吳悅做了一次對話,我們想知道這家公司在 2020 年之后在做什么,這樣一位具備商業和技術視角的創始人是如何看待大模型產業的,以及在大模型的競爭中,這樣體量的 AI 公司究竟還有沒有獨特的地方。

吳悅不是一個耀眼的創業者了,也沒有選擇在這次新的 AI 浪潮中重新成為一個 KOL 一樣的人物。他的身份是一家 300 人的 AI 公司的經營者。這意味著他必須專注和務實。

這幾年的沉默背后,追一完成了一個艱難的產品標準化的過程,這曾經是一塊 2000 個 Bug 的硬骨頭,啃下來后,變成面向未來的機會。

他不愿陷在對 AGI 沒有答案的爭論里,但相信垂直大模型是堅實的機會,就像發現美洲大陸這件事遠不只成就了一人而已。

一切尚未塵埃落定。

以下是品玩與吳悅的對話,部分內容有些優化和調整:

現在國內初創公司 " 百模大戰 " 的熱潮像 2016 年左右追一科技出現時的熱鬧一樣了。

現在不少創業公司做的主要還是對 ChatGPT 的解構和復現。這是一個非常有挑戰的事,我們樂見其成。

首先復現 ChatGPT 在現在是一個可以實現的事嗎?

首先相關的論文其實確實很多,并且開源社區中已經有非常多的團隊在做復現。并且 ChatGPT 這個產品已經在那里了,它并不是一個不可體驗的技術。綜合這些維度來看,我覺得相對來說去復現這個事情的信心和信息密度還是夠的。

另外就是,你要解決的問題明確了,這就變成一個更確定性的事。

也就是說現在尋找的是一個結果確定的東西。

對。美洲大陸在發現之前的投入是很大的,因為你不知道向哪個方向尋找。但一旦美洲大陸發現了之后,找到一條路去美洲大陸的航道其實容易多了。

這可以換一種更熟悉的說法——國內大模型的機會在垂直領域或者應用層面。但這有點像曾經智能客服和翻譯可能是 NLP 領域最容易摘的桃子那種感覺。

我覺得這個事情,從創業公司角度是生存下去,雖然要有理想,但是生存是第一位的。但是并不代表著說我們沒有一家公司在做這些事。但最終還是要基于有多大能力做多大事。

這是指追一的能力,還是整個中國 AI 領域的公司抽象成一個集體的 " 能力 "?

我不太好說,但我感覺大家現在還是以實用主義,也就是做應用的居多對吧?你說真的像 OpenAI 那樣燒幾十億美金,反正過去我覺得是很難,未來行不行?我覺得也不好說。

從最初頂著光環迎來高增長到后來的發展降速,直到 2020 年的那次裁員后從大眾視線里消失。追一科技仍然有特殊的地方,它是少有在此前的 AI 熱潮中活下來的公司之一;它也有現在看來更平庸的一面,在大模型面前,他不夠龐大,也不是直接從大模型入手的充滿活力的初創公司。這樣的公司有些 " 夾生 ",但這樣的公司也正好是當下中國 AI 產業中的普遍樣本。

2020年之后的追一在做什么?

我們進入到了服務傳統行業的一個產品化的階段。主要面向于金融和運營商、政務這種大型企業客戶。2018、19 年屬于大客戶的打樣階段,然后到了 19 年之后開始傳統大型企業客戶的規?;瘮U展,20 年就面臨到交付。

坦白來講這個難度已經比我們預期的要難很多。

有多難?

因為我們定位自己是做 AI 產品,這里面有兩個典型特征。第一是它底層是基于 AI 能力的,然后上層它其實是一個應用層的產品。但應用層產品的定義是要由客戶定義出來的,也就是要有足夠多的大型客戶來幫我們來定義這樣一個產品。

這些大客戶的本地化部署中暴露了很多關于軟件向下適配度和向上兼容度的問題。

這個其實挺夸張的,我們測算過軟件的產品部署到客戶現場之后,出現一個 bug 差不多就要 1 萬塊錢的成本來解決。我們累計做了 200 多個客戶,在那個階段已經有將近大幾十家頭部客戶,累計的 bug 有幾千個。

很大一筆開銷,所以 2020 年之前這些問題還不顯現。

做腰部還好一點,但是做股份支行這種大客戶要求確實很高,我們的產品又是客服和營銷這樣銀行里的核心業務系統。

為什么頭部客戶要求更高?

同樣一個產品??赡苎靠蛻魶]有任何問題,但頭部客戶那里會暴露很多問題,因為他使用的很高頻。

并且對整個軟件的軟件的質量要求更高。它會有非常嚴格的安全漏洞掃描,并且——如果用銀行舉例——客戶的 IT 環境不一樣,操作系統不一樣,然后中間件也不一樣,數據庫也不一樣,這些都要適配。

頭部客戶對同一個軟件的使用深度會更深,也就會產生很多個性化的需求。如果說你整個軟件結構架構設計不合理,它的需求可能會關聯到這個軟件的核心系統,核心系統被牽扯就需要我們主線開發人員去參與進來了。主線開發人員的資源其實是非常寶貴的。他被調用的話我們花費的成本就很高。

什么樣的需求會牽扯到主線的設計?

比如出現了 AI 助手在回答時不精準或者直接沒有回答的這種 bad case。

這意味著可能要改算法算子。問題直接就到了底層算法模型這一層,然后全公司的所有人都要卷進來解決這一個 bug。

但如果只做腰部,對底層技術推進的動力就沒那么大。我們定位是 AI 公司,需要找到大把手。

又要底層技術,又要產品。

對,兩頭都要特別難。

這逼迫團隊要把產品分層做的更合理,定制化需求最好在應用層解決而不影響主線。這是 PaaS 化之后才能實現的事,這個過程其實就是產品標準化的過程。

怎么理解產品的標準化,有沒有明確的衡量方式?

我覺得有幾個,第一個產品的 bug 收斂的非常明顯,這是一個標準;另外就是面對客戶各種各樣的需求,可以通過一個應用開發團隊去自閉環,不需要牽扯主線團隊進來,我覺得這是第二個;第三個就是和產品相關的,從咨詢到交付的配套可以標準化,可以可以按照管理流程的方式來驅動,而不是靠人來驅動。

在中國做軟件,特別是大客戶方向,是要做從咨詢然后到產品,然后到實施三個環節的所有事的。理想狀況應該是比如 IBM 做咨詢,然后 SAP 做產品,然后艾森哲去做實施。

是因為中國整個軟件行業不夠成型導致的嗎?

對,整個生態仍然不是很完整。

吳悅在對話中補上了公司在 2020 年后的空缺。在一場產品標準化過程中沉淀下來的東西,又成為追一在大模型時代的競爭基礎。追一科技在前不久發布了自己的博文大模型。站在聚光燈和嗜血的資本之外,吳悅相信垂直大模型的機會在于這是大廠與創業公司之間的真空地帶。

談談垂直大模型吧。如果把大模型技術延展成一條技術鏈,垂直大模型看上去是很末端的一環。追一可以幫銀行做,銀行也可以跟大廠直接合作,這就跳過了追一。這會不會意味著垂直大模型領域的 AI 公司其實很被動,缺少議價能力?

這是三個角度的問題。第一個是客戶會不會自研,但對于傳統企業的客戶來說,因為他主營業務不完全在 IT 上,出于投入產出比的考慮它不會自己來做這個事。

然后就是,這是不是意味著有通用大模型的廠家就能解決好垂直大模型的問題,或者說垂直大模型這個領域是不是因為門檻不夠導致競爭非常激烈。

沒錯。垂直大模型的門檻到底在哪里?

垂直大模型這個事的門檻不低。一個是私域知識如何融入到大模型里;然后還要考慮領域知識在回答生成上的精準度和可控性;并且這些垂直領域的知識最終都需要和軟件產品做好融合才行。

從這幾個角度來說,不是說是一個特別低門檻這個事。

最后這一點怎么理解?

軟件的成熟度是一個獨特的壁壘。這個就有點像比如說 Copilot 最終還是需要 GPT 去跟 Microsoft 365 結合起來做刻畫的,不能脫離 Microsoft 365 這個產品去做這個事情。

所以產品能力可能才是差異化的優勢,比如 CoPilot 的優勢其實是Microsoft 365,你們的優勢其實是之前已經成型的 AI 產品?

對。比如之前提到的牽扯到主線需要做分層設計的問題。在調整過程中可能會做一些支持規則系統的改變,比如簡單的配一個規則,或者把算子的參數釋放出來,可以調參數來調效果。這些就是一些知識沉淀或技術沉淀。

確實碰壁碰的多了,問題解決的多了,產品才慢慢知道怎么去設計,這不是拍腦袋想出來的。

大廠和創業公司都缺乏這個。

對。這種經驗是靠 bug 堆出來,靠客戶堆出來的。

大廠從頂層設計向下看,很順利,但碰到比如安全漏洞就很麻煩。一個漏洞可能涉及到你的算法模塊缺陷,然后你的后臺模塊有缺陷,軟件后臺也有缺陷,一動就有很多問題。

這是一些很泥濘的地方,大家看不到。

我覺得是。

還是一個精度的考量。比如說我們現在通過小模型模型能在對話中做到 90% 以上的準確率——雖然可能他的對話體驗可能沒想那么好——比如金融行業的頭部客戶,它對對話答案精度的要求是挺高的。

然后在大模型的能力進入這個 AI 產品后,可能它的對話體驗變得更好,但是這個 90% 的精度可能會下降。因為生成式 AI 本身是個概率問題,有更多不可控的因素。在 B 端市場這是一個挺棘手的問題。

但數據仍然在那些你服務的公司里拿不出來,垂直大模型好像也沒有回答因為缺少數據而影響軟件迭代的問題?

不同的客戶的數據差異度是 10% 到 20%,但之前在小模型技術的基礎上,因為這個 10% 到 20% 的差異,你就要去訓練一個新的定制化模型——因為小模型的理解能力不夠。但是現在大模型的優越性在于,他的理解能力充分了,所以這 10% 左右的差異其實不需要再去訓練一個新的模型。這其實是一個本質上的變化。

但客戶要一個適合自己的 AI 產品,其實就是要那 %10-20% 跟它相關的差異化。如果我只是個 80% 契合的產品,但對所有銀行都可以用的話,那也就是對所有銀行來說它也都沒區別了?

這個差異化的數據變量其實只是在表達上有差異。這部分表達上的差異在大模型下可以被理解出來。

也就是說數據這個痛點其實現在比原來小很多了。

對,是的。

2015前后開始的那一波 AI 熱潮現在回過頭來看,會給現在追一科技在垂直大模型的競爭有些什么啟發或者遺產嗎。

我們已經成立第七個年頭了。有了可靠的業務和客戶,也沉淀下來一個團隊。我們現在更加專注企業本身的經營,所以也會更加冷靜的來看待大模型這個事。

關鍵詞:

責任編輯:hnmd003

相關閱讀

相關閱讀

推薦閱讀