當(dāng)前觀點(diǎn)：3w+ 星標(biāo)項(xiàng)目大佬創(chuàng)業(yè)：樹(shù)莓派即可運(yùn)行大模型，已獲 GitHub 前 CEO 投資

資深開(kāi)發(fā)大佬，終于忍不住自己出來(lái)創(chuàng)業(yè)了。

(資料圖片)

Georgi Gerganov，今年三月曾開(kāi)源了 llama.cpp 項(xiàng)目，GitHub 上已破三萬(wàn)星標(biāo)，要知道 Stable Diffusion 也不過(guò) 8.8k。

這個(gè)項(xiàng)目能讓開(kāi)發(fā)者在沒(méi)有 GPU 情況下運(yùn)行 Meta 的 LLaMA 模型，即便是在樹(shù)莓派、MacBook 上運(yùn)行大模型也通通不在話下 ~

△在 M2 Max 上以 40 tok/s 的速度運(yùn)行 7B LLaMA

甚至還成功吸引了小扎的注意：Meta 也在運(yùn)行 llama.cpp。

可能由于反響太好，這位大哥決定把背后核心純 C 語(yǔ)言框架 ggml拿出來(lái)創(chuàng)業(yè)：原本是幾月前的副業(yè)項(xiàng)目。

在官宣前這家公司就已經(jīng)獲得來(lái)自 GitHub 前 CEONat Friedman、Y Combinator 合伙人 Daniel Gross 的種子前投資。

消息一出，眾多開(kāi)發(fā)者趕來(lái)祝賀。

其中不乏一些堅(jiān)定的擁護(hù)者：ggml 正在將大模型普及到邊緣設(shè)備。沒(méi)過(guò)多久就有人建議：蘋(píng)果應(yīng)該將它收購(gòu)了。（狗頭）llama.cpp 作者創(chuàng)業(yè)

ggml，是一個(gè)純 C 語(yǔ)言編寫(xiě)的張量庫(kù)，可幫助開(kāi)發(fā)者在消費(fèi)級(jí)硬件上運(yùn)行大模型，GitHub 星標(biāo)數(shù)達(dá)到 4.4k。

由于加速效果驚人，一下子收獲了不少開(kāi)發(fā)者的支持。

By the way，ggml 的 gg 恰好是他名字的縮寫(xiě)。

大哥自己的兩個(gè)上萬(wàn)星標(biāo)的項(xiàng)目 llama.cpp 和 whisper.cpp 都使用了它。

后者是為 OpenAI 的 Whisper 自動(dòng)語(yǔ)音識(shí)別模型開(kāi)發(fā)的加速方案，可在 Mac、Windows、Linux、iOS、安卓、樹(shù)莓派以及 web 上運(yùn)行。

△使用 whisper.cpp 在 樹(shù)莓派上檢測(cè)短語(yǔ)音命令

不少初創(chuàng)公司，比如主打生活搜索引擎的 rewind 都使用了這套解決方案。

還有兩個(gè)項(xiàng)目同時(shí)在終端上運(yùn)行。

△在單個(gè) M1Pro 上同時(shí)運(yùn)行 4 個(gè) 13B LLaMA+Whisper Small 實(shí)例

根據(jù)個(gè)人介紹，ggml 張量庫(kù)具有以下這些特點(diǎn)：

支持 16bit 浮點(diǎn)數(shù)；支持整數(shù)量化（包括 4 位、5 位、8 位）；自動(dòng)微分；內(nèi)置優(yōu)化算法（例如 ADAM、L-BFGS）；為蘋(píng)果芯片設(shè)置特定優(yōu)化；在 x86 架構(gòu)上使用 AVX / AVX2 Intrinsic；通過(guò) WebAssembly 和 WASM SIMD 提供 Web 支持；無(wú)第三方依賴(lài)；運(yùn)行時(shí)零內(nèi)存分配；支持指導(dǎo)型語(yǔ)言輸出……

目前這個(gè)庫(kù)以及相關(guān)項(xiàng)目都是免費(fèi)開(kāi)源，開(kāi)發(fā)過(guò)程也全公開(kāi)；當(dāng)然也不排除開(kāi)發(fā)授權(quán)給一些商業(yè)用途的項(xiàng)目。

用 C/C++ 重寫(xiě)神經(jīng)網(wǎng)絡(luò)代碼

而這背后的開(kāi)發(fā)大佬 Georgi Gerganov 也值得說(shuō)道說(shuō)道。

他的個(gè)人網(wǎng)站十分簡(jiǎn)單直接，甩出各種開(kāi)源項(xiàng)目，除此之外別無(wú)其他。可以看出，他是 C/C++ 的狂熱愛(ài)好者，信仰 Vim。

此前，他曾用 C/C++ 語(yǔ)言重寫(xiě)神經(jīng)網(wǎng)絡(luò)推理代碼，這樣幾乎不依賴(lài)于其他庫(kù)，以此提升效率。至于 llama.cpp 也是他一晚上 Hacking 出來(lái)的。

除此之外，他還有一些有意思的項(xiàng)目。

比如檢查鍵盤(pán)是否可以通過(guò)麥克風(fēng)竊聽(tīng)、猜 Hacker News 的標(biāo)題，Wordle 克隆版等等。

One More Thing

值得一提的是，背后的這兩個(gè)投資者也有點(diǎn)意思。

他們還專(zhuān)門(mén)給創(chuàng)業(yè)者提供算力集群，只需在網(wǎng)站上申請(qǐng)即可。這波是在 Next Level 上了 ~

參考鏈接：

[ 1 ] https://ggerganov.com/

[ 2 ] http://ggml.ai/

[ 3 ] https://twitter.com/ggerganov