Meta 的新技術，可能會改變 MR 行業的未來

蘋果 Vision Pro 會是未來嗎？放在今天依然是一個極具爭議的問題，甚至在 Vision Pro 正式推出發售之后，可能也很難達成共識。

另一個毫無疑問的現實是，不管是 VR、AR 還是 MR，XR 頭顯還有很多需要攻克的技術和工程難題。就說如今，頭顯稍一用久容易頭暈的問題還是存在，這就涉及到了方方面面的問題，包括屏幕分辨率、延遲、亮度以及焦距等，本質上還是大腦不覺得畫面足夠「真實」。

雖然蘋果 CEO 庫克在發布 Vision Pro 時將其譽為開啟空間計算時代的「革命性產品」，但實際上 Vision Pro 也不是很「空間」，至少還無法調節焦距，用戶看到的畫面始終聚焦在一個固定的焦距處，容易導致眼睛疲勞。

【資料圖】

不過就在 8 月 6 日開始的計算機圖形學頂級年度會議 SIGGRAPH 2023 上，Meta 就展示了兩臺原型頭顯—— Butterscotch Varifocal 與 Flamera。當然，我們與其將這兩臺頭顯視為產品原型，不如看成 Meta 正在探索的兩種技術的展示。

Butterscotch Varifocal 與 Flamera，圖 /Meta

值得在意的是，Butterscotch Varifocal 將展示接近視網膜的分辨率和變焦光學器件，而 Flamera 則證明了一種實現「透視」真實世界的全新方法。

盡管 Meta 表示這些原型頭顯上的是技術「可能永遠不會進入消費級產品」，但或許也會通向 VR、MR 乃至 AR 的未來。

01

從 25cm 到無限遠

真正的「空間」

SIGGRAPH 對大眾來說可能名聲不顯，但卻是計算機圖形學的頂會，除了論文、學術界與產業界的合作交流，每年都會有研究團隊在會上展示計算機圖形硬件和軟件方面的突破。

去年的 SIGGRAPH 大會上，Meta 就展示了一款 HDR 頭顯原型 Starburst，峰值亮度達到了驚人的 20000 nit。作為比較，蘋果 Vision Pro 的峰值亮度傳聞達到了 5000 nit，其 HDR 顯示效果已經讓一眾體驗者相當驚艷。

然而相比 Starburst 上的超高亮度，今年兩個頭顯原型上的技術還是更讓人在意一些。

對頭顯有一定了解的讀者應該都知道一個參數—— PPD（角分辨率，即視場角中每度的像素數），類似于手機上我們常說的 PPI（每英寸像素），關乎實際入眼畫面的精細程度。總而言之，如果說手機屏幕的 PPI 達到 326 以后就能稱為「視網膜級」，那在頭顯產品的屏幕上，一般認為 PPD 要達到 60 才能達到「視網膜級」的視覺效果。

Vision Pro 和庫克，圖 / 蘋果

但在現實中，即便是搭載索尼單眼 4K（雙眼 8K）Micro OLED 屏幕的 Vision Pro，參照 Meta Quest Pro（22 PPD）進行估算，距離 60 PPD 也還有一定的差距。

蘋果官方宣稱 Vision Pro 屏幕共有 2300 萬像素（雙眼），是 Meta Quest Pro 屏幕像素的三倍多，但具體到每度視場角看到像素數，即 PPD，倍數肯定要小于分辨率的倍數，技術社區 Hacknews 上有人計算得出 Vision Pro 應該在 34 PPD 左右。

而 Butterscotch Varifocal 在上一代原型機的基礎上，不僅擴大了視場角，說是也實現了視網膜級別顯示的 60 PPD，但要如何實現如此高像素密度的顯示屏幕以及算力驅動，目前還不得而知。

同時還有一個對業界來說可能更加重要的技術——變焦。

包括 Vision Pro 在內，目前所有已知的頭顯的畫面都是固定焦距（通常是 1m），屏幕光線沒有深度信息，輻輳和調焦的位置發生了分離，從而產生視覺輻輳調節沖突（VAC 問題），引發視覺疲勞、暈眩等問題。

與之相對，實現變焦可以讓 VR 體驗變得更加真實，視覺上的使用感受也會更舒服。而從 Meta 放出的視頻來看，Butterscotch Varifocal 顯然是加入了變焦電機，再配合眼動追蹤技術，實現了 25cm 到無限遠的自動變焦調節。

變焦電機，圖 /Meta

事實上，不少廠商都嘗試在頭顯設備中實現動態變焦的效果，至少從 2019 年開始，蘋果就一直在探索動態變焦顯示技術，其中一種方向就是多透鏡的 Pancake 方案，通過調整透鏡折射率來調節焦距。早前傳聞中 Vision Pro 就會采用這項技術，但目前來看并沒有用上。

至于即將展出的另一臺頭顯原型 Flamera，則是在目前主流的彩色透視方案外，開辟了一條新的技術路線。

02

彩色透視的未來

一定要大算力？

眾所周知，Vision Pro 和 Quest Pro 都是通過對外的攝像頭拍攝真實世界，再將畫面「拼接」顯示在內側屏幕上，實現用戶戴著頭顯也能看到周圍環境，甚至實現 AR 體驗。

說起來容易，實現難度極高，Quest Pro 全彩透視的糟糕體驗就曾被近眼顯示專家 Karl Guttag 炮轟。Vision Pro 目前來看完成度要比前者更高，此前雷科技的文章中，我們就綜合了國內外體驗者的說法：

「雖然與人眼觀看真實世界還有明顯差距，但 Vision Pro 不仔細看已經非常接近了，轉頭也感受不到明顯的延遲。」

圖 / 蘋果

唯一的問題是，不管是蘋果宣傳視頻中的人物，還是首批體驗的媒體和博主，基本都是在固定位置上體驗 Vision Pro，只能證明 Vision Pro 在靜態下已經有了足夠優秀的表現。但當人走動起來，一切計算都會變得更難、更復雜。

這也引出了目前主流方案的問題，由于這些攝像頭與用戶真正的眼睛位置不同，必須使用圖像處理算法以及大量算力來重新「拼接」攝像頭拍到的畫面，然后顯示到屏幕上。這個過程會增加延遲，還會導致視覺偽影。

Flamera 則是想通過一種全新的光學設計，直接捕捉與肉眼看到相同的光線。

「通過從頭開始設計頭顯，而不是修改現有設計，我們最終得到了看起來非常獨特的設計，但可以實現更好的圖像質量和更低的延遲。」Meta 科學家 Grace Kuo 說。

Flamera，圖 /Meta

按照 Meta 公布的工作原理，Flamera 與傳統光場攝像頭不同，在陣列中每個透鏡后面都放置了一個孔徑（相當于光圈）。這些孔徑物理上阻擋了不必要的光線，只有需要的光線能夠到達眼睛，同時將有限的傳感器像素集中在光場的相關部分，從而產生更高分辨率的圖像。

工作原理，圖 /Meta

最后，原始傳感器數據最終看起來像小圓點，每個圓點只包含頭顯外部物理世界「視圖」的一部分。Flamera 將進行重新排列，估計一個粗略的深度圖，實現基于深度的圖像重建。

得益于此，Flamera 理論上可以實現更低的延遲和更少偽影的透視效果。換句話說，通過頭顯看到的畫面更接近真實的物理世界，實現更好的 MR 體驗。

03

寫在最后

Butterscotch Varifocal、Flamera 上的技術會改變頭顯的技術路線嗎？眼下可能都還很難判斷。

就像前文所提，Meta 也明白，這兩臺頭顯原型更多是承擔了技術展示的需求，距離解決工程實現問題和量產還有很長的路。

同時 Meta 也沒有「把雞蛋放在一個籃子里」。并沒有跡象表明要專注在變焦電機與無重投影的技術路線上，變焦電機的機械式方向始終存在可靠性方面的問題，不僅是面向消費者需要得到足夠的信任，在量產環節上可能也要面對更大的挑戰。

在此之前，已經有太多消費電子產品證明了「機械」 這條路上的坑，比如全面屏進程中的升降式鏡頭。

倒是無重投影確實給 MR 提供了一種很新的思路，可以避開對算力的高要求，同時減少延遲和視覺偽影。懸念在于實現的難度和效果，這可能就需要等到日后才能見分曉了。