世界觀察：輕騎逐單于，大雪滿弓刀：華為分布式存儲(chǔ)的一騎絕塵

唐代詩(shī)人盧綸，有一首膾炙人口的《和張仆射塞下曲》，" 月黑雁飛高，單于夜遁逃。欲將輕騎逐，大雪滿弓刀。" 詩(shī)中的慷慨激昂，熱血炙烈，千年來(lái)讓無(wú)數(shù)國(guó)人心魂激蕩。

時(shí)代變遷，歲月遷移，今天我們所期望聽(tīng)到的熱血故事或許不在現(xiàn)實(shí)世界，而是在數(shù)字山野的輕騎追逐中，在核心科技的發(fā)展競(jìng)賽里。

【資料圖】

《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》中，明確提出了構(gòu)筑自立自強(qiáng)的數(shù)字技術(shù)創(chuàng)新體系，為關(guān)鍵核心技術(shù)突破發(fā)展指明了方向。在核心科技自立自強(qiáng)中，越來(lái)越多的 " 欲將輕騎逐，大雪滿弓刀 " 的故事正上演著。

5 月 24 日，在德國(guó)漢堡舉辦的 ISC 2023（國(guó)際超算大會(huì)）期間，更新了最新一期的 IO500 榜單，這是國(guó)際最權(quán)威的存儲(chǔ)性能排行榜。在 IO500 極為重要的 10 節(jié)點(diǎn)榜單中，華為 OceanStor Pacific 分布式存儲(chǔ)全面刷新了世界紀(jì)錄。尤其驚人的是，華為 OceanStor Pacific 的總得分超過(guò)了 13 萬(wàn)分，是上屆冠軍得分的 15 倍之多。

在世界紀(jì)錄背后，在華為 OceanStor Pacific 分布式存儲(chǔ)霸榜背后，蘊(yùn)藏著存儲(chǔ)鎮(zhèn)守?cái)?shù)字經(jīng)濟(jì)大國(guó)重器的支柱意義，也蘊(yùn)藏著中國(guó)存儲(chǔ)從跟隨走向領(lǐng)先的全球化趨勢(shì)。

一紙榜單背后，是一份對(duì)數(shù)字山河的守候，是一場(chǎng)輕騎絕塵的突圍。

數(shù)字時(shí)代，半壁江山

想要講清這個(gè)故事，首先需要了解一個(gè)背景：HPDA 為什么重要？以及面向 HPDA 場(chǎng)景的分布式存儲(chǔ)為什么價(jià)值非凡？

首先 HPDA 是由 HPC（High Performance Computing 高性能計(jì)算）發(fā)展而來(lái)。HPC 是一種數(shù)據(jù)分析的應(yīng)用場(chǎng)景。其通過(guò)聚合大量的計(jì)算和存儲(chǔ)單元對(duì)數(shù)據(jù)進(jìn)行分析，從而解決復(fù)雜問(wèn)題。從基因測(cè)序到芯片制造，從油氣勘探到航空航天，再到我們生活中的天氣預(yù)報(bào)、影視特效渲染，都離不開(kāi) HPC 作為計(jì)算底座。

總之一句話，HPC 是現(xiàn)代社會(huì)發(fā)展的計(jì)算基石。所以有人笑稱，《三體》里的外星人要想遏制人類科技，其實(shí)不用那么麻煩，不讓人類用 HPC 就行了。

隨著 HPC 性能與技術(shù)的不斷進(jìn)步，人類能夠在固定時(shí)間內(nèi)分析更多數(shù)據(jù) , 與之相伴的，我們也會(huì)保存更多數(shù)據(jù)給 HPC 場(chǎng)景，用來(lái)挖掘數(shù)據(jù)背后的價(jià)值。

隨著相關(guān)數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng)，HPC 領(lǐng)域逐漸認(rèn)識(shí)到提升數(shù)據(jù)分析能力、革新數(shù)據(jù)分析機(jī)制的重要性。將 AI、大數(shù)據(jù)等技術(shù)分析手段與 HPC 結(jié)合，是更高效實(shí)現(xiàn)數(shù)據(jù)價(jià)值的新形式，即 HPC、AI、大數(shù)據(jù)融合而成的 HPDA（High Performance Data Analytics）。

根據(jù)相關(guān)數(shù)據(jù)，2017 到 2023 年間，HPDA 類應(yīng)用的年增長(zhǎng)速度達(dá)到了 15.4%，HPC-based AI 類應(yīng)用的年化增速更將達(dá)到 29.5%，遠(yuǎn)高于傳統(tǒng) HPC 的 7.8%。由于 HPDA 事關(guān)國(guó)計(jì)民生，與國(guó)家的科技創(chuàng)新能力、科技自立自強(qiáng)水平緊密相關(guān)，HPDA 已在全球范圍內(nèi)被認(rèn)為是未來(lái)科技發(fā)展的戰(zhàn)略高地，被稱為占據(jù)數(shù)字時(shí)代的半壁江山。

一項(xiàng)技術(shù)的快速增長(zhǎng)，往往會(huì)給配套設(shè)施帶來(lái)挑戰(zhàn)。HPDA 的快速發(fā)展，就給存儲(chǔ)產(chǎn)業(yè)帶來(lái)了巨大的升級(jí)需求。隨著數(shù)據(jù)量從 PB 級(jí)向 EB 級(jí)演進(jìn)，存儲(chǔ)成本日益增高。高性能計(jì)算量的持續(xù)增加，以及大數(shù)據(jù)、AI 能力的加入，又對(duì)海量數(shù)據(jù)的多次提取、流轉(zhuǎn)、讀寫、存儲(chǔ)能力提出了更高的要求。

因此面向 HPDA 的分布式存儲(chǔ)，正在承載越來(lái)越多的目光和聲量。有人認(rèn)為，誰(shuí)掌握了 HPDA 存儲(chǔ)，誰(shuí)就能掌握尖端科研的未來(lái)。

但現(xiàn)實(shí)情況是，中國(guó)在發(fā)展適配 HPDA 場(chǎng)景的分布式存儲(chǔ)過(guò)程中，正遇到一系列問(wèn)題。

比如說(shuō)，中國(guó)目前仍然有 75% 的數(shù)據(jù)存納于機(jī)械硬盤之中。相對(duì)于閃存盤，機(jī)械硬盤容量密度低，數(shù)據(jù)讀取慢，能耗高，可靠性差。相對(duì)來(lái)說(shuō)，閃存介質(zhì)幾乎沒(méi)有缺陷，尤其更適合 HPDA 場(chǎng)景這種對(duì)性能與時(shí)延異常敏感的工作負(fù)載。

在目前階段，" 磁退硅進(jìn) " 已經(jīng)成為存儲(chǔ)產(chǎn)業(yè)發(fā)展的核心趨勢(shì)。比如全國(guó)人大代表、華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院院長(zhǎng)馮丹教授就提出，需要加快發(fā)展中國(guó)技術(shù)創(chuàng)新的，以半導(dǎo)體全閃存技術(shù)為核心的下一代存儲(chǔ)技術(shù)標(biāo)準(zhǔn)體系。為此，要抓住全球存儲(chǔ)介質(zhì)升級(jí)、存儲(chǔ)架構(gòu)跨代演進(jìn)窗口期，盡快完善中國(guó)自身的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)保護(hù)、安全評(píng)測(cè)等關(guān)鍵標(biāo)準(zhǔn)體系建設(shè)。

在各個(gè)企業(yè)級(jí)存儲(chǔ)相關(guān)領(lǐng)域中，以 HPC、HPDA 場(chǎng)景為代表的分布式存儲(chǔ)全閃存替換任務(wù)更加急迫。好在，華為分布式存儲(chǔ)已經(jīng)開(kāi)始行動(dòng)，推進(jìn)面向全閃存的一系列改造。比如說(shuō)，本次 IO500 霸榜的華為 OceanStor Pacific 分布式存儲(chǔ)，就是采用了全閃存機(jī)型。未來(lái)分布式存儲(chǔ)的全閃化已經(jīng)是確定性的產(chǎn)業(yè)走向，面向這個(gè)趨勢(shì)，從產(chǎn)業(yè)側(cè)到應(yīng)用側(cè)都應(yīng)該加速分布式全閃的替換進(jìn)程。

一件毋庸置疑的事就是，即便前路漫長(zhǎng)，中國(guó)分布式存儲(chǔ)全閃存替換是大勢(shì)所趨，發(fā)展全閃分布式存儲(chǔ)已經(jīng)刻不容緩。

再者，適配高性能計(jì)算的 Lustre 分布式文件系統(tǒng)已經(jīng)明顯落后。Lustre 1.0 早在 2003 年發(fā)布，隨后得到了一系列歐美 IT 企業(yè)與美國(guó)能源部的認(rèn)可，逐漸形成了談起 HPC，就無(wú)法繞開(kāi) Lustre 的局面。但事實(shí)上，Lustre 在適配 HPDA 的過(guò)程中已經(jīng)展現(xiàn)出了架構(gòu)落后、磁盤碎片化問(wèn)題嚴(yán)重、性能瓶頸明顯、安全能力不足等短板。

在受目前外部環(huán)境未知的干擾下，對(duì)于存儲(chǔ)這樣承載著科技明珠 HPDA 的關(guān)鍵基礎(chǔ)設(shè)施，逐漸實(shí)現(xiàn)自主可控也是當(dāng)務(wù)之急。

綜合來(lái)看，占據(jù)數(shù)字時(shí)代半壁江山的 HPDA，亟需自主創(chuàng)新、實(shí)力絕群的存儲(chǔ)力量來(lái)加持。

十分幸運(yùn)的是，它來(lái)了，伴著 " 地表最強(qiáng) " 的稱號(hào)走來(lái)了。

定海神針，霸榜之路

IO500 是 HPC 領(lǐng)域最具影響力的世界級(jí)存儲(chǔ)排行榜，被稱為 " 存儲(chǔ)界的諾貝爾 "。其主要針對(duì)存儲(chǔ)系統(tǒng)的性能進(jìn)行評(píng)測(cè)與排名，綜合考察了帶寬性能 ( GiB/s ) 和元數(shù)據(jù)性能 ( kIOP/ s ) 兩大部分。其中 10 節(jié)點(diǎn)榜單統(tǒng)一了計(jì)算規(guī)模，把基準(zhǔn)性能測(cè)試的計(jì)算節(jié)點(diǎn)限制至 10 個(gè)，能夠更全面、更準(zhǔn)確地反映出存儲(chǔ)在日常應(yīng)用中的實(shí)際表現(xiàn)，備受全球 HPDA 領(lǐng)域用戶關(guān)注。

綜合來(lái)看，IO500 在目前階段就是最具公允性與說(shuō)服力的存儲(chǔ)性能榜單。一方面，經(jīng)過(guò)多年發(fā)展，其頒布結(jié)果和行業(yè)價(jià)值已經(jīng)得到了全球數(shù)字化產(chǎn)業(yè)的承認(rèn)。另一方面，IO500 榜單的測(cè)試非常客觀、科學(xué)，其提供了嚴(yán)苛的標(biāo)準(zhǔn)化性能測(cè)試套件，確保結(jié)果可信。值得一提的是，IO500 榜單有著公允的測(cè)試人員配置與學(xué)術(shù)監(jiān)督機(jī)制，避免了不少榜單受地緣因素影響，惡意打壓他國(guó)產(chǎn)品技術(shù)等現(xiàn)象。

在這樣的存儲(chǔ)領(lǐng)域最高舞臺(tái)上，華為 OceanStor Pacific 分布式存儲(chǔ)以一騎絕塵的姿態(tài)，完美刷新了紀(jì)錄。其通過(guò)模擬不同的 I/O 應(yīng)用模型，歷經(jīng) 12 項(xiàng)苛刻的場(chǎng)景測(cè)試，整體達(dá)到了 2400 GiB/s 的帶寬與 770 萬(wàn) kIOP/ s 的元數(shù)據(jù)性能。打破 IO500 紀(jì)錄十?dāng)?shù)倍的霸榜行為背后，可以仰望到華為 OceanStor Pacific 的技術(shù)成果在業(yè)界鑄就了又一座豐碑。這座豐碑像一枚定海神針，在數(shù)字山河蕩氣回腸。

十年磨一劍，一朝試鋒芒。成功霸榜之前，華為分布式存儲(chǔ)已經(jīng)用了十年時(shí)間深耕細(xì)作，累積深厚技術(shù)，不斷創(chuàng)新。從這次 IO500 總覽星圖中就可以看到，從總體得分、帶寬性能、元數(shù)據(jù)性能等五個(gè)維度來(lái)看，華為 OceanStor Pacific 全面實(shí)現(xiàn)了 " 五邊形戰(zhàn)士 " 的成就，沒(méi)有一處短板，沒(méi)留下任何空缺。難怪有人說(shuō)，這次 IO500 出爐，讓全球看到了華為存儲(chǔ)藏不住的王者實(shí)力，看到了中國(guó)存儲(chǔ)崛起的必然性。

快馬加鞭，實(shí)力斐然

那么我們自然有必要刨根問(wèn)底，看看華為 OceanStor Pacific 究竟是如何實(shí)現(xiàn)這些成績(jī)的？

俗話說(shuō)，天下武功，唯快不破，對(duì)于存儲(chǔ)來(lái)說(shuō)也是如此，快就意味著性能優(yōu)勢(shì)，意味著提升了 HPDA 的工作效率與數(shù)據(jù)分析能力。為了追求這個(gè)快，華為采取了不斷精進(jìn)的四層加速架構(gòu)，這也被稱為華為存儲(chǔ)獨(dú)有的 " 多維度加速 " 體系：

1. 應(yīng)用加速：面向 HPDA 為代表的數(shù)據(jù)密集型應(yīng)用，華為分布式存儲(chǔ)業(yè)界唯一的應(yīng)用感知 DataTurbo 加速引擎，通過(guò)融合數(shù)據(jù)格式、近數(shù)據(jù)處理和特征處理算子卸載加速等技術(shù)，實(shí)現(xiàn)了 HPDA 生態(tài)應(yīng)用性能的倍增，提升了應(yīng)用處理效率。

尤其針對(duì) HPDA 愈發(fā)密集、愈發(fā)不可或缺的大數(shù)據(jù)環(huán)節(jié)，華為統(tǒng)一了數(shù)據(jù)湖和數(shù)倉(cāng)內(nèi)的文件格式，并優(yōu)化了元數(shù)據(jù)結(jié)構(gòu)，創(chuàng)新性地在存儲(chǔ)側(cè)為計(jì)算引擎開(kāi)啟緩存能力，實(shí)現(xiàn)了效率 60 倍的提升，讓數(shù)百 PB 數(shù)據(jù)的查詢時(shí)間縮減至 10 秒。

2. 算法加速：通過(guò)獨(dú)創(chuàng)的 SmartBalance 全均衡設(shè)計(jì)，華為可以實(shí)現(xiàn)對(duì)數(shù)據(jù)類型和 I/O 流的智能感知，從而能夠提升 HPDA 業(yè)務(wù)混合負(fù)載的處理效率。這不僅兼顧了 CPU 算力不足或調(diào)用堆棧深度等軟件問(wèn)題引起的 IOPS 瓶頸，更解決了 HPC 多流程跨系統(tǒng)的數(shù)據(jù)遷移、數(shù)據(jù)膨脹問(wèn)題。

3. 網(wǎng)存加速：華為 OceanStor Pacific 通過(guò)自主創(chuàng)新的網(wǎng)絡(luò)芯片支持 RoCE，同時(shí)支持 RDMA 和 IP 的訪問(wèn)能力。在同時(shí)支持帶寬、IOPS 等不同類型的業(yè)務(wù)時(shí)，可以智能調(diào)整網(wǎng)絡(luò)的相關(guān)參數(shù)，大幅降低不同存儲(chǔ)節(jié)點(diǎn)間的數(shù)據(jù)交換時(shí)延。

4. 架構(gòu)加速：與陳舊的 Lustre 開(kāi)源分布式文件系統(tǒng)架構(gòu)相比，華為分布式存儲(chǔ)帶來(lái)了全對(duì)稱式分布式架構(gòu)。據(jù)測(cè)評(píng)，Lustre 的非對(duì)稱設(shè)計(jì)會(huì)導(dǎo)致在 7 對(duì) MDS 時(shí)出現(xiàn)性能瓶頸，并且網(wǎng)元部件眾多而導(dǎo)致 IO 路徑漫長(zhǎng)。與此不同的是，華為 OceanStor Pacific 的全對(duì)稱架構(gòu)打破了元數(shù)據(jù)瓶頸，性能可以隨容量實(shí)現(xiàn)絕對(duì)的線性增長(zhǎng)。

此外，與 Lustre 對(duì)負(fù)載的單一路徑讀寫、覆蓋寫模式不同，華為 OceanStor Pacific 采用智能 IO 路徑選擇與 Append-Only 模式，避免長(zhǎng)時(shí)間運(yùn)行導(dǎo)致的磁盤碎片化問(wèn)題，實(shí)現(xiàn)動(dòng)態(tài)混合 IOPS 性能提升 20%。

不僅如此，相比 Lustre 自身無(wú)冗余保護(hù)，純粹依賴底層 SAN 陣列的 RAID 保護(hù)的安全模式，華為 OceanStor Pacific 憑借軟硬一體的穩(wěn)定深度可信協(xié)同，滿足跨節(jié)點(diǎn)冗余保護(hù)，支持最大 4 節(jié)點(diǎn)故障業(yè)務(wù)不中斷。

通過(guò)四大維度的全面技術(shù)創(chuàng)新，華為實(shí)現(xiàn)了分布式存儲(chǔ)的 " 快馬還需一鞭 "，比想象中更快一步。這些技術(shù)創(chuàng)新點(diǎn)的疊加產(chǎn)生了一種化學(xué)反應(yīng)，讓華為 OceanStor Pacific 的性能遠(yuǎn)超業(yè)界競(jìng)品，做到了這樣一句武俠小說(shuō)里的形容——真正的強(qiáng)大，是沒(méi)有對(duì)手的。

龍城飛將，家國(guó)守候

與大家想象的不同，華為分布式存儲(chǔ)并非遠(yuǎn)在天邊，其所帶來(lái)的價(jià)值就在我們的城市中，就在我們的生活里，就在科技自立自強(qiáng)的披星戴月中。

比如說(shuō)，山東的朋友應(yīng)該都對(duì)濟(jì)南超算非常了解。國(guó)家超級(jí)計(jì)算濟(jì)南中心，是科技部批準(zhǔn)成立的千萬(wàn)億次國(guó)際超級(jí)計(jì)算中心之一，目的是為打造超級(jí)計(jì)算的高性能數(shù)據(jù)分析 HPDA 平臺(tái)，從而支撐學(xué)術(shù)攻堅(jiān)，賦能透明海洋、類腦計(jì)劃、基因組學(xué)、人工智能、新藥創(chuàng)新等領(lǐng)域的大科學(xué)計(jì)劃、大科學(xué)工程的實(shí)施。

這樣一個(gè)重要的平臺(tái)，在存儲(chǔ)資源搭建過(guò)程中卻也遇到了一系列問(wèn)題。比如說(shuō)以文件存儲(chǔ)為主的 HPC 平臺(tái)、AI 平臺(tái)，與以對(duì)象存儲(chǔ)為主的云平臺(tái)，存在嚴(yán)重的數(shù)據(jù)孤島，最大的難題是不同平臺(tái)間的數(shù)據(jù)流動(dòng)。并且，存儲(chǔ)資源的相互搶占，會(huì)導(dǎo)致原本充沛的算力無(wú)法發(fā)揮，整體系統(tǒng)效率不高。

峰回路轉(zhuǎn)，華為 OceanStor Pacific 分布式存儲(chǔ)有效地解決了這些問(wèn)題。通過(guò)結(jié)合數(shù)據(jù)流動(dòng)軟件，華為分布式存儲(chǔ)幫助濟(jì)南超算打造了超算領(lǐng)域首個(gè)最大規(guī)模的數(shù)據(jù)流動(dòng)平臺(tái)，其可支持打通數(shù)據(jù)流動(dòng)，促進(jìn)數(shù)據(jù)跨域創(chuàng)新，助力濟(jì)南超算中心打造數(shù)據(jù)密集型超算。在我們?yōu)闈?jì)南超算、中國(guó)超算自豪時(shí)，似乎也應(yīng)該記得軍功章有華為 OceanStor Pacific 的一份。

華西醫(yī)院，是四川朋友非常了解的一家醫(yī)療機(jī)構(gòu)。除了強(qiáng)大的醫(yī)療能力，華西還肩負(fù)著科研探索、引領(lǐng)西南地區(qū)生物醫(yī)藥事業(yè)發(fā)展的重任。其中，華西生物醫(yī)學(xué)大數(shù)據(jù)中心是華西醫(yī)院的健康醫(yī)療大數(shù)據(jù)研究與應(yīng)用開(kāi)放共享平臺(tái)，其推進(jìn)的大規(guī)模全基因組分析，以及臨床成果轉(zhuǎn)化，是華西生物醫(yī)學(xué)大數(shù)據(jù)中心的重要探索方向。

想要滿足華西在基因領(lǐng)域的數(shù)據(jù)存用，也有著一系列挑戰(zhàn)。基因測(cè)序產(chǎn)生的數(shù)據(jù)容量普遍達(dá)到了 TB 級(jí)別，對(duì)數(shù)據(jù)存儲(chǔ)提出了挑戰(zhàn)。華為 OceanStor Pacific 分布式存儲(chǔ)，為華西醫(yī)院提供了更高性能的存儲(chǔ)底座，實(shí)現(xiàn)了 200 倍存儲(chǔ)性能提升，全基因組分析流程時(shí)間從傳統(tǒng)的 24 小時(shí)縮短到了 7 分鐘。

都說(shuō) 21 世紀(jì)是基因的世紀(jì)，在認(rèn)識(shí)我們自己前，首先需要妥善的存儲(chǔ)作為探秘基因工程的起點(diǎn)，華為 OceanStor Pacific 分布式存儲(chǔ)再次守護(hù)成功。

由此不難看出，華為 OceanStor Pacific 既是數(shù)字中國(guó)的守護(hù)者，也是數(shù)字中國(guó)的加速器。它默默守護(hù)著科技創(chuàng)新、前沿探索，幫助每一座城市在超算的時(shí)代里熠熠生輝。

目前階段，華為分布式存儲(chǔ)在歐洲、中東、拉美和亞太的關(guān)鍵業(yè)務(wù)場(chǎng)景均實(shí)現(xiàn)了大規(guī)模突破，達(dá)到了 2022 年全球二級(jí)存儲(chǔ)收入排名第二的成績(jī)，在總份額中占比 25%，并保持著 18% 的增速。從國(guó)內(nèi)來(lái)看，華為分布式存儲(chǔ)連續(xù)六年市場(chǎng)第一，占比高達(dá) 48.2%，同時(shí)在海外，華為分布式存儲(chǔ)也受到廣泛認(rèn)可，份額達(dá)到 25%，在文件與對(duì)象存儲(chǔ)上的收入增速高達(dá) 50.8%。

未來(lái)，我們應(yīng)該會(huì)看到華為存儲(chǔ)出現(xiàn)在更多的榜單上，欲將輕騎逐，大雪滿弓刀，越來(lái)越多的數(shù)據(jù)中心、實(shí)驗(yàn)室、工廠、農(nóng)田里，將上演以存儲(chǔ)定未來(lái)的故事。

尤其在這個(gè)時(shí)代，華為 OceanStor Pacific 折桂 IO500 還有一重獨(dú)特的意味。這重意味，可以用一句邊塞詩(shī)來(lái)表達(dá)：但使龍城飛將在，不教胡馬度陰山。