2024年9月26日，全球最權(quán)威、影響力最廣的AI基準測試MLPERF發(fā)布了Storage V1.0 AI基準測試結(jié)果，華為OceanStor A800全新AI存儲在全球廠商中脫穎而出，總性能，每節(jié)點性能、每U性能均是全球第一。
MLPERF benchmark是一個衡量人工智能硬件、軟件和服務性能的標準化基礎(chǔ)測試平臺，它由圖靈獎得主大衛(wèi)帕特森（David Patterson）聯(lián)合谷歌、斯坦福、哈佛大學等頂尖企業(yè)和學術(shù)機構(gòu)成立，是權(quán)威性最大、影響力最廣的國際AI性能基準測試。為了緊跟行業(yè)前沿，MLPERF每年發(fā)布基準測試數(shù)據(jù)，獲得全球廣泛認可。
本次存儲性能測試共有業(yè)界主流的13家廠商參與，通過運行一個分布式訓練測試程序，模擬GPU計算過程，最大程度還原AI服務器對存儲系統(tǒng)的訪問模型。以模擬AI存儲系統(tǒng)能夠支撐的最大GPU數(shù)量，來評估存儲系統(tǒng)測試性能表現(xiàn)。其中3D U-Net工作負載每FLOPS算力所需存儲帶寬最高，且數(shù)據(jù)需要從存儲節(jié)點讀取，不允許提前在主機上緩存，能夠真實體現(xiàn)存儲系統(tǒng)性能，更全面、更準確地反映存儲在大規(guī)模AI集群的性能表現(xiàn)。
特別需要注意的是，MLPerf Storage Benchmark的目標是在滿足一定加速器利用率(Accelerator utilization)的前提下，測試出存儲系統(tǒng)能夠支持的最大加速器(Accelerator)數(shù)量以及能夠提供的最大帶寬。如果希望獲得比較好的結(jié)果，需要從幾個方面進行努力：模擬更多的GPU卡數(shù)、存儲系統(tǒng)需要提供穩(wěn)定的低時延、穩(wěn)定的高帶寬，因此，這個榜單評測的目標是存儲系統(tǒng)的性能，每計算節(jié)點的加速器（Accelerator）數(shù)量和帶寬取決于計算節(jié)點的服務器性能，和存儲沒有關(guān)系。在模擬的GPU型號相同的情況下，總ACC數(shù)量（模擬的GPU數(shù)）和帶寬才能反映存儲的能力。
MLPERF Storage V1.0 基準測試結(jié)果-總性能華為排名第一
MLPERF Storage V1.0 基準測試結(jié)果-每節(jié)點性能華為排名第一
MLPERF Storage V1.0 基準測試結(jié)果-每U性能華為排名第一
本次獲得存儲性能測試全球第一的AI存儲華為OceanStor A800，通過單臺設(shè)備成功滿足了255張H100 GPU訓練的數(shù)據(jù)吞吐需求，GPU利用率保持90%以上，單框穩(wěn)定帶寬高達679 GB/s，是傳統(tǒng)存儲性能的10倍。平均每節(jié)點提供高達340GB/s帶寬，每U提供高達85GB/s的帶寬，分別是第二名2.88倍和1.44倍，體現(xiàn)了OceanStor A800全面領(lǐng)先的競爭力。同時可以通過OceanStor A800大規(guī)模橫向擴展提供百TB級帶寬，checkpoint讀寫時間從10分鐘縮短至秒級，斷點續(xù)訓時間小于15分鐘，極大減少GPU等待，端到端算力利用率提升30%+，全面提升大模型訓練效率。首次參與即在MLPERF Storage V1.0基準測試性能榜單登頂，這一成就不僅彰顯了華為數(shù)據(jù)存儲技術(shù)的卓越實力，更標志著華為數(shù)據(jù)存儲在業(yè)界又達成一個關(guān)鍵里程碑。
華為數(shù)據(jù)存儲深耕細作，持續(xù)創(chuàng)新，推出全新OceanStor A系列AI存儲。面向AI場景混合負載，基于全新硬件，打造架構(gòu)領(lǐng)先的存儲系統(tǒng)，具備卓越性能、EB級彈性擴展、推理長記憶等能力，全面加速AI大模型訓推業(yè)務。
面向未來，華為AI存儲在AI大模型領(lǐng)域將持續(xù)深耕，不斷突破性能極限，駕馭AI大模型數(shù)據(jù)浪潮，引領(lǐng)數(shù)據(jù)未來。