《科創(chuàng)板日報》2月12日訊 隨著AI計算對內(nèi)存需求不斷擴大，全球存儲技術(shù)創(chuàng)新也進(jìn)入“加速期”。

據(jù)韓國經(jīng)濟日報報道，SK海力士近日在IEEE（電氣與電子工程師協(xié)會）全球半導(dǎo)體大會上發(fā)表論文，提出了一種全新的存儲架構(gòu)。據(jù)悉，該架構(gòu)名為“H3（hybrid semiconductor structure）”，同時采用了HBM和HBF兩種技術(shù)。

在SK海力士設(shè)計的仿真實驗中，H3架構(gòu)將HBM和HBF顯存并置于GPU旁，由GPU負(fù)責(zé)計算。該公司將8個HBM3E和8個HBF置于英偉達(dá)Blackwell GPU旁，結(jié)果顯示，與單獨使用HBM相比，這種配置可以將每瓦性能提升高達(dá)2.69倍。

圖源：SK海力士

實驗結(jié)果顯示，H3架構(gòu)在AI推理領(lǐng)域尤其具有優(yōu)勢。推理的核心是鍵值緩存 (KV cache)，它用于臨時存儲數(shù)據(jù)，以理解 AI 服務(wù)與用戶之間交互的流程和“上下文”。然而，隨著 AI 性能的提升，KV緩存容量不斷增長，以至于HBM和GPU逐漸應(yīng)接不暇。

因此，HBF被視作上述架構(gòu)的核心。與堆疊DRAM芯片的HBM類似，HBF通過堆疊NAND閃存而制成。被稱作“HBM之父”的韓國科學(xué)技術(shù)院（KAIST）教授金正浩類比道，HBM與HBF就好比書房與圖書館。前者容量雖小，但使用起來方便；后者容量更大，但也意味著延遲更高。

通過在HBF中存儲KV緩存，GPU和HBM可以減輕存儲KV緩存的負(fù)擔(dān)，從而專注于它們在高速計算和創(chuàng)建新數(shù)據(jù)方面的優(yōu)勢。SK海力士模擬了HBF處理高達(dá)1000萬個令牌的海量鍵值緩存的場景，結(jié)果表明，與僅使用HBM的配置相比，該系統(tǒng)處理并發(fā)查詢的能力提升了高達(dá)18.8倍。以前需要32個GPU才能完成的工作負(fù)載，現(xiàn)在只需兩個GPU即可完成。

從產(chǎn)業(yè)層面來看，SK海力士、三星、閃迪等均在推進(jìn)HBF技術(shù)研發(fā)。SK海力士計劃最早于今年推出HBF1（第一代產(chǎn)品）樣品，該產(chǎn)品預(yù)計采用16層NAND閃存堆疊而成。三星電子和閃迪則計劃最快在2027年底或2028年初將HBF技術(shù)應(yīng)用于英偉達(dá)、AMD和谷歌的實際產(chǎn)品中。

廣發(fā)證券認(rèn)為，當(dāng)前大模型的參數(shù)規(guī)模已經(jīng)達(dá)到萬億級別，上下文長度普遍超過128K，HBM的容量已難以滿足AI大模型對于內(nèi)存容量的要求。在研的HBF存儲容量有望達(dá)到現(xiàn)有HBM的8至16倍，有望將GPU的存儲容量擴展至4TB，或成為滿足AI大模型內(nèi)存容量要求的最佳方案。

東方證券表示，利基存儲不僅是存量市場，更是增量市場，AI需求有望為利基存儲打開增量空間。SLC NAND有望應(yīng)用于AI SSD產(chǎn)品，以高效處理AI推理中的數(shù)據(jù)；SLC NAND未來也可能應(yīng)用在HBF（高帶寬閃存）中。利基存儲產(chǎn)能持續(xù)被主流存儲擠壓，漲價有望持續(xù)。