在數(shù)字經(jīng)濟時代，算力資源已經(jīng)成為新的“能源”，為人工智能、云計算等等科技界前沿領(lǐng)域持續(xù)供能。5月9日，數(shù)云原力大會2024在神州數(shù)碼國際創(chuàng)新中心（IIC）盛大召開。在開幕式上，神州數(shù)碼副總裁、神州數(shù)碼信創(chuàng)控股董事長韓智敏重磅發(fā)布新一代神州鯤泰綠色異構(gòu)智算中心全液冷整機柜新品，在異構(gòu)智算的時代，通過軟硬件協(xié)同創(chuàng)新，為客戶提供性能強、能效高、節(jié)能環(huán)保的新選擇。
神州數(shù)碼副總裁、神州數(shù)碼信創(chuàng)控股董事長韓智敏
異構(gòu)智算時代，企業(yè)智算落地如何兼顧效率與成本？
我們迎來了一個全新的異構(gòu)智算時代。在當(dāng)前的算力環(huán)境下，多云異構(gòu)智算基礎(chǔ)設(shè)施已成為必然。異構(gòu)算力資源如何得到充分利用？在混合云部署下，如何應(yīng)對算力構(gòu)建選型、部署、運維復(fù)雜度和難度的挑戰(zhàn)？這個獨特的“智算攢機時代”，正在呼喚全新的智算架構(gòu)。
與此同時，隨著大模型和生成式AI加速落地，大量的模型訓(xùn)練和推理任務(wù)，在喚醒底層算力海量需求的同時，也對資源利用率提出了巨大挑戰(zhàn)。有關(guān)資料顯示，OpenAI訓(xùn)練GPT-4的MFU（Model Flops Utility）在32%到36%之間。而目前行業(yè)MFU利用率的平均水平僅為30%~40%，智算資源利用率尚有很大的提升空間，利用率提升也將為企業(yè)節(jié)省大量成本。
能耗是另一個大的挑戰(zhàn)，算力本身會成為主要的能耗和二氧化碳排放來源。明顯可預(yù)見的就是，GPU的能耗本身是CPU能耗的2倍以上。根據(jù)MIT研究表明，未來人類需要為人工智能相關(guān)應(yīng)用新增10%的能源需求。也就是說，“煉”大模型會比煉鋼還費電。對于一個企業(yè)來說，每新增一個用于智算的機架，其運行一年約等于增加15w度電，約等于100個家庭的年用電量，約等于1.5噸二氧化碳排放，能耗和碳排放十分巨大。
盡精微，神州鯤泰異“雙管齊下”提升算力資源利用率
神州鯤泰推出HISO異構(gòu)智算調(diào)度運營平臺、HICA異構(gòu)智算加速平臺，有效解決智算集群間以及集群內(nèi)面臨的復(fù)雜異構(gòu)兼容問題，并顯著提升算力資源的利用率。
HISO異構(gòu)智算調(diào)度運營平臺，基于云原生技術(shù)，整合GPU硬分片和虛擬分片技術(shù)，能實現(xiàn)GPU資源虛擬化或池化，完成跨集群之間的算力調(diào)度。根據(jù)用戶業(yè)務(wù)需求，該平臺可以在整個異構(gòu)智算資源池中匹配優(yōu)選算力組合，提升GPU服務(wù)器集群的資源使用率。HISO異構(gòu)智算調(diào)度運營平臺擁有將國內(nèi)外GPU資源混合組網(wǎng)、混搭調(diào)度，算力精細(xì)隔離等關(guān)鍵能力，可以“像管理一臺GPU主機一樣，管理和調(diào)度多個集群的GPU資源”。通過GPU容器直通、IaaS卸載，該平臺加速了模型加載時間，相比傳統(tǒng)方式，模型加載速度提升３倍。同時還能實時收集智算中心全棧、全鏈路指標(biāo)，發(fā)現(xiàn)和定位軟硬件故障，實現(xiàn)算力可觀測性。
HICA異構(gòu)智算加速平臺則著重解決集群內(nèi)部的算力調(diào)度優(yōu)化問題，通過屏蔽集群內(nèi)底層算力生態(tài)差異，突破關(guān)鍵計算效率瓶頸，有效提升算力利用率與可用性。HICA異構(gòu)智算加速平臺通過自研的服務(wù)層、中間適配層以及調(diào)度編排算法，采用數(shù)據(jù)并行、模型并行等方式，把并行計算任務(wù)進(jìn)行有效分解，匹配相應(yīng)的軟件棧和算力資源來承接。當(dāng)GPU資源變化，該平臺可以實時動態(tài)調(diào)度計算子任務(wù)并調(diào)整模型拓?fù)浜图軜?gòu)，以充分聚合各種算力資源。
HICA異構(gòu)智算加速平臺具有一云多芯特性，支持國內(nèi)外主流AI芯片，可實現(xiàn)訓(xùn)練推理任務(wù)在不同品牌、不同型號芯片組成的智算集群中的混合訓(xùn)練推理，預(yù)計可降低20%閑置算力。
此外，根據(jù)不同模型、不同算子之間集合通信流特點，該平臺還可自適應(yīng)選擇最合適的通信參數(shù)，達(dá)到更高的通信效率。同時，在不同模型運行過程中，充分考慮存算比要求的不同，HICA異構(gòu)智算加速平臺還可從宏觀到微觀多個尺度選擇最合適的存算比資源加載模型，加速吞吐，降低時延，使MFU提升10~20%，MBU提升5%。
硅光+液冷，一體化交付冷卻跳動的電表
隨著生成式AI落地對算力需求的暴漲、帶寬的狂飆提速，智算中心節(jié)點的高能耗痛點日益加劇。而以一個萬卡智算中心為例，采用200G接口互聯(lián)，需要約80000個光模塊，其互聯(lián)所需的能耗則占到總體的5%。節(jié)點間互聯(lián)的高能耗問題也日益凸顯。
針對節(jié)點間互聯(lián)的能耗問題，神州鯤泰采用硅光技術(shù)，通過單光源多調(diào)制器，降低調(diào)制器電壓，同時采用分布式反饋激光器等一系列技術(shù)，有效降低25%的互聯(lián)能耗。
同時，針對節(jié)點的能耗問題，神州鯤泰推出液冷服務(wù)器，通過一體化冷板，智能流量調(diào)節(jié)來提升系統(tǒng)的散熱效率，采用負(fù)壓管線系統(tǒng)，漏液近端探測技術(shù)，并聯(lián)動服務(wù)管控系統(tǒng)提升冷卻系統(tǒng)的可靠性，有效降低30%的節(jié)點能耗。
而為了幫助客戶規(guī)避接口多、接頭復(fù)雜、現(xiàn)場實施部署難度大、實施周期長等難題，數(shù)云原力大會2024開幕式上，神州鯤泰正式發(fā)布“KunTai Pod2000全液冷整機柜”方案產(chǎn)品。采用一體化交付方式，有效降低部署和運維的復(fù)雜度的同時，整機柜還能實現(xiàn)100%全液冷及高性價比液冷方案，助力數(shù)據(jù)中心PUE邁向1.15，并且憑借60KW+的最大單柜功率，實現(xiàn)1.5倍于行業(yè)平均水平的能效比，在為客戶提供強打算力的同時有效控制能耗成本。
隨著2022年底ChatGPT的問世，AI正成為推動創(chuàng)新的核心引擎?，F(xiàn)在的IT基礎(chǔ)架構(gòu)已經(jīng)到了一個由模型和算力相互促進(jìn)，螺旋上升的新發(fā)展階段。面對新的發(fā)展機遇，神州鯤泰從智算中心系統(tǒng)整體性能提升出發(fā)，提出了走新智算架構(gòu)之路的策略，建立了高通量、高并行、高效率，低能耗的多樣化智算架構(gòu)。新的智算架構(gòu)能夠快部署、低投入地突破算力瓶頸，構(gòu)建出性能更優(yōu)、成本更低、能效更高的智算中心。未來每個智算中心，每臺計算機都將是這樣一種新的智算架構(gòu)，從而實現(xiàn)算力的普惠。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
