導(dǎo)語(yǔ)
隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、高性能計(jì)算的快速發(fā)展，數(shù)據(jù)中心面臨著嚴(yán)峻的挑戰(zhàn)。主要?dú)w結(jié)于GPU驅(qū)動(dòng)應(yīng)用程序推動(dòng),使得業(yè)務(wù)和IT增長(zhǎng)需協(xié)調(diào)一致。隨著數(shù)據(jù)中心內(nèi)部溫度升高，運(yùn)營(yíng)商正爭(zhēng)先恐后地尋找可行、更節(jié)能的散熱解決方案。在此我們將討論其中最可行和最實(shí)用的冷卻方法，并對(duì)比分析風(fēng)冷冷卻和液體冷卻。
1 冷卻技術(shù)運(yùn)作原理
風(fēng)冷冷卻
傳統(tǒng)的風(fēng)冷數(shù)據(jù)中心通過(guò)空氣處理機(jī)上的進(jìn)氣口將外部空氣帶入�？諝獗挥�(jì)算機(jī)房空調(diào)（CRAC）單元冷卻，然后在高架地板帶動(dòng)下進(jìn)入服務(wù)器機(jī)架"冷過(guò)道"。冷空氣通過(guò)并冷卻服務(wù)器，然后離開(kāi)"熱通道"，通過(guò)充氣室排放返回空氣處理器。
液體冷卻
液體冷卻的工作原理是：液體相較于空氣是更好的熱導(dǎo)體。
-
服務(wù)器垂直安裝在水平定向的介質(zhì)（電非導(dǎo)電）流體冷卻液槽中。
-
冷卻液通過(guò)與服務(wù)器組件的直接接觸傳遞熱量。
-
加熱的冷卻液從機(jī)架頂部流出，并在機(jī)架和連接到溫水回路的冷卻分配單元（CDU）之間循環(huán)。另一側(cè)包含冷卻塔或干式冷卻器作為散熱最終形式。
-
冷卻的液體從熱交換器返回到機(jī)架。
2 復(fù)雜性和前期成本
風(fēng)冷冷卻
看似簡(jiǎn)單的服務(wù)器機(jī)架系統(tǒng)實(shí)際上有很多活動(dòng)部件：高架地板，通道遏制策略，冷卻器，空氣處理器，濕度控制，過(guò)濾系統(tǒng)和增壓室的某種組合。為了支持上述功能，風(fēng)冷數(shù)據(jù)中心還必須運(yùn)行相對(duì)較大的輔助基礎(chǔ)設(shè)施（特別是備用發(fā)電機(jī)、UPS和電池）。
這些必要的復(fù)雜性等同于相對(duì)較大資本支出（CAPEX）。
液體冷卻
自 2009 年開(kāi)創(chuàng)該技術(shù)以來(lái)，一直在挖掘液體冷卻的最大價(jià)值（簡(jiǎn)單性）。
考慮只需三個(gè)活動(dòng)部件：冷卻液泵，水泵和冷卻塔，干式冷卻風(fēng)扇，并且不需要高架地板，也不需要通過(guò)通道封閉浪費(fèi)空間。液體冷卻可以將數(shù)據(jù)中心的資本支出降低50%甚至更低。
由于機(jī)架可以緊密地間隔在一起，液體冷卻不需要對(duì)氣流進(jìn)行CFD分析，甚至可放置在裸露的混凝土地板上。電氣支持系統(tǒng)縮小尺寸。
在假設(shè)簡(jiǎn)單性會(huì)影響性能之前，補(bǔ)充一點(diǎn)說(shuō)明GRC ICEraQ™系統(tǒng)可以輕松冷卻100 kW /機(jī)架（甚至更高），遠(yuǎn)遠(yuǎn)超過(guò)最好的風(fēng)冷操作能力。
3 效率和運(yùn)營(yíng)費(fèi)用
風(fēng)冷冷卻
顯而易見(jiàn)空氣是比液體更有效的熱導(dǎo)體（效率低1200倍） 。不僅使風(fēng)冷數(shù)據(jù)中心本質(zhì)上效率降低，而且會(huì)產(chǎn)生連鎖反應(yīng)，對(duì)運(yùn)營(yíng)費(fèi)用產(chǎn)生嚴(yán)重影響。
風(fēng)扇占服務(wù)器功耗的20%。為提高空氣有效性，需冷卻器和空氣處理器等消耗能源的制冷組件。這些反過(guò)來(lái)又會(huì)影響電力基礎(chǔ)設(shè)施規(guī)模。
鑒于上述情況，風(fēng)冷冷卻需要數(shù)據(jù)中心技術(shù)中極高的運(yùn)營(yíng)費(fèi)用，同時(shí)大約產(chǎn)出1.35至1.69的PUE。
液體冷卻
用三個(gè)移動(dòng)部件（GRC移除風(fēng)扇以優(yōu)化服務(wù)器浸入式），零制冷組件，大大降低基礎(chǔ)設(shè)施要求，液體冷卻使冷卻能量減少90%，數(shù)據(jù)中心總能耗降低50%。因此，可以實(shí)現(xiàn)<1.03的PUE。
從電力角度來(lái)看，風(fēng)冷冷卻基礎(chǔ)設(shè)施不僅增加成本，而且還可能附帶高昂的維護(hù)費(fèi)用。液體冷卻則沒(méi)有這些問(wèn)題。
4 冷卻能力和高密度性能
風(fēng)冷冷卻
確實(shí)，一些風(fēng)冷數(shù)據(jù)中心能夠冷卻30-35 kW機(jī)架。但實(shí)際上，風(fēng)冷數(shù)據(jù)中心在15 kW 機(jī)架以上非常低效。
行業(yè)趨勢(shì)使形勢(shì)變得更為嚴(yán)峻。耗電 GPU 正在進(jìn)軍，以應(yīng)對(duì)物聯(lián)網(wǎng)和 AI 等 HPC 應(yīng)用。用一個(gè)例子說(shuō)明，英特爾®的新Skylake版本消耗高達(dá)250 W的能量。將其中兩個(gè)放在1U服務(wù)器上，為其他電子設(shè)備添加200 W以上，乘以40服務(wù)器，基于CPU的系統(tǒng)則有28 kW。添加處理器和加速器，將遠(yuǎn)遠(yuǎn)超出風(fēng)冷冷卻的限制。
為滿足以上需求，數(shù)據(jù)中心運(yùn)營(yíng)商傾向于創(chuàng)建混合密度的機(jī)架。就風(fēng)冷而言，不可避免地會(huì)導(dǎo)致熱點(diǎn)，從而導(dǎo)致硬件故障。
值得一提的是，硬件演變將為風(fēng)冷數(shù)據(jù)中心的運(yùn)營(yíng)商（下一次硬件更新）帶來(lái)真正的清算時(shí)刻。
液體冷卻
GRC ICEraQ™ 和 ICEtank™ 系統(tǒng)通過(guò)精心設(shè)計(jì)突破熱障，將數(shù)據(jù)中心計(jì)算帶入下一次演進(jìn)，甚至更進(jìn)一步。任何一種解決方案都可以輕松冷卻每個(gè)機(jī)架高達(dá)100 kW的功率，理論上與冷卻液一起使用時(shí)可以冷卻高達(dá)200 kW的功率。
4 可靠性和位置靈活性
風(fēng)冷冷卻
任何風(fēng)冷冷卻技術(shù)都注定要面臨硬件可靠性問(wèn)題。究其原因在于IT資產(chǎn)暴露于潛在有害的空氣污染物以及空氣本身的不利影響（主要指腐蝕和氧化）。
風(fēng)險(xiǎn)取決于空氣質(zhì)量和無(wú)調(diào)節(jié)空氣本身的自然濕度水平。顯然，濕度高、空氣污染或風(fēng)吹顆粒物的地方都可能會(huì)對(duì)數(shù)據(jù)中心造成嚴(yán)重破壞。隨著對(duì)遠(yuǎn)程邊緣部署的需求增加，這些問(wèn)題也會(huì)凸顯出來(lái)。
說(shuō)到位置靈活性，風(fēng)冷冷卻固有的復(fù)雜性和巨大的基礎(chǔ)設(shè)施要求為數(shù)據(jù)中心的放置帶來(lái)重大障礙。
綜上所述，即便采用最佳的通道布置方法，傳統(tǒng)的風(fēng)冷冷卻也會(huì)產(chǎn)生導(dǎo)致硬件故障的熱點(diǎn)。
液體冷卻
三個(gè)主要因素使液體冷卻在此類別中得分最高：
-
市場(chǎng)上最簡(jiǎn)單實(shí)用冷卻形式。出錯(cuò)的更少：沒(méi)有冷卻器，空氣處理器，濕度控制等;并且沒(méi)有服務(wù)器風(fēng)扇來(lái)產(chǎn)生可以增加MTBF（平均故障間隔時(shí)間）的振動(dòng)。
-
沉浸式處理，使IT資產(chǎn)與外部空氣完全隔離，從而消除環(huán)境問(wèn)題。
-
數(shù)據(jù)中心中沒(méi)有熱點(diǎn)。事實(shí)上，ICEraQ或ICEtank系統(tǒng)中的任何兩個(gè)點(diǎn)都在兩個(gè)溫度范圍內(nèi)工作。
5 藍(lán)海大腦水冷GPU服務(wù)器
基于藍(lán)海大腦超融合平臺(tái)的水冷GPU服務(wù)器及水冷GPU工作站采用 Gluster 分布式架構(gòu)設(shè)計(jì)提供大存儲(chǔ)量，擁有開(kāi)放融合的特性和超能運(yùn)算的能力。支持多塊GPU顯卡，提供出色的靜音效果和完美的溫控系統(tǒng)。借助 NVIDIA GPU計(jì)算卡可加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理速度，更快地創(chuàng)作精準(zhǔn)的光照渲染效果，提供高速視頻、圖像、聲音等處理能力，加速AI 并帶來(lái)更流暢的交互體驗(yàn)。
6 總結(jié)
綜上所述，隨著數(shù)據(jù)中心的規(guī)模越來(lái)越大，部署的機(jī)架越來(lái)越密集，對(duì)服務(wù)器負(fù)載的要求越加苛刻，傳統(tǒng)的風(fēng)冷冷卻技術(shù)不再滿足數(shù)據(jù)中心的制冷要求。為解決這個(gè)問(wèn)題，很多企業(yè)在其數(shù)據(jù)中心開(kāi)始采用液體冷卻技術(shù)。
|
