目前IDC機房建設規模越來(Come)越大(Big)，服務器的(Of)集成度越來(Come)越高，數據設備的(Of)功率提升和(And)其部署方式帶來(Come)了新的(Of)冷卻問題，這(This)使得IDC機房内的(Of)制冷空調問題，已經超越電源，成爲(For)電信運營IDC的(Of)首要(Want)問題。文中針對IDC機房精密空調存在(Exist)的(Of)主要(Want)問題進行分析，提出(Out)解決方案并對部分方案進行了實際應用(Use)。
目前IDC 空調存在(Exist)的(Of)主要(Want)問題
從目前IDC 運行情況來(Come)看，IDC 機房空調電源中斷、空調冷量設計、機房大(Big)環境氣流組織不(No)合理、機櫃内部小環境氣流組織不(No)合理、機櫃熱量過大(Big)、機櫃布置不(No)合理等問題是導緻機房過熱的(Of)主要(Want)原因和(And)問題。對這(This)些問題，本文從電源保障、空調配置、氣流組織和(And)高密服務器布置等方面展開探讨，提出(Out)解決方案，并在(Exist)杭州IDC 機房建設中進行了實際應用(Use)，在(Exist)保障IDC 機房安全運行同時(Hour)，達到(Arrive)節能減排的(Of)目的(Of)。
空調保障解決方案
1 空調電源保障
IDC 機房内發熱厲害，溫度梯度變化也大(Big)，通風降溫複雜，而空調使用(Use)的(Of)是市電，一(One)旦停電，就會造成機房溫度迅速竄升。在(Exist)一(One)般的(Of)通信機房，由于(At)功率密度低，柴油發電機啓動延遲和(And)常規的(Of)電源倒閘操作(Do)是沒有問題的(Of)，但是對IDC機房來(Come)說，在(Exist)電源中斷的(Of)這(This)段時(Hour)間内是難以(By)接受的(Of)，空調會停止制冷，特别是空調風機的(Of)停機導緻了氣流循環的(Of)中斷，據測試，在(Exist)單機櫃5kW 負載情況下，機房溫度會在(Exist)發電機啓動延遲和(And)電源倒換過程中會升高5～20°C;如果電源中斷時(Hour)間過長，就會演變成爲(For)一(One)場災難。可見，保障IDC 機房空調的(Of)電源可靠性和(And)提升可用(Use)性是重中之重，必須制定可靠的(Of)空調電源保障方案，以(By)防止空調電源中斷或盡量縮短電源中斷時(Hour)間。
1) UPS 方案
由于(At)空調的(Of)重要(Want)性，大(Big)負荷IDC 機房空調的(Of)供電等極應不(No)低于(At)服務器設備的(Of)供電等級，因此采用(Use)UPS 供電也并不(No)爲(For)過。在(Exist)國(Country)外，大(Big)型數據中心的(Of)機房空調系統采用(Use)UPS 供電的(Of)方法越來(Come)越普遍;在(Exist)國(Country)内，江蘇電信公司部分機房把專用(Use)空調的(Of)風機接在(Exist)UPS 上，這(This)樣解決了停電後的(Of)短時(Hour)間氣流組織中斷的(Of)問題，從使用(Use)效果來(Come)看還不(No)錯。采用(Use)UPS方案不(No)利的(Of)因素是存在(Exist)投資過大(Big)的(Of)問題。
2) IDC 空調雙電源方案：
對IDC 機房，同一(One)個(Indivual)機房的(Of)空調電源最好不(No)要(Want)同時(Hour)使用(Use)同一(One)路電源，以(By)防止一(One)路電源中斷就會導緻機房溫升過高。IDC 機房的(Of)空調配電屏，進線電源必須有兩路，兩路電源必須來(Come)自不(No)同的(Of)低壓配電系統，兩路電源間可以(By)手動切換或者采用(Use)ATS 自動倒換，如果采用(Use)ATS 最好設置成不(No)同的(Of)主路(但是在(Exist)油機供電下，要(Want)注意ATS 的(Of)自動切換可能會引起部分油機的(Of)過載);一(One)旦電源中斷，可以(By)縮短中斷時(Hour)間并減小影響面。圖1、圖2 和(And)圖3 是杭州電信IDC 普遍使用(Use)的(Of)雙電源屏和(And)雙ATS 電源屏。

3) 空調配電屏接線方法
相臨的(Of)空調應該從不(No)同的(Of)空調配電屏引出(Out)，如1 個(Indivual)機房布置16 台空調，兩塊空調配電屏，那1、3、5、7 等奇數空調就從配電屏1 引入(主用(Use)市電1)，2、4、6、8 等偶數空調從配電屏2 引入(主用(Use)市電2)。這(This)樣即使一(One)路電源發生(Born)異常，影響到(Arrive)的(Of)空調是部分的(Of)，恢複的(Of)時(Hour)間也很快。
4) 雙 ATS 電源櫃+空調新型電源接線方法
這(This)種方案是對方法2、3 的(Of)綜合應用(Use)，即采用(Use)ATS 的(Of)同時(Hour)采用(Use)雙電源屏方案。從實際使用(Use)效果來(Come)看，在(Exist)兩路高壓引入的(Of)情況下，采用(Use)雙ATS電源櫃+空調新型電源接線方法，比用(Use)UPS 供電更經濟，而且可靠性也沒減少多少，由于(At)同一(One)機房的(Of)空調電源來(Come)自于(At)不(No)同的(Of)高壓系統，如果這(This)兩路高壓是真雙路的(Of)話，那同時(Hour)停電的(Of)概率是很低的(Of);而在(Exist)停一(One)路高壓的(Of)情況下，還有一(One)半的(Of)空調在(Exist)運行，最重要(Want)的(Of)是氣流組織不(No)會中斷，在(Exist)油機啓動倒電過程中機房的(Of)溫升還是可以(By)接收的(Of)。一(One)個(Indivual)大(Big)的(Of)IDC 機房最好有兩塊以(By)上的(Of)空調配電屏，以(By)方便上述方法的(Of)空調接線，如果僅采用(Use)一(One)塊空調配電屏，空調配電屏内部的(Of)空開要(Want)有備份和(And)冗餘。
2 空調配置
機房空調的(Of)冷量要(Want)大(Big)于(At)機房的(Of)最大(Big)熱負荷并有富裕，空調的(Of)配置原則是根據機房總熱量總體規劃空調設計，按照N+1 原則配置空調數量。可是我(I)們會遇到(Arrive)這(This)樣一(One)個(Indivual)問題：空調已經按照N+1 配置，爲(For)什麽IDC 機房溫度會打不(No)下來(Come)?
1) 分區配置原則
傳統的(Of)配置是以(By)機房爲(For)單位;采用(Use)的(Of)是房間級制冷，空調是以(By)機房爲(For)單位進行制冷，但這(This)種方法的(Of)配置和(And)冗餘并不(No)适用(Use)于(At)大(Big)型的(Of)IDC機房。
現在(Exist)的(Of)IDC 機房由于(At)建設規模大(Big)、面積大(Big)和(And)機櫃功率密度高，如果按照房間級配置空調，一(One)台空調發生(Born)故障，由于(At)冗餘的(Of)空調相距過遠，氣流組織無法送達，會造成局部機櫃設備過熱;因此大(Big)型IDC 機房的(Of)空調要(Want)進行分區配置，即把一(One)個(Indivual)大(Big)型的(Of)IDC 機房劃分爲(For)若幹個(Indivual)分區，然後保證每一(One)個(Indivual)分區内的(Of)空調均有冗餘，這(This)樣空調發生(Born)故障後，每一(One)塊區域内的(Of)服務器才是安全的(Of)。杭州電信的(Of)興議、濱江等IDC 機房，就以(By)四列的(Of)機櫃爲(For)一(One)個(Indivual)分區，然後按照每個(Indivual)分區都滿足N+1 的(Of)冗餘方式配置，是一(One)種比較安全的(Of)辦法。
2) 空調冷量取值
機房空調的(Of)冷量計算要(Want)采用(Use)顯冷量，而不(No)是空調全冷量。要(Want)保證機房空調的(Of)總顯冷量始終大(Big)于(At)機房的(Of)熱負荷，但是機房空調的(Of)顯冷量在(Exist)不(No)同情況下是一(One)個(Indivual)變值，它标注的(Of)顯冷量是在(Exist)23 度、50%下測定的(Of)，随着機房濕度的(Of)增高，機房空調的(Of)顯熱比會下降。比如一(One)台制冷量标注100KW 的(Of)機房空調，測試工況下顯冷量90KW，當機房現對濕度達到(Arrive)65%以(By)上時(Hour)，空調的(Of)顯冷量隻有80KW 了，20%的(Of)冷量消耗在(Exist)除濕過程中。設計過程中如果按90KW 或者100KW 的(Of)數據設計，夏季高溫高濕環境下，機房的(Of)冷量就會不(No)夠。另外在(Exist)較大(Big)的(Of)IDC 機房裏面，由于(At)混風情況的(Of)存在(Exist)，導緻空調的(Of)送回風溫差過小，空調顯冷量進一(One)部下降。因此在(Exist)确定空調的(Of)制冷總容量時(Hour)，必須加大(Big)30%以(By)上，目前的(Of)經驗認爲(For)，空調的(Of)總制冷量必須是機房熱負荷的(Of)1.3～1.6 倍，大(Big)型的(Of)IDC 必須取上限。
3) 合理的(Of)N 值
從IDC 運行情況來(Come)看，N+1 的(Of)N 數值要(Want)合适，N 大(Big)了，冗餘度不(No)夠，機房不(No)安全;N 小了，機房會安全，但投資大(Big)且造成空調運行的(Of)能效比過小，如果采用(Use)冷備用(Use)空調(停機)，部分冷風也會從停機的(Of)空調回風口跑出(Out)來(Come)，造成氣流短路或者氣流倒灌，影響機房的(Of)原有氣流組織，如果能夠以(By)低速或者低風量運行備用(Use)空調，那總體風機功率就可以(By)下降，效率提升;IDC 機房空調的(Of)N 取值在(Exist)4～5 之間是比較合理的(Of)，更高密度機房則要(Want)把N 取值再減低。
另外對于(At)部分新建和(And)擴建機房，由于(At)負荷的(Of)不(No)确定，空調無法一(One)部安裝到(Arrive)位，是随設備的(Of)增加而陸續增加的(Of)，這(This)種情況要(Want)統一(One)規劃好空調的(Of)位置，并跟蹤機房熱負荷變化情況，适時(Hour)增配空調，确保機房始終滿足N+1 原則。
空調配置多，可以(By)提高機房的(Of)安全性，但會降低空調的(Of)能效比，導緻耗電上升，如何以(By)較少的(Of)備用(Use)機房空調在(Exist)高密度機房情況下實現冗餘是我(I)們機房空調運行中必須關注的(Of)一(One)個(Indivual)問題。
3 機房大(Big)環境氣流組織
這(This)是IDC 規劃和(And)設計的(Of)重點和(And)難點，氣流組織的(Of)産生(Born)、氣流組織的(Of)配送和(And)氣流組織的(Of)返回都要(Want)合理，一(One)個(Indivual)高效有着良好氣流組織的(Of)IDC 機房是規劃和(And)設計出(Out)來(Come)的(Of)，而不(No)是靠後期改造出(Out)來(Come)的(Of)。對于(At)一(One)個(Indivual)新建的(Of)IDC，從有利于(At)氣流組織的(Of)角度出(Out)發，下面這(This)些是必須注意的(Of)。
1) 機房布置
大(Big)型IDC 機房不(No)宜正方形，而應爲(For)長條形，這(This)樣有利于(At)空調布置，并減少空調的(Of)送風距離和(And)風阻。
2) 送風方式
新建的(Of)IDC 空調應該是下送風方式，冷熱風道進行分離。
目前的(Of)送風方式有上送下回、側送側回、上送上回及下送上回等多種方式，但是下送風方式比上送風更有利于(At)機房的(Of)氣流組織和(And)提高送風效率，如圖4;冷熱通道分離是指各個(Indivual)機櫃服務器均以(By)面對面，背高背的(Of)方式進行布置。冷熱氣流組織隔離後氣流組織更合理，而且增大(Big)送風和(And)回風之間的(Of)溫差，從而提高機房空調機組的(Of)效率。目前的(Of)研究表明，達到(Arrive)相同制冷效果的(Of)前提下，下送風所需風量比上送風所風量小，這(This)也就說明了下送上回式風比上送下回氣流組織效率更高。
3) 關注地闆高度、樓房的(Of)淨高和(And)機架間距
活動地闆的(Of)高度對機房空調的(Of)空氣循環效率有着重大(Big)的(Of)影響，架空地闆的(Of)高度應根據負荷密度、機房面積綜合确定。所需的(Of)淨高度取決于(At)機房的(Of)大(Big)小功率密度和(And)空調的(Of)設計方案，對于(At)氣流組織來(Come)說，活動地闆高度是越高越好，大(Big)型IDC 機房建議地闆淨高≥60cm(圖5)，并根據機架負荷可以(By)适當加大(Big)機架間距。
IDC 機房的(Of)高度不(No)宜太低，要(Want)保證回風層的(Of)層高，如果這(This)個(Indivual)高度如果太低，會影響空調的(Of)回風效果，導緻機櫃内部的(Of)熱量不(No)容易返回到(Arrive)空調，另外在(Exist)市電中斷過程中，機房層高也會影響到(Arrive)服務器宕機的(Of)時(Hour)間，因此要(Want)保障機房的(Of)層高，圖4 是建議的(Of)機房高度。
4) 風道完整
要(Want)保證冷風道的(Of)完整，這(This)樣才能保證氣流組織，常規的(Of)解決措施如下：
封閉地闆上所有不(No)必要(Want)的(Of)開口，包括未安裝服務器的(Of)機櫃、UPS 電源和(And)空調電源櫃等下部的(Of)開口，防止冷風風道氣流洩露;
靠近牆面和(And)電纜井的(Of)地方也需要(Want)進行封閉。
實際使用(Use)中，如果發現機房某處的(Of)溫度明顯過低，就表明該點的(Of)附件存在(Exist)冷風洩露，要(Want)找出(Out)洩露點并進行封閉。
5) 開口地闆的(Of)布置
開口地闆應該布置在(Exist)需要(Want)冷風來(Come)對設備進行冷卻的(Of)位置。不(No)要(Want)在(Exist)機房空調機組附近放置開口地闆，否則空調送出(Out)的(Of)冷風很容易返回到(Arrive)空調，開口地闆與空調機組之間應保持至少2M 的(Of)間距。


5 機櫃内部氣流
對于(At)服務器來(Come)說，如果空調總的(Of)制冷量和(And)機房大(Big)環境氣流可以(By)滿足機房要(Want)求，最後還要(Want)保證機櫃内部的(Of)服務器的(Of)溫度正常，換句話說就是機櫃内服務器産生(Born)的(Of)熱量要(Want)能通過機櫃内部的(Of)小氣流組織及時(Hour)帶走;在(Exist)機櫃裏面，一(One)方面，空氣氣流會選擇流阻最小的(Of)路徑，我(I)們要(Want)阻止機櫃内熱空氣同冷空氣混合，另一(One)方面，在(Exist)一(One)個(Indivual)機架内，冷氣是從下部送入，自下而上流動，機架最上部服務器溫度往往是最高的(Of)，如果機櫃内部的(Of)小氣流組織不(No)合理，或者冷風進風量不(No)夠，就會造成服務器局部過熱。
1) 消除氣流回流
在(Exist)氣流回流存在(Exist)的(Of)情況下，機架正面的(Of)垂直溫度梯度會很大(Big)，部分機架前部的(Of)上下溫度差可達10°C.因此要(Want)使用(Use)盲闆或擋闆來(Come)封閉服務器被拆除或者未安裝的(Of)空間，防止部分冷空氣直接跑到(Arrive)熱風風道内，另一(One)方面也可以(By)防止服務器的(Of)熱風通過這(This)些部位回到(Arrive)服務器的(Of)冷風風道内，造成氣流組織短路……安裝擋闆可以(By)防止冷卻空氣繞過服務器上的(Of)入口形成熱空氣循環，在(Exist)機櫃上層服務器的(Of)入口溫度有了明顯下降，圖11美國(Country)電力轉換公司對安裝盲闆前後的(Of)服務器進風溫度對比情況。

2) 新型工藝機櫃：
這(This)種機櫃是專門對機櫃内進行優化和(And)機櫃氣流組織設計，直接在(Exist)機櫃内部進行送風，采用(Use)盲闆和(And)漂浮式盲闆來(Come)封閉機櫃上未使用(Use)的(Of)單元，機櫃的(Of)前門和(And)服務器形成一(One)個(Indivual)單獨的(Of)冷通道，熱風從機櫃的(Of)後面和(And)上端排出(Out)，避免了機櫃内氣流短路，氣流組織比較合理。根據這(This)個(Indivual)原理，浙江電信分公司在(Exist)2008年專門研制了新型工藝機櫃，并在(Exist)杭州電信的(Of)IDC 機房進行應用(Use)，如圖12，在(Exist)單機櫃功率4KW情況下，這(This)種機櫃冷卻良好并起到(Arrive)很好的(Of)節能效果。

5. 更高密度服務器布置
在(Exist)IDC 運行情況看，我(I)們會遇到(Arrive)兩種不(No)同的(Of)熱點問題，一(One)種是在(Exist)高密度區域布置更高密度服務器造成的(Of)局部溫度過高，如在(Exist)平均機櫃5KW 的(Of)機房布置10KW以(By)上的(Of)機櫃;另一(One)種是整體熱點問題，一(One)個(Indivual)機房的(Of)所有服務器均是高密度設備，如單機櫃平均功率10KW 以(By)上，造成整個(Indivual)機房溫度過高問題。對于(At)前者，最好是不(No)要(Want)這(This)樣布置，如果逼不(No)得已，那最好能采取一(One)些特殊的(Of)補救措施;對于(At)後者，建議重新設計IDC 機房。
1) 局部更高密度布置方案
不(No)同功率密度的(Of)服務器不(No)宜布置在(Exist)同一(One)機房，尤其是在(Exist)固定密度區域布置更高密度服務器，會導緻機房局部熱點問題突出(Out)。但在(Exist)實際過程中，往往又不(No)可避免，比如用(Use)戶一(One)定要(Want)這(This)樣布置，而溝通無效的(Of)情況，如何解決這(This)些問題?
方法一(One)：在(Exist)現有的(Of)運行空間内加強冷卻能力
如果用(Use)戶無法對他(He)的(Of)高密度服務器進行分散，這(This)種情況下，就要(Want)想辦法增加冷卻能力，如杭州電信就在(Exist)機房裏額外增加了部分空調(圖13)，并在(Exist)高熱區域增加開口地闆數量，也可以(By)安裝地闆下氣流輔助裝置(圖14)，個(Indivual)别機房安裝了特制的(Of)回流管道(圖15)，确保高密度服務器可以(By)得到(Arrive)足夠的(Of)冷量，同時(Hour)服務器排出(Out)的(Of)熱量可以(By)順利返回到(Arrive)空調。

方法二：分散高密度機架
但在(Exist)實際情況中，由于(At)機房空間的(Of)限制，增加空調冷量的(Of)方法很難實現，因此将高密度負載進行分散是一(One)個(Indivual)比較有效的(Of)方法，這(This)樣分開的(Of)高密度機架可以(By)有效地“借用(Use)”鄰近機架的(Of)冷量來(Come)進行冷卻。杭州東冠IDC 機房，用(Use)戶要(Want)在(Exist)機櫃設計功率4.5KW 的(Of)機房放置部分12KW 的(Of)核心網絡設備(cisco N7K)，在(Exist)解決這(This)個(Indivual)問題時(Hour)就采用(Use)了熱量分散原則，将兩個(Indivual)機架布置在(Exist)不(No)同的(Of)兩列，并留出(Out)三個(Indivual)機櫃的(Of)位置用(Use)來(Come)冷卻這(This)個(Indivual)高密度機架，這(This)樣機房平均功率密度控制在(Exist)設計的(Of)範圍内，如圖16：

2) 整體高密方案
如果所有服務器均是高密設備，必須重新設計IDC 機房，但是我(I)們會面臨一(One)個(Indivual)問題，就是風冷空調的(Of)冷卻極限(目前在(Exist)6KW/㎡)，如果機櫃的(Of)發熱過大(Big)(現在(Exist)一(One)個(Indivual)機櫃的(Of)熱量就輕松突破20KW)，我(I)們應該如何解決這(This)個(Indivual)問題呢?
采用(Use)增加機櫃的(Of)間距或者減低服務器的(Of)放置密度，從而降低整個(Indivual)機房的(Of)平均功率密度，可以(By)把功率密度控制在(Exist)風冷極限的(Of)範圍以(By)内。在(Exist)杭州電信濱江IDC機房，某服務器單機櫃銘牌功率20KW(圖17)，實測13KW，機櫃發熱嚴重。而用(Use)戶又很着急，爲(For)了完成這(This)個(Indivual)任務，杭州電信在(Exist)規劃這(This)個(Indivual)機房時(Hour)，加大(Big)了冷風道和(And)熱風道的(Of)間距，将冷風道從1.2 米提升到(Arrive)4.8 米(圖18)，并增加了熱風道的(Of)間距，這(This)樣一(One)來(Come)，單位功率密度就下降了一(One)半;另外增加了機房空調數量，空調的(Of)冷量采用(Use)了2N 配置;同時(Hour)提升了地闆高度，把地闆高度提升到(Arrive)1.2 米，并啓用(Use)了栅欄地闆，保證了機櫃所需的(Of)冷風風量。

從使用(Use)效果看，該機房冷卻效果良好，圓滿的(Of)解決了用(Use)戶的(Of)需求。但是這(This)種解決方案存在(Exist)投資成本過高的(Of)問題，這(This)種解決方法在(Exist)對成本不(No)敏感的(Of)情況下使用(Use)才是合理的(Of)。
總結:
由于(At)篇幅的(Of)限制，隻能對上述IDC建設和(And)運行一(One)些比較容易遇到(Arrive)的(Of)主要(Want)問題進行交流探讨和(And)摸索，或許上面提到(Arrive)和(And)采用(Use)的(Of)方法并不(No)一(One)定是最好或是最完善的(Of)，但希望這(This)些做法可以(By)給同行借鑒和(And)參考，避免走彎路和(And)減少不(No)必要(Want)的(Of)浪費，IDC的(Of)系統設計、建設和(And)運維，還有很長的(Of)路要(Want)走;對目前廣泛普及的(Of)高密度機架進行冷卻還有待我(I)們的(Of)探索和(And)經驗積累;另外IDC的(Of)節能降耗，也是任重道遠的(Of)任務和(And)工作(Do)。希望在(Exist)以(By)後的(Of)日子裏，大(Big)家齊心協力，促進電信IDC的(Of)發展，并爲(For)IDC的(Of)節能減排貢獻自己的(Of)一(One)份力量。