“《孫子兵法》云，‘夫未戰(zhàn)而廟算勝者，得算多也；未戰(zhàn)而廟算不勝者，得算少也’。市場(chǎng)如戰(zhàn)場(chǎng)，我省的經(jīng)濟(jì)建設(shè)、科學(xué)研究離不開(kāi)‘多算’。而我省現(xiàn)在有了孫武無(wú)法想象的‘多算’設(shè)備——每秒鐘運(yùn)算４０００億次的大型計(jì)算機(jī)。”近日，甘肅計(jì)算中心主任胡鐵鈞面對(duì)媒體發(fā)出了如上感慨。

　　項(xiàng)目需求分析：跨行業(yè)高性能計(jì)算網(wǎng)格拓展甘肅省計(jì)算中心是直屬于甘肅省科技廳的科研事業(yè)單位，是全省計(jì)算機(jī)技術(shù)應(yīng)用、推廣和服務(wù)的專業(yè)化研究與開(kāi)發(fā)機(jī)構(gòu)。2005年為了進(jìn)一步加強(qiáng)高性能方面的實(shí)力，攜手曙光建立了甘肅高性能計(jì)算中心，旨在發(fā)展甘肅省高性能計(jì)算，帶動(dòng)甘肅省計(jì)算技術(shù)、信息技術(shù)和相關(guān)產(chǎn)業(yè)向更高水平發(fā)展，解決甘肅省國(guó)民經(jīng)濟(jì)與產(chǎn)業(yè)發(fā)展、社會(huì)和科學(xué)進(jìn)步、國(guó)防和國(guó)家安全等一系列挑戰(zhàn)性問(wèn)題。

　　甘肅計(jì)算中心主任胡鐵鈞表示：“這幾個(gè)‘花小錢’的雄心勃勃的行動(dòng)，只是我省計(jì)算能力和運(yùn)行方式的一小步結(jié)構(gòu)性變化，帶來(lái)的卻是我省科研基礎(chǔ)能力的一大進(jìn)步：以前我省的眾多科研人員擠出寶貴時(shí)間，花費(fèi)大量科研資金，跑到外地去排隊(duì)進(jìn)行大型運(yùn)算；今后他們只需坐在辦公室里，輕點(diǎn)鼠標(biāo)，向甘肅省計(jì)算中心的‘窗口’發(fā)個(gè)申請(qǐng)，提交運(yùn)算任務(wù)，省計(jì)算中心就把任務(wù)分配到閑著的計(jì)算機(jī)上運(yùn)算，不長(zhǎng)時(shí)間后，運(yùn)算結(jié)果就會(huì)出現(xiàn)在科研人員的電腦上。

　　甘肅省超級(jí)計(jì)算中心致力于建成一個(gè)開(kāi)放可共享的高端計(jì)算環(huán)境，為政府各機(jī)構(gòu)、企事業(yè)、大中專院校、科研單位提供超級(jí)計(jì)算能力、海量信息處理、超大型數(shù)據(jù)庫(kù)管理、尖端技術(shù)科研開(kāi)發(fā)的服務(wù)，將有限的計(jì)算延展為無(wú)限的可能。最終形成應(yīng)用環(huán)境、用戶培訓(xùn)、科普宣傳、應(yīng)用開(kāi)發(fā)、科學(xué)研究、人才培養(yǎng)等功能齊全、布局合理的一流信息化平臺(tái)環(huán)境和產(chǎn)業(yè)基地。

　　在建設(shè)周期方面，初期希望在甘肅省計(jì)算中心建設(shè)管理結(jié)點(diǎn)的集群系統(tǒng)，準(zhǔn)備購(gòu)置主要設(shè)備、軟件，構(gòu)建應(yīng)用環(huán)境，實(shí)現(xiàn)計(jì)算能力，高性能計(jì)算機(jī)采用中國(guó)電信寬帶網(wǎng)和中國(guó)教育網(wǎng)傳輸數(shù)據(jù)。同時(shí)與蘭州大學(xué)構(gòu)建網(wǎng)格試驗(yàn)床。二期建設(shè)將連接蘭州大學(xué)、蘭州交通大學(xué)、蘭州理工大學(xué)、中科院資源環(huán)境科學(xué)信息中心等大專院校、科研院所的高性能計(jì)算系統(tǒng)，完成高速網(wǎng)絡(luò)接入光纖主干網(wǎng)；實(shí)現(xiàn)高性能計(jì)算資源的連接和共享，形成一個(gè)具有強(qiáng)大管理能力和計(jì)算能力的平臺(tái)。三期建設(shè)將逐步完善網(wǎng)格系統(tǒng)，吸納有一定計(jì)算能力的科研單位，提高計(jì)算能力，實(shí)現(xiàn)高性能計(jì)算應(yīng)用，研究網(wǎng)格系統(tǒng)向其他領(lǐng)域的應(yīng)用拓展、應(yīng)用。

　　解決方案：網(wǎng)絡(luò)經(jīng)過(guò)對(duì)需求的分析，可以確定甘肅省高性能計(jì)算中心（網(wǎng)格系統(tǒng)）的建立是利用網(wǎng)格技術(shù)實(shí)現(xiàn)大規(guī)模科學(xué)數(shù)據(jù)集的協(xié)作虛擬化，實(shí)現(xiàn)高要求數(shù)據(jù)分析所進(jìn)行的分布式計(jì)算（共享計(jì)算能力和存儲(chǔ)空間）。網(wǎng)格將在科學(xué)計(jì)算、信息集成領(lǐng)域一展身手，提高甘肅省的科學(xué)計(jì)算能力，是典型的高性能計(jì)算應(yīng)用，需要大規(guī)模系統(tǒng)。

　　對(duì)應(yīng)于甘肅省高性能計(jì)算中心的實(shí)際需要，曙光公司在本次項(xiàng)目中采用了基于機(jī)群架構(gòu)的設(shè)計(jì)思想，采用最新的超級(jí)計(jì)算機(jī)曙光天潮，該款超級(jí)服務(wù)器是一臺(tái)成熟的產(chǎn)品，采用大規(guī)模機(jī)群體系結(jié)構(gòu)，其中采用了許多創(chuàng)新技術(shù)，在平衡創(chuàng)新和可靠性上采用了冗余設(shè)計(jì)方法，每個(gè)創(chuàng)新部件都有成熟的產(chǎn)品部件與之對(duì)應(yīng)，使高性能計(jì)算機(jī)的可擴(kuò)展性得到很大提高，同時(shí)保證應(yīng)用飽和性能的穩(wěn)定。

　　曙光大規(guī)模機(jī)群系統(tǒng)的規(guī)模為22個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)2顆AMD Opteron 64bit處理器，總共44顆處理器，1個(gè)I/O節(jié)點(diǎn)、1個(gè)管理登錄節(jié)點(diǎn)，均為雙AMD Opteron處理器節(jié)點(diǎn)。在應(yīng)用性能方面提高<系統(tǒng)應(yīng)用飽和性能的方法包括，提供輕核心操作系統(tǒng)，單用戶通信軟件、并行I/O庫(kù)，支持多種操作系統(tǒng)；而在系統(tǒng)動(dòng)態(tài)重構(gòu)方面可提高系統(tǒng)的管理能力，提供多種使用模式，包括開(kāi)發(fā)大規(guī)模KVM（Keyboard-Video-Mouse）管理網(wǎng)絡(luò)，操作系統(tǒng)動(dòng)態(tài)加載等。整體系統(tǒng)架構(gòu)如下。

　　圖：曙光體系結(jié)構(gòu)

　　不過(guò)，雖然有了這臺(tái)超級(jí)計(jì)算機(jī)，省計(jì)算中心還有著更為雄心勃勃的行動(dòng)——建立近兩年在國(guó)際上開(kāi)始發(fā)展的網(wǎng)格，針對(duì)甘肅省以高能計(jì)算所為中心建立甘肅超級(jí)計(jì)算網(wǎng)格的設(shè)想，在此套解決方案的網(wǎng)絡(luò)子系統(tǒng)設(shè)計(jì)方面，本項(xiàng)目為曙光4000L大規(guī)模機(jī)群系統(tǒng)配以3套網(wǎng)絡(luò)，分別是高速計(jì)算數(shù)據(jù)傳輸網(wǎng)，千兆數(shù)據(jù)交換網(wǎng)絡(luò)和管理網(wǎng)，分別用于并行計(jì)算時(shí)的數(shù)據(jù)交換、計(jì)算通訊以及I/O讀寫；用戶接入、系統(tǒng)管理控制。高速計(jì)算網(wǎng)采用網(wǎng)絡(luò)，千兆數(shù)據(jù)交換網(wǎng)絡(luò)，兩套網(wǎng)絡(luò)可以互為備份，即千兆以太網(wǎng)可以作為InfiniBand網(wǎng)絡(luò)的備份，千兆以太網(wǎng)可以作為千兆以太網(wǎng)的備份。而且本次項(xiàng)目中所提供的網(wǎng)絡(luò)交換設(shè)備均在曙光機(jī)群服務(wù)器中有大量的成功應(yīng)用案例，所選用的產(chǎn)品無(wú)論是產(chǎn)品質(zhì)量、性能、互聯(lián)、互通性都有所保證。

　　另外，曙光4000L采用數(shù)據(jù)交換網(wǎng)和管理網(wǎng)分開(kāi)的方式，有效地減輕了對(duì)數(shù)據(jù)網(wǎng)的負(fù)載，做到系統(tǒng)管理對(duì)業(yè)務(wù)網(wǎng)絡(luò)完全沒(méi)有干擾。接入管理網(wǎng)采用了百兆以太網(wǎng)，在本項(xiàng)目的曙光4000L機(jī)群系統(tǒng)中，采用了臺(tái)鏡，端口百兆交換機(jī)組成一個(gè)百兆以太網(wǎng)，各節(jié)點(diǎn)通過(guò)它連接成百兆的管理網(wǎng)隊(duì)整個(gè)機(jī)群的管理、監(jiān)控。而千兆計(jì)算網(wǎng)絡(luò)主要用于機(jī)群的、登錄、任務(wù)調(diào)度等系統(tǒng)管理員常用工作。這個(gè)網(wǎng)絡(luò)既是用戶接入、系統(tǒng)管理網(wǎng)絡(luò)，也是高速數(shù)據(jù)網(wǎng)的備份網(wǎng)絡(luò)。通過(guò)網(wǎng)捷網(wǎng)絡(luò)的網(wǎng)絡(luò)管理軟件，網(wǎng)絡(luò)管理員可以通過(guò)一個(gè)中央工作站控制所有網(wǎng)捷網(wǎng)絡(luò)產(chǎn)品軟件和配置的升級(jí)，極大地簡(jiǎn)化了網(wǎng)絡(luò)分配、故障診斷和清除，從而減少安裝和維護(hù)一個(gè)世界級(jí)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的總成本。

　　在規(guī)劃、建設(shè)曙光的存儲(chǔ)系統(tǒng)時(shí)，曙光推薦了磁盤陣列，內(nèi)部硬盤為Ultra 160接口，主機(jī)端口為2Gb FC或Ultra 160 SCSI接口標(biāo)準(zhǔn)的磁盤陣列系統(tǒng)，通過(guò)靈活的可配置性，提供一種強(qiáng)有力的，高性價(jià)比的解決方案，從而更好的控制整體成本。

　　用戶評(píng)價(jià)：從性能到細(xì)節(jié)均，美妙貫穿始終

　　甘肅計(jì)算中心主任胡鐵鈞表示：“曙光4000是一款既能進(jìn)行高性能計(jì)算，又能滿足信息服務(wù)需要的高性能集群系統(tǒng)，在生物、氣象、流體力學(xué)等方面均有非常出色的表現(xiàn)。”面對(duì)于用戶的良好評(píng)價(jià)，曙光的技術(shù)人員介紹到：“該系統(tǒng)完成后的系統(tǒng)可以完成每秒４０００億次的高能運(yùn)算，相當(dāng)于一秒鐘內(nèi)全國(guó)每個(gè)人運(yùn)算３００多次，然后把所有人的運(yùn)算結(jié)果加到一起。以個(gè)人電腦來(lái)打比方，一臺(tái)目前最好的普通電腦運(yùn)算３００天才能完成的任務(wù)，用這種大型計(jì)算機(jī)一天就可以完成。以舊的運(yùn)算設(shè)備來(lái)做對(duì)比，以往用一個(gè)月才能處理完的核物理試驗(yàn)數(shù)據(jù)，現(xiàn)在２、３個(gè)小時(shí)就可以處理完成。”

　　與此同時(shí)，曙光的技術(shù)人員在談及整個(gè)項(xiàng)目的規(guī)劃時(shí)介紹到：“在建設(shè)網(wǎng)格方面，除省計(jì)算中心外，還將蘭州大學(xué)擁有每秒運(yùn)算２０００億次能力，蘭州交通大學(xué)擁有每秒１０００億次能力，西地所擁有每秒４０００億次能力建成一個(gè)開(kāi)放可共享的高端計(jì)算環(huán)境，為政府各機(jī)構(gòu)、企事業(yè)、大中專院校、科研單位提供超級(jí)計(jì)算能力、海量信息處理、超大型數(shù)據(jù)庫(kù)管理、尖端技術(shù)科研開(kāi)發(fā)的服務(wù)，正式運(yùn)行后，這個(gè)網(wǎng)格可以達(dá)到每秒鐘運(yùn)算２萬(wàn)億次的能力”。

　　　　另外，曙光4000L系統(tǒng)充分考慮了國(guó)內(nèi)用戶的本地化要求，管理軟件界面是中文界面，同時(shí)也支持英文界面，可以在程序內(nèi)直接進(jìn)行切換，無(wú)需重新啟動(dòng)。這項(xiàng)功能是曙光機(jī)群管理系統(tǒng)的亮點(diǎn)之一，中文化的界面具有親切的人機(jī)接口，充分滿足了中國(guó)用戶的使用習(xí)慣，對(duì)此用慣了繁瑣英文界面的用戶在操作的時(shí)候顯得頗為興奮。