2001年11月10～16日，在美國克科羅拉多州丹佛市召開的“超級計算2001”會議上，中國農(nóng)業(yè)銀行山東省分行（山東農(nóng)行）數(shù)據(jù)中心系統(tǒng)被評為全球最大的500個商用計算機系統(tǒng)中的第150名，該行采用的HP公司超騰主機省域數(shù)據(jù)中心也被認為是亞洲最大的商用Unix系統(tǒng)。山東農(nóng)行的成功有力地證明了Unix平臺可以勝任數(shù)據(jù)大集中的要求！

   這是一個值得玩味的案例，其可玩味之處在于：當銀行業(yè)幾乎都是在“集中就是Mainframe”這種思維方式下進行信息化的時候，山東農(nóng)行對Unix系統(tǒng)的嘗試為這個行業(yè)提供了一個可行的參照！

    案例故事

    2000年5月，中國農(nóng)業(yè)銀行（簡稱為農(nóng)行）在安徽省召開會議，部署推廣“新一代”綜合業(yè)務應用系統(tǒng)（簡稱“新一代”）工作。山東農(nóng)行副行長楊賽光參加了這次會議，并如愿以償?shù)厥股綎|農(nóng)行成為第一批推廣行。于是，山東農(nóng)行醞釀多時的數(shù)據(jù)中心整合（即數(shù)據(jù)大集中）和“新一代”推廣部署緊鑼密鼓地開始了。

    “新一代”系統(tǒng)是農(nóng)行1997年開發(fā)成功的，并于1998年在寧夏推廣，該系統(tǒng)包含綜合柜員制等目前國際銀行業(yè)最先進的管理手段，所以下面的省行都爭著上“新一代”。

    起初，山東農(nóng)行的想法只是推好“新一代”，并沒有急著考慮數(shù)據(jù)集中，可是到了2000年下半年，總行一聲令下，計劃也就隨之變了。農(nóng)行決定，地方農(nóng)行在推廣新系統(tǒng)的同時，要加快省域數(shù)據(jù)中心的建設步伐。

    山東是農(nóng)行的業(yè)務大省，到去年年底，該行各項存款達到1080億元，各項貸款900億元，在全國農(nóng)行排名三四位; 個人儲蓄業(yè)務達到760億元，有將近700萬儲戶。由于業(yè)務量巨大，僅推行“新一代”山東農(nóng)行就已經(jīng)感到壓力很大，再來一個數(shù)據(jù)集中，難度可想而知。 此外，山東農(nóng)行還有自身的特殊情況。兩年前，山東農(nóng)行實現(xiàn)了兩個聯(lián)網(wǎng): 以市行為分中心，連接所有營業(yè)網(wǎng)點; 2000年初實現(xiàn)了全省17個分中心的聯(lián)網(wǎng)，并利用IBM MQ Series作為中間件在省行建了一個交換中心，實現(xiàn)了全省范圍內(nèi)所有儲蓄業(yè)務的通存通兌，在當時被媒體稱為“中國金融界第一大省網(wǎng)”。 楊賽光說: “如果沒有實現(xiàn)聯(lián)網(wǎng)，推廣‘新一代’和數(shù)據(jù)中心的難度就小得多，因為不受任何時間的限制。”在推廣“新一代”之前，山東農(nóng)行每天跨市的通存通兌業(yè)務在5000筆左右，金額在幾千萬元以上，客戶對這個網(wǎng)越來越認可，而要推廣“新一代”、建數(shù)據(jù)中心必須把這個網(wǎng)停下來。

    8個月精挑細選

    在山東農(nóng)行決定上兩個系統(tǒng)之后，迫在眉睫的事情是決定系統(tǒng)的主機。在國內(nèi)，一提到金融數(shù)據(jù)集中，就會想到IBM的Mainframe大型機，因為幾乎所有國內(nèi)商業(yè)銀行的主機都采用了IBM的產(chǎn)品。

    然而山東農(nóng)行卻另有苦衷。在該行全省的16個分中心里，用IBM設備的只有4家，其余的12個分行和省行交換中心都采用了惠普Unix系統(tǒng)。開始，山東農(nóng)行也把目光投向了IBM S/390，但山東農(nóng)行總工程師宋傳杰認為，390屬于Mainframe系列，如果采用這個平臺，則需要一批Mainframe系統(tǒng)領域的資深專家，但山東農(nóng)行目前缺乏這種人力資源，選擇IBM是否合適？另外，“新一代”的第一個版本是在Unix平臺上開發(fā)的，宋傳杰認為，從一種Unix系統(tǒng)到另一種Unix系統(tǒng)的轉(zhuǎn)移都很困難，要從Unix平臺過渡到Mainframe上面，會更加麻煩。

    山東農(nóng)行決定先試一試Unix平臺。但是，用Unix平臺進行數(shù)據(jù)集中還沒有先例，這樣做無異于第一個“吃螃蟹”。 由于許多專家認為“數(shù)據(jù)中心整合只能使用Mainframe”是金科玉律，因此希望結(jié)合兩種平臺，實現(xiàn)“Mainframe強大的數(shù)據(jù)吞吐能力、高可靠性”與“Unix的靈活、低成本和知識資產(chǎn)”的優(yōu)勢互補。與此同時，專家們也悄悄地準備試一試Unix平臺，畢竟在全球，Unix平臺已經(jīng)在一些金融機構(gòu)中承擔了數(shù)據(jù)集中的關(guān)鍵業(yè)務。

    沒有不透風的墻，這個想法一傳出去，很快就遭到了同行的“恥笑”，像山東農(nóng)行這么大的業(yè)務量，要進行數(shù)據(jù)集中，幾乎沒有人相信Unix平臺能夠勝任。 在隨后幾個月時間內(nèi)，宋傳杰領導一個小組，帶著“新一代”程序到不同的平臺上做測試。他們一條腿踩在IBM S/390 Mainframe上另一條腿踩在Unix上，以驗證Unix平臺的可行性。 作為Unix平臺的代表廠商，惠普公司自然成為考察的首選目標，惠普超騰服務器的推出，使很多人看到了在大機上除了IBM，還有另外一種選擇的希望。后來，宋傳杰與同事們到惠普的日本測試中心做Benchmark測試，測試的結(jié)果讓宋傳杰很滿意。

    山東農(nóng)行確定在主機的選擇上就看誰的性價比高。宋傳杰稱，如果采用IBM的Mainframe系統(tǒng)，需要花1600萬美元，而惠普的產(chǎn)品只需500萬美元，結(jié)果自然就是惠普了。 “商業(yè)銀行的目的就是賺錢，所以我們必須考慮成本！”楊賽光在接受記者采訪時表示。

    其實，宋傳杰并非刻意要采用開放式系統(tǒng)，他認為，“目前，從應用的角度看，沒有真正意義上的封閉式系統(tǒng)，也沒有真正意義上的開放式系統(tǒng)。IBM的S/390是支持Linux最好的機器，而惠普的機器雖然是開放式系統(tǒng)，但把惠普機器上的程序拿到Sun的機器上，同樣跑不動，盡管它們都是Unix平臺。所以，系統(tǒng)的開放與封閉是相對的?！?/P>

    宋說: “20世紀90年代初期，那么多人都認為Mainframe是恐龍，一定會被Client/Server系統(tǒng)消滅時，我堅信Mainframe一定厚積薄發(fā)。我本人有超過15年的Mainframe工作、技術(shù)、管理經(jīng)驗，對Mainframe非常有感情。我的第一意識是Mainframe。但是，當Mainframe和Unix系統(tǒng)都能勝任之時，你需要認真對待投入產(chǎn)出比（即ROI）,你需要考慮運行成本、人力資源成本的差異，你需要認真考慮如何才能保護好企業(yè)或組織內(nèi)部的知識資產(chǎn)以及知識資產(chǎn)積累或舍棄的代價。    ” 在宋看來，不論是Mainframe還是Unix，都是一個或一堆Box，如何賦予它們生命才是最重要的。能不能在這個Box上增值，讓業(yè)務在上面跑起來才是關(guān)鍵。宋認為，投資少只是一個方面，更重要的是讓系統(tǒng)快速部署下去，對于山東農(nóng)行來說，Unix平臺顯然更符合這個要求！

    農(nóng)行在選擇系統(tǒng)平臺的時候，并不是以系統(tǒng)的開放或封閉性為標準，而是重點考慮企業(yè)內(nèi)部信息技術(shù)和人力資源的分布以及知識財產(chǎn)的積累與投入、已有資源的繼承和保護。總之，滿足需求的系統(tǒng)平臺就是最好的選擇。

    20個月緊鑼密鼓

    如果從1999年年底開始算起，到2001年8月4日召開全省“新一代”動員大會，山東農(nóng)行花在系統(tǒng)準備的時間足足有20個月之久。 

    在尋找主機方案的同時，其他各項準備工作都已經(jīng)全面展開。首先做培訓，山東農(nóng)行前前后后做了兩次大規(guī)模的培訓，每次參加培訓的人員都在1萬以上。1999年底，山東農(nóng)行針對“新一代”在寧夏推廣的版本進行培訓，到了2001年4月，總行“新一代”的版本在山東開始做版本優(yōu)化，花了兩個月的時間，新的版本與寧夏使用的版本相比，增加了一卡通等新的功能，不得不再次培訓。

    接下來是賬務準備。這個任務同樣艱巨，從2000年5月份開始到系統(tǒng)正式推廣使用，山東農(nóng)行在全省進行了三次財務檢查。這是一項范圍大且細致的工作。楊賽光說，全省3400多個網(wǎng)點，沒有一個網(wǎng)點敢說自己賬賬相符，有的網(wǎng)點問題很多。另外，農(nóng)行以前有幾萬個代辦單，這些老系統(tǒng)遺留的問題不解決，到了新系統(tǒng)中就更難辦。

    第三方面是設備準備。包括省行中心的設備準備和基層網(wǎng)點的設備準備。省行中心的設備主要是主機的選擇，但是工作量最大的還是營業(yè)網(wǎng)點的客戶終端、主機、打印機和監(jiān)控系統(tǒng)等設備的準備。

    第四是人員的準備。實行綜合柜員制以后，要求柜員不但可以辦理儲蓄業(yè)務，還可以辦理會計業(yè)務、聯(lián)行業(yè)務等等，以前每個人只需負責一塊，如辦儲蓄的不辦聯(lián)行業(yè)務，所以要通過大量的培訓以獲得大量符合要求的人員。

    在整個組織推廣過程中，山東農(nóng)行做了一些詳細的方案(如培訓)，每一個市分行的切換都單獨有一個方案。楊賽光說: “由于我們的準備工作考慮得比較周到和全面，所以整個推廣工作也能比較順利地進行?！?/P>

    30分鐘驚心動魄

    山東農(nóng)行新系統(tǒng)的切換從萊蕪開始。因為萊蕪營業(yè)網(wǎng)點一共只有39個，是山東農(nóng)行業(yè)務量最小的一個行，選擇它風險相對小一些。由于這次切換得到了總行的全力支持，因此初戰(zhàn)告捷，2001年7月1日，萊蕪正式切換成功，給整個系統(tǒng)切換提供了寶貴的經(jīng)驗。

    也許是求勝心切，也許是形勢所迫，山東農(nóng)行很快把下一個目標放在了至關(guān)重要的濟南分行。楊賽光說，這也是逼上梁山，原計劃在10月中旬進行濟南分行的切換，可是已經(jīng)等不及了。由于業(yè)務的發(fā)展很快，濟南分行的設備死機的現(xiàn)象較多，網(wǎng)點已怨聲載道。在這種情況下，山東農(nóng)行準備從濟南開刀。楊賽光說，雖然風險相對大一點，但是只要拿下濟南，其他的地方就可以暢通無阻了。

    9月10日，山東農(nóng)行做出了切換濟南系統(tǒng)的決定，時間定在9月22日晚，23日開門營業(yè)。

    22日系統(tǒng)完成切換，當日，“險情”就發(fā)生了！早上一開門，全市很多網(wǎng)點都出現(xiàn)不同程度的異常，全市很多的網(wǎng)點都采用新系統(tǒng)、新賬號，客戶輸入的密碼卻總是驗證失敗?？蛻糁?，前臺柜員緊張。 此時，最著急的還是宋傳杰。坐鎮(zhèn)指揮中心的他聽到電話鈴聲響成一片，十幾部熱線電話都是告急的消息，省行的領導們都在機房外邊。濟南分行的行長也來了，臉色泛白。通常9月以后的幾個月是銀行的旺季，業(yè)務量很大，如果切換失敗或者處理速度沒有明顯改善，報紙一宣傳，客戶還不都跑了。他焦急地問宋傳杰：“老兄，怎么辦？”

    在投入運行之前，山東農(nóng)行已經(jīng)做了無數(shù)次測試，問題出現(xiàn)得莫名其妙。急歸急，但宋傳杰對于系統(tǒng)從來都沒有懷疑過。他立即打電話詢問萊蕪，萊蕪答復一切正常。宋傳杰想，肯定是有些關(guān)鍵的、與濟南有關(guān)的步驟給漏掉了。

    機房內(nèi)總行、省行的技術(shù)人員們緊張但有條不紊地檢查問題所在?？諝鈳缀跄塘?。20多分鐘之后，在上百萬代碼和幾十萬系統(tǒng)運行信息中，Bug終于被抓住了！問題出在涉及客戶信息、資金安全的數(shù)據(jù)加密啟用開關(guān)上，由于工作人員高度緊張，在投產(chǎn)之前的參數(shù)最后確認中，把on當成了off。龐大的系統(tǒng)“怪獸”發(fā)出了順利運行的信號，成功了！機房的空氣立即歡騰起來。所有的人都松了一口氣。雖然整個過程只有30多分鐘，但這30分鐘每個人都經(jīng)歷了最艱難的時刻！宋傳杰擦著汗幽默地說了一句：“這才叫刺激！”

    事后宋透露，實際上這還是操作流程有問題，因為原計劃切換過程中停業(yè)一天一夜，以便有充裕的時間來解決問題，而且這也是在人民銀行允許的時間范圍之內(nèi)。但是該行最終還是決定只用半天的時間來完成切換。這是個教訓！

    在之后的日子里，雖然陸續(xù)也有問題出現(xiàn)過，但一切盡在工程師們的掌握之中。因為“新一代”還從來沒有在像山東農(nóng)行這么大的交易量中運行過，而軟件都有處理瓶頸，當系統(tǒng)切換的時候，每切換一部分，業(yè)務量就增大一截，一旦大到出現(xiàn)瓶頸的時候，就會產(chǎn)生問題，而這些問題在模擬測試中是沒有辦法測出來的，因為真實環(huán)境中業(yè)務量是隨機的，這時候只能是發(fā)現(xiàn)一個解決一個。

    解決了濟南的問題，一塊大石頭終于落了地。切換勢如破竹，5天一個行，到最后的日照和棗莊兩個行一晚上就切換成功，比原定的時間提前了一個月。

 
    技術(shù)分析 主機處理能力需求估算

    目前廣為使用的衡量主機系統(tǒng)聯(lián)機事務處理能力的指標是TPC-C。按照山東省農(nóng)行對核心業(yè)務系統(tǒng)的規(guī)劃，在未來3～5年內(nèi)，系統(tǒng)的日均處理能力將達到300萬筆，考慮峰值因素，系統(tǒng)的處理能力應達到每分鐘處理交易2萬筆以上。同時即使在滿負荷運行的情況下，系統(tǒng)也應保證70%的主機CPU處理余量，用于系統(tǒng)、數(shù)據(jù)庫、中間件、工具軟件、監(jiān)控軟件或其他應用系統(tǒng)的使用，同時還應考慮新業(yè)務品種的開發(fā)和新業(yè)務的應用。因此，對應計算的標準TPC估值為：3000000×5/(120×70%)=178600

    惠普超騰服務器Superdome在配置48顆PA 8600CPU和48GB內(nèi)存的情況下，應用Sybase數(shù)據(jù)庫，其在線事務處理（OLTP）的性能可達25.3萬標準TPC-C。在本項目中，惠普配置了2臺Superdome，通過HP MC/ServiceGard構(gòu)成雙機集群，每臺Superdome配置48顆CPU、96GB內(nèi)存，其OLTP性能接近250000TPM。

    層次化的功能處理方式

    針對山東農(nóng)行目前的現(xiàn)狀，惠普在山東農(nóng)行數(shù)據(jù)中心采取了大集中的方式。在功能上包括數(shù)據(jù)訪問層和應用服務層，同時采用集中式數(shù)據(jù)管理和分布式應用管理兩種方法構(gòu)建數(shù)據(jù)中心。

    在應用服務層，采用可堆疊的主機構(gòu)成的集群系統(tǒng)以實現(xiàn)業(yè)務提出的不斷升級的擴展能力，同時做到按功能劃分的應用系統(tǒng)，例如圖示中的核心銀行系統(tǒng)、網(wǎng)上銀行系統(tǒng)等分別位于不同的應用服務器上。在數(shù)據(jù)訪問層，采用冗余主機構(gòu)成集群系統(tǒng)以實現(xiàn)互為熱備份和不停機作業(yè)；存儲系統(tǒng)由大容量智能存儲設備構(gòu)成，為數(shù)據(jù)訪、存提供高帶寬的強有力的支持，同時還可以實現(xiàn)數(shù)據(jù)的快速備份和遠程數(shù)據(jù)備份容災,并為下一步容災系統(tǒng)的建立奠定基礎; 磁帶庫提供數(shù)據(jù)的海量存儲和快速備份。

    三層客戶/服務器體系結(jié)構(gòu)

    數(shù)據(jù)中心采用高速局域網(wǎng)如千兆以太網(wǎng)互聯(lián)，以保證數(shù)據(jù)中心連接的暢通和快速交互。另建立一個集成化的網(wǎng)絡和系統(tǒng)管理中心，以實現(xiàn)中心的智能化和自動化管理。在大集中數(shù)據(jù)中心的物理結(jié)構(gòu)上也是采用三層結(jié)構(gòu)，以滿足企業(yè)級系統(tǒng)需要的三層客戶/服務器體系結(jié)構(gòu)(如右圖所示)。這種大集中數(shù)據(jù)中心結(jié)構(gòu)使得各層功能和數(shù)據(jù)完全獨立，適合于大規(guī)模計算和變化多端的環(huán)境。

    其中，第一層為前端中心，提供通信和操作界面所需的功能; 第二層是數(shù)據(jù)中心，即包括網(wǎng)關(guān)服務器和應用服務器，前者主要完成網(wǎng)絡網(wǎng)關(guān)服務和數(shù)據(jù)庫網(wǎng)關(guān)服務，后者為典型的應用服務器，響應前端交易請求和訪問第三層的數(shù)據(jù)庫服務器，以完成業(yè)務的邏輯處理；第三層為數(shù)據(jù)庫服務器和數(shù)據(jù)存儲設備，主要運行數(shù)據(jù)庫管理系統(tǒng)及與業(yè)務相關(guān)的數(shù)據(jù)訪問和存儲過程等。

    不再是Mainframe的天下？

    山東農(nóng)行吃螃蟹的案例，無疑為Unix系統(tǒng)在大型的數(shù)據(jù)集中等應用中豎起了一面旗幟。記者了解到，目前江西農(nóng)行、陜西農(nóng)行、湖南農(nóng)行、安徽農(nóng)行等銀行都將采用Unix系統(tǒng)進行數(shù)據(jù)集中。中國惠普金融事業(yè)部總經(jīng)理吳亞西對記者說，山東農(nóng)行的成功有力地證明了Unix平臺能夠穩(wěn)定、安全地支持金融數(shù)據(jù)大集中，而在價格方面，Mainframe系統(tǒng)是Unix系統(tǒng)的3～4倍。這種對比不禁讓人懷疑，Mainframe一統(tǒng)天下是否現(xiàn)實？

    一些數(shù)據(jù)統(tǒng)計可以支持這種觀點。幾年前，銀行要求集中處理的能力每秒達到500筆交易，每天就有上千萬筆，那時只有IBM的Mainframe大型機有這個能力，而且客戶對它的安全性也比較認同。但是經(jīng)過幾年的發(fā)展，Unix平臺已經(jīng)取得了長足的進步：在安全方面，世界上已經(jīng)有電信計費、證交所等關(guān)鍵領域采用了Unix平臺，其安全級別已經(jīng)達到了B2；從處理能力來講，惠普超騰服務器每秒鐘的處理峰值能力為1500筆，一天可處理5000萬筆交易，而目前工行一天的交易量也只有2000萬筆。

    但很多人可能依然對Unix持懷疑態(tài)度。他們或許會問，像山東農(nóng)行這樣業(yè)務發(fā)展如此迅速的銀行，幾年以后，Unix平臺還能承受得了嗎？山東農(nóng)行是否只是貪圖便宜？對此，宋傳杰的看法是，不管是用Mainframe 還是Unix，3年以后，系統(tǒng)肯定是要升級的。如果業(yè)務需求真有如此之大的話，肯定得用Mainframe，可是，目前在中國金融界有那么大的需要嗎？或許中國的銀行10年之后才可能需要那么大的處理能力，但是，又有誰知道10年之后的Unix是什么樣子呢？從過去10年的發(fā)展來看，Unix不斷把Mainframe上一些好的東西吸收進來，比如對硬件資源的分區(qū)，把一臺機器分割為幾臺來使用，過去這是Mainframe的專項，但現(xiàn)在，HP、IBM、Compaq和Sun的Unix系統(tǒng)上都可以做了。從中我們可以感覺到，Mainframe和Unix都在向前發(fā)展，但Unix的步伐整體上要略快于Mainframe。

    這些或許可以為標題中的問題提供一些答案，但拋開這些性能方面的比較不談，單從用戶的角度看，相信誰都希望自己能多一種選擇，有競爭總是好事情。