“面對淘寶業(yè)績的倍數(shù)成長，我們深刻地感到基于Oracle RAC構建企業(yè)級數(shù)據(jù)倉庫是一個正確的選擇，Oracle解決方案為淘寶數(shù)據(jù)倉庫提供了支持未來持續(xù)成長的延展空間，使我們能夠隨著業(yè)務的發(fā)展不斷提升數(shù)據(jù)倉庫環(huán)境的性能，滿足公司在市場分析和預測方面迅速增長的業(yè)務需求。” ——汪海 淘寶網(wǎng)資深總監(jiān)

　　淘寶網(wǎng)（www.taobao.com）由阿里巴巴集團于2003年5月10日投資創(chuàng)辦，淘寶的業(yè)務范圍跨越了C2C（個人對個人）和B2C（商家對個人）兩大部分，是亞洲最大的購物網(wǎng)站。

　　淘寶于2004開始基于Oracle產(chǎn)品構建企業(yè)級數(shù)據(jù)倉庫(EDW)，并于2007年、2008年和2009年三次利用Oracle RAC 10g和Oracle RAC 11g對數(shù)據(jù)倉庫系統(tǒng)進行了升級和擴充，將數(shù)據(jù)倉庫部署在全球領先的RAC系統(tǒng)——由20個節(jié)點組成的單一數(shù)據(jù)庫集群——之上，使淘寶在數(shù)據(jù)倉庫規(guī)模每年成倍擴大的情況下，實現(xiàn)了數(shù)據(jù)處理和分析時效性的不斷提升，過去需要數(shù)天才能完成的計算現(xiàn)在當天能完成，部分以前屬于小時級別的計算更是提高到了分鐘級別。目前，淘寶數(shù)據(jù)倉庫能夠每天處理幾億次的用戶行為，日處理的數(shù)據(jù)量接近30TB，堪稱目前國內(nèi)每天數(shù)據(jù)處理量最大、最忙的數(shù)據(jù)倉庫。

　　淘寶首席DBA、資深技術專家陳吉平指出:“淘寶數(shù)據(jù)倉庫不僅僅是一套數(shù)據(jù)存儲和管理系統(tǒng)，更是一套與業(yè)務數(shù)據(jù)緊密結合的動態(tài)數(shù)據(jù)倉庫系統(tǒng)，系統(tǒng)需要每天甚至每小時動態(tài)地處理海量的增量數(shù)據(jù)和全量數(shù)據(jù)，Oracle RAC無論是在基礎架構方面和還是在性能方面都非常適合我們實施高效的海量數(shù)據(jù)處理。”

　　構建數(shù)據(jù)倉庫，續(xù)寫電子商務傳奇

　　淘寶通過搭建一個完全自由競爭的互聯(lián)網(wǎng)交易基礎設施，創(chuàng)造出了一個包括了買家、賣家、支付、物流、金融、廣告、搜素等環(huán)節(jié)在內(nèi)的商業(yè)生態(tài)系統(tǒng)。然而面對淘寶所創(chuàng)造的電子商務傳奇，淘寶的管理層清醒地認識到：盡管淘寶的快速發(fā)展揭示了中國的確存在巨大的電子商務潛在用戶基礎，但是在另一方面，中國電子商務市場目前還是一個年輕的、還遠沒有成熟的市場，因此淘寶需要為店鋪和消費者不斷提供更新、更全面的服務，從而全面促進客戶體驗，通過企業(yè)級數(shù)據(jù)倉庫來洞察與了解客戶的需求則是實現(xiàn)以上目標的最有效手段之一。

　　利用Oracle的數(shù)據(jù)倉庫技術，淘寶實現(xiàn)了將分散在不同業(yè)務系統(tǒng)中的業(yè)務數(shù)據(jù)高效地抽取到集中的數(shù)據(jù)倉庫平臺，這些完整記錄了訪問點擊、交易過程、商品類目屬性以及呼叫中心客服內(nèi)容等方面信息的海量數(shù)據(jù)，通過數(shù)據(jù)倉庫的各種技術手段進行綜合的處理，并生成反映最新狀況的統(tǒng)計分析數(shù)據(jù)、指標和報表，可以精確地反映出在瀏覽、交易、商品等方面的最新用戶行為和業(yè)務趨勢，使淘寶能夠及時了解和掌握用戶的核心興趣和消費特征，在交易中提供精準的個性化服務，同時在店鋪的各個發(fā)展階段有針對性地設計增值服務，全方位增強了企業(yè)的市場競爭能力。

　　利用高性能平臺應對海量數(shù)據(jù)處理的挑戰(zhàn)

　　目前淘寶數(shù)據(jù)倉庫的數(shù)據(jù)量接近30TB，但與大多數(shù)數(shù)據(jù)倉庫不同的是，淘寶這30TB數(shù)據(jù)基本上都是需要每天進行動態(tài)分析的。例如，為了達到監(jiān)控虛假的交易信息和評價，淘寶數(shù)據(jù)倉庫需要每天查詢和分析用戶的評價及其星級變換情況，確保淘寶星級誠信體系的權威性。再例如《i淘寶》——淘寶的個性化推薦平臺——可以根據(jù)用戶在淘寶上的歷史行為習慣，直接給用戶推薦適合的商品、店鋪、好友等。然而要得出個性化的推薦結果，需要將每天大量的客戶行為軌跡信息與會員信息、商品屬性信息結合起來進行綜合分析處理，看似簡單的個性化推薦其背后是極為龐大的數(shù)據(jù)計算。淘寶數(shù)據(jù)倉庫不僅計算量十分巨大，且計算實效性要求很高，這就決定了它對于數(shù)據(jù)處理能力的需求遠高于一般的數(shù)據(jù)倉庫。

　　陳吉平表示:“Oracle RAC 強大的并行處理能力為我們應對處理海量數(shù)據(jù)的挑戰(zhàn)提供了極大的幫助，在單個節(jié)點內(nèi)部，并行計算和非并行計算的效率差別是很大的。在一次性處理特別大量數(shù)據(jù)的時候，Oracle RAC的跨節(jié)點并行計算功能則體現(xiàn)了更大的作用。”

　　在《i淘寶》實現(xiàn)個性化推薦的計算中，通過使用Oracle RAC 跨節(jié)點并行技術，淘寶數(shù)據(jù)倉庫實現(xiàn)了相關模塊計算時間的顯著縮短，最多的縮短了2小時以上，最少的也縮短了30分鐘，為淘寶成功實施個性化推薦提供了重要保障。

　　陳吉平進一步指出：“除了《i淘寶》的個性化推薦之外，淘寶數(shù)據(jù)倉庫還提供了店鋪內(nèi)推薦、精確郵件定向營銷以及購物風尚榜等服務項目，同時每天出具400張左右的報表，這些服務項目和數(shù)據(jù)指標使用起來非常簡單，其實它們都是來自于海量數(shù)據(jù)的高度濃縮，基于Oracle RAC的高性能平臺很好地支持了這些非常復雜的計算過程。”

　　系統(tǒng)可輕松擴展，支持業(yè)務的高速發(fā)展

　　從2004年開始構建企業(yè)級數(shù)據(jù)倉庫以來，淘寶數(shù)據(jù)倉庫不僅所處理業(yè)務數(shù)據(jù)每年增長數(shù)倍，更是需要不斷完成新的業(yè)務需求。利用Oracle RAC能支持線性擴展的特點，淘寶輕松完成了數(shù)據(jù)倉庫平臺由Oracle RAC 4節(jié)點環(huán)境到12節(jié)點環(huán)境再到20節(jié)點環(huán)境的擴展，使數(shù)據(jù)倉庫能夠從容應對業(yè)務需求快速變化和業(yè)務數(shù)據(jù)爆炸式增長的挑戰(zhàn)，過去需要數(shù)天才能完成的計算現(xiàn)在當天就能完成，部分以前屬于小時級別的計算更是提高到了分鐘級別。

　　陳吉平表示:“Oracle RAC 支持線性擴展的能力對我們來說特別重要，在大多數(shù)情況下，Oracle RAC 能夠?qū)崿F(xiàn)計算能力和節(jié)點數(shù)按照線性比例增加，基本上是節(jié)點數(shù)的翻倍，處理同樣數(shù)據(jù)量的計算時間減半，這對于我們根據(jù)業(yè)務的發(fā)展趨勢和需求變化，經(jīng)濟合理地進行IT擴容有非常大的幫助。”

　　利用Oracle RAC，淘寶實現(xiàn)了根據(jù)業(yè)務發(fā)展需要的對系統(tǒng)進行“按需擴展”。例如，將系統(tǒng)從12節(jié)點擴展到20節(jié)點，使近500個ETL任務能夠在每天的0：30-9：00之間全部準時完成,保證了數(shù)據(jù)集市中數(shù)據(jù)的新鮮度可以到最近的一天，同時實現(xiàn)了在新業(yè)務上線后的第一時間內(nèi)就能夠分析出業(yè)務的合理估值和效果。

　　為什么選擇 Oracle：

　　陳吉平表示:“淘寶數(shù)據(jù)倉庫是典型的互聯(lián)網(wǎng)數(shù)據(jù)倉庫，源頭業(yè)務變化非常快，這對于數(shù)據(jù)倉庫平臺的基礎架構和性能方面都構成了極大的挑戰(zhàn)，我們之所以選擇Oracle RAC構建淘寶數(shù)據(jù)倉庫，主要考慮該系統(tǒng)在以下三個方面的優(yōu)勢能夠幫助我們應對挑戰(zhàn)：

　　1、并行處理能力：

　　淘寶數(shù)據(jù)倉庫中的許多業(yè)務查詢與分析都是動態(tài)的，數(shù)據(jù)處理量十分巨大，且實效性要求很高，Oracle RAC具有非常好的并行處理能力，這對動態(tài)查詢和模糊查詢有很大幫助，能夠有效滿足淘寶數(shù)據(jù)倉庫這種復雜和動態(tài)的海量數(shù)據(jù)分析處理需求。

　　2、可線性擴展能力：

　　對于淘寶這樣處于新興行業(yè)中且高速發(fā)展的企業(yè)來說，Oracle RAC 良好的線性擴展能力極為重要，它使得淘寶可以在需要的時候通過向集群中增加低成本的普通服務器來滿足高性能的數(shù)據(jù)處理需求，從而獲得在目前市場環(huán)境下尤為重要的經(jīng)濟性。更為重要的是，Oracle RAC的線性擴展能力能夠保證我們始終提供整個企業(yè)統(tǒng)一的信息視圖和數(shù)據(jù)集市。

　　3、高效的系統(tǒng)管理能力：

　　對于大型的數(shù)據(jù)倉庫應用系統(tǒng)而言，如何能有效而簡單地進行系統(tǒng)管理是非常重要的。特別是當數(shù)據(jù)量不斷擴大時，如果沒有一種有效而且簡單的系統(tǒng)管理措施，那么系統(tǒng)的運行費用將會很高。Oracle ASM提供了磁盤管理、數(shù)據(jù)流量平衡，空間管理以及自動創(chuàng)建和刪除數(shù)據(jù)文件等自動化的存儲管理功能，可以有效增加數(shù)據(jù)倉庫系統(tǒng)管理動態(tài)數(shù)據(jù)庫環(huán)境的靈活性，提高存儲管理效率并降低管理成本。