對用戶而言，他也是想知道流量到底什么時候發(fā)生的，如果手機的問題，他也知道怎么進行防范，這樣就不會發(fā)生類似問題，根據(jù)客戶部門提供的數(shù)據(jù)，可能因為無法提供商網(wǎng)流量詳單造成退費和賠付，會影響到運營商流量計費商務(wù)模式，所以我們建立這種系統(tǒng)意義非常大，第一，我們的系統(tǒng)供聯(lián)通客服人員使用，提供快速查詢服務(wù)，解決流量投訴的問題，另外，我們也準備向最終用戶提供異常的大流量查詢服務(wù)。再一個問題，上網(wǎng)記錄數(shù)據(jù)本身是數(shù)據(jù)的金礦，我們可以通過獲取上網(wǎng)數(shù)據(jù)記錄對流量進行統(tǒng)計。

    海量數(shù)據(jù)的應(yīng)對之策

    對于以上這些問題該如何應(yīng)對呢？聯(lián)通研究院處長王志軍分析處理問題的難點：上網(wǎng)記錄數(shù)據(jù)是海量數(shù)據(jù)，經(jīng)過我們的系統(tǒng)可以分析到，用戶每個用上網(wǎng)記錄基本幾萬到幾十萬，有的用戶五六十萬，我們現(xiàn)在采用的方案是在網(wǎng)關(guān)所有用戶流量必經(jīng)地方采集，分析流量數(shù)據(jù)，然后上成上網(wǎng)記錄話單，話單量非常大。

    聯(lián)通研究院處長王志軍表示，例如用移動手機訪問新浪網(wǎng)首頁，對流量采集設(shè)備基本能生成20條左右上網(wǎng)記錄話單，如果點iPad新聞鏈接，恐怕會產(chǎn)生180條上網(wǎng)記錄，如果訪問淘寶網(wǎng)首頁，會產(chǎn)生60條請求和回應(yīng)，在手機上網(wǎng)記錄當中有大量DNS查詢和推送服務(wù)。以中國聯(lián)通某一個中等省份公司為例，日均上網(wǎng)記錄達到10億條，每個月的數(shù)據(jù)接近9T,整個移動互聯(lián)網(wǎng)也在快速發(fā)展。

    根據(jù)中國聯(lián)通統(tǒng)計，每隔6個月中國聯(lián)通用戶整體上網(wǎng)流量會翻一番，去年平均3G每用戶的流量一年之內(nèi)翻一番，整個流量增長非常迅速，也帶來了上網(wǎng)記錄的量非常非常大。

    傳統(tǒng)IOE方式，IBM小型機，思科數(shù)據(jù)庫存儲，EMC存儲，思科數(shù)據(jù)庫存儲這么大上網(wǎng)記錄時候已經(jīng)不可能了，所以，聯(lián)想采用開源的Hadoop解決，Hadoop本身是系統(tǒng)架構(gòu)，也是開源項目，由Apache基金會開發(fā)，Hadoop本身最底層是分布式文件系統(tǒng)，這個分布式文件系統(tǒng)叫HDFL,在它之上有分布式處理框架，基于Hadoop整個開源項目，上面構(gòu)建了結(jié)構(gòu)化的訪問數(shù)據(jù)庫，在這之上又提供了類似的數(shù)據(jù)挖掘工具，另外也提供了一些分布式同步，以及遠程調(diào)用和序列化工具。

    Hadoop伴隨大數(shù)據(jù)一同火爆起來。現(xiàn)如今，Hadoop已經(jīng)無人不知無人不曉。Hadoop從它一誕生的那天開始就與大數(shù)據(jù)深深地關(guān)聯(lián)到了一起。眾所周知，大數(shù)據(jù)多是出現(xiàn)在這些領(lǐng)域，包括金融、電信、保險以及一些大型互聯(lián)網(wǎng)企業(yè)等。以電信行業(yè)為例，Hadoop在這些領(lǐng)域的應(yīng)用情況是怎么樣的呢？

    Hadoop+HBase+ MapReduce

    對于Hadoop分布式文件系統(tǒng)本身來說，重要的出發(fā)點在于硬件故障是常態(tài)，不是非異常的狀態(tài)，我們可以摒棄采用IBM小型機方案，Hadoop中數(shù)據(jù)可以自動復(fù)制，一份數(shù)據(jù)可以復(fù)制成三份，第一份在一臺服務(wù)器上，第二份數(shù)據(jù)在另外一臺機架的另外一臺服務(wù)器上，第三份數(shù)據(jù)可能在另外一臺機架的另外一臺服務(wù)器上，作為分布式文件系統(tǒng)，每次請求寫入的磁盤和服務(wù)器物理地點可能不一樣，可以帶來高并發(fā)的讀寫請求。

    MapReduce框架分成很多數(shù)據(jù)級，最后再合并處理。HBase分布式數(shù)據(jù)庫是分布式存儲系統(tǒng)，主要特點在正它是四維存儲系統(tǒng)，傳統(tǒng)的數(shù)據(jù)庫是二維表的結(jié)構(gòu)，有行、有列，對它來說，除了有行之外，有列的概念，在列和行之間又可以存放多個版本，在這種情況下相當于四維表結(jié)構(gòu)，好處在于可以靈活的表格結(jié)構(gòu)，每個列組里面的列后來都可以隨機應(yīng)變，我們的采集系統(tǒng)現(xiàn)在在采集一些字段，未來的發(fā)展過程中，為了數(shù)據(jù)挖掘的需要，會采集更多的字段，方便我們在一個結(jié)構(gòu)之下進行更多信息的存儲以及后續(xù)的處理工作。