2014年4月10日-12日,第五屆中國數(shù)據(jù)庫技術(shù)大會(DTCC 2014)在北京五洲皇冠國際酒店拉開序幕。在為期三天的會議中,大會將圍繞大數(shù)據(jù)應(yīng)用、數(shù)據(jù)架構(gòu)、數(shù)據(jù)管理、傳統(tǒng)數(shù)據(jù)庫軟件等技術(shù)領(lǐng)域展開深入探討,并將邀請一批國內(nèi)頂尖的技術(shù)專家來進行分享。本屆大會將在保留數(shù)據(jù)庫軟件應(yīng)用實踐這一傳統(tǒng)主題的基礎(chǔ)上,向大數(shù)據(jù)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)治理與分析、商業(yè)智能等領(lǐng)域進行拓展,以滿足于廣大從業(yè)人士和行業(yè)用戶的迫切需要。

自2010年以來,國內(nèi)領(lǐng)先的IT專業(yè)網(wǎng)站IT168聯(lián)合旗下ITPUB、ChinaUnix兩大技術(shù)社區(qū),已經(jīng)連續(xù)舉辦了四屆中國數(shù)據(jù)庫技術(shù)大會,每屆大會與會規(guī)模超千人,大會云集了國內(nèi)水平最高的數(shù)據(jù)架構(gòu)師、數(shù)據(jù)庫管理和運維工程師、數(shù)據(jù)庫開發(fā)工程師、研發(fā)總監(jiān)和IT經(jīng)理等技術(shù)人群,是目前國內(nèi)最受歡迎、人氣最高的的數(shù)據(jù)庫技術(shù)交流盛會。今年是中國數(shù)據(jù)庫技術(shù)大會五周年,大會將繼續(xù)秉承分享IT最佳應(yīng)用實踐的宗旨,圍繞傳統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)兩條技術(shù)主線,在目前IT技術(shù)和管理快速的大背景下,更加深入地探討數(shù)據(jù)庫技術(shù)的現(xiàn)狀和未來的發(fā)展方向,以及我們在這個轉(zhuǎn)型過程中的實踐經(jīng)驗和教訓。
在4月10日上午的《數(shù)據(jù)庫技術(shù)探索》主題演講中,來自中國移動研究院云計算系統(tǒng)部總經(jīng)理助理錢嶺先生,為我們分享了關(guān)于《電信運營商大數(shù)據(jù)平臺和應(yīng)用實踐》的相關(guān)話題,其中主要包括兩個部分,電信運營商大數(shù)據(jù)面臨的挑戰(zhàn)和“大云”大數(shù)據(jù)平臺的研發(fā)。
電信運營商大數(shù)據(jù)面臨的挑戰(zhàn)
在談到電信運營商在大數(shù)據(jù)時代的優(yōu)勢和機遇時,錢嶺表示,通信記錄著人們在現(xiàn)代社會的信息指紋,比如:電話號碼的背后是人的行為;流量的分析和內(nèi)容檢測是人的需求等等。我們可以結(jié)合自身的特殊數(shù)據(jù)來尋找潛在的資源。大數(shù)據(jù)給電信運營商帶來了很好的發(fā)展機遇,通過一些結(jié)合社會化的數(shù)據(jù),可以提高用戶的體驗;通過個人位置信息的分析、匹配,可以提供創(chuàng)新服務(wù)。數(shù)據(jù)的結(jié)合,在公共衛(wèi)生、疾病防治、金融保險等方面都會發(fā)揮作用。
大數(shù)據(jù)給運營商從技術(shù)和業(yè)務(wù)兩個層面都帶來挑戰(zhàn)。從技術(shù)來講,主要是數(shù)據(jù)的管理、采集、分析不足。數(shù)據(jù)量的增加使得運營商傳統(tǒng)的處理數(shù)據(jù)和存儲壓力增大,數(shù)據(jù)類型的多樣化使得傳統(tǒng)數(shù)據(jù)處理窗口難以處理。另外,運營商知道用戶訪問過哪些網(wǎng)站,但是不知道用戶究竟看了哪些內(nèi)容;或者知道用戶在哪個地址,但是不知道用戶在哪個地點。在數(shù)據(jù)分析方面,運營商希望復合關(guān)聯(lián),希望快速實施,但事實上,現(xiàn)有的DPI的分析僅僅用了幾張報表。數(shù)據(jù)散落在各種系統(tǒng)中無法進行有效的采集、分析。
電信業(yè)近十年來的變革,是電信運營商上百年的歷史上都是不曾有過的。尤其是,今年來以來,4G技術(shù)突飛猛進,移動互聯(lián)網(wǎng)日益普及,電信運營商的各種商業(yè)模式隨之被打破。盡管電信運營商一直積極地優(yōu)化4G網(wǎng)絡(luò)、不斷加強WLAN的部署,中國移動也已經(jīng)開始力推LTE,但網(wǎng)絡(luò)的持續(xù)擴容與升級并未給電信運營商帶來十分可觀的收入,三大運營商的傳統(tǒng)業(yè)務(wù)和整體固網(wǎng)業(yè)務(wù)都受到了移動互聯(lián)網(wǎng)的巨大沖擊,增長趨緩甚至下滑。
不僅如此,在大數(shù)據(jù)時代,電信運營商還面臨著來自數(shù)據(jù)、管理方面的巨大挑戰(zhàn)。海量的半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)大大降低了數(shù)據(jù)處理的效率,給運營商帶來了巨大的數(shù)據(jù)存儲和讀寫壓力。如若不能縮短數(shù)據(jù)處理的周期,很多數(shù)據(jù)的價值都會被極大地稀釋。此外,龐大的數(shù)據(jù)規(guī)模和復雜的數(shù)據(jù)種類也給運營商帶來了管理層面的難題。對于電信運營商自身而言,每一個省、市公司都是相對獨立的,僅一個省的單月計費清單數(shù)量就多達數(shù)十億條,而大數(shù)據(jù)時代要求跨地域、跨業(yè)務(wù)的數(shù)據(jù)整合和分析,對運營商統(tǒng)一的數(shù)據(jù)整合和管理能力提出了非常高的要求。

