點(diǎn)擊查看原圖

　　在2013年艾美獎(jiǎng)?lì)C獎(jiǎng)典禮上，Netflix的首部原創(chuàng)劇集《紙牌屋》獲得了9項(xiàng)大獎(jiǎng)的提名，并最終斬獲最佳導(dǎo)演和最佳選角兩項(xiàng)大獎(jiǎng)。據(jù)說Netflix推出該劇前對(duì)用戶的數(shù)據(jù)進(jìn)行了大量的分析，從而將用戶所喜歡的多個(gè)關(guān)鍵要素融入到了劇情中。

　　《紙牌屋》的成功背后，大數(shù)據(jù)到底起到了多大的作用，可能很難用具體的數(shù)字來確認(rèn)。但是可以肯定的是，當(dāng)前視頻網(wǎng)站的發(fā)展，已經(jīng)離不開大數(shù)據(jù)技術(shù)的推動(dòng)，視頻網(wǎng)站自身已經(jīng)成為這股大潮中的弄潮兒。

　　優(yōu)酷土豆集團(tuán)(下稱優(yōu)酷)專注于視頻領(lǐng)域，是中國(guó)網(wǎng)絡(luò)視頻行業(yè)領(lǐng)軍企業(yè)之一。相關(guān)人士向記者表示，優(yōu)酷從2009年就開始采用Hadoop大數(shù)據(jù)平臺(tái)，最初只是10多個(gè)節(jié)點(diǎn)的規(guī)模，2013年整個(gè)集群節(jié)點(diǎn)達(dá)到了300個(gè)，每天處理數(shù)據(jù)量達(dá)到200TB。

　　優(yōu)酷首席技術(shù)官姚健曾經(jīng)表示，對(duì)優(yōu)酷而言，通過用戶的每次播放流程，優(yōu)酷的后臺(tái)系統(tǒng)都會(huì)對(duì)頁面瀏覽、評(píng)論收藏、視頻播放以及播放時(shí)的各種操作進(jìn)行記錄。經(jīng)處理后的分析結(jié)果會(huì)反饋給內(nèi)部不同的業(yè)務(wù)模塊，對(duì)優(yōu)酷在產(chǎn)品、內(nèi)容運(yùn)營(yíng)、用戶的個(gè)性化推薦及廣告投放等方面的提升，都起到了關(guān)鍵作用。

　　“對(duì)優(yōu)酷來說，從網(wǎng)站頁面設(shè)計(jì)、內(nèi)容推薦到廣告投放，都離不開大數(shù)據(jù)技術(shù)的支持。”優(yōu)酷土豆集團(tuán)大數(shù)據(jù)團(tuán)隊(duì)技術(shù)總監(jiān)盧學(xué)裕表示，優(yōu)酷通過對(duì)各種數(shù)據(jù)進(jìn)行分析處理后，不但能夠?yàn)閺V告主呈現(xiàn)出用戶行為特征，提供廣告投放價(jià)值的分析，而且在用戶體驗(yàn)優(yōu)化方面都有很大的幫助。

　　優(yōu)酷大數(shù)據(jù)團(tuán)隊(duì)大數(shù)據(jù)平臺(tái)架構(gòu)師傅杰告訴記者，一直以來，優(yōu)酷都在使用MapReduce和Hive來處理大數(shù)據(jù)，特別是一些視頻推薦挖掘的數(shù)據(jù)都是通過MapReduce來處理。在這個(gè)過程中，優(yōu)酷發(fā)現(xiàn)有一些場(chǎng)景其實(shí)并不適合MapReduce，處理效率不盡如人意。“隨著優(yōu)酷業(yè)務(wù)發(fā)展的不斷壯大，分析的數(shù)據(jù)量也自然就越來越大。之前使用Hadoop處理一些諸如機(jī)器學(xué)習(xí)、圖計(jì)算等迭代式計(jì)算問題時(shí)，處理速度成為了瓶頸。內(nèi)部的分析人員提交任務(wù)后要等上很長(zhǎng)時(shí)間才能得到結(jié)果，等待時(shí)間之長(zhǎng)已經(jīng)有些令人不能忍受。”盧學(xué)裕說，“最終，在英特爾公司的幫助下，優(yōu)酷將Spark引入到了自身的大數(shù)據(jù)計(jì)算框架中，作為整個(gè)Hadoop集群的補(bǔ)充。其效果還是相當(dāng)令人滿意的，以圖計(jì)算為例，相同的數(shù)據(jù)量，在以往的平臺(tái)上需要80多分鐘，在4節(jié)點(diǎn)的Spark集群上，用時(shí)只需要5分鐘左右。”

　　Spark是一個(gè)通用的并行計(jì)算框架，由伯克利大學(xué)的AMP實(shí)驗(yàn)室開發(fā)，已經(jīng)成為繼Hadoop之后又一大熱門開源項(xiàng)目。作為一種與Hadoop相似的開源集群計(jì)算環(huán)境，由于啟用了內(nèi)存分布數(shù)據(jù)集，Spark在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

　　據(jù)悉，英特爾公司從2012年中旬開始向Spark開源社區(qū)貢獻(xiàn)，目前已經(jīng)與優(yōu)酷等互聯(lián)網(wǎng)公司進(jìn)行了相關(guān)的合作。英特爾(中國(guó))有限公司銷售市場(chǎng)部互聯(lián)網(wǎng)及媒體行業(yè)企業(yè)客戶經(jīng)理李志輝表示：“未來英特爾還會(huì)持續(xù)跟優(yōu)酷合作，一旦整個(gè)集群達(dá)到一定規(guī)模，英特爾還會(huì)投入相應(yīng)專家來幫助優(yōu)酷做一些硬件配置上的優(yōu)化，包括系統(tǒng)的一些優(yōu)化工作。最終的目標(biāo)，就是將英特爾的整體解決方案和優(yōu)酷這樣的用戶的業(yè)務(wù)相結(jié)合。”