2014年4月10日-12日，第五屆中國數據庫技術大會(DTCC 2014)在北京五洲皇冠國際酒店拉開序幕。在為期三天的會議中，大會將圍繞大數據應用、數據架構、數據管理(數據治理)、傳統數據庫軟件等技術領域展開深入探討，并將邀請一批國內頂尖的技術專家來進行分享。本屆大會將在保留數據庫軟件應用實踐這一傳統主題的基礎上，向大數據、數據結構、數據治理與分析、商業智能等領域進行拓展，以滿足于廣大從業人士和行業用戶的迫切需要。
第五屆中國數據庫技術大會
自2010年以來，國內領先的IT專業網站IT168聯合旗下ITPUB、ChinaUnix兩大技術社區，已經連續舉辦了四屆中國數據庫技術大會，每屆大會與會規模超千人，大會云集了國內水平最高的數據架構師、數據庫管理和運維工程師、數據庫開發工程師、研發總監和IT經理等技術人群，是目前國內最受歡迎、人氣最高的的數據庫技術交流盛會。今年是中國數據庫技術大會五周年，大會將繼續秉承分享IT最佳應用實踐的宗旨，圍繞傳統數據庫和大數據兩條技術主線，在目前IT技術和管理快速的大背景下，更加深入地探討數據庫技術的現狀和未來的發展方向，以及我們在這個轉型過程中的實踐經驗和教訓。
在4月10日下午舉行的《Hadoop技術實戰和應用》專場演講中，來自愛奇藝技術產品中心的專家孫琦老師為我們分享了關于《愛奇藝在Hadoop生態中大數據平臺架構與實踐》的相關話題。
愛奇藝技術產品中心的專家孫琦老師
根據孫琦老師介紹，自2014年1月以來，愛奇藝PPS已經連續2月日均覆蓋、月度覆蓋、月度時長和人均月度時長均排名第1。在Hadoop生態建設方面，愛奇藝目前的狀況是：
· 與2010年8月開始搭建，最初只有50臺機器;
· 目前已經具有一定規模，且在迅速擴容;
· 多機房部署，專線互聯;
· 涵蓋Apache Hadoop生態的所有主要組件;
· 物理機集群與虛機集群共存的部署模式;
· 公共集群和專屬集群共存的運營模式。
據了解，愛奇藝Hadoop目前處理的數據量為20PB左右，日處理Job數達到了100000+，服務包括搜索、廣告、推薦、日志分析、BI等等。盡管愛奇藝在應用Hadoop方面已經取得了一系列的成就，但孫琦老師表示，目前愛奇藝還沒完全進入Hadoop 2.0時代。
愛奇藝Hadoop生態圖
· 數據格式：ProtoBuf、JSON為主，統一數據定義，以便數據共享
· 批處理以Hive作業為主
· Storm、Spark實時計算資源托管在Mesos或Openstack虛機之上
· 大部分HBase應用是為離線計算服務
· 作業提交管理：入口機 + 專用提交系統
· 系統監控：傳統監控 (Nagios, Zabbix) + Metrics數據聚合
· 成本審計：貨幣化度量項目組開銷
最后，針對愛奇藝Hadoop生態系統，孫琦老師也進行了功能方面的回顧。包括已經跨機房在多個HBase集群之間配置;數據延遲在毫秒級;為業務組提供了跨機房數據共享的條件;幾次的網絡故障已經證明了該機制的可靠性。
對于未來的計劃，孫琦老師表示，未來將增加HDFS Erasure Code的支持、支持Kerberos;進入Hadoop 2.0，實現多框架對資源的共享;統一MR/Spark/Storm作業提交界面，以及深度整合Openstack、Mesos與Hadoop生態。