近年來有幾個趨勢對企業(yè)的影響就像大數(shù)據(jù)那般顯著。各類規(guī)模和形態(tài)的公司在近幾年都陸陸續(xù)續(xù)以極大的熱情步入大數(shù)據(jù)時代,因為他們都意識到了大數(shù)據(jù)對他們的公司會有怎樣的益處。從開拓創(chuàng)新新的盈利方式到提高企業(yè)的生產(chǎn)力,大數(shù)據(jù)的這些令人印象深刻的優(yōu)勢很少受到爭議。但是要正確地使用大數(shù)據(jù),一個公司必須首先收集和處理它,這意味著可能要從多個數(shù)據(jù)來源中收集盡可能多的信息。雖然一個企業(yè)的確基友可能用上他們所收集的所有數(shù)據(jù),但更為常見的情況卻是,一些數(shù)據(jù)將永遠不會被使用。當談到非結構化數(shù)據(jù)時,這的確是個問題。隨著時間推移,所有未被使用的數(shù)據(jù)可能會帶來一個問題——堵塞了數(shù)據(jù)中心,這很像可以堵住房子里的水管的那些黏糊糊的東西。專家們?yōu)檫@類數(shù)據(jù)創(chuàng)造了一個術語——暗數(shù)據(jù)(Dark?data),如果你的公司沒有清理這些暗數(shù)據(jù),那它們很可能會增加公司的運營成本和各種安全隱患。
若要以正確的方式處理暗數(shù)據(jù),你首先需要對它進行定義。那么暗數(shù)據(jù)究竟是什么呢?簡而言之,暗數(shù)據(jù)就是一個企業(yè)收集、處理和存儲起來的,最后并沒有投入任何特定用途的信息。通常情況下,暗數(shù)據(jù)將會閑置多年,在你的公司繼續(xù)收集更多數(shù)據(jù)的同時占用數(shù)據(jù)中心中的寶貴空間。隨著未使用數(shù)據(jù)的不斷堆積,一些最開始可能只是小麻煩的問題會越積越嚴重。所有這些額外的數(shù)據(jù)都會導致增加開支,但更嚴重的是,這些數(shù)據(jù)通常是不受保護的,這等于打開了數(shù)據(jù)泄露和其他可能的安全事故的大門。
因此,如果暗數(shù)據(jù)是如此昂貴和危險,為什么各公司甚至忍受它們保持在身邊?事實是,許多企業(yè)寧愿存儲他們手機的所有數(shù)據(jù),以確保他們遵守所有的法律法規(guī)。與此同時,企業(yè)都不情愿清空未使用的數(shù)據(jù),因為他們永遠不知道自己是否會在未來的某個時間需要它們。大數(shù)據(jù)分析能夠產(chǎn)生一些解決問題的方法,而為了找到這些解決方案,企業(yè)需要用到相關的數(shù)據(jù)。就像那種常見的心態(tài)一樣,僅僅因為你現(xiàn)在用不上它不代表它在以后也沒有價值。然而這樣的想法并不總會變成現(xiàn)實。如果有的話,這和囤積者的心態(tài)也沒什么不同。即使一個企業(yè)不采取什么特點的心態(tài),很多公司覺得他們實在是太忙了,以至于無法顧及到清理暗數(shù)據(jù)這檔子事。
對暗數(shù)據(jù)的一次徹底清理可能十分耗時,這是事實,但結果也非常值得去努力。主要的挑戰(zhàn)在于要擺脫暗數(shù)據(jù),同時仍然持有任何必要的數(shù)據(jù)。在你的公司中你有幾種方法可以做到這一點。其中最有效的方法是過濾數(shù)據(jù)。當收集由機器和互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)時,你會發(fā)現(xiàn)數(shù)據(jù)伴隨的很多有價值的信息在很大程度上是無用的。通過識別和隔離你所需要的數(shù)據(jù),你能夠把它從所有其他的雜音中分離出來。這有助于放置一開始就發(fā)生不必要的數(shù)據(jù)堆積的情況。在這一努力過程中,某些大數(shù)據(jù)工具能夠有所幫助,但它取決于每個公司去識別哪些數(shù)據(jù)是最寶貴從而需要保留的,而哪些數(shù)據(jù)是最好清理掉的。
各企業(yè)還可以積極努力地通過把探索到的暗數(shù)據(jù)導入其他數(shù)據(jù)庫來清理他們的數(shù)據(jù)中心。云計算在這一過程中可謂是特別得心應手。如果你的公司和一個云供應商有一種穩(wěn)定的合作關系,那么利用它們來存儲不需要的數(shù)據(jù)將會是一個既明智又經(jīng)濟劃算的選擇。當在使用此法時,你會從你的數(shù)據(jù)中心中擺脫暗數(shù)據(jù),但是當你需要在一個新的分析項目中用到它時,你仍然可以使用它們。企業(yè)也可能會選擇從他們的數(shù)據(jù)中心中把數(shù)據(jù)存檔到一個單獨的位置,例如將信息傳送到硬盤驅(qū)動器中,這個驅(qū)動器比閃存存儲的性能要差,但卻是一個成本更低的替代性方案。
毫無疑問,暗數(shù)據(jù)可能對你的公司經(jīng)營產(chǎn)生損害。如果沒有正確的管理和數(shù)據(jù)保留策略,未使用的數(shù)據(jù)可以很快地成為一個企業(yè)的負擔。最好的策略是盡早采取計劃,并且長期堅持計劃,這樣的話你就永遠不用再面對需要立即清理暗數(shù)據(jù)負載的挑戰(zhàn)了。一個井井有條的數(shù)據(jù)中心往往意味著成功使用了大數(shù)據(jù)和浪費時間與資源之間的區(qū)別。
????????????——原文作者:Rick?Delgado???譯文來源:CDA數(shù)據(jù)分析師