大數(shù)據(jù)的使用將成為未來提高競爭力的關(guān)鍵要素。大數(shù)據(jù)本質(zhì)上是“一場管理革命”。大數(shù)據(jù)時代,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗和直覺。
我國盡管已經(jīng)意識到大數(shù)據(jù)的競爭力和戰(zhàn)略性,卻并未在真正意義上將其提升到國家戰(zhàn)略高度,數(shù)據(jù)財富尚未形成全民意識。
大數(shù)據(jù):未來提高競爭力的關(guān)鍵要素
“如果說IBM的主機拉開了信息化革命的大幕,那么大數(shù)據(jù)才是第3次浪潮的華彩樂章。”著名未來學家、當今世界最具影響力的社會思想家之一阿爾文?托夫勒在其 1980年出版的《第三次浪潮》一書中的話正在演變成現(xiàn)實。大數(shù)據(jù)雖然姍姍來遲,但是來得比托夫勒想象得更為迅猛。
進入21世紀以來,一些嶄新的互聯(lián)網(wǎng)的應(yīng)用如微博、社交網(wǎng)站的不斷普及,以及視頻通訊、醫(yī)療影像、地理信息和監(jiān)控錄像等視頻內(nèi)容的急劇增加,加之傳感器、無線電射頻識別(RFID)閱讀器、導航終端等非傳統(tǒng)IT設(shè)備和移動設(shè)備,都將產(chǎn)生越來越多的數(shù)據(jù),從而造成了“數(shù)據(jù)爆炸”的現(xiàn)象。根據(jù)國際數(shù)據(jù)公司(IDC)預測,全球的數(shù)據(jù)產(chǎn)生量到 2020將會增長 44倍,達到35.2ZB。也就是說,全球大概需要 376億個1TB硬盤來存儲數(shù)據(jù)。大數(shù)據(jù)并非單指數(shù)據(jù)量之大,而是指為了更經(jīng)濟地從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價值而設(shè)計的新一代架構(gòu)和技術(shù)。
牛津大學教授維克托?邁爾-舍恩伯格在其新書《大數(shù)據(jù)時代》中說,大數(shù)據(jù)是一場“革命”,將對各行各業(yè)帶來深刻影響,甚至改變我們的思維方式。其中最關(guān)鍵的是,大數(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道“是什么”,而不用知道“為什么”。這顛覆了千百年來人類的思維模式,對人類的認知方式和交流方式提出了新挑戰(zhàn)。
此外,大數(shù)據(jù)時代產(chǎn)生的數(shù)據(jù)密集型的知識發(fā)現(xiàn),有可能成為繼實驗科學、理論分析和計算機模擬這三種經(jīng)典科研范式之后的第四種科研范式。谷歌的廣告優(yōu)化配置、戰(zhàn)勝人類的“IBM沃森問答系統(tǒng)”已經(jīng)在向我們展示“第四范式”的魅力。
數(shù)據(jù)正成為與物質(zhì)資產(chǎn)和人力資本相提并論的重要生產(chǎn)要素,大數(shù)據(jù)的使用將成為未來提高競爭力的關(guān)鍵要素。大數(shù)據(jù)作為重要的生產(chǎn)要素,其價值主要體現(xiàn)在如下三個方面。
能夠?qū)崿F(xiàn)巨大商業(yè)價值。大數(shù)據(jù)在商業(yè)領(lǐng)域的應(yīng)用,可以通過對顧客群體細分來實現(xiàn)對每個群體量體裁衣般的采取獨特的行動,通過模擬現(xiàn)實來發(fā)掘新的需求和提高投入的回報率,通過分析消費者的行為特征進行商業(yè)模式、產(chǎn)品和服務(wù)的創(chuàng)新等,這些應(yīng)用將會產(chǎn)生巨大的商業(yè)價值。沃爾瑪是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一,它通過對消費者的購物行為等非結(jié)構(gòu)化數(shù)據(jù)進行分析,成為最了解顧客購物習慣的零售商。沃爾瑪通過分析顧客在互聯(lián)網(wǎng)上的搜索內(nèi)容,以及在社交網(wǎng)站所顯露的行為軌跡,甚至比美國的一個粗心的父親更早地捕捉到了他女兒的懷孕信息,并將帶有嬰兒用品優(yōu)惠券的廣告郵件,寄送給他正在念高中的女兒。
能夠增強社會管理水平。大數(shù)據(jù)在政府和公共服務(wù)領(lǐng)域的應(yīng)用,可有效推動政務(wù)工作開展,提高政府部門的決策水平、服務(wù)效率和社會管理水平,產(chǎn)生巨大社會價值。2009年,谷歌公司通過把 5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節(jié)性流感傳播時期的數(shù)據(jù)進行比較,成功預測了當年甲型H1N1流感的爆發(fā)及其傳播源頭,遠早于疾控中心官方。
能夠提高安全保障能力。大數(shù)據(jù)在國防、反恐、安全等領(lǐng)域的應(yīng)用,將對各部門搜集到的各類信息進行自動分類、整理、分析,有效解決情報、監(jiān)視和偵察系統(tǒng)不足等問題,提高國家安全保障能力。從純技術(shù)角度觀察,美國的“棱鏡”項目就是一個典型的通過分析海量通訊數(shù)據(jù)獲取安全情報的大數(shù)據(jù)案例。
《孫子兵法》說:“多算 勝,少 算 不勝。”決定能否“多算”的重要因素在于,掌握數(shù)據(jù)的多少以及對數(shù)據(jù)處理能力的高低。在大數(shù)據(jù)時代,國家層面的競爭力將部分體現(xiàn)為一國擁有大數(shù)據(jù)的規(guī)模、活性以及對數(shù)據(jù)的解釋、運用能力。一個國家在網(wǎng)絡(luò)空間的數(shù)據(jù)主權(quán)將是繼海、陸、空、天之后另一個大國博弈的空間。
國家層面:將大數(shù)據(jù)提升為國家戰(zhàn)略
鑒于大數(shù)據(jù)潛在的巨大影響,很多國家都將大數(shù)據(jù)視作戰(zhàn)略資源,并將大數(shù)據(jù)提升為國家戰(zhàn)略。
2012年3月,美國奧巴馬政府宣布推出“大數(shù)據(jù)的研究和發(fā)展計劃”。該計劃涉及美國國家科學基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級研究計劃局、美國地質(zhì)勘探局等6個聯(lián)邦政府部門,承諾將投資兩億多美元,大力推動和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù),以推進從大量的、復雜的數(shù)據(jù)集合中獲取知識和洞見的能力。美國奧巴馬政府宣布投資大數(shù)據(jù)領(lǐng)域,是大數(shù)據(jù)從商業(yè)行為上升到國家戰(zhàn)略的分水嶺,表明大數(shù)據(jù)正式提升到戰(zhàn)略層面,大數(shù)據(jù)在經(jīng)濟社會各個層面、各個領(lǐng)域都開始受到重視。
其實,不僅是美國,其他一些國家和地區(qū)也都把大數(shù)據(jù)提升到國家戰(zhàn)略層面,認為未來國家層面的競爭力將部分體現(xiàn)為一國擁有數(shù)據(jù)的規(guī)模及運用數(shù)據(jù)的能力。2013年2月,法國政府發(fā)布了其《數(shù)字化路線圖》,列出了 5項將會大力支持的戰(zhàn)略性高新技術(shù),“大數(shù)據(jù)”就是其中一項。法國政府將以新興企業(yè)、軟件制造商、工程師、信息系統(tǒng)設(shè)計師等為目標,開展一系列的投資計劃,旨在通過發(fā)展創(chuàng)新性解決方案,并將其用于實踐,來促進法國在大數(shù)據(jù)領(lǐng)域的發(fā)展。2012年9月,日本總務(wù)省發(fā)布2013年行動計劃,提出以復蘇日本為目的推進“活躍在ICT領(lǐng)域的日本”ICT綜合戰(zhàn),明確提出“通過大數(shù)據(jù)和開放數(shù)據(jù)開創(chuàng)新市場”。這些表明,日本政府在新一輪IT振興計劃中把大數(shù)據(jù)發(fā)展作為國家層面戰(zhàn)略提出,新 ICT戰(zhàn)略將重點關(guān)注大數(shù)據(jù)應(yīng)用技術(shù)。
企業(yè)層面:對大數(shù)據(jù)的存儲、處理和應(yīng)用積極布局
不僅是政府開始謀劃大數(shù)據(jù)發(fā)展戰(zhàn)略,IT巨頭如英特爾、IBM、甲骨文、微軟、淘寶、百度和騰訊等也開始對大數(shù)據(jù)的存儲、處理和應(yīng)用進行布局,在針對個人用戶信息的大數(shù)據(jù)的管理和分析上投入了巨額資金。
2010年以來,歐美 IT巨頭掀起一輪與大數(shù)據(jù)相關(guān)的并購潮。英特爾并購了安全軟件制造商McAfee等很多大數(shù)據(jù)處理以及架構(gòu)廠商來彌補自己在軟件上的能力;IBM通過并購數(shù)據(jù)分析公司來增強自己在海量數(shù)據(jù)處理上的實力。從各IT巨頭紛紛推出的大數(shù)據(jù)產(chǎn)品可以看出,這些IT巨頭幾乎搶占了搜索服務(wù)、數(shù)據(jù)庫、服務(wù)器、存儲設(shè)備、數(shù)據(jù)挖掘等核心價值環(huán)節(jié)。
國已成為 IT巨頭布局大數(shù)據(jù)戰(zhàn)略的重要戰(zhàn)場。例如:英特爾在上海成立一個團隊專門在做 Hadoop大數(shù)據(jù)處理架構(gòu)的開發(fā);EMC組建EMC中國研究院,下設(shè)大數(shù)據(jù)、云基礎(chǔ)構(gòu)建、云平臺與應(yīng)用3個實驗室來推動這3個方面的研究以及大數(shù)據(jù)在中國的應(yīng)用;IBM在北京成立了全球首個大數(shù)據(jù)智慧賦能中心,并且匯聚了來自IBM全球的大數(shù)據(jù)技術(shù)專家和商業(yè)運營精英,旨在為企業(yè)構(gòu)建一個從商業(yè)評估、論證、方案部署到人員培訓的完整大數(shù)據(jù)戰(zhàn)略體系。
國內(nèi)企業(yè)受限于IT產(chǎn)業(yè)鏈所處的位置,普遍在數(shù)據(jù)庫、數(shù)據(jù)倉庫、商業(yè)智能等領(lǐng)域基礎(chǔ)薄弱,因此,在大數(shù)據(jù)上布局不可能像跨國企業(yè)那樣全面。但國內(nèi)相對強勢的互聯(lián)網(wǎng)企業(yè)、電信運營商、電信設(shè)備供應(yīng)商已經(jīng)開始啟動產(chǎn)業(yè)布局,以互聯(lián)網(wǎng)應(yīng)用服務(wù)為切入點搶占大數(shù)據(jù)制高點。
大數(shù)據(jù)面臨的挑戰(zhàn):不僅僅是技術(shù)
如果從數(shù)據(jù)結(jié)構(gòu)復雜多樣,數(shù)據(jù)規(guī)模爆炸增長,對社會生活產(chǎn)生巨大影響的角度看,全球已經(jīng)進入大數(shù)據(jù)時代。但是從對數(shù)據(jù)的應(yīng)用角度看,當下還處于大數(shù)據(jù)時代的早期。特別是對我國來說,大數(shù)據(jù)真正落地,還需面臨幾個重大的挑戰(zhàn)。
對數(shù)據(jù)共享和隱私保護的挑戰(zhàn)。中國人口居世界首位,將會成為產(chǎn)生數(shù)據(jù)量最多的國家,但對數(shù)據(jù)保存不夠重視,對存儲數(shù)據(jù)的利用率也不高。此外,我國一些部門和機構(gòu)擁有大量數(shù)據(jù)但受行政壟斷和商業(yè)利益所限,數(shù)據(jù)開放程度也較低,這給數(shù)據(jù)利用造成極大障礙。制約我國數(shù)據(jù)資源開放和共享的一個重要因素是政策法規(guī)不完善,一方面欠缺推動政府和公共數(shù)據(jù)開放的政策;另一方面數(shù)據(jù)保護和隱私保護方面的制度不完善,抑制了開放的積極性。所以,如何使政府從壟斷和保密的歷史慣性思維方式中解脫出來,在確保隱私、機密和國家安全的前提下帶頭開放數(shù)據(jù),降低公眾獲取和利用政府數(shù)據(jù)資源難度和成本,至少是我國大數(shù)據(jù)時代開啟階段的瓶頸。
對數(shù)據(jù)儲存和分析技術(shù)的挑戰(zhàn)。大數(shù)據(jù)中大部分都是非結(jié)構(gòu)化的數(shù)據(jù),如網(wǎng)絡(luò)日志、RFID、傳感器網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)搜索索引、詳細通話記錄、醫(yī)療記錄、攝影檔案、視頻檔案等。現(xiàn)有的軟件和工具主要適用于以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù),要想及時捕捉、存儲、聚合和管理這些大數(shù)據(jù),以及對數(shù)據(jù)進行深度分析和挖掘,需要新的技術(shù)和能力。在大數(shù)據(jù)軟件平臺和算法方面,國外又一次走在我國前面。特別是近年來以開源模式發(fā)展起來的 Hadoop等大數(shù)據(jù)處理軟件平臺及其相關(guān)產(chǎn)業(yè)已經(jīng)在美國初步形成。而我國數(shù)據(jù)存儲、處理技術(shù)基礎(chǔ)薄弱,總體上以跟隨為主,難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。
對管理理念和運作方式的挑戰(zhàn)。大數(shù)據(jù)的技術(shù)挑戰(zhàn)顯而易見,但其帶來的決策挑戰(zhàn)更為艱巨。大數(shù)據(jù)開發(fā)的根本目的是以數(shù)據(jù)分析為基礎(chǔ),幫助人們作出更明智的決策,優(yōu)化企業(yè)和社會運轉(zhuǎn)。哈佛商業(yè)評論說,大數(shù)據(jù)本質(zhì)上是“一場管理革命”。多年前出現(xiàn)的互聯(lián)網(wǎng)將企業(yè)經(jīng)營、政府運作以及人們生活的方式做出了很大改變。大數(shù)據(jù)的出現(xiàn),又一次激起了這種巨大的變革能力。在大數(shù)據(jù)時代,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗和直覺。在我國,無論是政府部門還是企業(yè),對大數(shù)據(jù)可能產(chǎn)生的價值的認識,以及如何利用數(shù)據(jù)分析實現(xiàn)科學決策依然有相當長的路要走。
大數(shù)據(jù)時代:政府需要有所作為
現(xiàn)代歷史上的歷次技術(shù)革命,中國均是學習者。而在這次云計算與大數(shù)據(jù)的新變革中,中國與世界的距離最小,在很多領(lǐng)域甚至還有著創(chuàng)新與領(lǐng)先的可能。一方面,大數(shù)據(jù)技術(shù)以開源為主,迄今為止,尚未形成絕對技術(shù)壟斷。即便是英特爾、IBM、甲骨文等IT巨頭,也同樣是集成了開源技術(shù),和本公司原有產(chǎn)品更好的結(jié)合而已。另一方面,中國人口和經(jīng)濟規(guī)模,決定中國的數(shù)據(jù)資產(chǎn)規(guī)模將冠于全球,客觀上為大數(shù)據(jù)技術(shù)的發(fā)展,提供了廣闊的發(fā)展空間。從國家角度來看,大數(shù)據(jù)是重要戰(zhàn)略資源。因此,挖掘大數(shù)據(jù)價值,推動大數(shù)據(jù)發(fā)展,需要政府發(fā)揮作用。
將大數(shù)據(jù)上升為國家戰(zhàn)略。我國盡管已經(jīng)意識到大數(shù)據(jù)的競爭力和戰(zhàn)略性,卻并未在真正意義上將其提升到國家戰(zhàn)略高度,數(shù)據(jù)財富尚未形成全民意識。因此有必要從國家層面上制定大數(shù)據(jù)發(fā)展規(guī)劃,將大數(shù)據(jù)上升為國家戰(zhàn)略。通過國家層面的戰(zhàn)略規(guī)劃明確大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展重點、空間布局和保障措施,推動和改善與大數(shù)據(jù)相關(guān)的收集、儲存和分析工具及技術(shù),并在公共服務(wù)領(lǐng)域(如安防、醫(yī)療、衛(wèi)生、教育等),開展大數(shù)據(jù)應(yīng)用示范,提高應(yīng)急處置能力和安全防范能力,提升服務(wù)能力和運作效率。
推動數(shù)據(jù)公開,同時保護“隱私權(quán)”。如同工業(yè)革命要開放物質(zhì)的交易、流通一樣,開放的、流通的數(shù)據(jù)是時代的要求。美國政府創(chuàng)建了Data.gov網(wǎng)站公開數(shù)據(jù),英國、印度也有“數(shù)據(jù)公開”運動。中國要趕上這樣一場大數(shù)據(jù)變革,首先要從政府開始公開數(shù)據(jù),讓社會享受公開數(shù)據(jù)的好處,同時也可以提升政府的辦事效率。其次要通過數(shù)據(jù)立法,對“隱私權(quán)”“所有權(quán)”等敏感問題通過法律形式加以保護。
推動政府2.0建設(shè)。通過以移動技術(shù)為代表的云計算、大數(shù)據(jù)等新一代IT技術(shù)工具和社會性網(wǎng)絡(luò)服務(wù)(SNS)、社交媒體為代表的社會工具應(yīng)用,打造以用戶創(chuàng)新、大眾創(chuàng)新、開放創(chuàng)新、協(xié)同創(chuàng)新為特征的政務(wù)平臺,實現(xiàn)從生產(chǎn)范式向服務(wù)范式的轉(zhuǎn)變,通過政府、市場、社會的協(xié)同與互動塑造公共價值。