怎么實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”的夢想?“數(shù)據(jù)編織”(Data Fabric)悄然登場。2018年“Data Fabric”首次出現(xiàn)在Gartner的十大數(shù)據(jù)與分析技術(shù)趨勢中,以后每年它都會(huì)出現(xiàn)在其中。10年前大數(shù)據(jù)概念在國外興起后,不到3年就被中國用戶廣泛接受,而今天大多數(shù)中國廠商則是按兵不動(dòng),這又是為何呢?

Data Fabric的中文名字到底怎么翻譯,IBM公司與Gartner有了分歧。IBM大中華區(qū)科技事業(yè)部云計(jì)算與認(rèn)知軟件部數(shù)據(jù)與人工智能信息架構(gòu)產(chǎn)品總監(jiān)王積杰將其稱為“數(shù)據(jù)經(jīng)緯”,而Gartner高級(jí)研究總監(jiān)孫鑫認(rèn)為“數(shù)據(jù)編織”更為合適,因?yàn)樗J(rèn)為數(shù)據(jù)編織更凸顯“動(dòng)態(tài)”。

孫鑫在接受記者采訪時(shí)表示,Data Fabric不是一個(gè)產(chǎn)品而是一種設(shè)計(jì)理念,是利用AI、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的功能,訪問數(shù)據(jù)或支持?jǐn)?shù)據(jù)動(dòng)態(tài)整合,以發(fā)現(xiàn)可用數(shù)據(jù)之間獨(dú)特的、與業(yè)務(wù)相關(guān)的關(guān)系。

“我們可以把Data Fabric想象成一張?zhí)摂M的網(wǎng),這張網(wǎng)并不能理解為一種點(diǎn)對(duì)點(diǎn)連接,而是一種虛擬連接,每個(gè)節(jié)點(diǎn)都可以是不同的數(shù)據(jù)系統(tǒng),不同系統(tǒng)上的數(shù)據(jù)在網(wǎng)上都可以迅速被定位和找到。Data Fabric的主要功能是把正確的數(shù)據(jù),在正確的時(shí)間里,給到正確的人。通過Data Fabric, 對(duì)的人可以從對(duì)的地點(diǎn),在對(duì)的時(shí)間里,獲取對(duì)的數(shù)據(jù)。”王積杰對(duì)記者說。

為什么Data Fabric將會(huì)成為一種趨勢,為什么越來越多的企業(yè)將在未來采用這樣的方式進(jìn)行部署?王積杰談及了數(shù)據(jù)利用結(jié)構(gòu)模式的變化。傳統(tǒng)IT時(shí)代,無論是早年的“數(shù)據(jù)倉庫”還是近幾年的“數(shù)據(jù)湖”和“大數(shù)據(jù)”時(shí)代,其實(shí)數(shù)據(jù)利用都是集中式的架構(gòu),把數(shù)據(jù)收集到一起,讓企業(yè)的數(shù)據(jù)分析師、BI(商業(yè)智能)分析師對(duì)數(shù)據(jù)進(jìn)行分析。但在云計(jì)算時(shí)代,用戶業(yè)務(wù)部署在多云的環(huán)境下,要想將分布在不同云上的數(shù)據(jù)集中在一起成本很高,也很費(fèi)勁,于是采用去中心化、分布式的數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)就成為了必然選擇。

Gartner認(rèn)為,隨著數(shù)據(jù)的日益復(fù)雜以及數(shù)字化業(yè)務(wù)的加速發(fā)展,Data Fabric已成為支持組裝式數(shù)據(jù)分析及其各種組件的基礎(chǔ)架構(gòu)。由于在技術(shù)設(shè)計(jì)上能夠使用/重復(fù)使用及組合不同的數(shù)據(jù)集成方式,Data Fabric可縮短30%的集成設(shè)計(jì)時(shí)間、30%的部署時(shí)間和70%的維護(hù)時(shí)間。IBM 7月發(fā)布的Cloud Pak for Data4.0的軟件組合增加了智能化的Data Fabric功能,其中AutoSQL(結(jié)構(gòu)化查詢語言),可以通過AI來自動(dòng)訪問、整合和管理數(shù)據(jù),可以幫助客戶以8倍的速度、不到一半的成本,獲得分布式查詢的答案。

要實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”,Data Fabric究竟如何“編織”?

數(shù)據(jù)編織是一種新的設(shè)計(jì)理念,它是數(shù)據(jù)管理、數(shù)據(jù)收集理念的變化,與數(shù)據(jù)倉庫、數(shù)據(jù)湖等技術(shù)并不是替代的關(guān)系,既可以運(yùn)用現(xiàn)有的數(shù)據(jù)中樞、數(shù)據(jù)湖和數(shù)據(jù)倉庫的技術(shù)和技能,也可以在未來加入新的方法和工具。

從Data Fabric推動(dòng)的難點(diǎn)來看,“一是理念層面的難題,中國的用戶還沒有意識(shí)到,數(shù)據(jù)利用和使用的方式已經(jīng)發(fā)生改變,傳統(tǒng)的集中收集再利用的方式已經(jīng)不能滿足需要。二是目前很多企業(yè)對(duì)于元數(shù)據(jù)不夠重視。三是從人的角度看,需要提升企業(yè)數(shù)據(jù)工程師對(duì)知識(shí)圖譜、圖語言、圖建模等數(shù)據(jù)工具的能力培養(yǎng)。四是數(shù)據(jù)編織的實(shí)現(xiàn)并不是找到一個(gè)廠商就能夠完成,它是一個(gè)旅程,需要分幾步走。”孫鑫認(rèn)為,從用戶的角度看,率先采用Data Fabric的是金融電信行業(yè)以及數(shù)據(jù)應(yīng)用場景比較復(fù)雜的用戶。

國內(nèi)廠商為何按兵不動(dòng)?

這與國內(nèi)大數(shù)據(jù)廠商的分布有關(guān)。“國內(nèi)有很多做數(shù)據(jù)庫的企業(yè),也有很多做BI(商業(yè)智能)的企業(yè),但做數(shù)據(jù)整合的企業(yè)很少。而事實(shí)上,在國外做數(shù)據(jù)編織的往往是數(shù)據(jù)整合、數(shù)據(jù)虛擬化的廠商,這就很好理解為什么國內(nèi)的大數(shù)據(jù)廠商遲遲未入場Data Fabric,因?yàn)檫@類企業(yè)就不多。” 孫鑫告訴記者說。

“Data Fabric這個(gè)概念在國際上已經(jīng)熱起來了,但目前國內(nèi)的IT用戶知道的人還不多。10年前大數(shù)據(jù)的概念在國外興起后,不到三年就被中國用戶廣泛接受,未來這個(gè) Data Fabric概念,中國將需要多久接受并加以應(yīng)用呢?等待時(shí)間給出答案。”王積杰說。(記者 李佳師)