【“ZiDongHua”之方案應用場:浪潮、分布式存儲】數字經濟時代,云計算、大數據、人工智能等新技術快速發(fā)展,非結構化數據爆發(fā)式增長,數據類型變得愈發(fā)復雜多樣。在自動駕駛、基因測序、氣象預報等云數智應用場景中,一次數據處理可能會涉及到文件、對象、大數據等多種協議,數據間的互通轉換成為數據存儲中至關重要的一環(huán),具備平臺化能力的融合存儲成為數字基礎設施建設的核心。

浪潮分布式存儲平臺AS13000通過多年來的持續(xù)技術創(chuàng)新,以一份數據支持多種協議訪問,實現了非結構化數據融合互通,在提升數據處理效率的同時降低了存儲購置和運維成本,保障各協議的語義無損和性能無損,構筑了面向"云數智"應用的融合存儲平臺,助力企業(yè)數字化轉型,加速釋放數據價值。

 

 

浪潮分布式存儲:讓數據融合互通,為"云數智"應用構筑新平臺

 

 

 

數字時代,數據共享互通成為剛需

數字經濟時代,云計算、大數據、人工智能等新技術快速發(fā)展,非結構化數據爆發(fā)式增長,數據類型變得愈發(fā)復雜多樣。在自動駕駛、基因測序、氣象預報等云數智應用場景中,一次數據處理可能會涉及到文件、對象、大數據等多種協議,數據間的互通轉換成為數據存儲中至關重要的一環(huán),具備平臺化能力的融合存儲成為數字基礎設施建設的核心。

以基因測序場景為例,一次完整的基因測序涉及到數據采集、格式化、脫敏、壓縮、分析、發(fā)布等操作,其過程可以大致分為樣本采集、DNA/RNA測序、數據分析和發(fā)布四個步驟。在不同的處理階段,需要使用不同的數據協議進行操作。其中在樣本采集和DNA/RNA測序階段采用NFS文件協議,數據分析階段采用HDFS大數據協議,數據發(fā)布階段則是通過公網數據共享采用S3對象協議。整個數據處理過程涉及三種協議格式,這就意味著完成一次基因的測序流程需要在NFS、HDFS和S3之間進行兩次數據拷貝和數據格式的轉換。傳統(tǒng)存儲僅支持單一的訪問協議,這就會造成兩個問題:一是數據格式轉換和數據拷貝會降低整個數據處理流程的效率;二是多套存儲副本增加存儲空間成本。

基因測序應用需要使用多種數據協議
基因測序應用需要使用多種數據協議

百川入海:浪潮基于一套存儲 承載多樣化數據

浪潮分布式存儲平臺AS13000基于對非結構化數據協議(NFS/CIFS/HDFS/S3)融合互通的研究進行技術創(chuàng)新,采用統(tǒng)一的數據管理和元數據管理、統(tǒng)一的增值特性服務、統(tǒng)一的分布式存儲資源池和統(tǒng)一的管理軟件系統(tǒng),保證各種協議共享同一份數據和元數據。訪問過程中無需數據轉換和拷貝,并且為每種協議提供原生語義服務,每種服務均可直接訪問,無需安裝網關、插件或在計算側或應用層進行改造。

AS13000非結構化數據融合架構
AS13000非結構化數據融合架構

基于"多合一"極簡架構,浪潮分布式存儲得以實現四個"統(tǒng)一"。

首先,提供統(tǒng)一的數據管理和元數據管理。

數據管理和元數據管理是非結構化數據存儲的關鍵,浪潮分布式存儲平臺AS13000根據NFS、CIFS、HDFS和S3的語義和元數據特點,抽象各協議的數據和元數據操作,通過一套統(tǒng)一的非結構化數據和元數據管理架構有效地保證各協議的原生訪問。

其次,提供統(tǒng)一的增值特性服務。

基于統(tǒng)一的數據訪問接口和元數據管理的架構設計,浪潮AS13000對外提供統(tǒng)一的增值特性服務,包括統(tǒng)一配額、QoS、加密、壓縮、快照、回收站、分級存儲、遠程復制、元數據檢索等等。

以下圖為例:同一個元數據檢索服務ElasticSearch支持NFS、CIFS、S3、HDFS多種協議,并且各協議為同一配置入口和查詢入口。

統(tǒng)一增值特性示例:元數據檢索服務
統(tǒng)一增值特性示例:元數據檢索服務

再次,構建統(tǒng)一的分布式存儲資源池。

AS13000支持NFS/CIFS/HDFS/S3等多種服務協議共享非結構化存儲資源池,并且同一個文件不同協議訪問的數據和元數據為同一份。例如,通過文件NFS協議寫入的一個文件,通過對象存儲AWS S3協議、大數據HDFS協議和文件CIFS協議均可讀??;每個節(jié)點都可以啟動文件NAS、大數據HDFS和對象存儲S3服務。

最后,打造統(tǒng)一的管理系統(tǒng)。

管理軟件負責集群的安裝、部署、業(yè)務配置、設備管理、監(jiān)控、告警等功能。浪潮分布式存儲平臺AS13000打造了融合互通的管理系統(tǒng),可同時支持NFS/CIFS/HDFS/S3等多種服務協議,增值特性通過統(tǒng)一的配置入口對所有非結構化存儲協議同時生效,減少了企業(yè)的管理成本。

浪潮分布式存儲平臺AS13000通過多年來的持續(xù)技術創(chuàng)新,以一份數據支持多種協議訪問,實現了非結構化數據融合互通,在提升數據處理效率的同時降低了存儲購置和運維成本,保障各協議的語義無損和性能無損,構筑了面向"云數智"應用的融合存儲平臺,助力企業(yè)數字化轉型,加速釋放數據價值。