浪潮分布式存儲:讓數據融合互通,為"云數智"應用構筑新平臺
【“ZiDongHua”之方案應用場:浪潮、分布式存儲】數字經濟時代,云計算、大數據、人工智能等新技術快速發(fā)展,非結構化數據爆發(fā)式增長,數據類型變得愈發(fā)復雜多樣。在自動駕駛、基因測序、氣象預報等云數智應用場景中,一次數據處理可能會涉及到文件、對象、大數據等多種協議,數據間的互通轉換成為數據存儲中至關重要的一環(huán),具備平臺化能力的融合存儲成為數字基礎設施建設的核心。
浪潮分布式存儲平臺AS13000通過多年來的持續(xù)技術創(chuàng)新,以一份數據支持多種協議訪問,實現了非結構化數據融合互通,在提升數據處理效率的同時降低了存儲購置和運維成本,保障各協議的語義無損和性能無損,構筑了面向"云數智"應用的融合存儲平臺,助力企業(yè)數字化轉型,加速釋放數據價值。
浪潮分布式存儲:讓數據融合互通,為"云數智"應用構筑新平臺
數字時代,數據共享互通成為剛需
數字經濟時代,云計算、大數據、人工智能等新技術快速發(fā)展,非結構化數據爆發(fā)式增長,數據類型變得愈發(fā)復雜多樣。在自動駕駛、基因測序、氣象預報等云數智應用場景中,一次數據處理可能會涉及到文件、對象、大數據等多種協議,數據間的互通轉換成為數據存儲中至關重要的一環(huán),具備平臺化能力的融合存儲成為數字基礎設施建設的核心。
以基因測序場景為例,一次完整的基因測序涉及到數據采集、格式化、脫敏、壓縮、分析、發(fā)布等操作,其過程可以大致分為樣本采集、DNA/RNA測序、數據分析和發(fā)布四個步驟。在不同的處理階段,需要使用不同的數據協議進行操作。其中在樣本采集和DNA/RNA測序階段采用NFS文件協議,數據分析階段采用HDFS大數據協議,數據發(fā)布階段則是通過公網數據共享采用S3對象協議。整個數據處理過程涉及三種協議格式,這就意味著完成一次基因的測序流程需要在NFS、HDFS和S3之間進行兩次數據拷貝和數據格式的轉換。傳統(tǒng)存儲僅支持單一的訪問協議,這就會造成兩個問題:一是數據格式轉換和數據拷貝會降低整個數據處理流程的效率;二是多套存儲副本增加存儲空間成本。
基因測序應用需要使用多種數據協議
百川入海:浪潮基于一套存儲 承載多樣化數據
浪潮分布式存儲平臺AS13000基于對非結構化數據協議(NFS/CIFS/HDFS/S3)融合互通的研究進行技術創(chuàng)新,采用統(tǒng)一的數據管理和元數據管理、統(tǒng)一的增值特性服務、統(tǒng)一的分布式存儲資源池和統(tǒng)一的管理軟件系統(tǒng),保證各種協議共享同一份數據和元數據。訪問過程中無需數據轉換和拷貝,并且為每種協議提供原生語義服務,每種服務均可直接訪問,無需安裝網關、插件或在計算側或應用層進行改造。
AS13000非結構化數據融合架構
基于"多合一"極簡架構,浪潮分布式存儲得以實現四個"統(tǒng)一"。
首先,提供統(tǒng)一的數據管理和元數據管理。
數據管理和元數據管理是非結構化數據存儲的關鍵,浪潮分布式存儲平臺AS13000根據NFS、CIFS、HDFS和S3的語義和元數據特點,抽象各協議的數據和元數據操作,通過一套統(tǒng)一的非結構化數據和元數據管理架構有效地保證各協議的原生訪問。
其次,提供統(tǒng)一的增值特性服務。
基于統(tǒng)一的數據訪問接口和元數據管理的架構設計,浪潮AS13000對外提供統(tǒng)一的增值特性服務,包括統(tǒng)一配額、QoS、加密、壓縮、快照、回收站、分級存儲、遠程復制、元數據檢索等等。
以下圖為例:同一個元數據檢索服務ElasticSearch支持NFS、CIFS、S3、HDFS多種協議,并且各協議為同一配置入口和查詢入口。
統(tǒng)一增值特性示例:元數據檢索服務
再次,構建統(tǒng)一的分布式存儲資源池。
AS13000支持NFS/CIFS/HDFS/S3等多種服務協議共享非結構化存儲資源池,并且同一個文件不同協議訪問的數據和元數據為同一份。例如,通過文件NFS協議寫入的一個文件,通過對象存儲AWS S3協議、大數據HDFS協議和文件CIFS協議均可讀??;每個節(jié)點都可以啟動文件NAS、大數據HDFS和對象存儲S3服務。
最后,打造統(tǒng)一的管理系統(tǒng)。
管理軟件負責集群的安裝、部署、業(yè)務配置、設備管理、監(jiān)控、告警等功能。浪潮分布式存儲平臺AS13000打造了融合互通的管理系統(tǒng),可同時支持NFS/CIFS/HDFS/S3等多種服務協議,增值特性通過統(tǒng)一的配置入口對所有非結構化存儲協議同時生效,減少了企業(yè)的管理成本。
浪潮分布式存儲平臺AS13000通過多年來的持續(xù)技術創(chuàng)新,以一份數據支持多種協議訪問,實現了非結構化數據融合互通,在提升數據處理效率的同時降低了存儲購置和運維成本,保障各協議的語義無損和性能無損,構筑了面向"云數智"應用的融合存儲平臺,助力企業(yè)數字化轉型,加速釋放數據價值。
微信聯盟:分布式存儲微信群、人工智能微信群、數字經濟微信群、云計算微信群、氣象預報微信群、自動駕駛微信群、MEITONG微信群,各細分行業(yè)微信群:點擊這里進入。
鴻達安視:水文水利在線監(jiān)測儀器、智慧農業(yè)在線監(jiān)測儀器 金葉儀器: 氣體/顆粒物/煙塵在線監(jiān)測解決方案
西凱昂:SMC氣動元件、力士樂液壓元件、倍加福光電產品等 山東諾方: 顆粒物傳感器、粉塵濃度傳感器
深圳金瑞銘:RFID射頻識別、智能傳感器等物聯網解決方案 北京英諾艾智: 容錯服務器、邊緣計算解決方案
評論排行