【ZiDongHua之創(chuàng)新&科技:燧原科技 、AIGC 、人工智能、 云端訓(xùn)練 、大模型訓(xùn)練、 大規(guī)模集群訓(xùn)練場景 】燧原科技自創(chuàng)業(yè)之初就瞄準(zhǔn)云端訓(xùn)練產(chǎn)品市場,以突破高難度訓(xùn)練芯片為目標(biāo),2019年推出的第一代產(chǎn)品云燧T10/T11是國內(nèi)第一款具備FP32高精度算力的訓(xùn)練產(chǎn)品。其創(chuàng)新的片間高速互聯(lián),以及軟件棧聚焦優(yōu)化數(shù)據(jù)并行與模型并行等大規(guī)模集群的訓(xùn)練能力,奠定了今天燧原的訓(xùn)練產(chǎn)品在國內(nèi)大規(guī)模集群訓(xùn)練場景的領(lǐng)先優(yōu)勢。

 

 

燧原科技宣布升級企業(yè)戰(zhàn)略 -- 全面打造AIGC時(shí)代的基礎(chǔ)設(shè)施

 

 

燧原科技宣布升級企業(yè)戰(zhàn)略:以全棧軟硬件和集群產(chǎn)品為數(shù)字底座,結(jié)合MaaS (Model as a Service) 的業(yè)務(wù)模式,全面打造人工智能技術(shù)生成內(nèi)容 (AIGC) 時(shí)代的基礎(chǔ)設(shè)施。

 

 

一、燧原大模型技術(shù)與產(chǎn)品深耕已久

燧原科技自創(chuàng)業(yè)之初就瞄準(zhǔn)云端訓(xùn)練產(chǎn)品市場,以突破高難度訓(xùn)練芯片為目標(biāo),2019年推出的第一代產(chǎn)品云燧T10/T11是國內(nèi)第一款具備FP32高精度算力的訓(xùn)練產(chǎn)品。其創(chuàng)新的片間高速互聯(lián),以及軟件棧聚焦優(yōu)化數(shù)據(jù)并行與模型并行等大規(guī)模集群的訓(xùn)練能力,奠定了今天燧原的訓(xùn)練產(chǎn)品在國內(nèi)大規(guī)模集群訓(xùn)練場景的領(lǐng)先優(yōu)勢。

基于云燧T11的冷板式液冷方案,燧原科技為之江實(shí)驗(yàn)室構(gòu)建了超千卡規(guī)模AI液冷集群,以賦能文本到視頻生成的場景為目標(biāo),成功支持了GPT-2、源1.0及實(shí)驗(yàn)室自研蛋白質(zhì)結(jié)構(gòu)預(yù)測等多個(gè)超大規(guī)模巨量模型的高效訓(xùn)練。液冷智算集群也順應(yīng)國家的綠色低碳環(huán)保的要求,PUE經(jīng)實(shí)測最低可降至1.08。

歷經(jīng)五年的產(chǎn)品迭代和優(yōu)化,燧原科技現(xiàn)已擁有從硬件、軟件到系統(tǒng)的全棧解決方案,結(jié)合云燧訓(xùn)練和推理產(chǎn)品在行業(yè)落地打磨的實(shí)踐經(jīng)驗(yàn),可為客戶提供豐富多樣的人工智能系統(tǒng)軟硬件產(chǎn)品,全方位降低AI算力中心部署和應(yīng)用成本。

二、厚積薄發(fā),燧原科技發(fā)力AIGC

在大模型標(biāo)桿項(xiàng)目落地經(jīng)驗(yàn)指引下,以大幅縮短大模型開發(fā)與應(yīng)用周期為目標(biāo),針對大模型場景下的算力需求特性,燧原科技現(xiàn)已針對大模型場景形成從硬件、軟件、系統(tǒng)方案的全棧技術(shù),全面支持大模型生產(chǎn),包括但不僅限于:

  • 大模型現(xiàn)有生態(tài)接入:支持PyTorch、TensorFlow、PaddlePaddle、OneFlow、Megatron-LM、FairScale等主流AI框架和分布式加速庫,支持GPT-2、源1.0、悟道2.0、CPM等主流AIGC大模型的Pretrain和Finetune。 
  • 大模型極致性能提供:采用自主研發(fā)的GCU-LARE技術(shù)和ECCL分布式通信技術(shù),提升大模型訓(xùn)練多機(jī)多卡高速互聯(lián)的性能,支持?jǐn)?shù)據(jù)并行、模型并行、流水線并行和混合并行等并行加速功能,支持Activation Checkpointing、ZeRO優(yōu)化器、CPU offload、AMP(自動(dòng)混合精度)等算力和顯存優(yōu)化方法,可快速高效地進(jìn)行大模型訓(xùn)練。
  • 大模型訓(xùn)練TCO優(yōu)化:從大模型應(yīng)用端到端、技術(shù)全棧角度,燧原科技提供一體化大規(guī)模AI算力集群方案 -- 云燧智算機(jī)(CloudBlazer POD),方案采用一體化設(shè)計(jì),是專為人工智能場景下計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、軟硬協(xié)同設(shè)計(jì)的標(biāo)準(zhǔn)化產(chǎn)品,以"全局優(yōu)異"為目標(biāo),大幅降低建設(shè)滿足大模型場景需求的AI算力基礎(chǔ)設(shè)施的總擁有成本 (TCO)。
  • 大模型業(yè)務(wù)高性價(jià)比推理加速:憑借云端推理產(chǎn)品云燧i20通過互聯(lián)網(wǎng)社交應(yīng)用服務(wù)上億規(guī)模用戶的成功經(jīng)驗(yàn),同時(shí)與廣泛的落地場景進(jìn)行打磨,燧原的推理產(chǎn)品在支持Stable Diffusion、GPT-2、T5等AIGC大模型推理上具備高性價(jià)比,加速AIGC相關(guān)下游場景的商業(yè)落地。

燧原科技大模型全棧技術(shù)
燧原科技大模型全棧技術(shù)

燧原科技創(chuàng)始人、COO張亞林表示:"人工智能技術(shù)的發(fā)展正在步入一個(gè)全新的階段,AIGC內(nèi)容生成類模型以及所生產(chǎn)的內(nèi)容生動(dòng)反映了人工智能從感知、認(rèn)知進(jìn)階到生產(chǎn),也正在重構(gòu)互聯(lián)網(wǎng)商業(yè)模式,催生數(shù)字經(jīng)濟(jì)新突破。在以ChatGPT和Stable Diffusion為代表的AIGC技術(shù)浪潮下,燧原科技憑借在大模型訓(xùn)練及推理的產(chǎn)品技術(shù)優(yōu)勢,結(jié)合MaaS的業(yè)務(wù)模式,構(gòu)建AIGC時(shí)代的基礎(chǔ)設(shè)施底座。"