2023年，生成式人工智能的爆發(fā)帶來(lái)了歷史性產(chǎn)業(yè)機(jī)遇，正在逐步改造重塑社會(huì)、經(jīng)濟(jì)、文化等各個(gè)領(lǐng)域。GPT-4、Llama2、文心、源等大模型在寫文章、對(duì)話、企劃、繪畫、寫代碼等很多領(lǐng)域已經(jīng)表現(xiàn)出了讓人驚艷的創(chuàng)作能力。未來(lái)，AIGC與數(shù)字經(jīng)濟(jì)、實(shí)體經(jīng)濟(jì)的深度融合，還將創(chuàng)造出更多顛覆性的社會(huì)價(jià)值、經(jīng)濟(jì)價(jià)值。

生成式AI蓬勃發(fā)展的背后，算力，尤其是AI算力已經(jīng)成為驅(qū)動(dòng)大模型進(jìn)化的核心引擎。計(jì)算力就是生產(chǎn)力，智算力就是創(chuàng)新力，已經(jīng)成為產(chǎn)業(yè)共識(shí)。大模型時(shí)代的算力供給，與云計(jì)算時(shí)代的算力供給，存在很大的差異性。大模型訓(xùn)練是以并行計(jì)算技術(shù)將多臺(tái)服務(wù)器形成一個(gè)算力集群，在一個(gè)較長(zhǎng)的時(shí)間，完成單一且海量的計(jì)算任務(wù)。這與云計(jì)算，把一臺(tái)機(jī)器拆分成很多容器的需求，存在很大的技術(shù)差異。

目前大模型研發(fā)已經(jīng)進(jìn)入萬(wàn)卡時(shí)代，從事大模型研發(fā)的公司和團(tuán)隊(duì)，普遍面臨“買不起、建不了、算不好”的困局。為解決這一困局，需要以算力基建化改善算力供給，促進(jìn)算力普惠，以算力工程化指導(dǎo)完善算力系統(tǒng)最佳實(shí)踐，提升算力效率，以模型訓(xùn)練工具化手段，降低模型訓(xùn)練門檻，推動(dòng)全棧智算系統(tǒng)創(chuàng)新，通過(guò)“三化”融合互補(bǔ)，促進(jìn)產(chǎn)業(yè)鏈條各環(huán)節(jié)協(xié)同配合，加速釋放大模型生產(chǎn)力，打造人工智能產(chǎn)業(yè)良好發(fā)展環(huán)境。

算力供給基建化，緩解“買不起”困境

大模型，特別是千億參數(shù)級(jí)別具備涌現(xiàn)能力和泛化能力的大模型是通用人工智能的核心。但大模型對(duì)海量算力資源的消耗，急劇抬高了準(zhǔn)入門檻。以ChatGPT的總算力消耗3640PFdays計(jì)算，這對(duì)于自建、自研大模型，往往需要少則幾億，多則數(shù)十億的IT基礎(chǔ)設(shè)施投資，這就導(dǎo)致大模型不僅是一個(gè)技術(shù)密集型產(chǎn)業(yè)，同時(shí)也是資金密集型產(chǎn)業(yè)，資本的力量在大模型產(chǎn)業(yè)發(fā)展中扮演越來(lái)越重要的角色，高昂的資金門檻使得具備技術(shù)能力的初創(chuàng)公司和團(tuán)隊(duì)面臨“買不起”的難題，難以開展創(chuàng)新。

為解決這一困境，除通過(guò)政策引導(dǎo)、政策補(bǔ)貼等方式降低企業(yè)融資成本外，還應(yīng)大力發(fā)展普適普惠的智算中心，通過(guò)算力基建化使得智算力成為城市的公共基礎(chǔ)資源，供用戶按需使用，發(fā)揮公共基礎(chǔ)設(shè)施的普惠價(jià)值。用戶可以選擇自建算力集群，或者是采用智算中心提供的算力服務(wù)來(lái)完成大模型的開發(fā)。

通過(guò)大力發(fā)展智算中心新基建，中國(guó)和美國(guó)大模型產(chǎn)業(yè)的發(fā)展已經(jīng)呈現(xiàn)出完全不同的發(fā)展路徑。在美國(guó)，算力的私有化決定了大模型產(chǎn)業(yè)技術(shù)只能掌握在少數(shù)企業(yè)手中，而中國(guó)大力推動(dòng)的算力供給基建化，為大模型創(chuàng)新發(fā)展提供了一片沃土，將使得整個(gè)產(chǎn)業(yè)呈現(xiàn)“百模爭(zhēng)秀”的全新格局。

算力效率工程化，化解大模型算力系統(tǒng)“建不了”難題

即使解決了算力供應(yīng)的問(wèn)題，通用大模型開發(fā)仍然是一項(xiàng)極其復(fù)雜的系統(tǒng)工程，如同F1賽車的調(diào)校一樣。F1賽車的性能非常高，但如何調(diào)校好這部賽車，讓它在比賽中不僅能跑出最快圈速，而且能確保完賽，對(duì)整個(gè)車隊(duì)的能力要求是非常高的。

大模型訓(xùn)練需要依靠規(guī)模龐大的AI算力系統(tǒng)，在較長(zhǎng)時(shí)間內(nèi)完成海量的計(jì)算任務(wù)，算力效率十分重要。算力效率越高，大模型的訓(xùn)練耗時(shí)越少，就能贏得更多時(shí)間窗口，也能降低更多成本。目前，大模型的訓(xùn)練集群效率普遍較低，像GPT3的集群訓(xùn)練效率只有23%，相當(dāng)于有超過(guò)四分之三的算力資源被浪費(fèi)了。

大模型不應(yīng)是簡(jiǎn)單粗暴的“暴力計(jì)算”，算力系統(tǒng)構(gòu)建也不是算力的簡(jiǎn)單堆積，而是一項(xiàng)復(fù)雜的系統(tǒng)工程，需要從多個(gè)方面進(jìn)行系統(tǒng)化的設(shè)計(jì)架構(gòu)。一是要解決如何實(shí)現(xiàn)算力的高效率，它涉及到系統(tǒng)的底層驅(qū)動(dòng)、系統(tǒng)層優(yōu)化，與大模型相適配的優(yōu)化；二是要解決算力系統(tǒng)如何保持線性可擴(kuò)展，在單機(jī)上獲得較高算力效率之后，還需要能讓幾百個(gè)服務(wù)器節(jié)點(diǎn)、幾千塊卡的大規(guī)模集群環(huán)境的算力系統(tǒng)運(yùn)行效率，保持相對(duì)線性的性能擴(kuò)展比，這是在整個(gè)算力集群系統(tǒng)設(shè)計(jì)和并行策略設(shè)計(jì)時(shí)，需要考慮的重要因素。三是算力系統(tǒng)長(zhǎng)效穩(wěn)定訓(xùn)練問(wèn)題，大模型的訓(xùn)練周期長(zhǎng)達(dá)數(shù)周甚至數(shù)月，普遍存在硬件故障導(dǎo)致訓(xùn)練中斷、梯度爆炸等小規(guī)模訓(xùn)練不會(huì)遇到的問(wèn)題，工程實(shí)踐方面的缺乏導(dǎo)致企業(yè)難以在模型質(zhì)量上實(shí)現(xiàn)快速提升。

因此，化解大模型“建不了”難題，根源在于提升算力效率。但目前業(yè)界開源項(xiàng)目主要集中在框架、數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)乃至模型等軟件及算法層面，硬件優(yōu)化的方法由于集群配置的差異，難以復(fù)用而普遍處于封閉狀態(tài)。這就需要具備大模型實(shí)踐的公司將集群優(yōu)化經(jīng)驗(yàn)予以工程化，以硬件開源項(xiàng)目、技術(shù)服務(wù)等多種方式，幫助更多公司解決算力效率低下的難題。

模型訓(xùn)練工具化，解決“算不好”難題

系統(tǒng)建成后，大模型在訓(xùn)練過(guò)程中，由于開發(fā)鏈條冗長(zhǎng)，還面臨“算不好”的挑戰(zhàn)。從PB級(jí)數(shù)據(jù)的爬取、清洗、過(guò)濾，到大規(guī)模預(yù)訓(xùn)練的算法設(shè)計(jì)、性能優(yōu)化和失效管理；從指令微調(diào)數(shù)據(jù)集的設(shè)計(jì)到人類反饋強(qiáng)化學(xué)習(xí)訓(xùn)練的優(yōu)化……大模型訓(xùn)練不僅依賴高質(zhì)量數(shù)據(jù)，同時(shí)也要解決算法收斂、斷點(diǎn)續(xù)訓(xùn)、參數(shù)優(yōu)化、模型微調(diào)等問(wèn)題，數(shù)據(jù)質(zhì)量、代碼調(diào)優(yōu)、執(zhí)行效率等關(guān)乎訓(xùn)練質(zhì)量的因素至關(guān)重要。這些問(wèn)題解決不好，很難產(chǎn)生一個(gè)可商用的、高質(zhì)量的大模型產(chǎn)品。

解決“算不好”難題，根本上要保障大模型訓(xùn)練的長(zhǎng)時(shí)、高效、穩(wěn)定訓(xùn)練的問(wèn)題。例如大模型訓(xùn)練過(guò)程的失效故障，大模型訓(xùn)練會(huì)因此中斷，不得不從最新的檢查點(diǎn)重新載入以繼續(xù)訓(xùn)練，這個(gè)問(wèn)題在當(dāng)前是不可避免的。提高算力系統(tǒng)的可持續(xù)性，不僅需要更多機(jī)制上的設(shè)計(jì)，更依賴于大量自動(dòng)化、智能化的模型工具支撐。模型訓(xùn)練工具化保障手段，能夠有效降低斷點(diǎn)續(xù)訓(xùn)過(guò)程中所耗費(fèi)的資源，這意味著大大降低訓(xùn)練成本并提升訓(xùn)練任務(wù)的成功率，會(huì)讓更多公司和團(tuán)隊(duì)參與到大模型創(chuàng)新之中。

早在大模型熱潮到來(lái)之前，浪潮信息在2021年已經(jīng)開始研發(fā)參數(shù)量達(dá)到2457億的源1.0，通過(guò)親身實(shí)踐洞察大模型發(fā)展和演進(jìn)的需求和技術(shù)挑戰(zhàn)。目前，浪潮信息已經(jīng)建立了面向大模型應(yīng)用場(chǎng)景的整體解決方案，尤其是從當(dāng)前大模型算力建設(shè)、模型開發(fā)和應(yīng)用落地的實(shí)際需求出發(fā)，開發(fā)出全棧全流程的智算軟件棧OGAI，提供完善的工程化、自動(dòng)化工具軟件堆棧，幫助更多企業(yè)順利跨越大模型研發(fā)應(yīng)用門檻，充分釋放大模型創(chuàng)新生產(chǎn)力。

快速進(jìn)化的人工智能正在呈現(xiàn)越來(lái)越強(qiáng)的泛化能力，但技術(shù)進(jìn)步的不可預(yù)測(cè)性也在隨之增強(qiáng)。為此，我們能夠依賴的只有不斷的創(chuàng)新，通過(guò)政策驅(qū)動(dòng)、應(yīng)用導(dǎo)向、產(chǎn)業(yè)構(gòu)建等多重手段相結(jié)合，不斷夯實(shí)大模型基礎(chǔ)能力和原始創(chuàng)新能力，積極適應(yīng)人工智能的快速迭代與產(chǎn)業(yè)變革，切實(shí)有效的解決好大模型算力“買不起、建不了、算不好”的難題。