大模型是通用人工智能的底座，但大模型訓(xùn)練對(duì)算力平臺(tái)的依賴非常大。大模型算力平臺(tái)是指支撐大模型訓(xùn)練和推理部署的算力基礎(chǔ)設(shè)施，包括業(yè)界最新的加速卡、高速互聯(lián)網(wǎng)絡(luò)、高性能分布式存儲(chǔ)系統(tǒng)、液冷系統(tǒng)和高效易用的大模型研發(fā)工具和框架。在算力平臺(tái)的部署過(guò)程中，大模型研發(fā)機(jī)構(gòu)常常需要面對(duì)一系列的問(wèn)題：大模型算力平臺(tái)是什么樣的？如何快速構(gòu)建大模型算力平臺(tái)？如何確保算力平臺(tái)穩(wěn)定可靠？如何提升部署效率？如何提升算力平臺(tái)的性能……這些問(wèn)題能否順利解決，直接關(guān)系到大模型研發(fā)和應(yīng)用落地的速度。

為了幫助用戶加速大模型的技術(shù)創(chuàng)新與應(yīng)用落地，浪潮信息發(fā)布了大模型智算軟件棧OGAI（Open GenAI Infra）。OGAI由5層架構(gòu)組成，從L0到L4分別對(duì)應(yīng)于基礎(chǔ)設(shè)施層的智算中心OS產(chǎn)品、系統(tǒng)環(huán)境層的PODsys產(chǎn)品、調(diào)度平臺(tái)層的AIStation產(chǎn)品、模型工具層的YLink產(chǎn)品和多模納管層的MModel產(chǎn)品。其中L1層PODsys是一個(gè)為客戶提供智算集群系統(tǒng)環(huán)境部署方案的開源項(xiàng)目，具備基礎(chǔ)設(shè)施環(huán)境安裝、環(huán)境部署、用戶管理、系統(tǒng)監(jiān)控和資源調(diào)度等能力。用戶只需執(zhí)行兩條簡(jiǎn)單的命令，即可完成大模型算力平臺(tái)的部署，將大模型算力平臺(tái)部署效率提升11倍，幫助用戶順利邁出大模型研發(fā)的第一步。

大模型算力平臺(tái)部署難題亟待求解

大模型參數(shù)量和訓(xùn)練數(shù)據(jù)復(fù)雜性快速增加，對(duì)AI算力平臺(tái)的建設(shè)提出了新的要求，即需要從數(shù)據(jù)中心規(guī)?；懔Σ渴鸬慕嵌?，統(tǒng)籌考慮大模型分布式訓(xùn)練對(duì)計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的需求特點(diǎn)，并集成平臺(tái)軟件、結(jié)合應(yīng)用實(shí)踐，充分關(guān)注數(shù)據(jù)傳輸、任務(wù)調(diào)度、并行優(yōu)化、資源利用率等，設(shè)計(jì)和構(gòu)建高性能、高速互聯(lián)、存算平衡的可擴(kuò)展集群系統(tǒng)，以滿足AI大模型的訓(xùn)練需求。

強(qiáng)大的大模型算力平臺(tái)不僅需要高性能的CPU、GPU、存儲(chǔ)、網(wǎng)絡(luò)等硬件設(shè)備，還需要考慮不同硬件和軟件之間的兼容性和版本選擇，確保驅(qū)動(dòng)和工具的適配性和穩(wěn)定性。當(dāng)算力平臺(tái)的規(guī)模從十幾臺(tái)服務(wù)器擴(kuò)展到幾百臺(tái)，平臺(tái)部署難度會(huì)呈指數(shù)級(jí)上升。

首先，算力平臺(tái)部署需要的相關(guān)驅(qū)動(dòng)程序、軟件包往往高達(dá)數(shù)十個(gè)，正確安裝、部署并優(yōu)化這些驅(qū)動(dòng)程序與軟件，需要專業(yè)的運(yùn)維工程師和大量調(diào)試時(shí)間，嚴(yán)重影響部署效率。其次，為了確保算力平臺(tái)的高性能和穩(wěn)定運(yùn)行，需要驗(yàn)證不同硬件環(huán)境下的軟件適配，優(yōu)化BIOS、操作系統(tǒng)、底層驅(qū)動(dòng)、文件系統(tǒng)和網(wǎng)絡(luò)等多項(xiàng)指標(biāo)，找到最優(yōu)的選擇，這一工作同樣費(fèi)時(shí)費(fèi)力。此外，算力平臺(tái)的資源狀態(tài)處于時(shí)刻的變動(dòng)中，如果不進(jìn)行合理的資源調(diào)度與管理，很容易影響平臺(tái)的資源利用率。

PODsys讓大模型算力平臺(tái)部署"易如反掌"

PODsys專注于大模型算力平臺(tái)部署場(chǎng)景，提供包括基礎(chǔ)設(shè)施環(huán)境安裝、環(huán)境部署、用戶管理、系統(tǒng)監(jiān)控和資源調(diào)度在內(nèi)的完整工具鏈，旨在打造一個(gè)開源、高效、兼容、易用的智算集群系統(tǒng)方案。

PODsys整合了大模型算力平臺(tái)部署所需的數(shù)十個(gè)驅(qū)動(dòng)、軟件等安裝包以及對(duì)應(yīng)的依賴和兼容關(guān)系，并提供了一系列的簡(jiǎn)化部署的腳本工具。使用這些工具只需要簡(jiǎn)單2個(gè)步驟，PODsys即可幫助用戶快速部署大模型算力平臺(tái)。

步驟1：使用docker run命令快速啟動(dòng)PODsys系統(tǒng)。

PODsys系統(tǒng)集成了大模型算力平臺(tái)部署所需的操作系統(tǒng)、GPU驅(qū)動(dòng)、網(wǎng)卡驅(qū)動(dòng)、通信加速庫(kù)等數(shù)十個(gè)驅(qū)動(dòng)程序、軟件和安裝包，并提供了一系列腳本工具來(lái)簡(jiǎn)化部署，讓用戶可以快速安裝、配置和更新集群環(huán)境。PODsys大量選用了業(yè)界廣泛使用的主流開源系統(tǒng)、工具、框架和軟件，來(lái)保障整個(gè)部署方案的開放性、兼容性和穩(wěn)定性。

步驟2：使用install_client命令快速部署大模型算力平臺(tái)的并行軟件環(huán)境。

PODsys將單機(jī)部署方式改成集群部署方式，可將部署效率提升11倍以上。在管理節(jié)點(diǎn)運(yùn)行一句簡(jiǎn)單的命令（install_client.sh），即可完成大模型算力平臺(tái)的環(huán)境配置，集成了高速文件系統(tǒng)接口、自動(dòng)化運(yùn)維工具、NVDIA CUDA編程框架、NCCL高性能通信庫(kù)，支持NGC 加速平臺(tái)等功能。并能實(shí)現(xiàn)多用戶、多租戶管理集群。

PODsys提供了全面的系統(tǒng)監(jiān)控和管理，幫助用戶實(shí)時(shí)監(jiān)控集群的狀態(tài)和性能指標(biāo)。通過(guò)可視化的界面，用戶可以查看集群資源的使用情況、作業(yè)的執(zhí)行情況和性能瓶頸，從而及時(shí)調(diào)整集群配置和優(yōu)化作業(yè)性能，來(lái)保證算力平臺(tái)的高性能和穩(wěn)定運(yùn)行。

此外，PODsys具備高效的資源調(diào)度和作業(yè)管理功能，可以根據(jù)用戶的需求自動(dòng)調(diào)度和管理作業(yè)，確保集群的資源利用率和作業(yè)的執(zhí)行效率。

伴隨著大模型的快速應(yīng)用，算力平臺(tái)的魯棒性、易用性、部署效率成為用戶關(guān)注的首要問(wèn)題。針對(duì)商業(yè)用戶，PODsys還提供專業(yè)的算力平臺(tái)性能調(diào)優(yōu)服務(wù)。

總之，PODsys提供了一套完整的工具鏈，將大模型平臺(tái)部署變得像系統(tǒng)安裝一樣簡(jiǎn)單，讓用戶省時(shí)、省力地部署大模型算力平臺(tái)，助力大模型創(chuàng)新走好第一步。