近日，浪潮信息發(fā)布源2.0-M32大模型4bit和8bit量化版，性能比肩700億參數(shù)的LLaMA3開源大模型。4bit量化版推理運(yùn)行顯存僅需23.27GB，處理每token所需算力約為1.9 GFLOPs，算力消耗僅為同等當(dāng)量大模型LLaMA3-70B的1/80。而LLaMA3-70B運(yùn)行顯存為160GB，所需算力為140GFLOPs。

源2.0-M32量化版是"源"大模型團(tuán)隊為進(jìn)一步提高模算效率，降低大模型部署運(yùn)行的計算資源要求而推出的版本，通過采用領(lǐng)先的量化技術(shù)，將原模型精度量化至int4和int8級別，并保持模型性能基本不變。源2.0-M32量化版提高了模型部署加載速度和多線程推理效率，在不同硬件和軟件環(huán)境中均能高效運(yùn)行，降低了模型移植和部署門檻，讓用戶使用更少的計算資源，就能獲取源2.0-M32大模型的強(qiáng)大能力。

源2.0-M32大模型是浪潮信息"源2.0"系列大模型的最新版本，其創(chuàng)新性地提出和采用了"基于注意力機(jī)制的門控網(wǎng)絡(luò)"技術(shù)，構(gòu)建包含32個專家（Expert）的混合專家模型（MoE），模型運(yùn)行時激活參數(shù)為37億，在業(yè)界主流基準(zhǔn)評測中性能全面對標(biāo)700億參數(shù)的LLaMA3開源大模型，大幅提升了模型算力效率。

模型量化（Model Quantization）是優(yōu)化大模型推理的一種主流技術(shù)，它顯著減少了模型的內(nèi)存占用和計算資源消耗，從而加速推理過程。然而，模型量化可能會影響模型的性能。如何在壓縮模型的同時維持其精度，是量化技術(shù)面臨的核心挑戰(zhàn)。

源2.0-M32大模型研發(fā)團(tuán)隊深入分析當(dāng)前主流的量化方案，綜合評估模型壓縮效果和精度損失表現(xiàn)，最終采用了GPTQ量化方法，并采用AutoGPTQ作為量化框架。為了確保模型精度最大化，一方面定制化適配了適合源2.0-M32結(jié)構(gòu)的算子，提高了模型的部署加載速度和多線程推理效率，實現(xiàn)高并發(fā)推理；另一方面對需要量化的中間層（inter_layers）進(jìn)行了嚴(yán)格評估和篩選，確定了最佳的量化層。從而成功將模型精度量化至int4和int8級別，在模型精度幾乎無損的前提下，提升模型壓縮效果、增加推理吞吐量和降低計算成本，使其更易于部署到移動設(shè)備和邊緣設(shè)備上。

評測結(jié)果顯示，源2.0-M32量化版在多個業(yè)界主流的評測任務(wù)中性能表現(xiàn)突出，特別是在MATH（數(shù)學(xué)競賽）、ARC-C（科學(xué)推理）任務(wù)中，比肩擁有700億參數(shù)的LLaMA3大模型。

總之，源2.0-M32大模型量化版在保持推理性能的前提下，顯著降低了計算資源消耗和內(nèi)存占用，其采用的GPTQ量化方法通過精細(xì)調(diào)整，成功將模型適配至int4和int8精度級別。通過定制化算子優(yōu)化，源2.0-M32量化版實現(xiàn)了模型結(jié)構(gòu)的深度適配和性能的顯著提升，確保在不同硬件和軟件環(huán)境中均能高效運(yùn)行。未來，隨著量化技術(shù)的進(jìn)一步優(yōu)化和應(yīng)用場景的拓展，源2.0-M32量化版有望在移動設(shè)備和邊緣計算等領(lǐng)域發(fā)揮更廣泛的作用，為用戶提供更高效的智能服務(wù)。

源2.0-M32量化版已開源，下載鏈接如下：

Hugging Face平臺下載鏈接：

https://huggingface.co/IEITYuan/Yuan2-M32-gguf-int4
https://huggingface.co/IEITYuan/Yuan2-M32-hf-int4
https://huggingface.co/IEITYuan/Yuan2-M32-hf-int8 

modelscope平臺下載鏈接：

https://modelscope.cn/models/IEITYuan/Yuan2-M32-gguf-int4
https://modelscope.cn/models/IEITYuan/Yuan2-M32-HF-INT4
https://modelscope.cn/models/IEITYuan/Yuan2-M32-hf-int8