【ZiDongHua 之動(dòng)感惠民生收錄關(guān)鍵詞： 聯(lián)想  ChatGPT  AIGC 生成式人工智能 算力】

 

解密：大模型背后的推手

 

在發(fā)布不到兩個(gè)月的時(shí)間內(nèi)就擁有了1億活躍用戶(hù)，讓ChatGPT成為了有史以來(lái)用戶(hù)數(shù)量增長(zhǎng)最快的應(yīng)用，也讓人類(lèi)從此進(jìn)入了AI的“iPhone時(shí)刻”。

通過(guò)使用大模型算法和大量數(shù)據(jù)訓(xùn)練，ChatGPT不僅上知天文、下曉地理，還能根據(jù)聊天場(chǎng)景的上下文與人類(lèi)進(jìn)行交流互動(dòng)，這樣前所未有的功能引發(fā)了公眾對(duì)于大模型訓(xùn)練應(yīng)用的熱情，各大廠商也紛紛進(jìn)入大模型訓(xùn)練賽道。然而，大模型訓(xùn)練對(duì)于算力有著極高的要求，算力需求因此出現(xiàn)了迸發(fā)式增長(zhǎng)。

6月27日，來(lái)自中國(guó)人工智能學(xué)會(huì)、聯(lián)想和英偉達(dá)的專(zhuān)家在“從ChatGPT看大模型訓(xùn)練背后的算力推手”云端研討會(huì)中共同探討了ChatGPT引發(fā)的算力需求背后的故事，并展望了生成式人工智能的發(fā)展前景。

詳解ChatGPT

北京郵電大學(xué)教授、中國(guó)人工智能學(xué)會(huì)高級(jí)會(huì)員張成文介紹了ChatGPT大模型的技術(shù)及其發(fā)展趨勢(shì)。

北京郵電大學(xué)教授、中國(guó)人工智能學(xué)會(huì)高級(jí)會(huì)員張成文

張成文表示，在經(jīng)歷了蒸汽化、電氣化、自動(dòng)化為特征的三次工業(yè)革命之后，我們已經(jīng)進(jìn)入了以智能化為特征的第四次工業(yè)革命時(shí)代，ChatGPT正是第四次工業(yè)革命的一個(gè)標(biāo)志性成果，而以ChatGPT為代表的AI大模型也被認(rèn)為是一種顛覆性的技術(shù)，它不僅能夠創(chuàng)造全新的價(jià)值，也具有全新的范式。

張成文指出，全新范式的體現(xiàn)方式之一就是技術(shù)原生，也就是當(dāng)前的業(yè)務(wù)要基于該技術(shù)重做一遍，未來(lái)的業(yè)務(wù)要以該技術(shù)為基礎(chǔ)進(jìn)行設(shè)計(jì)與實(shí)施。目前企業(yè)正在從與AI相結(jié)合的階段進(jìn)入到AI原生階段。因此，以大模型能力為基礎(chǔ)來(lái)開(kāi)發(fā)AI產(chǎn)品的AI原生應(yīng)用，有了“顛覆”傳統(tǒng)AI應(yīng)用的機(jī)會(huì)。AI原生應(yīng)用將會(huì)超越現(xiàn)有的僅支持AI輔助嵌入的應(yīng)用。

“ChatGPT引發(fā)了新一輪AI算力需求的爆發(fā)。”據(jù)張成文介紹，大模型對(duì)算力的需求主要體現(xiàn)在訓(xùn)練和推理兩個(gè)層面。根據(jù)OpenAI團(tuán)隊(duì)2020年發(fā)表的論文顯示，訓(xùn)練一次1750億參數(shù)的GPT-3所需的算力約為3640 PFlop/s-day(如果每秒計(jì)算一千萬(wàn)億次，需要計(jì)算3640天)，算力成本超過(guò)460萬(wàn)美元。如果把這個(gè)算力需求換算成英偉達(dá)A100，在理想情況下需要約6000張A100，在考慮到互聯(lián)損失的情況下，則需要一萬(wàn)張A100。

另外，ChatGPT在運(yùn)行中需要不斷調(diào)優(yōu)，才能確保一直處于最佳應(yīng)用狀態(tài)。預(yù)計(jì)ChatGPT一個(gè)月微調(diào)所需的算力至少為1350 PFlop/s-day。2023年1月ChatGPT的運(yùn)營(yíng)算力成本已經(jīng)高達(dá)890萬(wàn)美元。

根據(jù)OpenAI發(fā)布的分析報(bào)告，2012年以來(lái)，AI訓(xùn)練的算力需求每3-4個(gè)月就會(huì)翻倍，從2012年至今，AI算力增長(zhǎng)已超過(guò)了30萬(wàn)倍。因此，算力成了AI突破的關(guān)鍵因素。

張成文還預(yù)計(jì)，未來(lái)大模型將向自主代理GPT和多模態(tài)具身智能兩個(gè)方向發(fā)展。

聯(lián)想：愿做大模型的“生產(chǎn)車(chē)間”

聯(lián)想研究院人工智能實(shí)驗(yàn)室主任研究員王奇剛分享了生成式AI及大模型賦能行業(yè)智能化轉(zhuǎn)型的情況。

聯(lián)想研究院人工智能實(shí)驗(yàn)室主任研究員王奇剛

王奇剛介紹，AI學(xué)習(xí)知識(shí)的方法主要分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)兩種。監(jiān)督學(xué)習(xí)的數(shù)據(jù)是有標(biāo)簽的，AI通過(guò)學(xué)習(xí)過(guò)往的知識(shí)可以預(yù)測(cè)未來(lái)。非監(jiān)督學(xué)習(xí)的數(shù)據(jù)沒(méi)有標(biāo)簽，AI通過(guò)發(fā)現(xiàn)數(shù)據(jù)的共性特征，進(jìn)行聚類(lèi)或生成。

模型也分為兩類(lèi)：判別式模型和生成式模型。判別式模型可以學(xué)習(xí)數(shù)據(jù)和標(biāo)注之間的關(guān)系，給該模型輸入新數(shù)據(jù)時(shí)，它能夠輸出與原始標(biāo)注類(lèi)似的新結(jié)果。生成式模型可以學(xué)習(xí)統(tǒng)計(jì)規(guī)律，在輸入圖片、語(yǔ)音等非結(jié)構(gòu)化數(shù)據(jù)時(shí)能夠輸出新內(nèi)容。生成式模型通常會(huì)伴隨大量的非監(jiān)督學(xué)習(xí)。

王奇剛指出，近年來(lái)涌現(xiàn)出了很多生成式模型的應(yīng)用，如文本、圖片、聲音、視頻、代碼的生成，企業(yè)可以利用生成式模型來(lái)寫(xiě)郵件、寫(xiě)文案、做海報(bào)等等。而ChatGPT的發(fā)布則讓我們從深度學(xué)習(xí)時(shí)代進(jìn)入到了通用人工智能時(shí)代，也就是AGI時(shí)代。

作為大語(yǔ)言模型的一類(lèi)，ChatGPT(GPT3.5)從GPT1發(fā)展到GPT4時(shí)，參數(shù)量從1.17億增長(zhǎng)到了1-1.7萬(wàn)億，對(duì)于算力的消耗也成倍的增長(zhǎng)。

王奇剛表示，在大模型時(shí)代，聯(lián)想的愿景是做大模型的“生產(chǎn)車(chē)間”，做一套工具給到用戶(hù)。借助這套工具，用戶(hù)只要上傳數(shù)據(jù)，無(wú)需自己編寫(xiě)代碼，點(diǎn)點(diǎn)鼠標(biāo)就可以產(chǎn)生自己的大模型，并為用戶(hù)內(nèi)部提供大模型服務(wù)，這樣就避免了用戶(hù)數(shù)據(jù)外泄的風(fēng)險(xiǎn)。聯(lián)想還可以幫助用戶(hù)去訓(xùn)練、微調(diào)大模型，讓大模型能夠滿(mǎn)足用戶(hù)的各種需求。如果用戶(hù)是軟件公司，聯(lián)想也可以幫助用戶(hù)實(shí)現(xiàn)類(lèi)似微軟Copilot的應(yīng)用。

事實(shí)上，聯(lián)想很早就研發(fā)出了一個(gè)叫煉AI大師的軟件產(chǎn)品，它既是GPU服務(wù)器的集群管理軟件，也是AI算法的開(kāi)發(fā)平臺(tái)。在大模型時(shí)代，聯(lián)想將這套工具鏈延伸到大模型，讓用戶(hù)可以通過(guò)聯(lián)想完備的流程，輕松訓(xùn)練出大模型的各種功能。目前聯(lián)想已經(jīng)實(shí)現(xiàn)了AIGC文生圖應(yīng)用和類(lèi)似ChatGPT的對(duì)話(huà)應(yīng)用，其中大模型LLM實(shí)現(xiàn)了一般指令、網(wǎng)頁(yè)生成、代碼生成、表格生成、回答問(wèn)題、計(jì)算、多輪對(duì)話(huà)、多模態(tài)對(duì)話(huà)理解等功能;大模型AIGC則實(shí)現(xiàn)了可控生成、姿態(tài)控制、任意位置修改、多條件控制、高質(zhì)量生成、定制化圖像生成等功能。

王奇剛還透露，以上只是聯(lián)想在大模型領(lǐng)域中所做的一小部分事情，在今年10月舉行的聯(lián)想Tech World大會(huì)上將會(huì)發(fā)布更多AI相關(guān)信息。

此外，英偉達(dá)資深系統(tǒng)架構(gòu)師胡麟也在會(huì)上介紹了大語(yǔ)言模型和英偉達(dá)相關(guān)的訓(xùn)練、推理技術(shù)以及解決方案。

唯有與時(shí)俱進(jìn)，才能不被時(shí)代淘汰。在這個(gè)通用人工智能時(shí)代，及時(shí)把握大模型帶來(lái)的新機(jī)遇，企業(yè)才能在市場(chǎng)上贏得先機(jī)。據(jù)透露，聯(lián)想將在9月左右發(fā)布全新的系列人工智能服務(wù)器產(chǎn)品，將幫助企業(yè)更便捷的應(yīng)用各種人工智能服務(wù)，讓我們共同拭目以待!