亞馬遜云科技推出新一代自研芯片

• Amazon Graviton4是目前亞馬遜云科技性能最強(qiáng)、最具能效的自研芯片，支持廣泛的云上工作負(fù)載
• Amazon Trainium2提供亞馬遜云科技上用于模型訓(xùn)練的最高計(jì)算性能，提高訓(xùn)練速度、降低成本及能耗

/美通社/ -- 亞馬遜云科技在2023 re:Invent全球大會(huì)上宣布其自研芯片家族的兩個(gè)系列推出新一代，包括Amazon Graviton4和Amazon Trainium2，為機(jī)器學(xué)習(xí)（ML）訓(xùn)練和生成式人工智能（AI）應(yīng)用等廣泛的工作負(fù)載提供更高性價(jià)比和能效。Graviton4和Trainium2是亞馬遜云科技自研芯片的最新創(chuàng)新。亞馬遜云科技每一代自研芯片都持續(xù)提升性價(jià)比和能效，為客戶提供了基于AMD、Intel以及英偉達(dá)等的最新芯片和實(shí)例組合之外的更多選擇，從而使Amazon Elastic Compute Cloud（Amazon EC2）可以為客戶虛擬運(yùn)行幾乎所有應(yīng)用和工作負(fù)載。

• Graviton4與當(dāng)前一代Graviton3處理器相比，性能提升高達(dá)30%，獨(dú)立核心增加50%以上，內(nèi)存帶寬提升75%以上，為在Amazon EC2上運(yùn)行的工作負(fù)載提供最佳性能和能效。
• Trainium2與第一代Trainium芯片相比訓(xùn)練速度提升多達(dá)4倍，并能在EC2 UltraClusters中部署多達(dá)100,000個(gè)芯片，可以在極短的時(shí)間訓(xùn)練基礎(chǔ)模型（FMs）和大語(yǔ)言模型（LLMs），同時(shí)能效提升多達(dá)2倍。

亞馬遜云科技計(jì)算和網(wǎng)絡(luò)副總裁David Brown表示：“芯片是用戶所有工作負(fù)載的基礎(chǔ)，這也是為什么亞馬遜云科技一直將這一領(lǐng)域視為其至關(guān)重要的創(chuàng)新領(lǐng)域。通過(guò)將芯片設(shè)計(jì)聚焦于客戶真正關(guān)心的實(shí)際工作負(fù)載，我們能夠?yàn)榭蛻籼峁┳钕冗M(jìn)的云基礎(chǔ)架構(gòu)。Graviton4是我們?cè)诙潭涛迥晖瞥龅倪@一系列的第四代，是我們至今功能最強(qiáng)大和最具能效的芯片，為客戶廣泛的工作負(fù)載提供支持。隨著生成式 AI 引起的廣泛關(guān)注，Tranium2可以幫助客戶以更低成本和更佳能效，更快地訓(xùn)練機(jī)器學(xué)習(xí)模型。”

Graviton4為客戶廣泛的工作負(fù)載提供更佳性價(jià)比和更高能效

如今，亞馬遜云科技在全球規(guī)?；峁┑幕?/span>Graviton的Amazon EC2實(shí)例種類達(dá)150多個(gè)，已經(jīng)構(gòu)建的Graviton處理器數(shù)量超過(guò)200萬(wàn)個(gè)，并擁有超過(guò)50,000客戶。這些客戶涵蓋了EC2最大的前100個(gè)客戶，他們使用基于Graviton的實(shí)例為其應(yīng)用提供最佳性價(jià)比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等客戶正使用基于Graviton的實(shí)例運(yùn)行廣泛的工作負(fù)載，包括數(shù)據(jù)庫(kù)、數(shù)據(jù)分析、網(wǎng)絡(luò)服務(wù)器、批處理、廣告服務(wù)、應(yīng)用服務(wù)器以及微服務(wù)等。隨著客戶把更大的內(nèi)存數(shù)據(jù)庫(kù)和分析工作負(fù)載遷移到云上，他們對(duì)計(jì)算、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)的要求也隨之增加。為此，他們需要更高性能和更大實(shí)例來(lái)運(yùn)行這些要求嚴(yán)苛的工作負(fù)載，同時(shí)需要優(yōu)化成本。針對(duì)這些工作負(fù)載，客戶還希望能使用更加節(jié)能的計(jì)算資源，減少對(duì)環(huán)境的影響。目前，很多亞馬遜云科技的托管服務(wù)都支持使用Graviton，包括Amazon Aurora、Amazon ElastiCache、Amazon Elastic MapReduce（Amazon EMR）、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service（Amazon RDS）、Amazon Fargate以及Amazon Lambda等，將Graviton的性價(jià)比優(yōu)勢(shì)帶給使用這些服務(wù)的用戶。

Graviton4處理器相比Graviton3處理器性能提升30%，獨(dú)立核心增加50%以上，內(nèi)存帶寬提升75%以上。Graviton4還進(jìn)一步通過(guò)高速物理硬件接口的完全加密提升了安全性。Amazon EC2 R8g內(nèi)存優(yōu)化性實(shí)例將采用最新的Graviton4，提升客戶運(yùn)行高性能數(shù)據(jù)庫(kù)、內(nèi)存緩存、大數(shù)據(jù)分析等工作負(fù)載的效率。R8g實(shí)例相比當(dāng)前一代R7g實(shí)例提供更大的實(shí)例大小，虛擬處理器（vCPU）以及內(nèi)存均提升了3倍。這讓用戶可以處理更大量的數(shù)據(jù)、更大規(guī)模的工作負(fù)載、更快地獲得運(yùn)行結(jié)果，并降低總擁有成本?；?/span>Graviton4的R8g實(shí)例現(xiàn)已提供預(yù)覽版，并將在未來(lái)幾個(gè)月推出正式可用版。欲了解更多基于Graviton4的R8g實(shí)例的信息，請(qǐng)?jiān)L問(wèn)：aws.amazon.com/ec2/instance-types/r8g。

Trainium2的EC2 UltraClusters致力于為客戶提供云中最高性能、最具能效的AI模型訓(xùn)練基礎(chǔ)架構(gòu)

如今日益增加的生成式 AI 應(yīng)用背后的基礎(chǔ)模型和大語(yǔ)言模型需要使用海量數(shù)據(jù)集進(jìn)行訓(xùn)練。這些模型通過(guò)創(chuàng)造文字、音頻、圖片、視頻、甚至軟件代碼等大量新的內(nèi)容，幫助客戶重構(gòu)用戶體驗(yàn)。當(dāng)今最先進(jìn)的基礎(chǔ)模型和大語(yǔ)言模型通常包含數(shù)千億甚至數(shù)萬(wàn)億個(gè)參數(shù)或變量，需要能夠支持上萬(wàn)機(jī)器學(xué)習(xí)芯片進(jìn)行擴(kuò)展的可靠高性能計(jì)算能力。亞馬遜云科技現(xiàn)已提供廣泛而深入的由機(jī)器學(xué)習(xí)芯片支持的Amazon EC2實(shí)例選項(xiàng)，包括最新的英偉達(dá) GPU、Trainium以及Inferentia2。Databricks、Helixon、Money Forward以及Amazon Search團(tuán)隊(duì)等眾多客戶都在使用Trainium訓(xùn)練大規(guī)模深度學(xué)習(xí)模型，從而受益于Trainium的高性能、可擴(kuò)展、可靠以及低成本等諸多優(yōu)勢(shì)。但即便已經(jīng)在使用當(dāng)今最快的加速實(shí)例，客戶仍然希望獲得更強(qiáng)的性能和規(guī)模來(lái)訓(xùn)練這些日益復(fù)雜的模型，從而提高訓(xùn)練速度、降低成本，同時(shí)降低能源消耗。

Trainium2芯片專為以高性能訓(xùn)練具有數(shù)萬(wàn)億個(gè)參數(shù)或變量的基礎(chǔ)模型和大語(yǔ)言模型而構(gòu)建。Trainium2與第一代Trainium芯片相比，性能提升多達(dá)4倍，內(nèi)存提升3倍，能源效率（每瓦性能）提升多達(dá)2倍。Amazon EC2 Trn2實(shí)例采用最新的Trainium2，一個(gè)單獨(dú)實(shí)例包含16個(gè)Trainium加速芯片。Trainium2實(shí)例致力于為客戶在新一代EC2 UltraClusters中擴(kuò)展多達(dá)100,000個(gè)Trainium2加速芯片，并與Amazon Elastic Fabric Adapter（EFA）PB級(jí)網(wǎng)絡(luò)互聯(lián)，提供的算力高達(dá)65 exaflops，客戶可按需獲得超級(jí)計(jì)算級(jí)別的性能。有了這個(gè)級(jí)別的規(guī)模，客戶可在數(shù)周而非數(shù)月就能訓(xùn)練完成一個(gè)具有3千億參數(shù)的大語(yǔ)言模型。通過(guò)以顯著降低的成本提供最高橫向擴(kuò)展的模型訓(xùn)練，Trainum2實(shí)例可以幫助客戶解鎖并加速生成式AI的新一輪創(chuàng)新。欲了解更多Trainum2相關(guān)信息，請(qǐng)?jiān)L問(wèn)：aws.amazon.com/machine-learning/trainium/。

Anthropic是一家人工智能安全和研究公司，是負(fù)責(zé)任地部署生成式人工智能的主要倡導(dǎo)者，致力于創(chuàng)建可靠、可解釋和可控的人工智能系統(tǒng)。Anthropic自2021年開(kāi)始使用亞馬遜云科技。近期，Anthropic推出了Claude——一款專注于提供幫助、無(wú)害且誠(chéng)實(shí)的人工智能助手。Anthropic聯(lián)合創(chuàng)始人Tom Brown表示：“自支持Amazon Bedrock以來(lái)，Claude已獲得亞馬遜云科技客戶的廣泛采用。Trainium2將幫助我們大規(guī)模構(gòu)建和訓(xùn)練模型，對(duì)于一些工作負(fù)載，Trainium2相比第一代Trainium芯片速度至少提升了4倍。我們與亞馬遜云科技的合作，將幫助各種規(guī)模的組織有機(jī)會(huì)同時(shí)受益于Anthropic的安全并先進(jìn)的人工智能系統(tǒng)以及亞馬遜云科技可靠的云技術(shù)，從而釋放新的可能性。”

Databricks幫助全球超過(guò)10,000家組織機(jī)構(gòu)，包括Comcast、Condé Nast及50%以上的財(cái)富500強(qiáng)企業(yè)，統(tǒng)一其數(shù)據(jù)、分析和AI。Databricks生成式AI副總裁Naveen Rao表示：“數(shù)千家客戶在亞馬遜云科技上運(yùn)行Databricks，使用MosaicML對(duì)各種用例的基礎(chǔ)模型進(jìn)行預(yù)訓(xùn)練、微調(diào)及其他操作。Amazon Trainium為我們提供了訓(xùn)練Mosaic MPT模型所需要的規(guī)模、高性能以及低成本。Trainium2使更快的構(gòu)建下一代Mosaic MPT模型成為可能，讓我們有機(jī)會(huì)為客戶提供前所未有的規(guī)模和性能，助力他們比以往更快地推出自己的生成式AI應(yīng)用。”