【ZiDongHua 之方案應(yīng)用場：亞馬遜、 深度學(xué)習(xí)、 機(jī)器學(xué)習(xí)、 C++、 M5搜索團(tuán)隊(duì)、 亞馬遜云科技 】

亞馬遜搜索"寶藏團(tuán)隊(duì)"利用深度學(xué)習(xí)賦能業(yè)務(wù)發(fā)展

在亞馬遜，有這樣一支負(fù)責(zé)搜索的團(tuán)隊(duì)正在利用深度學(xué)習(xí)技術(shù)幫助公司內(nèi)各個(gè)團(tuán)隊(duì)從數(shù)據(jù)中獲取智能。它就是M5搜索團(tuán)隊(duì)，正在構(gòu)建大模型以支持亞馬遜的機(jī)器學(xué)習(xí)（ML）應(yīng)用程序。借助亞馬遜云科技的服務(wù)，M5搜索團(tuán)隊(duì)能夠運(yùn)行數(shù)百億參數(shù)模型的深度學(xué)習(xí)實(shí)驗(yàn)。M5搜索團(tuán)隊(duì)使用多種亞馬遜云科技服務(wù)構(gòu)建、訓(xùn)練和部署多模態(tài)的大型機(jī)器學(xué)習(xí)模型。如今，M5搜索團(tuán)隊(duì)整合了數(shù)據(jù)，簡化了創(chuàng)建大模型的過程，亞馬遜各個(gè)團(tuán)隊(duì)都可以使用這些模型，為他們的機(jī)器學(xué)習(xí)應(yīng)用程序帶來深度學(xué)習(xí)的強(qiáng)大能力。

利用深度學(xué)習(xí)賦能亞馬遜各團(tuán)隊(duì)

作為一家擁有超過160萬員工的跨國科技公司，亞馬遜由許多不同的團(tuán)隊(duì)組成，各團(tuán)隊(duì)的業(yè)務(wù)重點(diǎn)和優(yōu)先事項(xiàng)也都不盡相同。其中，亞馬遜搜索致力于開發(fā)產(chǎn)品和服務(wù)以提高亞馬遜網(wǎng)站上的終端用戶體驗(yàn)。亞馬遜搜索應(yīng)用科學(xué)和工程負(fù)責(zé)人Belinda Zeng表示："亞馬遜搜索是連接不同產(chǎn)品的橋梁，能在不同產(chǎn)品中建立協(xié)同，助力業(yè)務(wù)發(fā)展。為了解釋豐富的數(shù)據(jù)集信息，我們構(gòu)建了預(yù)訓(xùn)練模型，從而利用深度學(xué)習(xí)來增強(qiáng)亞馬遜的搜索功能。"

M5搜索團(tuán)隊(duì)負(fù)責(zé)亞馬遜的發(fā)現(xiàn)式學(xué)習(xí)策略，并構(gòu)建多模態(tài)大模型，支持多語言、多實(shí)體和多任務(wù)。本質(zhì)上很多工作是實(shí)驗(yàn)性的。團(tuán)隊(duì)需要能夠快速擴(kuò)展實(shí)驗(yàn)，并迅速進(jìn)入生產(chǎn)階段，同時(shí)訓(xùn)練數(shù)千個(gè)模型，每個(gè)模型都擁有超過2億參數(shù)，以及在亞馬遜云科技上有效地?cái)U(kuò)展基礎(chǔ)設(shè)施。要實(shí)現(xiàn)這些并不容易，因此M5搜索團(tuán)隊(duì)在基礎(chǔ)設(shè)施解決方案中使用了Amazon EC2，該服務(wù)能夠?yàn)閹缀跞抗ぷ髫?fù)載提供安全且可調(diào)整的計(jì)算容量。亞馬遜搜索首席工程師Rejith Joseph表示："我們選擇Amazon EC2是因?yàn)樗峁┝撕Ａ孔钚掠布Y源，且資源可輕松獲取。"此外，M5搜索團(tuán)隊(duì)需要存儲許多大型數(shù)據(jù)集，每個(gè)數(shù)據(jù)集都有數(shù)百TB。他們利用Amazon S3處理存儲需求。Amazon S3作為對象存儲服務(wù)，具有行業(yè)領(lǐng)先的可擴(kuò)展性、數(shù)據(jù)可用性、安全性和高性能。

每月擴(kuò)展到數(shù)千個(gè)訓(xùn)練任務(wù)

在2020年第四季度，M5搜索團(tuán)隊(duì)開始使用亞馬遜云科技服務(wù)構(gòu)建、訓(xùn)練和部署其機(jī)器學(xué)習(xí)模型。截至2022年，團(tuán)隊(duì)使用各種亞馬遜云科技服務(wù)，每月擴(kuò)展至數(shù)千個(gè)訓(xùn)練任務(wù)，涉及大量GPU集群上的PB級數(shù)據(jù)。除了使用Amazon S3進(jìn)行數(shù)據(jù)存儲之外，M5搜索團(tuán)隊(duì)還使用了Amazon FSx，在云中輕松啟動、運(yùn)行和擴(kuò)展功能豐富且性能優(yōu)越的文件系統(tǒng)。該團(tuán)隊(duì)還使用了全托管的批處理服務(wù)Amazon Batch，可在任何規(guī)模下高效運(yùn)行批處理計(jì)算作業(yè)。亞馬遜搜索工程經(jīng)理Roshan Makhijani表示："通過廣泛使用Amazon FSx、Amazon EC2和Amazon Batch的服務(wù)，我們提高了實(shí)驗(yàn)速度。在亞馬遜云科技上進(jìn)行構(gòu)建非常靈活，我們在不到3天的時(shí)間里就可以擴(kuò)展到新區(qū)域，只要新區(qū)域有硬件可用。"

從一開始，M5搜索團(tuán)隊(duì)就與亞馬遜云科技的產(chǎn)品團(tuán)隊(duì)合作解決公司的棘手問題。例如，數(shù)據(jù)密集型訓(xùn)練作業(yè)需要海量計(jì)算資源，使用跨區(qū)域計(jì)算是訪問這些資源的必要手段，但以前沒有實(shí)際解決方案能靈活實(shí)現(xiàn)跨區(qū)域計(jì)算。Belinda Zeng表示："我們與亞馬遜云科技緊密合作，開發(fā)了一些新功能，實(shí)現(xiàn)了跨區(qū)域計(jì)算，成功解決了這一難題。"此外，團(tuán)隊(duì)不斷增長的數(shù)據(jù)需求日益挑戰(zhàn)Amazon FSx的極限。通過與亞馬遜云科技合作，M5搜索團(tuán)隊(duì)解決了所有性能問題，并為持續(xù)擴(kuò)展打下了基礎(chǔ)。正是由于這些增強(qiáng)功能，M5搜索團(tuán)隊(duì)現(xiàn)在僅需1-2周就可以擴(kuò)展機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施。

團(tuán)隊(duì)還使用C++庫開發(fā)了一種自定義解決方案，以建立跨流媒體的Amazon S3 -- 即在一個(gè)區(qū)域存儲數(shù)據(jù)并在另一個(gè)區(qū)域進(jìn)行流式數(shù)據(jù)傳輸 -- 而不影響訓(xùn)練作業(yè)的速度。Makhijani表示："使用Amazon S3，我們實(shí)現(xiàn)了我們需要的高吞吐量流媒體解決方案。" 通過選擇最優(yōu)的GPU、CPU以及亞馬遜云科技自研設(shè)計(jì)的高性能機(jī)器學(xué)習(xí)推理芯片Amazon Inferentia，M5搜索團(tuán)隊(duì)成功在機(jī)器學(xué)習(xí)推理過程中降低成本并優(yōu)化性能。Joseph表示："不同模型在不同硬件上能提供的吞吐量有所不同，因此，硬件的選擇可以幫助我們擴(kuò)展模型架構(gòu)，并針對多種類型的硬件進(jìn)行優(yōu)化，同時(shí)控制成本。"此外，團(tuán)隊(duì)在EC2 UltraClusters中部署了Amazon EC2 P4d實(shí)例，這些實(shí)例由云端高性能計(jì)算、網(wǎng)絡(luò)和云存儲構(gòu)成，以獲得最佳的計(jì)算和通信吞吐量。亞馬遜云科技深度學(xué)習(xí)AMI和深度學(xué)習(xí)容器提供了優(yōu)化且安全的機(jī)器學(xué)習(xí)框架和工具，使機(jī)器學(xué)習(xí)從業(yè)者能夠在云上加速深度學(xué)習(xí)，從而簡化了EC2實(shí)例的配置和部署，并實(shí)現(xiàn)了擴(kuò)展。在解決方案中，團(tuán)隊(duì)還使用了Amazon EC2實(shí)例的網(wǎng)絡(luò)接口Elastic Fabric Adapter（EFA），客戶可以借此在亞馬遜云科技上大規(guī)模運(yùn)行需要高度跨節(jié)點(diǎn)通信的應(yīng)用程序。

此外，M5搜索團(tuán)隊(duì)在亞馬遜云科技上使用開源深度學(xué)習(xí)框架PyTorch，用以簡化機(jī)器學(xué)習(xí)模型開發(fā)并將模型部署到生產(chǎn)中。具體而言，團(tuán)隊(duì)試驗(yàn)了多種PyTorch庫，如分布式數(shù)據(jù)并行和Amazon S3插件，以及PyTorch Profiler和完全分片數(shù)據(jù)并行等工具進(jìn)行分布式訓(xùn)練。如今，亞馬遜各部門都可以利用深度學(xué)習(xí)的強(qiáng)大功能，以上能力的運(yùn)用幾乎無所不在。例如，M5搜索團(tuán)隊(duì)開發(fā)了一種機(jī)器學(xué)習(xí)模型，能夠準(zhǔn)確更正客戶在搜索過程中的拼寫錯(cuò)誤，從而改善搜索體驗(yàn)。Zeng表示："機(jī)器學(xué)習(xí)應(yīng)用能夠幫助系統(tǒng)準(zhǔn)確解讀客戶的真實(shí)意圖，并提供多樣化的相關(guān)推薦列表，這些功能都得益于我們預(yù)訓(xùn)練模型中豐富而細(xì)致的信息。"

持續(xù)提升效率

亞馬遜搜索現(xiàn)在已經(jīng)擁有了大規(guī)模構(gòu)建機(jī)器學(xué)習(xí)模型的技術(shù)。下一步，團(tuán)隊(duì)計(jì)劃持續(xù)改進(jìn)其全球集群以提高生產(chǎn)力和使用效率。團(tuán)隊(duì)還將使用新的Amazon EC2實(shí)例匹配不同的模型，既用于訓(xùn)練，也用于推理。M5搜索團(tuán)隊(duì)將繼續(xù)與亞馬遜云科技合作，優(yōu)化其基礎(chǔ)設(shè)施的彈性，提高生產(chǎn)力，并降低訓(xùn)練大型模型的前置成本。Joseph表示："通過使用亞馬遜云科技持續(xù)提升效率，我們可以釋放深度學(xué)習(xí)和人工智能的無限潛能，最終讓我們的客戶從中受益。"