【“ZiDongHua ”之自動(dòng)化科技方案應(yīng)用場(chǎng)：亞馬遜云科技、Zero-ETL 】亞馬遜云科技在2022 re:Invent全球大會(huì)上發(fā)布兩項(xiàng)全新的集成功能，使客戶可以連接和分析多地存儲(chǔ)的數(shù)據(jù)，無(wú)需在不同服務(wù)間進(jìn)行數(shù)據(jù)遷移?？蛻艨梢允褂肁mazon Redshift近乎實(shí)時(shí)地分析Amazon Aurora中的數(shù)據(jù)，無(wú)需在不同服務(wù)之間提取、轉(zhuǎn)換和加載（ETL）數(shù)據(jù)?？蛻暨€可以使用亞馬遜云科技的分析和機(jī)器學(xué)習(xí)服務(wù)（如 Amazon EMR、Amazon Glue和Amazon SageMaker）在Amazon Redshift的數(shù)據(jù)上輕松運(yùn)行 Apache Spark應(yīng)用程序。這兩項(xiàng)新功能共同幫助客戶在亞馬遜云科技上邁向一個(gè)"Zero-ETL的未來(lái)"。

亞馬遜云科技發(fā)布兩項(xiàng)新功能幫助客戶邁向Zero-ETL未來(lái)

• Amazon Aurora zero-ETL與Amazon Redshift 集成的功能助力客戶近乎實(shí)時(shí)地分析 PB 級(jí)交易數(shù)據(jù)，無(wú)需自定義數(shù)據(jù)管道
• 面向 Apache Spark的Amazon Redshift集成功能幫助客戶在使用亞馬遜云科技的分析和機(jī)器學(xué)習(xí)服務(wù)時(shí)可以更快更輕松地通過(guò)Apache Spark 應(yīng)用程序訪問(wèn)到Redshift上的數(shù)據(jù)

亞馬遜云科技在2022 re:Invent全球大會(huì)上發(fā)布兩項(xiàng)全新的集成功能，使客戶可以連接和分析多地存儲(chǔ)的數(shù)據(jù)，無(wú)需在不同服務(wù)間進(jìn)行數(shù)據(jù)遷移。客戶可以使用Amazon Redshift近乎實(shí)時(shí)地分析Amazon Aurora中的數(shù)據(jù)，無(wú)需在不同服務(wù)之間提取、轉(zhuǎn)換和加載（ETL）數(shù)據(jù)。客戶還可以使用亞馬遜云科技的分析和機(jī)器學(xué)習(xí)服務(wù)（如 Amazon EMR、Amazon Glue和Amazon SageMaker）在Amazon Redshift的數(shù)據(jù)上輕松運(yùn)行 Apache Spark應(yīng)用程序。這兩項(xiàng)新功能共同幫助客戶在亞馬遜云科技上邁向一個(gè)"Zero-ETL的未來(lái)"。

"當(dāng)前，客戶管理的數(shù)據(jù)既龐大又復(fù)雜，這意味著他們不能只用單一技術(shù)或幾個(gè)工具來(lái)分析和探索這些數(shù)據(jù)。我們的許多客戶都通過(guò)亞馬遜云科技的眾多數(shù)據(jù)庫(kù)和分析服務(wù)從數(shù)據(jù)中提取價(jià)值。確保他們能夠使用正確的工具完成工作，對(duì)于他們的企業(yè)成功非常重要。"亞馬遜云科技數(shù)據(jù)庫(kù)、分析和機(jī)器學(xué)習(xí)副總裁 Swami Sivasubramanian表示，"今天發(fā)布的新功能幫助我們的客戶在亞馬遜云科技上邁向一個(gè)‘Zero-ETL的未來(lái)，減少在不同服務(wù)間手動(dòng)遷移或轉(zhuǎn)換數(shù)據(jù)的工作。無(wú)論企業(yè)和數(shù)據(jù)的規(guī)模有多大，復(fù)雜度有多高，通過(guò)為客戶消除 ETL 和其它數(shù)據(jù)遷移任務(wù)，我們都能助力客戶專注于分析數(shù)據(jù)，面向業(yè)務(wù)獲取新的洞察。"

數(shù)據(jù)是所有應(yīng)用程序、流程和業(yè)務(wù)決策的核心，也幾乎是每個(gè)企業(yè)數(shù)字化轉(zhuǎn)型的基石。但是，現(xiàn)實(shí)世界的數(shù)據(jù)系統(tǒng)通常既龐大又復(fù)雜，各種數(shù)據(jù)分散在多個(gè)云服務(wù)和本地系統(tǒng)中。許多企業(yè)坐擁大量數(shù)據(jù)，希望最大限度地從數(shù)據(jù)中獲得價(jià)值。亞馬遜云科技提供了一系列專門構(gòu)建的工具，例如 Amazon Aurora用于將交易數(shù)據(jù)存儲(chǔ)在與 MySQL 和 PostgreSQL 兼容的關(guān)系數(shù)據(jù)庫(kù)中，Amazon Redshift用于在PB級(jí)數(shù)據(jù)上運(yùn)行高性能數(shù)據(jù)倉(cāng)庫(kù)和分析工作負(fù)載。但要真正實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化，客戶需要這些工具無(wú)縫協(xié)作。因此，亞馬遜云科技投入開(kāi)發(fā)了基于Zero-ETL理念的功能，例如 Amazon Aurora ML 和 Amazon Redshift ML，讓客戶可以在機(jī)器學(xué)習(xí)用例受益于Amazon SageMaker的功能，而無(wú)需在不同服務(wù)間遷移數(shù)據(jù)。此外，亞馬遜云科技確?？梢詮牧魇椒?wù)（如Amazon Kinesis 和 Amazon MSK）向廣泛的數(shù)據(jù)存儲(chǔ)服務(wù)（如Amazon S3和Amazon OpenSearch Service）無(wú)縫注入數(shù)據(jù)，從而助力客戶及時(shí)分析數(shù)據(jù)。亞馬遜云科技數(shù)據(jù)庫(kù)和分析產(chǎn)品組合性能卓越，集成深入，在此基礎(chǔ)之上此次發(fā)布的新功能會(huì)助力客戶更快、更輕松、更經(jīng)濟(jì)高效地訪問(wèn)和分析存儲(chǔ)在亞馬遜云科技上的數(shù)據(jù)。

Amazon Aurora zero-ETL與Amazon Redshift 集成的功能助力客戶輕松使用Amazon Redshift對(duì) Amazon Aurora中的交易數(shù)據(jù)進(jìn)行近乎實(shí)時(shí)的PB級(jí)分析

企業(yè)希望更好地了解核心業(yè)務(wù)驅(qū)動(dòng)因素，制定戰(zhàn)略以增加銷售額、降低成本、獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，因此，近乎實(shí)時(shí)地從購(gòu)買、預(yù)訂和金融交易等交易數(shù)據(jù)中獲得洞察的需求不斷增加。當(dāng)前，許多企業(yè)用以分析交易數(shù)據(jù)的解決方案分為三部分：用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)，用數(shù)據(jù)倉(cāng)庫(kù)分析數(shù)據(jù)，并用數(shù)據(jù)管道在關(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)之間提取、轉(zhuǎn)換和加載（ETL）數(shù)據(jù)。數(shù)據(jù)管道構(gòu)建成本高昂且難以管理，需要開(kāi)發(fā)人員編寫(xiě)自定義代碼，并且持續(xù)管理基礎(chǔ)設(shè)施以確保其按需擴(kuò)展。一些公司甚至需要投入整個(gè)團(tuán)隊(duì)以完成這項(xiàng)工作。此外，用這種方式準(zhǔn)備好數(shù)據(jù)可能需要幾天的時(shí)間，而且間歇性的數(shù)據(jù)傳輸錯(cuò)誤會(huì)影響客戶獲得稍縱即逝的洞察，甚至錯(cuò)失商機(jī)。

借助Amazon Redshift集成的Amazon Aurora zero-ETL功能，交易數(shù)據(jù)在寫(xiě)入Amazon Aurora后的幾秒鐘內(nèi)可以自動(dòng)連續(xù)復(fù)制，使其在Amazon Redshift中即時(shí)可用。一旦數(shù)據(jù)在Amazon Redshift中可用，客戶立即可以開(kāi)始分析數(shù)據(jù)，并且應(yīng)用數(shù)據(jù)共享和Amazon Redshift ML等高級(jí)功能獲得全面的預(yù)測(cè)性洞察。客戶可以將數(shù)據(jù)從多個(gè)Amazon Aurora數(shù)據(jù)庫(kù)集群復(fù)制到同一個(gè)Amazon Redshift實(shí)例，跨多個(gè)應(yīng)用程序獲得洞察。如此，客戶可以使用Amazon Aurora支持交易數(shù)據(jù)庫(kù)需求，使用 Amazon Redshift進(jìn)行分析，無(wú)需構(gòu)建或維護(hù)復(fù)雜的數(shù)據(jù)管道。

面向Apache Spark的Amazon Redshift集成功能幫助客戶在使用亞馬遜云科技的分析和機(jī)器學(xué)習(xí)服務(wù)時(shí)可以更快更輕松地通過(guò)Apache Spark 應(yīng)用程序訪問(wèn)到Redshift上的數(shù)據(jù)。

許多開(kāi)發(fā)人員使用Apache Spark（一種用于大數(shù)據(jù)工作負(fù)載的開(kāi)源處理框架）來(lái)支持各種分析和機(jī)器學(xué)習(xí)應(yīng)用程序。當(dāng)前，亞馬遜云科技支持在Amazon EMR、Amazon Glue和Amazon SageMaker上運(yùn)行 Apache Spark，功能完全兼容，優(yōu)化后的運(yùn)行時(shí)間比開(kāi)源版本快3倍。客戶通常希望直接從這些服務(wù)中分析Amazon Redshift中的數(shù)據(jù)。他們需要經(jīng)歷復(fù)雜、耗時(shí)的過(guò)程查找、測(cè)試和認(rèn)證第三方連接器，以在他們的環(huán)境和Amazon Redshift之間讀取和寫(xiě)入數(shù)據(jù)。即使找到連接器，客戶還必須管理中間的數(shù)據(jù)暫存位置（如Amazon S3），以便從Amazon Redshift讀取和寫(xiě)入數(shù)據(jù)。所有這些挑戰(zhàn)都增加了操作的復(fù)雜性，使客戶難以充分利用Apache Spark。

面向Apache Spark的Amazon Redshift集成功能使開(kāi)發(fā)人員可以輕松地使用亞馬遜云科技支持的分析和機(jī)器學(xué)習(xí)服務(wù)，在Amazon Redshift數(shù)據(jù)上構(gòu)建和運(yùn)行Apache Spark應(yīng)用程序。該集成功能由亞馬遜云科技認(rèn)證、打包和支持，消除了與第三方連接器相關(guān)的繁瑣而且容易出錯(cuò)的過(guò)程。開(kāi)發(fā)人員可以使用流行的語(yǔ)言框架（如 Java、Python、R和Scala），在幾秒鐘內(nèi)開(kāi)始從基于Apache Spark的應(yīng)用程序?qū)?Amazon Redshift 數(shù)據(jù)運(yùn)行查詢指令。中間數(shù)據(jù)暫存位置是自動(dòng)管理的，客戶無(wú)需在應(yīng)用程序代碼中配置和管理這些位置。

從個(gè)人和小型企業(yè)到政府機(jī)構(gòu)和全球品牌，Adobe使每個(gè)人都能創(chuàng)造和交付卓越的數(shù)字體驗(yàn)。"Adobe 的使命是通過(guò)數(shù)字體驗(yàn)改變世界，在當(dāng)今世界，這意味著擁有能夠提供深刻和實(shí)時(shí)洞察的分析工具。" Adobe Acrobat Sign 首席科學(xué)家Jack Lull表示，"作為 Amazon Aurora 的客戶，我們非常歡迎Amazon Redshift集成的Amazon Aurora zero-ETL功能。它將為我們不斷擴(kuò)大的Acrobat Sign 客戶群提供新的洞察和更快的分析能力，并隨著他們用量的增加而同步增長(zhǎng)。所有這些都不需要我們自己的團(tuán)隊(duì)做日常維護(hù)。"

Infor是商業(yè)云軟件和特定行業(yè)ERP解決方案的全球領(lǐng)導(dǎo)者。"在Infor，我們使用亞馬遜云科技構(gòu)建和部署現(xiàn)代化的工具，幫助客戶轉(zhuǎn)型其業(yè)務(wù)并加速創(chuàng)新，其中包括我們最新提供的面向客戶行業(yè)云數(shù)據(jù)的托管數(shù)據(jù)倉(cāng)庫(kù)服務(wù)，以幫助客戶通過(guò)高級(jí)分析和機(jī)器學(xué)習(xí)更快地做出決策。"Infor云服務(wù)高級(jí)副總裁Jim Plourde表示，"我們很高興使用Amazon Redshift集成的Amazon Aurora zero-ETL功能，它將讓Amazon Aurora中的交易數(shù)據(jù)近乎實(shí)時(shí)地提供給Amazon Redshift，減輕我們的運(yùn)營(yíng)負(fù)擔(dān)?，F(xiàn)在，我們既可以受益于Amazon Aurora用作關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)的性能，又可以輕松利用 Amazon Redshift的分析和機(jī)器學(xué)習(xí)功能實(shí)現(xiàn)新的托管數(shù)據(jù)倉(cāng)庫(kù)服務(wù)。"

高盛集團(tuán)是一家領(lǐng)先的全球金融機(jī)構(gòu)，為包括企業(yè)、金融機(jī)構(gòu)、政府和個(gè)人在內(nèi)的龐大而多元化的客戶群提供投資銀行、證券、投資管理和消費(fèi)者銀行業(yè)務(wù)等廣泛的金融服務(wù)。 "我們的重點(diǎn)是為高盛內(nèi)所有用戶提供自助式數(shù)據(jù)訪問(wèn)。當(dāng)在整個(gè)金融服務(wù)行業(yè)開(kāi)展協(xié)作時(shí)，我們通過(guò)開(kāi)源數(shù)據(jù)管理和治理平臺(tái)Legend可以助力用戶開(kāi)發(fā)以數(shù)據(jù)為中心的應(yīng)用程序，并且獲得數(shù)據(jù)驅(qū)動(dòng)的洞察。"高盛首席數(shù)據(jù)官Neema Raphael 表示，"通過(guò)面向Apache Spark的Amazon Redshift集成功能，我們的數(shù)據(jù)平臺(tái)團(tuán)隊(duì)以最少的定制化操作就可以訪問(wèn)Amazon Redshift數(shù)據(jù)，實(shí)現(xiàn)零代碼ETL，使我們更有能力在工程師收集完整及時(shí)的信息時(shí)，讓他們更容易專注于完善其工作流。由于我們的用戶現(xiàn)在可以輕松訪問(wèn)Amazon Redshift中的最新數(shù)據(jù)，我們將能實(shí)現(xiàn)更高的應(yīng)用程序性能和更強(qiáng)的安全性。"