【TWINHOW評(píng)點(diǎn)：基于人工智能的自動(dòng)化科技平臺(tái)“紫東太初”將大有作為】自動(dòng)化網(wǎng)推好（TWINHOW）高質(zhì)量發(fā)展聯(lián)盟（平臺(tái)）評(píng)論要點(diǎn)：

• “紫東太初”大模型開拓性地實(shí)現(xiàn)了圖-文-音語義統(tǒng)一表達(dá)，首次實(shí)現(xiàn)了“語音生成視頻”的功能，邁出朝向人工智能通用化的關(guān)鍵一步。并依托紫東太初大模型研發(fā)了跨模態(tài)通用人工智能平臺(tái)，打造了多模態(tài)人機(jī)對(duì)話機(jī)器人“小初”，兼具圖文音的理解、推理和生成能力，具有圖像生成、智能問答、語音識(shí)別、文字識(shí)別、視頻生成、視頻描述、智能翻譯等30多項(xiàng)功能。
• 基于人工智能的自動(dòng)化科技平臺(tái)“紫東太初”，在具有自主可控的自然語言處理、模式識(shí)別、知識(shí)圖譜、機(jī)器學(xué)習(xí)、自動(dòng)學(xué)習(xí)等人工智能科技的基礎(chǔ)上，通過 在工業(yè)、醫(yī)療、城市、金融、物流、科學(xué)研究等行業(yè)領(lǐng)域開展典型應(yīng)用示范，必將大有作為，為推動(dòng)高質(zhì)量發(fā)展、共創(chuàng)更美好未來作出“自動(dòng)化者”應(yīng)有的貢獻(xiàn)！

據(jù)中科院自動(dòng)化所信息，日前，工業(yè)和信息化部公布了“2021年人工智能產(chǎn)業(yè)創(chuàng)新任務(wù)揭榜掛帥項(xiàng)目”立項(xiàng)名單，由中科院自動(dòng)化所牽頭的“大規(guī)模多模態(tài)預(yù)訓(xùn)練模型的研發(fā)與行業(yè)應(yīng)用”項(xiàng)目在1200余個(gè)申報(bào)項(xiàng)目中脫穎而出，獲得優(yōu)勝揭榜資格。 

該項(xiàng)目聚焦大規(guī)模多模態(tài)預(yù)訓(xùn)練模型的研發(fā)與行業(yè)應(yīng)用，以自主可控基礎(chǔ)軟硬件平臺(tái)為基礎(chǔ)，突破不同領(lǐng)域的共性平臺(tái)技術(shù)，實(shí)現(xiàn)萬億級(jí)參數(shù)量規(guī)模的大模型分布式訓(xùn)練，構(gòu)建覆蓋多語種文本、語音、圖像、視頻的多模態(tài)預(yù)訓(xùn)練大模型，通過在工業(yè)、醫(yī)療、城市、金融、物流、科學(xué)研究等行業(yè)領(lǐng)域開展典型應(yīng)用示范，改變當(dāng)前單一模型對(duì)應(yīng)單一任務(wù)的人工智能研發(fā)范式，推動(dòng)我國人工智能研發(fā)規(guī)則產(chǎn)生重大變革。 

此前，已經(jīng)以全棧自主可控基礎(chǔ)軟硬件平臺(tái)為基礎(chǔ)，與武漢市東湖高新區(qū)深度合作，依托武漢智能計(jì)算中心的昇騰GPU，研發(fā)了面向超大規(guī)模模型的高效分布式訓(xùn)練框架，在圖、文、音三個(gè)基礎(chǔ)模型上加入跨模態(tài)編碼和解碼網(wǎng)絡(luò)，打造了業(yè)內(nèi)首個(gè)千億參數(shù)三模態(tài)大模型“紫東太初”。

“紫東太初”大模型開拓性地實(shí)現(xiàn)了圖-文-音語義統(tǒng)一表達(dá)，首次實(shí)現(xiàn)了“語音生成視頻”的功能，邁出朝向人工智能通用化的關(guān)鍵一步。并依托紫東太初大模型研發(fā)了跨模態(tài)通用人工智能平臺(tái)，打造了多模態(tài)人機(jī)對(duì)話機(jī)器人“小初”，兼具圖文音的理解、推理和生成能力，具有圖像生成、智能問答、語音識(shí)別、文字識(shí)別、視頻生成、視頻描述、智能翻譯等30多項(xiàng)功能。目前，“紫東太初”已經(jīng)與上汽集團(tuán)、魏橋創(chuàng)業(yè)、愛奇藝和新華社、美亞大千等行業(yè)領(lǐng)軍企業(yè)合作，共同探索了豐富的應(yīng)用落地場(chǎng)景。 

2021年12月5日，第九屆中國新興媒體產(chǎn)業(yè)融合發(fā)展大會(huì)在海南博鰲舉行。中國科學(xué)院自動(dòng)化研究所、新華社技術(shù)局、媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室聯(lián)合發(fā)布“全媒體多模態(tài)大模型研發(fā)計(jì)劃”，將在媒體科技領(lǐng)域進(jìn)行全新合作，通過技術(shù)創(chuàng)新推動(dòng)媒體融合發(fā)展。 

此次計(jì)劃研發(fā)的“全媒體多模態(tài)大模型”，將基于中科院自動(dòng)化所“聞海”多模態(tài)媒體大數(shù)據(jù)和“紫東太初”三模態(tài)大模型核心技術(shù)積累，面向新華社技術(shù)局、媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室等部門的業(yè)務(wù)領(lǐng)域模型，構(gòu)建“大數(shù)據(jù)+大模型+多模態(tài)”的多任務(wù)統(tǒng)一學(xué)習(xí)體系，以及“知識(shí)與數(shù)據(jù)混合驅(qū)動(dòng)”的可信建模方式，從而實(shí)現(xiàn)對(duì)全媒體數(shù)據(jù)理解與生成的統(tǒng)一建模，打造全棧國產(chǎn)化媒體人工智能平臺(tái)。

中國科學(xué)院自動(dòng)化研究所王金橋研究員在會(huì)上分享了“紫東太初”三模態(tài)大模型與媒體業(yè)務(wù)融合方面的新進(jìn)展，介紹了內(nèi)容理解、圖像生成、視頻生成等方面的性能提升，展示了多模態(tài)對(duì)話虛擬人“小初”在高清圖片生成、新聞續(xù)寫和熱點(diǎn)新聞發(fā)現(xiàn)等方面的強(qiáng)大能力。 

“紫東太初”三模態(tài)大模型兼具跨模態(tài)理解和生成能力，結(jié)合新華社在海量全媒體數(shù)據(jù)積累和媒體融合業(yè)務(wù)場(chǎng)景，共同打造“全媒體多模態(tài)大模型”，將加速推動(dòng)AI在如視頻配音、語音播報(bào)、標(biāo)題摘要、海報(bào)創(chuàng)作等更多元媒體業(yè)務(wù)場(chǎng)景的應(yīng)用。 

據(jù)悉，工業(yè)和信息化部組織開展的“2021年人工智能產(chǎn)業(yè)創(chuàng)新任務(wù)揭榜掛帥工作”，聚焦人工智能產(chǎn)業(yè)發(fā)展的核心基礎(chǔ)、重點(diǎn)產(chǎn)品、公共支撐等3類創(chuàng)新任務(wù)，旨在發(fā)掘培育一批掌握關(guān)鍵核心技術(shù)、具備較強(qiáng)創(chuàng)新能力的優(yōu)勢(shì)單位，突破一批人工智能標(biāo)志性技術(shù)產(chǎn)品，加快突破產(chǎn)業(yè)發(fā)展瓶頸、補(bǔ)齊短板，推動(dòng)我國人工智能產(chǎn)業(yè)與實(shí)體經(jīng)濟(jì)融合發(fā)展。