【ZiDongHua 之自動(dòng)化學(xué)院派收錄關(guān)鍵詞：機(jī)器學(xué)習(xí) 人工智能 大模型 】

　　

　　《國家科學(xué)評(píng)論》(National Science Review，NSR) 最近發(fā)表了由西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院徐宗本院士、束俊副教授、孟德宇教授撰寫的觀點(diǎn)文章：Simulating Learning Methodology (SLeM): An Approach to Machine Learning Automation。

　　

　　這篇文章介紹了課題組提出的基于“模擬學(xué)習(xí)方法論”（SLeM）的機(jī)器學(xué)習(xí)新型范式和執(zhí)行框架，特別介紹了課題組發(fā)展的SLeM基礎(chǔ)理論與算法體系。這一理論框架為機(jī)器學(xué)習(xí)自動(dòng)化提供了一個(gè)可行的實(shí)現(xiàn)途徑。該文將作為封面文章收錄于NSR“機(jī)器學(xué)習(xí)自動(dòng)化”專題。

 

　　

　　人工智能的發(fā)展及其廣泛應(yīng)用面臨越來越復(fù)雜的場景，這對(duì)人工智能從數(shù)據(jù)到學(xué)習(xí)再到應(yīng)用的整個(gè)環(huán)節(jié)都提出了新的挑戰(zhàn)。然而現(xiàn)有的以機(jī)器學(xué)習(xí)為代表的人工智能技術(shù)在數(shù)據(jù)樣本、學(xué)習(xí)過程、環(huán)境任務(wù)等層面高度依賴人工預(yù)設(shè)，造成“人工”決定“智能”的現(xiàn)狀，難以滿足現(xiàn)實(shí)問題中通常呈現(xiàn)的數(shù)據(jù)少/概念多、適用模型/算法依問題變化、開放環(huán)境/動(dòng)態(tài)任務(wù)等本質(zhì)特性，這些問題已對(duì)現(xiàn)有機(jī)器學(xué)習(xí)體系帶來了嚴(yán)峻挑戰(zhàn)。

　　

　　針對(duì)以上問題，一個(gè)自然的解決途徑是實(shí)現(xiàn)減少人工干預(yù)的自主智能方法，提高機(jī)器智能對(duì)動(dòng)態(tài)開放環(huán)境和復(fù)雜多變?nèi)蝿?wù)的自適應(yīng)學(xué)習(xí)能力，即實(shí)現(xiàn)所謂的機(jī)器學(xué)習(xí)自動(dòng)化（Machine Learning Automation, Auto6ML），可以概括為以下六個(gè)“自”的任務(wù)目標(biāo)：

　　

　　數(shù)據(jù)/樣本層面：樣本自生成，數(shù)據(jù)自選擇；

　　

　　模型/算法層面：模型自構(gòu)建，算法自設(shè)計(jì)；

　　

　　環(huán)境/任務(wù)層面：任務(wù)自切換，環(huán)境自適應(yīng)。

　　

　　具體來說，一是實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化生成與篩選，能夠根據(jù)目標(biāo)任務(wù)需要或少量元數(shù)據(jù)（標(biāo)準(zhǔn)、高質(zhì)量數(shù)據(jù)）的引導(dǎo)，實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)或標(biāo)記的自動(dòng)生成，以及從海量非高質(zhì)量數(shù)據(jù)中自動(dòng)選擇對(duì)學(xué)習(xí)目標(biāo)有所增益而剔除對(duì)其有所損害的樣本；二是實(shí)現(xiàn)模型/算法自動(dòng)化構(gòu)建與設(shè)計(jì)，能夠根據(jù)目標(biāo)任務(wù)需要自動(dòng)解析完成任務(wù)所需的“功能塊”，并以最優(yōu)方式加以組裝形成所需的深度網(wǎng)絡(luò)架構(gòu)，或者自動(dòng)調(diào)節(jié)網(wǎng)絡(luò)重要的“功能塊”，能夠根據(jù)問題（數(shù)據(jù)）自適應(yīng)設(shè)定誤差項(xiàng)和正則項(xiàng)等優(yōu)化目標(biāo)，自動(dòng)學(xué)習(xí)機(jī)器學(xué)習(xí)模型訓(xùn)練算法的運(yùn)算規(guī)則與算法超參數(shù)等；三是實(shí)現(xiàn)機(jī)器學(xué)習(xí)技術(shù)能夠處理復(fù)雜多變?nèi)蝿?wù)、適應(yīng)動(dòng)態(tài)開放環(huán)境，能夠使用統(tǒng)一的模型框架完成復(fù)雜多變?nèi)蝿?wù)的自適應(yīng)學(xué)習(xí), 能夠持續(xù)從動(dòng)態(tài)環(huán)境中學(xué)習(xí)，可以不斷擴(kuò)展自身的能力并提高可靠性，能夠自適應(yīng)地完成新任務(wù)。

　　

　　實(shí)現(xiàn)以上研究目標(biāo)涉及對(duì)機(jī)器學(xué)習(xí)過程中的數(shù)據(jù)（采集、生成、選擇）、模型（學(xué)習(xí)機(jī)架構(gòu)、損失函數(shù))、算法等要素的調(diào)控和設(shè)計(jì)。這些要素的設(shè)計(jì)可以理解為對(duì)機(jī)器學(xué)習(xí)各個(gè)環(huán)節(jié)所涉及超參的有效設(shè)置，即機(jī)器學(xué)習(xí)的學(xué)習(xí)方法論學(xué)習(xí)。

　　

　　基于此，文章介紹了題為“模擬學(xué)習(xí)方法論”（SLeM）的機(jī)器學(xué)習(xí)范式和執(zhí)行框架，給出學(xué)習(xí)任務(wù)、學(xué)習(xí)方法的嚴(yán)格定義，進(jìn)而把學(xué)習(xí)方法論建模成從學(xué)習(xí)任務(wù)到學(xué)習(xí)方法的映射，并使用SLeM元學(xué)習(xí)機(jī)來模擬實(shí)現(xiàn)這一映射。

 

　　

　　通過從學(xué)習(xí)任務(wù)層次提煉與抽取這一元學(xué)習(xí)機(jī)，可實(shí)現(xiàn)對(duì)數(shù)據(jù)、模型、損失、算法等機(jī)器學(xué)習(xí)要素針對(duì)變化任務(wù)的自動(dòng)化設(shè)計(jì)和調(diào)控，從而為機(jī)器學(xué)習(xí)自動(dòng)化提供一個(gè)可行的實(shí)現(xiàn)途徑。

　　

　　文中還介紹了三種SLeM的實(shí)現(xiàn)方法，以及課題組研究并實(shí)踐的機(jī)器學(xué)習(xí)自動(dòng)化算法簇，展現(xiàn)了該SLeM框架在解決實(shí)際問題上的有效性。

　　

　　最后，文章指出了SLeM未來值得的研究方向：

　　

　　適應(yīng)更加復(fù)雜的自動(dòng)化問題/場景的SLeM方法?，F(xiàn)有的SLeM方法僅實(shí)現(xiàn)了機(jī)器學(xué)習(xí)各個(gè)要素的自動(dòng)化，這與Auto6ML的目標(biāo)還有很大差距。特別是，在SLeM的學(xué)習(xí)過程中，仍然需要大量的人為干預(yù)和選擇。實(shí)現(xiàn)具備更強(qiáng)自動(dòng)化能力且能夠適應(yīng)更加復(fù)雜的自動(dòng)化問題/場景的SLeM方法，依然是未來研究中的一個(gè)重要課題。

　　

　　無限維函數(shù)空間上的學(xué)習(xí)理論/跨任務(wù)泛化（遷移）理論。學(xué)習(xí)方法論學(xué)習(xí)本質(zhì)上是函數(shù)空間上的學(xué)習(xí)問題，需要構(gòu)建在無限維函數(shù)空間上的學(xué)習(xí)理論，以精確揭示SLeM的內(nèi)在機(jī)理；SLeM學(xué)習(xí)理論揭示了影響學(xué)習(xí)方法論遷移的要素，為處理實(shí)際應(yīng)用中的多樣任務(wù)和動(dòng)態(tài)環(huán)境提供理論基礎(chǔ)。

　　

　　建立與其他技術(shù)（如大模型）之間的聯(lián)系。大模型及上下文學(xué)習(xí)技術(shù)通過一種“蠻力出奇跡”的方式實(shí)現(xiàn)驚人的任務(wù)泛化能力，與學(xué)習(xí)方法論的任務(wù)泛化能力密切相關(guān)，建立它們之間的聯(lián)系，在理論上解釋大模型的任務(wù)泛化能力，探索能夠輕量化地實(shí)現(xiàn)具備大模型能力的計(jì)算模式，對(duì)未來研究具有重要價(jià)值。