據外媒報道，美國萊斯大學（Rice University）研發(fā)了一種高效節(jié)能的深度神經網絡（DNN）訓練方法——稱為“Early Bird”（早鳥法），而深度神經網絡是自動駕駛汽車、智能助理、面部識別和各種高科技應用背后的一種AI（人工智能）技術形式。

（圖片來源：萊斯大學）

萊斯大學和德克薩斯農工大學的研究人員表示，用Early Bird訓練DNN時所消耗的能量可減少10.7倍，而且精度水平與普通的訓練方法相同，甚至更好。

研究人員表示：“最近AI技術突破的主要驅動力在于引入了更大、更昂貴的DNN。但是訓練此類DNN需要大量的能量。要想推出更多創(chuàng)新產品，必須找到更綠色的訓練方法，既要解決環(huán)境問題，還需要減少AI研究的財務障礙?！?/p>

訓練尖端的DNN非常昂貴，而且成本越來越高。2019年的一項研究發(fā)現(xiàn)，2012至2018年間，訓練一流深度神經網絡的計算需求增加了30萬倍。另一項研究也表明，訓練一個精英款DNN的能耗相當于5輛美國SUV一生的二氧化碳排放量。

DNN包含數百萬甚至數十億個人造神經元，學習執(zhí)行特殊任務。沒有任何明確的編程，由人工神經元構成的深度網絡可以通過“學習”大量先前的例子，學習做出與人類類似的決定，甚至還可以超越人類專家。例如，如果一個DNN研究了貓和狗的照片，就會學會識別貓和狗。2015年，一個被訓練用于玩棋類比賽的深度神經網絡AlphaGo在學習了數萬個之前所玩過的棋類游戲后，成功擊敗了一名職業(yè)棋手。

研究人員表示：“目前，最先進的 DNN訓練方法稱為漸進式修剪與訓練。首先，需要訓練一個密集、巨大的神經網絡，然后移除看起來不重要的部分，就像給一棵樹修剪一樣。然后，重新訓練經過修剪的網絡，以恢復其性能，因為修剪之后的性能會下降。在實踐中，則需要多次進行修剪，并重新訓練，才能獲得良好的表現(xiàn)。第一步，即訓練密集、龐大的網絡，是最昂貴的，因此需要在第一步就確定好最終、功能齊全、經過修剪的網絡，即“early-bird ticket”（早鳥票）?！?/p>

通過在訓練早期尋找關鍵的網絡連接模式，研究人員發(fā)現(xiàn)了“早鳥票”的存在，并利用早鳥票簡化DNN訓練。在各種有關基準數據集合DNN模型的實驗中，研究人員們發(fā)現(xiàn)，“Early Bird”在最初訓練階段出現(xiàn)的幾率只有十分之一，甚至更少。

研究人員表示：“我們的方法能夠在訓練密集、龐大的網絡前，早10%或更早地自動識別出早鳥票。意味著，與訓練DNN的傳統(tǒng)方法相比，可減少約10%或利用更少的時間來訓練DNN，而且可以達到相同甚至更高的精確度，從而既可節(jié)省計算、又可節(jié)省能耗?！?/p>