人工神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)系統(tǒng)，由稱為人工神經(jīng)元的大量連接節(jié)點(diǎn)組成。與生物大腦中的神經(jīng)元類似，這些人工神經(jīng)元是用于執(zhí)行神經(jīng)計(jì)算和解決問題的主要基本單位。神經(jīng)生物學(xué)的進(jìn)展已經(jīng)說明了樹突細(xì)胞結(jié)構(gòu)在神經(jīng)計(jì)算中所起的重要作用，并且這導(dǎo)致了基于這些結(jié)構(gòu)的人工神經(jīng)元模型的發(fā)展。
最近開發(fā)的近似邏輯神經(jīng)元模型(ALNM)是具有動(dòng)態(tài)樹突結(jié)構(gòu)的單個(gè)神經(jīng)模型。ALNM可以使用神經(jīng)修剪功能在訓(xùn)練期間消除不必要的樹突分支和突觸以解決特定問題。然后，可以以硬件邏輯電路的形式實(shí)現(xiàn)所得到的簡(jiǎn)化模型。
然而，用于訓(xùn)練ALMN的眾所周知的反向傳播(BP)算法實(shí)際上限制了神經(jīng)元模型的計(jì)算能力。“BP算法對(duì)初始值很敏感，很容易陷入局部最小值，”金澤大學(xué)電氣與計(jì)算機(jī)工程學(xué)院的相應(yīng)作者Yuki Todo說。“因此，我們?cè)u(píng)估了幾種用于訓(xùn)練ALMN的啟發(fā)式優(yōu)化方法的能力。”
經(jīng)過一系列實(shí)驗(yàn)，選擇物質(zhì)搜索狀態(tài)(SMS)算法作為ALMN最合適的訓(xùn)練方法。然后使用六個(gè)基準(zhǔn)分類問題來評(píng)估ALNM在使用SMS作為學(xué)習(xí)算法進(jìn)行訓(xùn)練時(shí)的優(yōu)化性能，結(jié)果表明，與BP和其他啟發(fā)式算法相比，SMS在準(zhǔn)確性方面提供了卓越的訓(xùn)練性能。收斂速度。
“基于ALNM和SMS的分類器也與其他幾種流行的分類方法進(jìn)行了比較，”Todo副教授表示，“統(tǒng)計(jì)結(jié)果驗(yàn)證了該分類器在這些基準(zhǔn)問題上的優(yōu)勢(shì)。”
在訓(xùn)練過程中，ALNM通過突觸修剪和樹突修剪程序簡(jiǎn)化了神經(jīng)模型，然后使用邏輯電路代替簡(jiǎn)化結(jié)構(gòu)。這些電路還為每個(gè)基準(zhǔn)問題提供了令人滿意的分類精度。這些邏輯電路的硬件實(shí)現(xiàn)的簡(jiǎn)易性表明，未來的研究將看到ALNM和SMS用于解決日益復(fù)雜和高維度的現(xiàn)實(shí)問題。