自組織反向傳播（SBP）機(jī)制可以在降低計(jì)算能耗的同時(shí)不損失精度。圖片來(lái)源：unsplash

■記者 張雙虎

云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)的快速發(fā)展和廣泛應(yīng)用，讓這些領(lǐng)域成了“電老虎”。新思界產(chǎn)業(yè)研究中心《2021年全球及中國(guó)數(shù)據(jù)中心加速器產(chǎn)業(yè)深度研究報(bào)告》預(yù)測(cè)，到2025年，僅全球數(shù)據(jù)中心消耗的電能就將占全球總發(fā)電量的五分之一。

近日，中科院腦智卓越中心研究員徐波、蒲慕明院士聯(lián)合研究團(tuán)隊(duì)在線發(fā)表于《科學(xué)進(jìn)展》的研究，利用介觀尺度自組織反向傳播（SBP）機(jī)制，在更高效率、更靈活的類腦局部學(xué)習(xí)方面取得了重要進(jìn)展。該技術(shù)能在機(jī)器學(xué)習(xí)過(guò)程中，降低計(jì)算能耗的同時(shí)又不損失精度，讓這些“電老虎”可以少吃多干。

能耗的瓶頸

人工智能在某些領(lǐng)域表現(xiàn)出巨大的優(yōu)勢(shì)，比如，AlphaGo 完勝人類世界圍棋冠軍；在電子游戲競(jìng)技中，AlphaStar以10：1的總比分“狂虐”職業(yè)玩家。

近年來(lái)，隨著數(shù)據(jù)量越來(lái)越大、算力越來(lái)越強(qiáng)、大規(guī)模預(yù)訓(xùn)練模型對(duì)能源的要求也越來(lái)越高。據(jù)倫敦大學(xué)學(xué)院教授David Attwell團(tuán)隊(duì)通過(guò)對(duì)單個(gè)神經(jīng)元耗能進(jìn)行計(jì)算，發(fā)現(xiàn)整個(gè)大腦的能耗約16.6瓦。對(duì)于人體而言，大腦只需要不到20瓦的功率就可以應(yīng)對(duì)復(fù)雜思考任務(wù)。與之相比，戰(zhàn)勝柯潔的AlphaGo，耗電量相當(dāng)于12760個(gè)人類大腦。

“預(yù)訓(xùn)練模型的參數(shù)提高以后，人工智能的性能確實(shí)更強(qiáng)了，但能耗問(wèn)題也不容忽視。”該論文第一作者、中國(guó)科學(xué)院自動(dòng)化所副研究員張鐵林對(duì)《中國(guó)科學(xué)報(bào)》說(shuō)，“研究者普遍認(rèn)為，人工智能的表現(xiàn)還應(yīng)更好一些。比如，進(jìn)行同樣運(yùn)算而消耗更少的能源。”

模擬人類大腦運(yùn)行過(guò)程是人工智能的一個(gè)重要途徑，在人工智能研究領(lǐng)域，目前神經(jīng)網(wǎng)絡(luò)中被廣泛使用的反向傳播算法（BP）采用全局優(yōu)化策略。這種端到端的學(xué)習(xí)方法性能卓越，但學(xué)習(xí)過(guò)程能量消耗大，缺乏靈活性。

“在精度不受影響的前提下，降低能耗是我們的研究目的之一。”徐波告訴《中國(guó)科學(xué)報(bào)》，“現(xiàn)在包括人工智能大模型在內(nèi)的很多算法也遠(yuǎn)未達(dá)到人腦的參數(shù)量。而大腦維持這么多神經(jīng)元運(yùn)算，卻是非常節(jié)能的。如果我們?cè)谒惴ㄔO(shè)計(jì)之初，讓機(jī)器能像人那樣去學(xué)習(xí)，也許模型不必那么龐大，學(xué)習(xí)訓(xùn)練的時(shí)候也不會(huì)那么耗電。”

向大腦學(xué)習(xí)

“我們想借用一些生物學(xué)領(lǐng)域取得的進(jìn)展，弄清楚大腦是怎么在低能耗的情況下高效學(xué)習(xí)的。”張鐵林說(shuō)，“所以蒲慕明老師給徐波老師團(tuán)隊(duì)推薦了很多算法，并保持著深度合作。”

1997年，蒲慕明團(tuán)隊(duì)在《自然》雜志發(fā)表論文，揭示了海馬體內(nèi)神經(jīng)元可以將長(zhǎng)時(shí)程抑制（LTD）可塑性自組織地傳播到三個(gè)方向，分別是突觸前側(cè)向傳播、突觸后側(cè)向傳播和反向傳播，這個(gè)發(fā)現(xiàn)就是SBP。

進(jìn)一步的研究證實(shí)，SBP現(xiàn)象具有普遍性，不僅覆蓋更多的神經(jīng)區(qū)域如視網(wǎng)膜—頂蓋系統(tǒng)，還覆蓋更多的可塑性類型，如長(zhǎng)時(shí)程增強(qiáng)。該機(jī)制的形成歸結(jié)于生物神經(jīng)元內(nèi)分子調(diào)制信號(hào)的天然逆向傳遞，被認(rèn)為是可能導(dǎo)致生物神經(jīng)網(wǎng)絡(luò)高效反饋學(xué)習(xí)的關(guān)鍵。

研究團(tuán)隊(duì)受到該機(jī)制的啟發(fā)，對(duì)SBP的反向傳播方向（第三個(gè)方向）單獨(dú)構(gòu)建數(shù)學(xué)模型，重點(diǎn)描述了神經(jīng)元輸出突觸的可塑性能夠反向傳播到輸入突觸中，可塑性的發(fā)生可以通過(guò)時(shí)序依賴突觸可塑性，也可以通過(guò)人工局部梯度調(diào)節(jié)。在標(biāo)準(zhǔn)三層脈沖神經(jīng)網(wǎng)絡(luò)（SNN）的學(xué)習(xí)過(guò)程中，SBP機(jī)制可以自組織地完成前一層網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)，并可以結(jié)合短時(shí)突觸可塑性、膜電位平衡等，形成更強(qiáng)大的SNN組合學(xué)習(xí)方法。

由于涉及前沿生物技術(shù)，有很多生物機(jī)制計(jì)算機(jī)驗(yàn)證起來(lái)非常困難。

“蒲老師講完這一機(jī)制，我們讀相關(guān)論文時(shí)還覺(jué)得這項(xiàng)工作并不復(fù)雜。”張鐵林說(shuō)，“但真正應(yīng)用到模型上卻困難重重、一籌莫展。”

張鐵林等人是計(jì)算機(jī)領(lǐng)域的，生物領(lǐng)域論文對(duì)他們來(lái)說(shuō)比較難，“很多時(shí)候并不完全懂”。而且，大腦中有多個(gè)關(guān)聯(lián)機(jī)制，要不要跟SBP結(jié)合、怎么結(jié)合、神經(jīng)元的突觸往前傳多少、傳給誰(shuí)、有沒(méi)有傾向性，這些問(wèn)題都沒(méi)有答案，感覺(jué)“有很多缺失的信息需要去補(bǔ)充”。

沒(méi)有標(biāo)準(zhǔn)答案，研究人員只能先結(jié)合網(wǎng)絡(luò)情況進(jìn)行論證分析，再設(shè)置一個(gè)可優(yōu)化的參數(shù)，用一些特殊的方法構(gòu)建“能量函數(shù)”來(lái)約束一些變量，然后把這個(gè)機(jī)制放到脈沖網(wǎng)絡(luò)里去驗(yàn)證。

然而，經(jīng)過(guò)多次嘗試，結(jié)果卻并不理想。他們只好回過(guò)頭來(lái)重新認(rèn)識(shí)“生物學(xué)規(guī)則”。隨著學(xué)習(xí)的深入，蒲慕明建議他們做一些小實(shí)驗(yàn)來(lái)模仿類似生物的小網(wǎng)絡(luò)。慢慢的，這種機(jī)制逐步明確起來(lái)。

“從科研角度來(lái)講，要先做減法，把它的重要性弄清楚、體現(xiàn)出來(lái)，后面再做加法，加更多的機(jī)制、變量和條件。”張鐵林說(shuō)，“目前我們只是在一些標(biāo)準(zhǔn)的簡(jiǎn)單模型上進(jìn)行了驗(yàn)證。因?yàn)槿绻Ｐ吞珡?fù)雜，會(huì)說(shuō)不清楚SBP在其中到底貢獻(xiàn)了什么。下一步我們會(huì)在更大規(guī)模的模型上進(jìn)行驗(yàn)證。”

研究團(tuán)隊(duì)針對(duì)性地提出一種統(tǒng)計(jì)訓(xùn)練過(guò)程中能量消耗的新方法。在圖片分類、語(yǔ)音識(shí)別、動(dòng)態(tài)手勢(shì)識(shí)別等多類標(biāo)準(zhǔn)數(shù)據(jù)集上，SBP機(jī)制通過(guò)組合其它可塑性機(jī)制，實(shí)現(xiàn)了更低能耗和更高精度的SNN局部學(xué)習(xí)。在一些人工網(wǎng)絡(luò)的學(xué)習(xí)中，SBP機(jī)制也可以大量替換BP機(jī)制實(shí)現(xiàn)全局和局部交叉學(xué)習(xí)，在降低計(jì)算能耗的同時(shí)不損失精度。

“自組織”的優(yōu)勢(shì)

“生物智能計(jì)算的本質(zhì)，很可能就是靈活融合多類微觀、介觀等可塑性機(jī)制的自組織局部學(xué)習(xí)，結(jié)合遺傳演化賦予的遠(yuǎn)程投射網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到高效的全局優(yōu)化學(xué)習(xí)效果。”蒲慕明告訴《中國(guó)科學(xué)報(bào)》，“該工作可以進(jìn)一步引導(dǎo)生物和人工網(wǎng)絡(luò)的深度融合，最終實(shí)現(xiàn)能效比高、可解釋性強(qiáng)、靈活度高的新一代人工智能模型。”

目前，反向傳播機(jī)制已經(jīng)是一種優(yōu)化的結(jié)果，作為一種標(biāo)準(zhǔn)模型，它基本上覆蓋了脈沖和人工網(wǎng)絡(luò)模型，效果也不錯(cuò)。

“但其能耗和學(xué)習(xí)效率方面，還可以再優(yōu)化一些，從各個(gè)尺度上再提升一下。”張鐵林說(shuō)，“我們?cè)谟?xùn)練時(shí)，也采取混合式的訓(xùn)練方法，一部分采用BP方法，一部分采用SBP方法。”

研究人員認(rèn)為，SBP是一類介觀尺度的特殊生物可塑性機(jī)制，具有自平衡、自組織、可傳播等特點(diǎn)，因此在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中展示出較好的組合優(yōu)化優(yōu)勢(shì)。

“人工的反向傳播算法靠整體目標(biāo)函數(shù)驅(qū)動(dòng)，每次計(jì)算時(shí)既慢又耗能，特別是在網(wǎng)絡(luò)比較大的時(shí)候，問(wèn)題就更明顯了。”張鐵林說(shuō)，“如果一個(gè)算法是自組織的，它就可以像大腦一樣無(wú)監(jiān)督學(xué)習(xí)，可以進(jìn)行局部運(yùn)算，就比較節(jié)能了。”

目前，該團(tuán)隊(duì)已經(jīng)在一些小型、淺層的人工網(wǎng)絡(luò)上做過(guò)測(cè)試。結(jié)果表明，最好的時(shí)候，其可以在保持原來(lái)性能的基礎(chǔ)上，把能耗降到原來(lái)的21%左右。

“比如，原來(lái)需要100塊GPU去訓(xùn)練，現(xiàn)在只需要21塊就夠了。”張鐵林說(shuō)，“這在進(jìn)行大模型訓(xùn)練的時(shí)候就比較重要了。”

SBP只是一個(gè)開(kāi)始，它對(duì)進(jìn)一步深入探索類腦局部計(jì)算具有很大的啟示。

“將來(lái)還有很多和腦智卓越中心生物科學(xué)團(tuán)隊(duì)的交叉合作研究。”徐波說(shuō)，“相信人工智能領(lǐng)域未來(lái)還有很大的進(jìn)步空間，這些受生物啟發(fā)的學(xué)習(xí)法則可以幫助人們更好地填補(bǔ)這些空白。”