2457億參數(shù)的巨量模型,意味著什么?

        光明網(wǎng) 2021-10-08 14:00:07

        光明網(wǎng)訊2457億個(gè)參數(shù)是什么概念?近期,人工智能研究院在京發(fā)布全球最大規(guī)模人工智能巨量模型“源1.0”。據(jù)悉,“源”的單體模型參數(shù)量達(dá)2457億,超越美國(guó)OpenAI組織研發(fā)的GPT-3,成為全球最大規(guī)模的AI巨量模型。

        源1.0模型參數(shù)規(guī)模為2457億,訓(xùn)練采用的中文數(shù)據(jù)集達(dá)5000GB,相比GPT3模型1750億參數(shù)量和570GB訓(xùn)練數(shù)據(jù)集,源1.0參數(shù)規(guī)模領(lǐng)先40%,訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍。如此大規(guī)模的人工智能巨量模型誕生,意味著什么?

        浪潮研究院介紹,“源1.0”在語(yǔ)言智能方面表現(xiàn)優(yōu)異,獲得中文語(yǔ)言理解評(píng)測(cè)基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類總榜冠軍。在零樣本學(xué)習(xí)榜單中,“源1.0”超越業(yè)界最佳成績(jī)18.3%,在文獻(xiàn)分類、新聞分類,商品分類、原生中文推理、成語(yǔ)閱讀理解填空、名詞代詞關(guān)系6項(xiàng)任務(wù)中獲得冠軍;在小樣本學(xué)習(xí)的文獻(xiàn)分類、商品分類、文獻(xiàn)摘要識(shí)別、名詞代詞關(guān)系等4項(xiàng)任務(wù)獲得冠軍。在成語(yǔ)閱讀理解填空項(xiàng)目中,源1.0的表現(xiàn)已超越人類得分。

        在對(duì)“源1.0”進(jìn)行的“圖靈測(cè)試”中,將源1.0模型生成的對(duì)話、小說(shuō)續(xù)寫(xiě)、新聞、詩(shī)歌、對(duì)聯(lián)與由人類創(chuàng)作的同類作品進(jìn)行混合并由人群進(jìn)行分辨,測(cè)試結(jié)果表明,人群能夠準(zhǔn)確分辨人與“源1.0”作品差別的成功率已低于50%。

        浪潮人工智能研究院首席研究員吳韶華表示,一方面,巨量模型可以推動(dòng)產(chǎn)業(yè)界做一些殺手級(jí)應(yīng)用,另一方面,對(duì)于前沿技術(shù)的探索也有重要意義。“人們一直在追求一種更通用、更好的模型,能夠用于各種各樣的場(chǎng)景,來(lái)解決各類問(wèn)題,實(shí)現(xiàn)真正的通用智能。”

        全球范圍內(nèi),巨量模型的發(fā)展也備受關(guān)注。斯坦福大學(xué)李飛飛教授等人工智能領(lǐng)域知名學(xué)者近期在論文中表示,這類巨量模型的意義在于突現(xiàn)和均質(zhì)。突現(xiàn)意味著通過(guò)巨大模型的隱含的知識(shí)和推納可帶來(lái)讓人振奮的科學(xué)創(chuàng)新靈感出現(xiàn);均質(zhì)表示巨量模型可以為諸多應(yīng)用任務(wù)泛化支持提供統(tǒng)一強(qiáng)大的算法支撐。

        浪潮信息副總裁劉軍將巨量模型比喻為“珠穆朗瑪峰”,能夠?qū)崿F(xiàn)“見(jiàn)所未見(jiàn)”,對(duì)于科學(xué)發(fā)現(xiàn)和產(chǎn)業(yè)實(shí)踐都有巨大價(jià)值。他認(rèn)為,生命從簡(jiǎn)單進(jìn)化到復(fù)雜,這種智能水平本身就是一種模型,如果把模型比作元宇宙中的生命,大模型的這種綜合系統(tǒng)能力可能會(huì)決定未來(lái)數(shù)字世界和智能世界里的智能水平。

        “2457億這個(gè)參數(shù)夠不夠多呢?實(shí)際上還不夠多,人的神經(jīng)元的突觸超過(guò)100萬(wàn)億,所以,我們距離這個(gè)水平還有很遠(yuǎn)的路要走。”在劉軍看來(lái),未來(lái),人類需要更大的模型、更大的數(shù)據(jù)、更大的算力,這樣才可以擁有更大的智能。

        源1.0中文巨量模型的發(fā)布,使得中國(guó)學(xué)術(shù)界和產(chǎn)業(yè)界可以使用一種通用巨量語(yǔ)言模型的方式,大幅降低針對(duì)不同應(yīng)用場(chǎng)景的語(yǔ)言模型適配難度;同時(shí)提升在小樣本學(xué)習(xí)和零樣本學(xué)習(xí)場(chǎng)景的模型泛化應(yīng)用能力。浪潮人工智能研究院表示,“源1.0”將面向?qū)W術(shù)研究單位和產(chǎn)業(yè)實(shí)踐用戶進(jìn)行開(kāi)源、開(kāi)放、共享,降低巨量模型研究和應(yīng)用的門檻,有效推進(jìn)AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化的進(jìn)步,切實(shí)為國(guó)家在人工智能研究創(chuàng)新和產(chǎn)業(yè)發(fā)展作出貢獻(xiàn)。(戰(zhàn)釗)

        關(guān)鍵詞: 2457億 參數(shù) 巨量 模型

        免責(zé)聲明:市場(chǎng)有風(fēng)險(xiǎn),選擇需謹(jǐn)慎!此文僅供參考,不作買賣依據(jù)。

        最新推薦