“軒轅”來了!國內首個千億級中文金融大模型宣布開源

        光明網 2023-05-26 21:36:26


        【資料圖】

        近日,度小滿正式開源國內首個千億級中文金融大模型——“軒轅”。軒轅大模型是在1760億參數的Bloom大模型基礎上訓練而來,在金融名詞理解、金融市場評論、金融數據分析和金融新聞理解等任務上,效果相較于通用大模型大幅提升,表現出明顯的金融領域優勢。

        在金融場景中的任務評測中,軒轅全面超越了市場上的主流開源大模型,贏得了150次回答中63.33%的勝率,充分凸顯了其在金融領域的顯著優勢。在通用能力評測中,軒轅有10.2%的任務表現超越ChatGPT 3.5,61.22%的任務表現與之持平,涉及數學計算、場景寫作、邏輯推理、文本摘要等13個主要維度。

        為了提升軒轅大模型對金融領域問題的理解能力,度小滿將自身業務中積累的金融領域的千億tokens的中文預訓練數據集用來訓練模型。該數據集涵蓋了金融研報、股票、基金、銀行、保險等各個方向的專業知識。度小滿表示,經過清洗和標注的高質量數據集,不僅在通用性方面與ChatGPT達到持平成為可能,且顯著提升了模型在金融垂直領域的性能。

        BLOOM(Big Science Language Open-science Open-access Multilingual)是2021年由 1000 多名志愿研究人員在一個名為“大科學 BigScience”的項目中創建,2022年7月12日正式發布。BLOOM 擁有1760億個參數(決定輸入數據如何轉換為輸出內容的變量),稍多于擁有 1750 億個參數的 GPT-3。BLOOM擁有1.61TB文本,包含46種自然語言和13種編程語言。相比Meta發布的130億參數的LLaMA(Large Language Model Meta AI)模型,Bloom參數量更占優勢。

        目前,千億級的軒轅模型已可以在Huggingface中申請下載,面向所有金融機構開放。 下載地址:https://github.com/Duxiaoman-DI/XuanYuan

        度小滿CTO許冬亮表示,軒轅大模型是經度小滿業務場景中積累的金融數據訓練而來的,對金融相關問題的理解比通用大模型更有優勢。我們把大模型能力開放給金融機構,有利于推動大模型在金融行業的應用,降低大模型的應用門檻,提升金融行業智能化水平。

        作為AI新基建,大模型在金融及各個行業有著廣泛的應用場景。軒轅大模型開源后,對金融機構有何意義?

        許冬亮認為,生成式大模型在內容生成與創作、信息摘要與總結、知識理解與問答、自然交互與對話等方面具備非常出色的能力,在金融場景中會有廣泛的應用。在前臺,生成式大模型將大幅提升客戶經理的專業水平和服務能力,大幅降低客戶經理的運營成本,讓每個人都擁有24小時在線的專業客戶經理成為可能。出色的內容生成能力也將引發營銷內容生產能力的大幅提升。在中臺,生成式大模型有機會改變企業內知識獲取、內容創作、會議與溝通、代碼開發與測試的方式,進而大幅提升企業內部辦公效率,甚至引發研發測試模式變革,全方位提升金融企業內部運營效率。在后臺,大模型將成為智能科技底座的標配,大幅降低智能技術應用的門檻,只需少量標注數據甚至無需調整就可以讓智能技術覆蓋廣泛的場景。

        據悉,度小滿依托于百度人工智能技術,已經開展了一系列基于大模型的應用。以風險管理為例,度小滿已經將大型語言模型LLM應用在互聯網文本數據、征信報告的解讀上,通過用文本數據構造的預訓練模型以及AI算法,能夠將征信報告解讀出40萬維的風險變量,更好的識別小微企業主的信貸風險。今年5月份,這一工程榮獲了“吳文俊人工智能科學技術獎”。今年2月份,百度基于文心大模型技術推出的生成式對話產品“文心一言”(ERNIE Bot)開放生態合作,度小滿成為首家接入的金融科技公司。(柯巖)

        關鍵詞:

        免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

        最新推薦