國內(nèi)多個(gè)團(tuán)隊(duì)正在開發(fā)類似ChatGPT的大模型。2月20日，復(fù)旦大學(xué)率先向公眾發(fā)布了國內(nèi)首個(gè)公開亮相的對話式大型語言模型MOSS。

(資料圖)

第一財(cái)經(jīng)記者登錄公開平臺(tái)https://moss.fastnlp.top/，目前使用該系統(tǒng)需要邀請碼，若無邀請碼，輸入手機(jī)號(hào)后可加入“等待名單”。不過當(dāng)天深夜記者試圖再登錄該系統(tǒng)，網(wǎng)站顯示“服務(wù)器載量過大，請于明天再試”。其他多名用戶也向第一財(cái)經(jīng)記者反映了同樣的問題。

第一財(cái)經(jīng)記者隨后聯(lián)系了MOSS系統(tǒng)開發(fā)團(tuán)隊(duì)，相關(guān)負(fù)責(zé)人表示，由于當(dāng)晚系統(tǒng)公開后訪問人數(shù)過多，可能導(dǎo)致服務(wù)器響應(yīng)慢。

數(shù)據(jù)規(guī)模是主要限制

MOSS系統(tǒng)由復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)開發(fā)，可執(zhí)行對話生成、編程、問答等任務(wù)。該項(xiàng)目還得到了上海人工智能實(shí)驗(yàn)室的支持，后期有望通過開源方式和業(yè)界社區(qū)分享。

目前，國內(nèi)多家互聯(lián)網(wǎng)巨頭企業(yè)都在競相開發(fā)ChatGPT類似的大模型，但尚未有任何已經(jīng)公布的產(chǎn)品。大模型的訓(xùn)練需要漫長的過程，例如微軟自2016年起就已經(jīng)開始做對話機(jī)器人。

ChatGPT的模型擁有上千億的參數(shù)，背后有大量的人力進(jìn)行數(shù)據(jù)標(biāo)注。中國團(tuán)隊(duì)要在短時(shí)間內(nèi)趕超并不容易。

“ChatGPT這樣的大模型能開發(fā)成功非一日之功，背后是大量的數(shù)據(jù)收集。對于MOSS而言，與ChatGPT的主要差距在于數(shù)據(jù)的規(guī)模，除了學(xué)校擁有的一些科研數(shù)據(jù)之外，現(xiàn)在向公眾開放內(nèi)測，也是希望能夠通過大規(guī)模的數(shù)據(jù)來提升訓(xùn)練的能力。”一位了解該模型開發(fā)的相關(guān)人士告訴第一財(cái)經(jīng)記者。

目前，國內(nèi)訓(xùn)練人工智能軟件的主要障礙在于互聯(lián)網(wǎng)或其他數(shù)據(jù)集當(dāng)中高質(zhì)量中文文本的缺乏。作為ChatGPT的底層程序，GPT吸收了數(shù)十萬篇英文學(xué)術(shù)論文、新聞文章、書籍和社交媒體帖子來學(xué)習(xí)構(gòu)成語言的模式；而中國互聯(lián)網(wǎng)公司一些對標(biāo)ChatGPT的大模型，主要接受中文數(shù)據(jù)以及來自維基百科、Reddit等的英文數(shù)據(jù)訓(xùn)練。

業(yè)界針對MOSS系統(tǒng)關(guān)注的主要問題是模型的具體參數(shù)以及訓(xùn)練數(shù)據(jù)的方式。根據(jù)復(fù)旦團(tuán)隊(duì)的說法，MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間。

不同于ChatGPT對數(shù)據(jù)進(jìn)行標(biāo)注再輸入模型基座的技術(shù)路線，復(fù)旦團(tuán)隊(duì)通過讓MOSS和人類以及其他對話模型進(jìn)行交互的方式，“端到端”走通大語言模型，提升學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)可高效完成對話能力訓(xùn)練。

除了對話之外，未來MOSS還將擁有更多的能力，如繪圖、語音、譜曲和教學(xué)，并可加強(qiáng)輔助科學(xué)家進(jìn)行高效科研。

打造開源模型推動(dòng)AI普惠

一位業(yè)內(nèi)人士告訴第一財(cái)經(jīng)記者：“頂尖學(xué)府頂尖人才開發(fā)出的大模型值得期待，但現(xiàn)在還看不出訓(xùn)練數(shù)據(jù)的主要來源，如果真的能夠?qū)崿F(xiàn)編程等功能，那么這個(gè)數(shù)據(jù)規(guī)模一定不會(huì)小，需要大量資金的投入。”

由于大型語言模型預(yù)訓(xùn)練的研發(fā)門檻和運(yùn)營成本都很高，需要大量算力、語料訓(xùn)練以及人工標(biāo)注，只有大型機(jī)構(gòu)才有實(shí)力開發(fā)大模型。有統(tǒng)計(jì)數(shù)據(jù)顯示，假設(shè)ChatGPT的月活用戶為1000萬，那么每天的運(yùn)行成本大約為100萬美元。一些公司計(jì)劃將精力集中在客戶服務(wù)等特定垂直行業(yè)，而不是押注于更廣泛的對話聊天機(jī)器人。

未來頭部企業(yè)將模型開源有望成為國內(nèi)大型語言模型發(fā)展的一大趨勢，可有效降低預(yù)訓(xùn)練語言模型的研發(fā)和應(yīng)用門檻，讓中小企業(yè)在其基礎(chǔ)上開發(fā)出更多產(chǎn)品應(yīng)用，推動(dòng)AI普惠。

上周，北京市經(jīng)濟(jì)和信息化局在一份《人工智能產(chǎn)業(yè)發(fā)展白皮書》中提出，全面夯實(shí)人工智能產(chǎn)業(yè)發(fā)展底座，支持頭部企業(yè)打造對標(biāo)ChatGPT的大模型，著力構(gòu)建開源框架和通用大模型的應(yīng)用生態(tài)。

業(yè)內(nèi)認(rèn)為，有必要引導(dǎo)企業(yè)、高校、科研院所、新型研發(fā)機(jī)構(gòu)、開源社區(qū)等圍繞人工智能關(guān)鍵核心技術(shù)創(chuàng)新協(xié)同攻關(guān)。清華大學(xué)國強(qiáng)教授、智能產(chǎn)業(yè)研究院首席研究員聶再清預(yù)測，我國可能會(huì)打造對標(biāo)ChatGPT的多種形式的開源版本，可實(shí)現(xiàn)多機(jī)構(gòu)共享。“未來學(xué)校和企業(yè)一定會(huì)在這方面有一定程度的合作。”他對第一財(cái)經(jīng)記者表示。

不過在此類AI聊天機(jī)器人軟件正式向公眾普及之前，還有諸多復(fù)雜的問題待解。據(jù)悉，近期復(fù)旦大學(xué)召集了十幾家人工智能公司的高管和學(xué)者，分析ChatGPT 的發(fā)展、潛在用例以及所帶來的安全風(fēng)險(xiǎn)。

標(biāo)簽： 人工智能 MOSS ChatGPT