過去的三個月里，大模型如雨后春筍般涌現(xiàn)。根據(jù)《中國人工智能大模型地圖研究報告》不完全統(tǒng)計，目前國內(nèi)已經(jīng)發(fā)布了79個參數(shù)規(guī)模在10億以上的大模型，可以說“百模大戰(zhàn)”已經(jīng)開始了。

行業(yè)沸騰的背后，各家模型實力究竟如何？大模型技術未來將會如何演進？它會為我們的生活帶來哪些改變？近日，在舉辦的“21科技峰會·潮起AIGC：大模型崛起”閉門研討會上，多位業(yè)內(nèi)專家、企業(yè)代表圍繞技術演進、應用創(chuàng)新以及行業(yè)監(jiān)管等方向進行了深入討論。

(資料圖片僅供參考)

對于此輪AI技術的爆發(fā)，中國信通院云大所內(nèi)容科技部副主任劉碩認為，以大模型為代表的深層次AI技術，目前應用場景還比較局限，結合相關企業(yè)進展來看，行業(yè)總體上仍然處于發(fā)展的早期階段。關于AI技術可能存在的一些誤判，在于長期內(nèi)低估以及短期內(nèi)高估。

一方面，大模型技術潛力在業(yè)界已經(jīng)有了相當充足的論證，未來在產(chǎn)業(yè)技術革新上的推動價值不能忽視。另一方面，大量企業(yè)機構一窩蜂地投入到大模型研發(fā)上，也可能會產(chǎn)生擠占其它需要長期探索的技術所需資源的問題。

算力成“繞不開”的門檻

2018年6月，OpenAI發(fā)布了GPT-1，至目前迭代到GPT-4，是當前最為強大的語言模型，在GPT-1發(fā)布兩個月后，谷歌發(fā)布了BERT模型，在參數(shù)量上，3億的BERT遠超1.2億的GPT-1。

此后，F(xiàn)acebook（Meta）、百度等國內(nèi)外研究團隊也隨之跟進，紛紛加入大模型研發(fā)的隊伍中，大語言模型的時代大幕也正式揭開。

在此背景下，大模型參數(shù)量開始指數(shù)級增長：2019年2月發(fā)布的GPT-2參數(shù)量增長至15億；2020年5月發(fā)布GPT-3參數(shù)量更是飆升至1750億。直至今日，GPT-3不僅能夠生成流暢自然的文本，還能完成問答、翻譯、創(chuàng)作小說等一系列NLP（自然語言處理）任務，甚至能進行簡單的算術運算。

參數(shù)規(guī)?？耧j的同時，AI的算力需求也在飛速增長。簡單來說，大模型算力需求主要分布在訓練和推理兩個環(huán)節(jié)，其中訓練算力占據(jù)大頭，根據(jù)OpenAI的公開數(shù)據(jù)，ChatGPT訓練算力消耗達到3640PF-days，也就是說按照每秒計算一千萬億次的速度，需要計算3640天。

以英偉達針對AI訓練提供的DGX A100系統(tǒng)為例，該服務器包含8張A100芯片并可提供5PetaFLOP的算力。微軟在2019年與OpenAI達成合作關系后，其為OpenAI構建的AI超級計算機配備了上萬張A100芯片。

在供不應求的情況下，目前單張A100芯片售價就已經(jīng)達到近10萬元，在大模型訓練環(huán)節(jié)，僅芯片這一項硬件投資規(guī)模就達到10億元。

盡管諸多行業(yè)玩家嘗試以更小的參數(shù)量的模型追平ChatGPT，但業(yè)界公認只有千億參數(shù)規(guī)模以上的大模型，才可能“涌現(xiàn)”出大模型獨有的泛化能力。

多位與會嘉賓也在會上表示了認同，算力成為大模型競賽中幾乎無法繞開的門檻。

“對于打造大模型，我們說從0分到60分很簡單，60分到80分也沒那么難。但是從80分到90分，甚至再往前走的時候，投入就會非常巨大，如果要對標GPT-4這類模型，對算力、調(diào)優(yōu)、部署以及團隊的工程經(jīng)驗等一系列環(huán)節(jié)，都提出了極高的要求?！敝信d通訊首席發(fā)展官崔麗表示。

未來如何演進

多位與會嘉賓共同認為，更大參數(shù)、更多模態(tài)仍然會是未來大模型技術的重要進化方向。

目前，ChatGPT屬于NLP領域的單模態(tài)模型，盡管擅長理解和生成文本，但不支持從文本生成圖片、音頻、視頻等功能，升級至GPT-4之后，開始轉向多模態(tài)，支持輸入圖像或文本后生成文本。另一邊，在視覺創(chuàng)作領域掀起革命的模型，也僅支持文到圖的單一跨模態(tài)功能。因此，打通各種模態(tài)能力，實現(xiàn)任意模態(tài)之間轉化，成為大模型的未來發(fā)展的重要方向。

在AI技術爆發(fā)的過程中，另一個不容忽視的趨勢是，GPT-4等頂尖模型都在走向封閉。

“從GPT-3開始，OpenAI不再開源模型和代碼，過程中更關鍵的數(shù)據(jù)處理和微調(diào)技術細節(jié)全部沒有。到GPT-4發(fā)布時，OpenAI更是明確宣布架構、硬件、訓練、數(shù)據(jù)構建、訓練方法等技術細節(jié)全都不再公開，在大模型上迅速跟進的谷歌也是一樣，第一代PaLM模型還有很多信息提供出來，到PaLM-2也同樣的開始不完全公開，包括最近一段時間，也有很多消息講谷歌未來會推遲或減少相關論文的發(fā)表。”華為昇思MindSpore營銷總監(jiān)戴金偉在會上表示。

而在崔麗看來，未來大模型發(fā)展路線上將會是開源和閉源并存，OpenAI在自身發(fā)展到一定階段后，出于某些考量選擇了閉源，但這不意味著未來大模型會完全走向封閉，值得注意的是，以Meta、Hugging Face為代表的開源勢力也同樣在不斷壯大與飛速進步。

“一方面，OpenAI等企業(yè)會繼續(xù)向著通用人工智能的方向努力，延承‘暴力美學’，做更大的模型、更多的參數(shù)、更多的模態(tài)，探索大模型的天花板，另一個方向是針對GPT-4的黑盒去倒推，雖然像開源模型這些開放資源，目前的效果可能會差一些，但在大幅度降低大模型技術的參與門檻后，探索垂直場景下GPT-4能力復現(xiàn)也很值得嘗試。”崔麗分析指出。

今年2月底，Meta開源了參數(shù)量從70億到650億不等的LLaMA系列大模型，迅速點燃開源社區(qū)的創(chuàng)新熱情，斯坦福大學、加州大學伯克利分校等機構陸續(xù)推出了Alpaca、Vicuna等多個開源大模型，開源社區(qū)內(nèi)迅速聚集起“羊駝”生態(tài)。

“雖然目前以GPT-4為代表的閉源模型目前處于領先，但在垂直場景等方面，迭代更快、成本更低的開源模型也完全有機會做出優(yōu)勢?！贝摞惙治霰硎?。

尋找商業(yè)閉環(huán)

“我們回看IT時代，CPU剛出來的時候，大家都覺得這個東西計算能力很強，于是想著把各種業(yè)務問題轉換成計算問題，到今天AIGC涌現(xiàn)，所以我們看大家都在想辦法把實際業(yè)務問題變成一個chat問題?！庇袇钨e表示。

亞馬遜云科技資深解決方案架構師經(jīng)理、數(shù)據(jù)分析專家郭立表達了同樣的觀點，“在一些基礎的UI設計以及代碼工作中，已經(jīng)能夠看到大模型展現(xiàn)出很強的可替代性，我們只需把需求要告訴ChatGPT，它就能夠輸出高質(zhì)量代碼等內(nèi)容，這就讓未來的工作方式變成了怎樣去精準定義問題，從招聘角度有可能未來演變成公司傾向于招一個能夠把事情講清楚的員工?！?/p>

與此同時，大模型對于內(nèi)容的理解，使得在涉及處理海量信息的問題上，AI應用的想象空間也在極速擴容。盡管在降本增效的方向上，新能力涌現(xiàn)的AI并不缺少落地場景，但多位與會嘉賓共同指出，構建商業(yè)閉環(huán)仍然是AI技術落地的核心。

云從科技數(shù)據(jù)研究院院長姜迅認為，AIGC帶來的是范式的變化，“過去每一個任務都需要做單獨訓練，這導致AI公司陷入一個困境：盡管能看到各行各業(yè)對于AI技術的需求，比如監(jiān)測雞屎顏色來判斷雞的健康情況、檢驗螺絲釘有沒有裂紋等等，但這些小的需求沒有辦法建立起正的商業(yè)循環(huán)，干了就虧，不干又感覺錯過了一個機會?！币灿信c會嘉賓將此形容為“為了喝一口水，挖了一口井”。

“預訓練大模型其實很好地解決了這個問題，我們確定了基礎模型以后，只需要在這個基礎上加入新的知識，原有投入得到了保護，同時隨著大量的模型開源，行業(yè)問題也可以基于這些開源模型以更低的成本去做，對于整個社會的算力資源也是一種保護?！苯冈跁媳硎?。

“雖然很多實際場景問題都能夠用AI解決，但問題是客戶愿意在這上面花多少錢，像檢驗螺絲釘有沒有裂紋，客戶的預算頂破天也就二十萬，遠遠不夠覆蓋AI團隊的支出。AI用起來不劃算是傳統(tǒng)行業(yè)AI技術落地緩慢的主要原因。而AI之所以在互聯(lián)網(wǎng)、金融等行業(yè)走得更快，是因為廣告推薦精準度以及風險控制效果提升一兩個點，都會為企業(yè)帶來巨大的收益，所以我們看AI的應用市場呈現(xiàn)明顯的兩極分化。單純講降本增效是有些理想化，更多應該圍繞主營業(yè)務，探索AI技術能夠帶來哪些實質(zhì)性經(jīng)營價值。”戴金偉進一步分析指出。

“百模大戰(zhàn)”

隨著各個領域的大模型涌現(xiàn)，與會嘉賓們也分享了諸多關于“百模大戰(zhàn)”的思考。

盡管在GPT-3以前的版本中，Open AI選擇了開源，模型的基本結構都已經(jīng)通過論文等方式公開，但各廠商由于在工程實踐方面的差距，包括在數(shù)據(jù)的清洗、標注以及模型的微調(diào)、訓練方法等方面，仍需要長時間的研發(fā)投入和經(jīng)驗積累。如何判斷各家的技術優(yōu)劣以及與頭部模型的差距？

有與會嘉賓指出，相比于更加權威的專業(yè)測試題庫，支撐各個廠家“通用領域追平ChatGPT、垂直領域反超GPT-4”說法的數(shù)據(jù)樣本遠遠不足。

“比如GPT-3在論文里公布了TriviaQA的測試結果，TriviaQA里面包含六十多萬道不同領域的題目，對于這樣一些值得參考的成績，我們目前卻沒有看到其它廠商們公布自家模型的相關測試結果，如果僅憑一些單點測試，其實沒有辦法判斷與OpenAI之間真實的差距?！鄙鲜雠c會嘉賓表示。

另一位智能駕駛行業(yè)的與會嘉賓則分享了垂直行業(yè)對大模型技術的思考，“在每一個行業(yè)的應用場景里，都會積累很多技術秘密，這個過程中沉淀下來的東西就已經(jīng)可以進行高中低頻的分析。中高頻需求其實是相對固定的，通過適當?shù)牟眉糇尨竽Ｐ透玫慕鉀Q實際問題，是一個比較可行的路徑。比如我們認為語音可能取代按鍵成為未來人車交互的主流方式，而出行場景中的語音交互最需要的是快速高效響應，在本地化部署的過程中，我們的思路也是通過蒸餾和裁剪大模型，犧牲部分推理能力以換取更好的理解能力。”

在與會嘉賓們看來，未來更加關注實現(xiàn)某種功能的最低算力需求是多少，以及在硬件范圍內(nèi)能夠提供哪些能力？同時也會加強邊緣側和端側的計算水平。

監(jiān)管如何引導

另一方面，在全球范圍內(nèi)，各經(jīng)濟體也在逐步重視對AIGC的監(jiān)管力度，其中也不乏企業(yè)與監(jiān)管間的沖突。

歐盟在5月11日通過《AI法案》提案的談判授權草案，禁止“對人類安全造成不可接受風險的AI系統(tǒng)”，并要求AI公司對其算法保持人為控制，提供技術文件，且為高風險應用建立風險管理系統(tǒng)。

而作為此輪技術革命的領頭羊，OpenAI CEO Sam Altman卻在近日公開表示，如果無法遵守歐盟即將出臺的AI法規(guī)，該公司可能會考慮退出歐洲市場，“目前的歐盟AI法案草案將會造成過度監(jiān)管的情況，但我們聽說它將回調(diào)?！?/p>

在預防技術風險之外，也有業(yè)內(nèi)觀點指出，此輪AI產(chǎn)業(yè)仍處在發(fā)展初期，不應該追求零風險而犧牲發(fā)展效率。APUS高級技術總監(jiān)朱傳奇則聯(lián)想到2018年歐盟出臺的GDPR（《通用數(shù)據(jù)保護條例》），有統(tǒng)計數(shù)據(jù)顯示受GDPR影響的公司平均預計利潤下降8.1%，對于中小企業(yè)來說，既要面臨合規(guī)成本問題，還要在與大企業(yè)的競爭劣勢下做創(chuàng)新，受到影響更加明顯，如何在監(jiān)管中照顧到中小企業(yè)發(fā)展是未來非常值得思考的問題。

一直以來，國內(nèi)應用層創(chuàng)新更加活躍已成業(yè)內(nèi)共識。劉碩卻注意到，以GPT為代表的大模型出來以后，國外的AIGC應用層出不窮，國內(nèi)由于缺乏相對成熟的接口產(chǎn)品以及監(jiān)管層面的原因，反倒要落后一些。

“我們應該從工具視角去看待AI，技術落地應用時，大廠的價值觀就非常重要，因為它有更多的資源、技術和先發(fā)優(yōu)勢，在這種情況下可以建立一些相對嚴格的規(guī)則去引導行業(yè)有序發(fā)展。相比之下，對于中小企業(yè)可以提供更加寬松的監(jiān)管環(huán)境，會讓行業(yè)發(fā)展創(chuàng)新變得更加多元和富有生命力?！贝摞惐硎?。

業(yè)內(nèi)對于AI監(jiān)管也有諸多討論。3月29日，圖靈獎得主Yoshua Bengio、馬斯克等人聯(lián)名發(fā)表公開信，呼吁所有AI實驗室立即暫停訓練比GPT-4更強大的AI系統(tǒng)，為期至少6個月，以確保人類能夠有效管理其風險。

這也引來Meta首席人工智能科學家楊立昆等行業(yè)大牛的批評，并將AI威脅論視為蒙昧主義。

“由于過往對于技術進步的預期往往是線性的，當GPT-4以指數(shù)級成長的速度出現(xiàn)時，讓幾乎所有人都始料不及，”與會嘉賓談到，“AI總有一天會超過人類的認知和智慧，到那時對人類生存就必然構成潛在威脅，舉個可能不太恰當?shù)睦?，當機器人覺得生銹是一件很討厭的事情，于是決定把空氣里的氧氣抽干凈，人類肯定不能接受，因此將機器和人類的價值觀對齊，一直是一項艱難且極其重要的研究課題?！?/p>

標簽：