如火如荼的國內大模型創(chuàng)業(yè)潮中，高端芯片的短缺引發(fā)的算力壓力一直是行業(yè)擔憂的關鍵點。4月14日，騰訊宣布兩大事宜——首發(fā)英偉達H800，以及發(fā)布高性能計算集群，緩解大模型趨勢下的算力壓力。

所謂“高性能計算集群”，主要采用騰訊云星星海自研服務器，搭載英偉達最新代次H800 GPU，服務器之間采用3.2T超高互聯(lián)帶寬，為大模型訓練、自動駕駛、科學計算等提供高性能、高帶寬和低延遲的集群算力。

大模型帶動算力需求激增

(資料圖片)

算力問題之所以成為行業(yè)頭疼的難題，是因為當前大模型進入萬億參數(shù)時代，單體服務器算力有限，需要將大量服務器通過高性能網(wǎng)絡相連，打造大規(guī)模算力集群。

此前接受采訪時，騰訊云異構計算產(chǎn)品總監(jiān)宋丹丹對第一財經(jīng)記者表示，大模型是目前需求比較旺盛的業(yè)務，行業(yè)對算力的要求分為訓練和推理兩個階段。訓練需要短時間內并行算力非常全，算力非常大，且要在短時間內能夠做到交付，所以對于算力的量級、穩(wěn)定性、性能，以及彈性擴縮容的能力有比較高的要求。進入推理階段，大模型對于單位算力的性價比、成本以及算力所處的位置與端應用的服務是否能夠快速連接的要求較高。

目前來看，宋丹丹認為大模型所處的階段還處于訓練需求的爆發(fā)期，行業(yè)需要的還是一個海量的可擴縮容的高性能算力，并且這些算力能夠穩(wěn)定交付、穩(wěn)定計算。因為中間打斷一下，整個訓練過程就會暫停，所以對于算力的穩(wěn)定性要求很高。

對于目前行業(yè)對算力需求的變化，宋丹丹表示，一些新入場的業(yè)務確實有了新的增量，如之前的異構計算面向的領域主要是三大方向：一個是科學計算，如天氣、地理測繪、醫(yī)藥研發(fā)；其次是渲染視覺類的，比如XR、VR的視覺服務、渲染，包括影視渲染、動畫渲染、二維3D渲染等；第三類就是AI的SaaS和PaaS的應用服務。

現(xiàn)在的算力增量在騰訊云看來，可以籠統(tǒng)地可以劃歸到之前的AI傳統(tǒng)服務里，只不過它的需求從原來的推理向和渲染更多地走向了訓練向，更多的客戶開始自己訓練AI模型，這是目前市場的變化。

先進芯片不完全等于先進算力

算力需求暴增的當下，行業(yè)普遍將芯片，尤其高端芯片的短缺視為重要限制，但在騰訊云看來，當前大熱的人工智能大模型需要海量數(shù)據(jù)和強大的算力來支撐訓練和推理過程，其中數(shù)據(jù)主要由服務器和光模塊存儲、運輸，算力支撐則依賴各類芯片。

但用上了先進芯片并不代表就擁有了先進算力，原因在于高性能計算存在“木桶效應”，一旦計算、存儲、網(wǎng)絡任一環(huán)節(jié)出現(xiàn)瓶頸，就會導致運算速度嚴重下降。

比如目前GPU并行是大模型訓練的必備技術，不同于傳統(tǒng)并行以加快計算速度為目的，大模型的并行計算往往還要考慮怎樣將龐大的參數(shù)有機地分布到多張GPU卡中，并保持不同GPU卡之間有效的通信，整體配合完成大模型的訓練部署。

即使是目前業(yè)界已有的GPU分布式訓練方案，也嚴重依賴于服務器之間的通信、拓撲、模型并行、流水并行等底層問題的解決情況。如果只有分布式訓練框架，甚至都無法正常啟動訓練過程。這也是為什么當時 GPT-3 已經(jīng)發(fā)布一年，卻只有少數(shù)企業(yè)可以復現(xiàn) GPT-3。

因此，先進算力的背后是先進芯片、先進網(wǎng)絡、先進存儲等一系列的支撐，缺一不可。此次騰訊自研的星脈網(wǎng)絡，為新一代集群帶來3.2T的超高通信帶寬。騰訊方面的實測結果顯示，搭載同樣的GPU卡，3.2T星脈網(wǎng)絡相較前代網(wǎng)絡，能讓集群整體算力提升20%，使得超大算力集群仍然能保持優(yōu)質的通信開銷比和吞吐性能。并提供單集群高達十萬卡級別的組網(wǎng)規(guī)模，支持更大規(guī)模的大模型訓練及推理。

另外，騰訊云自研的文件存儲、對象存儲架構，具備TB級吞吐能力和千萬級IOPS，充分滿足大模型訓練的大數(shù)據(jù)量存儲要求。

芯片方面，此前，騰訊多款自研芯片已經(jīng)量產(chǎn)。其中，用于AI推理的紫霄芯片、用于視頻轉碼的滄海芯片已在騰訊內部交付使用。至于此次首發(fā)的英偉達H800芯片儲備數(shù)量問題，截至發(fā)稿，騰訊方面暫未回應。

標簽：