當(dāng)前位置:首頁 >  科技 >  數(shù)碼 >  正文

AMD最強生成式AI核彈發(fā)布!跑大模型性能超H100,預(yù)告下一代AI PC處理器

 2023-12-13 14:56  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

芯東西(公眾號:aichip001)

作者 | ZeR0

編輯 | 漠影

芯東西12月6日圣何塞報道,北京時間12月7日凌晨,芯片巨頭AMD的年終AI盛會Advancing AI活動正式舉行。在AI芯片賽道愈戰(zhàn)愈勇的AMD今天會放出怎樣的大招,著實令人期待,為此芯東西早早來到會場,翹首等待被粉絲們親切稱作“蘇媽”的AMD CEO蘇姿豐發(fā)表主題演講。

今天加州的陽光依然燦爛,當(dāng)?shù)貢r間10點一到,大會正式開場,蘇媽健步如飛地走上臺,笑容滿面地分享對人工智能(AI)計算的觀察思考,將AI評價為“過去50年來最具變革性的技術(shù)”,稱生成式AI是“最剛需的數(shù)據(jù)中心工作負載”。

會上,AMD宣布推出旗艦數(shù)據(jù)中心AI芯片AMD Instinct MI300X GPU ,并在多項硬件規(guī)格及大模型訓(xùn)推測試上與英偉達正面交鋒。

AI峰值性能、內(nèi)存密度、內(nèi)存帶寬,這些關(guān)鍵硬件規(guī)格通通秒掉英偉達旗艦AI芯片H100 GPU!也就是說,相比英偉達H100,MI300X能跑更大參數(shù)規(guī)模的大模型。

這是一場AMD全面展示其AI戰(zhàn)略雄心的盛會,除了MI300X外,AMD還宣布推出結(jié)合最新AMD CDNA 3架構(gòu)和“Zen 4”CPU的MI300A加速處理單元(APU) ,以及讓筆記本電腦能夠更輕松添加AI功能的Ryzen 8040系列移動處理器 。

此外,AMD劇透了Ryzen AI路線圖,代號為“Strix Point ”的下一代Ryzen AI CPU將在2024年出貨,采用XDNA 2架構(gòu)。XDNA 2架構(gòu)的生成式AI NPU性能將提高到上一代的3倍以上。

軟件方面,AMD發(fā)布了最新版本的ROCm 6 開放軟件堆棧,該堆棧針對生成式AI(尤其是大語言模型)進行了優(yōu)化。相較MI250搭ROCm 5,MI300X與ROCm 6雙強組合在Llama 2上生成文本的總體延遲性能提高了約8倍 。

與Ryzen 8040系列處理器同時登場的Ryzen AI 1.0軟件棧 ,使開發(fā)者能夠輕松部署使用預(yù)訓(xùn)練模型為Windows應(yīng)用程序添加AI功能。

一、MI300X:內(nèi)存容量帶寬超H100,更快暢跑千億參數(shù)大模型

蘇姿豐說,一年前,AMD預(yù)估全球數(shù)據(jù)中心AI芯片/GPU的TAM將從2023年的300億美元增長到2027年的1500億美元,未來4年CAGR增速將超過50%。但顯然需求增長得更快,現(xiàn)在AMD將其預(yù)估修正為數(shù)據(jù)中心加速器未來四年每年增長70%以上,到2027年將超過4000億美元。

她分享道,AMD的AI戰(zhàn)略圍繞三大重點:1)提供高性能、高能效的GPU、CPU和用于AI訓(xùn)練及推理的自適應(yīng)計算解決方案的廣泛組合;2)擴展開放的、經(jīng)驗證的、對開發(fā)人員友好的軟件平臺;3)擴大深度協(xié)同創(chuàng)新的AI生態(tài)系統(tǒng)。

為了解決GPU硬件可用性問題,AMD推出Instinct MI300X加速器。

蘇姿豐稱MI300X加速器是AMD迄今制造過的最先進的產(chǎn)品、“業(yè)界最先進的AI加速器”,擁有1530億顆晶體管、192GB HBM3內(nèi)存容量、5.3TB/s峰值內(nèi)存帶寬、896GB/s Infinity Fabric互連帶寬,能支撐大模型訓(xùn)練和推理。

大模型拼算力,關(guān)鍵就是看內(nèi)存容量和帶寬,所以相比英偉達H100的96GB內(nèi)存、3.2TB/s帶寬,MI300X在硬件配置上很有吸引力。

MI300X把4個SoC Die都用來放GPU,8個HBM3升級到24GB,形成了一個由8顆CDNA 3架構(gòu)Accelerator Complex Die(XCD)、4個I/O Die(IOD)、8個HBM內(nèi)存堆棧組成的共有12顆5nm Chiplet的集成系統(tǒng)。Chiplet的好處是提高良率和降低成本,因此MI300X可能會在定價上比H100/H200更具性價比。

通過這種“拼芯片樂高”的方式,MI300X實現(xiàn)了計算核數(shù)、帶寬及內(nèi)容容量的顯著增加。其采用的CDNA 3架構(gòu)對性能和能效進行了優(yōu)化,結(jié)合了一個新的計算引擎,支持稀疏性和TF32、FP8等新數(shù)據(jù)格式,為關(guān)鍵數(shù)據(jù)類型(如FP16/BF16)提供的性能達到上一代的3.4倍。

相比上一代MI250X,MI300X增加了近40%的計算單元、1.5倍的內(nèi)存容量、1.7倍的峰值理論內(nèi)存帶寬,并支持FP8和稀疏性等新數(shù)值格式。

微軟CTO凱文·斯科特來到現(xiàn)場介紹微軟與AMD的合作進展。MI300X芯片將為針對AI工作負載進行優(yōu)化的全新Azure ND MI300x v5虛擬機系列提供動力。

多個GPU互連性能需要線性提高,因此可擴展性至關(guān)重要。蘇姿豐說,MI300X平臺是世界上最強大的生成式AI系統(tǒng)。

AMD Instinct MI300X平臺是一個內(nèi)置8個MI300X的OCP標(biāo)準(zhǔn)整機形態(tài),BF16/FP16峰值算力可達到10.4PFLOPS,總共可提供1.5TB的HBM3內(nèi)存容量,這兩個規(guī)格都高于英偉達H100 HGX。

在跑不同Kernel的Flash Attention 2、Llama 2 70B大模型時,MI300X均表示出優(yōu)于H100的性能。

8卡AMD Instinct MI300X平臺在BLOOM 176B大語言模型上跑推理的吞吐量達到英偉達H100 HGX的1.6倍。

在訓(xùn)練擁有300億參數(shù)的MPT模型時,MI300X平臺與H100 HGX的吞吐量持平。

同等性能的單個系統(tǒng)跑大語言模型時,無論是訓(xùn)練還是推理,MI300X平臺的性能都超過H100 HGX。

Oracle云基礎(chǔ)設(shè)施計劃將基于MI300X的裸機實例添加到該公司為AI的高性能加速計算實例中,基于MI300X的實例計劃通過超高速RDMA網(wǎng)絡(luò)支持OCI超級集群。其即將到來的生成式AI服務(wù)中也將包含MI300X。

惠普、戴爾、聯(lián)想、超微、技嘉、鴻佰、英業(yè)達、云達、緯創(chuàng)、緯穎等都是MI300X芯片的OEM和解決方案合作伙伴。

二、MI300A:APU四大優(yōu)勢加持,高性能計算能效比超GH200

AMD Instinct MI300A APU是世界上第一個用于HPC和AI的數(shù)據(jù)中心APU,采用3D封裝和第4代AMD Infinity架構(gòu)。

該加速器結(jié)合了6個CDNA 3架構(gòu)Accelerator Complex Die(XCD)、3個CPU Complex Die(CCD,共24個x86“Zen 4”核心)、4個I/O Die(IOD)、8個HBM內(nèi)存堆棧、128GB新一代HBM3內(nèi)存。

MI300A同樣遵循Chiplet設(shè)計思路,并實現(xiàn)了CPU與GPU共享統(tǒng)一內(nèi)存。

與MI250X相比,MI300A在FP32 HPC和AI工作負載上提供了約1.9倍的每瓦性能;和英偉達H100 SXM相比,MI300A的內(nèi)存容量、峰值內(nèi)存帶寬、FP64精度HPC矩陣及向量峰值性能均更高。

AMD正在設(shè)定能效創(chuàng)新的步伐,其30×25目標(biāo)旨在從2020~2025為AI訓(xùn)練及HPC服務(wù)器處理器和加速器提高30倍的能效。

總體來看,APU有四大優(yōu)勢:1)統(tǒng)一內(nèi)存;2)共享AMD Infinity Cache技術(shù);3)動態(tài)功率共享;4)易于編程。這使得APU能為客戶提供高性能計算、快速的AI訓(xùn)練和高能效。

通過將統(tǒng)一內(nèi)存、內(nèi)存帶寬、GPU性能多重優(yōu)勢組合,MI300A在OpenFOAM高性能計算MotorBike測試中,得分是H100的4倍。

在PeakHPC每瓦性能測試中,MI300A的成績是英偉達GH200的2倍。

在跑多種高性能計算任務(wù)時,相比H100,AMD MI300A均略勝一籌。

美國勞倫斯利弗莫爾國家實驗室打造的超級計算機EI Capitan便采用了MI300A,預(yù)計將成為世界上第一臺2ExaFLOPS超級計算機。

惠普、Eviden、技嘉、超微等是MI300A加速器的OEM和解決方案合作伙伴。

三、ROCm 6軟件:針對生成式AI優(yōu)化,讓Llama 2推理延遲暴降

軟件是顯著提高現(xiàn)有硬件可用性能的關(guān)鍵。

近年來,AMD持續(xù)降低用戶的遷移成本和開發(fā)門檻,來不斷補強其從云到端的軟件護城河。

其中與AMD Instinct、Radeon GPU搭配使用的ROCm 6開放軟件平臺對新數(shù)據(jù)類型、先進圖形和核心進行了優(yōu)化。

ROCm 6增加了對生成式AI的幾個新增關(guān)鍵功能的支持,包括Flash Attention、HIP Graph、vLLM等。

與上一代軟硬件組合相比,使用MI300X和ROCm 6跑Llama 2 70B文本生成,AI推理延遲速度提高了約8倍。

單張GPU跑Llama 2 13B推理任務(wù)時,MI300X的性能是H100的1.2倍。

Meta宣布與AMD擴大合作伙伴關(guān)系,將MI300X與ROCm 6結(jié)合使用,為AI推理工作負載提供動力,并認可AMD對Llama 2系列語言模型做的ROCm 6優(yōu)化。

AMD正通過收購AI軟件創(chuàng)企Nod.ai和Mipsology,利用廣泛的開源AI軟件模型、算法、框架、編譯器,擴展開源戰(zhàn)略,推進基于編譯器的優(yōu)化,加快客戶互動等組合策略,來加強軟件能力、簡化開發(fā),持續(xù)改善開發(fā)者體驗。

AMD還繼續(xù)通過戰(zhàn)略生態(tài)系統(tǒng)伙伴關(guān)系投資軟件能力,數(shù)據(jù)湖供應(yīng)商databricks、AI創(chuàng)企Essential AI、為企業(yè)客戶提供大語言模型的Lamini的聯(lián)合創(chuàng)始人均來到現(xiàn)場進行分享,談?wù)撍麄內(nèi)绾卫肕I300X芯片和ROCm 6軟件堆棧為企業(yè)客戶提供差異化的AI解決方案。

從3.0版本開始,OpenAI標(biāo)準(zhǔn)Triton 3.0將添加對AMD GPU芯片開箱即用的支持。

四、Ryzen 8040:為AI PC提供動力,跑生成式AI性能大漲60%

AMD的AI布局已覆蓋云邊端,除了Instinct加速器外,還有面向數(shù)據(jù)中心和邊緣推理的Alveo加速器、數(shù)據(jù)中心x86處理器EPYC、用于AI+傳感器嵌入式推理的Versal AI Edge、為消費級PC市場打造的Ryzen移動處理器。

面向個人AI處理任務(wù),AMD在NPU中為移動AI處理能效設(shè)計了專用AI引擎,在CPU添加了AVX-512 VNNI指令集來加速AI工作負載,Radeon顯卡也內(nèi)置有為并行處理AI工作負載優(yōu)化的引擎。

AMD Ryzen 8040系列移動處理器為尋求具有可信性能和運行先進AI體驗?zāi)芰Φ墓P記本電腦創(chuàng)意專業(yè)人士、游戲玩家和主流用戶而設(shè)計,采用“Zen 4”CPU和RDNA 3架構(gòu)GPU。

這款最新處理器支持LPDDR5內(nèi)存,跑Llama 2大語言模型、視覺模型等生成式AI任務(wù)的性能是上一代7040處理器的1.4倍。

與英特爾酷睿i9 13900H相比,Ryzen 8040系列在多線程處理、游戲、內(nèi)容創(chuàng)作等任務(wù)的性能均更加出色。

Ryzen 9 8945HS處理器基于“Zen 4”設(shè)計,擁有多達8個核心,可提供16個線程的處理能力。

宏碁、華碩、戴爾、惠普、聯(lián)想、雷蛇等OEM廠商預(yù)計將從2024年第一季度開始供應(yīng)Ryzen 8040系列。

Ryzen 8040系列移動處理器已經(jīng)準(zhǔn)備好利用Windows 11生態(tài)系統(tǒng)的全方位優(yōu)化性能,包括全面支持Windows 11安全功能。

AMD還廣泛提供Ryzen AI軟件,供用戶在其AI PC上輕松構(gòu)建和部署機器學(xué)習(xí)模型。

今天AMD Ryzen AI提供有超過100種AI驅(qū)動的體驗。1.0版本的Ryzen AI軟件支持開源ONNX運行時推理引擎,并在Hugging Face上提供一個預(yù)優(yōu)化的模型市場,使用戶幾分鐘內(nèi)就能啟動和運行AI模型。

帶有Ryzen AI的筆記本電腦可將AI模型卸載到NPU,從而釋放CPU以降低功耗,同時延長電池壽命。

Ryzen AI軟件現(xiàn)已廣泛可用。開發(fā)者可以利用它來構(gòu)建和部署受過PyTorch、TensorFlow等框架訓(xùn)練的AI模型,并在由Ryzen AI提供支持的特定筆記本電腦上運行它們。

開發(fā)者可在AMD Ryzen AI計算資源上快速部署生成式AI。該軟件獲得了對Whisper等自動語音識別模型和OPT、Llama 2等大模型的早期訪問支持,以便解鎖語音轉(zhuǎn)寫、文檔摘要等功能。

AMD最近還宣布了Pervasive AI開發(fā)者挑戰(zhàn)賽,有生成式AI、機器人AI、PC AI三個賽道可選擇。其中PC AI是讓開發(fā)者借助Ryzen AI,使用視覺、語音或領(lǐng)域優(yōu)化的大語言模型為PC構(gòu)建應(yīng)用程序。每個賽道的最高獎金為10000美元,二等獎和三等獎也會獲得相應(yīng)獎勵。免費硬件申請將于2024年1月31日截止。

結(jié)語:挺進AI芯片市場,AMD蓄勢待發(fā)

長久以來,英偉達一直是AI芯片游戲規(guī)則的制定者。AMD Instinct MI300系列加速器的推出,意味著AMD成為高性能數(shù)據(jù)中心AI芯片的核心玩家之一,并且是英偉達有力的競爭對手。

AMD初步證明了其在AI硬件研發(fā)上的實力,而其勁敵英偉達能橫掃AI計算市場的真正王牌是形成強大集群的先進互連技術(shù)和持續(xù)優(yōu)化的軟件。在今日的發(fā)布中,AMD亦展現(xiàn)出其通過軟件來升級AI能力的投資布局。

被英偉達主導(dǎo)已久的AI芯片戰(zhàn)場,終于出現(xiàn)了令人期待的火藥味。在11月舉行的第三財季電話會議上,AMD CEO蘇姿豐告訴投資者,公司預(yù)計明年MI300系列的收入將達到20億美元。許多業(yè)內(nèi)人士也非常期待看到以一己之力打破英特爾與英偉達壟斷的“屠龍勇士”AMD,能夠改變AI芯片市場局勢,書寫新的“AMD yes”故事。

畢竟對于迫切需要更多AI算力的下游客戶來說,更多的AI芯片選擇,總歸不是壞事。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關(guān)文章

熱門排行

信息推薦