(1).png)
Nvidia 的新款 Blackwell 芯片正在改變?nèi)斯ぶ悄芟到y(tǒng)的訓(xùn)練速度。
非營(yíng)利組織 MLCommons 周三發(fā)布的最新一輪基準(zhǔn)測(cè)試結(jié)果顯示，人工智能芯片，Nvidia 編寫(xiě)的 Blackwell 架構(gòu)創(chuàng)下了記錄。
使用 Meta 的開(kāi)源 Llama 3.1 405B 模型（其最大、最復(fù)雜的 AI 模型之一）進(jìn)行測(cè)試時(shí)，訓(xùn)練在僅需27分鐘使用 Blackwell 芯片。這僅用了 2,496 個(gè) Blackwell GPU 就完成了，比 Nvidia 之前的 Hopper 芯片所需的時(shí)間少了一個(gè)數(shù)量級(jí)。
相比之下，以前的設(shè)計(jì)使用了三倍以上的Hopper GPU達(dá)到同等性能。通過(guò)該芯片，Blackwell 的速度提高了一倍多，收斂效率實(shí)現(xiàn)了巨大飛躍。對(duì)于訓(xùn)練萬(wàn)億參數(shù)模型的組織來(lái)說(shuō)，這種性能提升可以轉(zhuǎn)化為顯著的時(shí)間和成本節(jié)省。
這些結(jié)果被認(rèn)為是第一個(gè)MLCommons在這些極端規(guī)模上訓(xùn)練模型的基準(zhǔn)，并提供芯片如何處理最苛刻的人工智能工作負(fù)載的真實(shí)測(cè)量。
CoreWeave 和 Nvidia 推動(dòng)更智能的 AI 擴(kuò)展
這一結(jié)果不僅是 Nvidia 的勝利，也凸顯了參與測(cè)試的云基礎(chǔ)設(shè)施公司 CoreWeave 的工作成果。在新聞發(fā)布會(huì)上，CoreWeave 首席產(chǎn)品官 Chetan Kapoor 指出了一個(gè)在業(yè)界越來(lái)越有意義的總體方向：擺脫由數(shù)萬(wàn)個(gè) GPU 組成的大型、同質(zhì)化模塊。
公司現(xiàn)在不再構(gòu)建單一、龐大、單片的計(jì)算系統(tǒng)，而是著眼于更小、相互連接的子集，以便更高效、更好地?cái)U(kuò)展地管理大規(guī)模模型訓(xùn)練。
卡普爾表示，通過(guò)這種技術(shù)，開(kāi)發(fā)人員可以繼續(xù)擴(kuò)大規(guī)模或減少訓(xùn)練具有數(shù)萬(wàn)億個(gè)參數(shù)的超大模型所需的時(shí)間。
由于人工智能模型的規(guī)模和復(fù)雜性不斷膨脹，因此轉(zhuǎn)向硬件的模塊化部署也是必要的。
Blackwell 認(rèn)為 Nvidia 在 AI 模型訓(xùn)練領(lǐng)域處于領(lǐng)先地位
盡管最近的焦點(diǎn)已經(jīng)轉(zhuǎn)移到人工智能推理上，其中像 ChatGPT1 這樣的模型可以實(shí)時(shí)回答用戶(hù)的問(wèn)題，但訓(xùn)練仍然是人工智能開(kāi)發(fā)的主力.
訓(xùn)練部分賦予這些模型智能，使它們能夠理解語(yǔ)言，解決一些最具挑戰(zhàn)性的問(wèn)題，甚至創(chuàng)作出類(lèi)似人類(lèi)的散文。計(jì)算要求極高，需要數(shù)千個(gè)高性能芯片長(zhǎng)時(shí)間運(yùn)行，通常需要數(shù)天，甚至數(shù)周或數(shù)月。
情況已經(jīng)發(fā)生了改變Nvidia的Blackwell架構(gòu)通過(guò)大幅減少芯片數(shù)量和訓(xùn)練龐大 AI 模型所需的時(shí)間，Blackwell 芯片讓 Nvidia 在速度和效率至上的市場(chǎng)中占據(jù)了更有利的地位。
諸如 Meta 的 Llama 3.1 405B 之類(lèi)的訓(xùn)練模型擁有數(shù)萬(wàn)億個(gè)參數(shù)，以前必須在龐大的 GPU 集群上運(yùn)行，這是一個(gè)昂貴且耗能的過(guò)程。
在醫(yī)療保健、金融、教育和自動(dòng)駕駛汽車(chē)等眾多行業(yè)對(duì)更大、更強(qiáng)大的人工智能模型的需求日益迫切的當(dāng)下，這樣的性能提升具有重要的意義。
這也向英偉達(dá)的競(jìng)爭(zhēng)對(duì)手發(fā)出了一個(gè)明確的信號(hào)。如今，像AMD和英特爾這樣正在研發(fā)AI專(zhuān)用芯片的公司，面臨著更大的壓力，需要保持類(lèi)似的發(fā)展速度。
AMD 提交了 MLCommons 基準(zhǔn)測(cè)試，但并未顯示像 Llamas 3.1 405B 這樣大型模型的結(jié)果。Nvidia 是唯一一家在基準(zhǔn)測(cè)試中跑出高端成績(jī)的公司，這證明了其硬件性能卓越，并且愿意應(yīng)對(duì)最艱巨的挑戰(zhàn)。
Cryptopolitan Academy：想在 2025 年實(shí)現(xiàn)財(cái)富增值嗎？歡迎參加我們即將推出的網(wǎng)絡(luò)課程，學(xué)習(xí)如何利用 DeFi 實(shí)現(xiàn)增值。保存您的位置
贊
.png)
515
收藏
