国产成人av一区无码|国产精品Ⅴa在线观看|久久久久有精品国产麻豆|不卡无码视频在线观看免费|国产日韩综合久久精品毛片|在线亚洲综合欧美网站首页|亚洲精品tv久久久久久久久|91精品国产91久久久久久久

長沙共和信息科技公司供應曙光服務器、浪潮服務器、惠普服務器及工作站!HP服務器代理商 | 中科曙光服務器
  • 長沙惠普服務器代理商
您所在的位置:首頁 > 新聞中心  > 解決方案
阿里云丟棄 NVlink:使用以太網(wǎng)連接 15000 塊 GPU
來源:www.neuromuscular--dentist.com 發(fā)布時間:2024/7/2 11:03:27

1875 個主機(每個主機配備 8 塊 GPU 和 9 塊網(wǎng)卡)使用阿里云的高性能網(wǎng)絡,通過以太網(wǎng)進行通信。


阿里云工程師兼研究員翟恩南通過 GitHub 分享了研究論文,介紹了阿里云用于大語言模型(LLM)訓練的數(shù)據(jù)中心的設計。


這份 PDF 文件名為阿里巴巴 HPN用于大語言模型訓練的數(shù)據(jù)中心網(wǎng)絡》,概述了阿里巴巴如何使用以太網(wǎng) 15000  GPU 得以相互通信。



一般的云計算生成一致的小數(shù)據(jù)流,速度低于 10 Gbps。另一方面,LLM 訓練生成的周期性數(shù)據(jù)突發(fā)可以達到 400 Gbps。


據(jù)論文聲稱:“LLM訓練的這一特性使得傳統(tǒng)數(shù)據(jù)中心常用的負載均衡方案等價多路徑路由(ECMP)容易出現(xiàn)哈希極化,從而導致流量分布不均等問題?!?/span>為了避免這種情況,翟恩南及其團隊開發(fā)了高性能網(wǎng)絡(HPN),HPN 使用了“兩層雙平面架構”,這種架構減少了可能發(fā)生 ECMP 的數(shù)量,同時讓系統(tǒng)可以“精 確地選擇能夠容納大象流(elephant flow)的網(wǎng)絡路徑”。


HPN 還使用了雙架頂式(ToR)交換機,這使得它們可以相互備份。這些交換機對 LLM 訓練而言是最常見的單點故障,需要 GPU 同步完成迭代。


每個主機 8 塊 GPU,每個數(shù)據(jù)中心 1875 個主機

阿里云將其數(shù)據(jù)中心劃分為多個主機,每個主機又配備 8 塊 GPU。每塊 GPU 都有搭載兩個端口的網(wǎng)卡,每個 GPU-網(wǎng)卡系統(tǒng)稱為“rail”。主機還得到一塊額外的網(wǎng)卡連接到后端網(wǎng)絡。然后,每個 rail 連接到兩個不同的 ToR 交換機,確保即使一個交換機出現(xiàn)故障,整個主機也不會受到影響。



盡管阿里云丟棄了用于主機間通信的 NVlink,但仍然使用英偉達的專有技術用于主機內網(wǎng)絡,因為主機內 GPU 之間的通信需要更多的帶寬。


然而,由于 rail 之間的通信速度慢得多,每個主機“專用的 400 Gbps RDMA 網(wǎng)絡吞吐量,導致總帶寬為 3.2 Tbps”足以確保 PCIe Gen5x16 顯卡的帶寬最 大化。




阿里云還使用了 51.2 Tbps 的以太網(wǎng)單芯片 ToR 交換機,因為多芯片解決方案更容易不穩(wěn)定,故障率是單芯片交換機的四倍。


然而,這些交換機運行時散熱量大,市面上沒有現(xiàn)成的散熱器可以阻止它們因過熱而關閉。因此,阿里云想出了一個新穎的解決方案,即設計一個均熱板散熱器,中心有更多的小柱子,大大提高傳導熱能的效率。


翟恩南及其團隊將于今年 8 月在澳大利亞悉尼舉行的數(shù)據(jù)通信特別興趣小組(SIGCOMM)大會上展示其研究成果。包括 AMD、英特爾、谷歌和微軟在內的多家公司都會對這個項目感興趣,主要是由于它們已聯(lián)合起來創(chuàng)建了 Ultra Accelerator Link——這是一種開放標準的互連技術,旨在與 NVlink 競爭。


阿里云使用 HPN 已有八個多月,這意味著這項技術已經(jīng)過了嘗試和測試。然而,HPN 仍然存在一些缺點,其中最 大的缺點就是其復雜的布線結構。鑒于每個主機有 9 塊網(wǎng)卡,每塊網(wǎng)卡連接到兩只不同的 ToR 交換機,很有可能混淆哪個插孔到哪個端口。盡管如此,這項技術可能比 NVlink 來得實惠,因此任何建立數(shù)據(jù)中心的機構都可以大幅節(jié)省安裝成本。


來源:Al頭條


掃二維碼咨詢
產品導航

曙光服務器

浪潮服務器
惠普服務器
新華三服務器
寶德服務器
聯(lián)系我們

座機:
0731-89842037  89842038  89842039

電話:130-3678-6724   133-8731-9287
地址:長沙市雨花區(qū)勞動東路139號新世界廣場
郵箱:luolie130@163.com
關于我們

公司介紹
企業(yè)文化
資質榮譽
企業(yè)郵局