最近搜看股票
報價
| 返回 放大 + 縮小 - | ||||
|
智譜(02513)落地ZCube 不加GPU算力多15%
推薦 2 利好 6 利淡 4 滙港資訊
|
||||
|
||||
|
<匯港通訊> 智譜(02513)表示，針對預填充(Prefill)及解碼(Decode)分離(PD分離)部署中，日益嚴峻結構性網絡擁塞難題，近日聯合馭馴網絡和清華大學，在開源模型GLM-5.1的線上生產推理集群中，成功規模化落地新一代網絡架構ZCube。 智譜指，通過將ZCube投入在千卡級GLM-5.1的一個線上推理集群中，在GPU型號、軟件棧、業務代碼全部不變前提下，實現成本優化，GPU、軟件棧及應用保持不變，交換機與光模組資本支出減少33%；吞吐提升，GPU平均推理吞吐提升15%；以及時延改善，TTFT P99降低40.6%。 在相同規模下，ZCube可以比傳統Clos/ROFT架構減少約三分一的交換機和光模組成本，比如對於萬卡智算集群，ZCube架構可節省網絡硬件投資約2.1億至6.4億元人民幣，意味付出更低網絡成本可獲更好負載均衡與性能表現。 (ST)新聞來源 (不包括新聞圖片): 滙港資訊 |
||||
已將連結複製到剪貼簿
 |
||||
|
免責聲明 : 以上資訊僅供參考。AASTOCKS.com Limited對以上資訊的內容不承擔任何責任，對其準確性，完整性，品質，及時性，或可靠性不作任何陳述或予以認可，並明確表示不對任何由本資訊的全部或部分內容引致之損失或損害承擔任何法律責任或為其引起的損失負責。以上資訊或反映了相關文章或專題作者的的個人意見和觀點，並不代表AASTOCKS.com Limited的立場。以上資訊的任何內容均不構成AASTOCKS為任何投資作出招攬、提出要約、意見或推薦，或對任何證劵或投資的收益或是否合適提供法律、稅務、會計、或投資意見或服務。投資者必須按其本身投資目標及財務狀況自行作出投資決定。
|
||||
