外媒報道,谷歌研究(Google Research)周二(24日)發表無需預先訓練的壓縮演算法TurboQuant,能在不影響模型精準度下,將大語言模型(LLM)的KV快取量壓縮至3位元。在英偉達(NVDA.US) H100圖像處理器(GPU)的基準測試中,相較於未量化的32位元鍵值,4位元的TurboQuant在計算注意力邏輯值(attention logits)時的效能提升最高可達8倍,同時將KV快取記憶體減少至少6倍。
KV快取用於儲存先前計算出的注意力資料,使大語言模型無需在每個標記生成步驟中重新計算。隨著上下文視窗不斷擴大,這些快取正逐漸成為主要記憶體樽頸。雖然傳統向量量化方法能縮小快取規模,但由於必須將量化常數與壓縮資料一同儲存,每個值會產生幾位元小量記憶體開銷。在更大上下文視窗下,這些開銷會隨之累積。TurboQuant算法則消除有關樽頸。
記憶體股Sandisk(SDNK.US)及美光(MU.US) 隔晚(25日)分別跌3.5%及3.4%。(fc/j)(美股為即時串流報價; OTC市場股票除外,資料延遲最少15分鐘。)
AASTOCKS新聞