<匯港通訊> 百度集團(09888)副總裁、深度學習技術及應用國家工程研究中心副主任吳甜，今日於百度文心Moment大會上宣佈，發布文心大模型5.0正式版本，該版本已透過文心大模型官網及百度智能雲千帆平台開放訪問。
吳甜介紹，文心大模型5.0最顯著的技術亮點在於原生全模態建模，不同於傳統分階段訓練的多模態模型，其在訓練初始階段即整合文本、音頻、視頻、圖片等多模態數據進行統一建模，不僅避免了後續訓練中的「災難性遺忘」問題，更實現了基礎層面的模態融合與相互增強，大幅提升跨模態任務的泛化能力。
模型採用自回歸統一架構，通過對不同模態數據的統一離散化處理，解決了數據差異性帶來的建模難題。同時，作為超大型混合專家（MOE）結構模型，其總參數規模高達2.4萬億，激活比例低於3%，在兼具高模型容量與能力上限的同時，實現了訓練與推理階段的高效能運行。
後續訓練方面，吳甜指，文心5.0創新引入長程任務增強智能體技術，針對真實場景中複雜長任務數據稀缺的痛點，研發大規模環境與任務軌跡合成技術，構建專屬數據集。經測試，模型學習該數據集後，複雜長任務處理效果提升超20個百分點；在基建支持上，依託百度飛槳平台，文心5.0通過分離一步式訓練架構、五維混合併行訓練等技術，解決了全模態、超大規模、高稀疏MOE帶來的訓練難題，使訓練速度提升240%。
為進一步提升模型的專業度與深度，百度推出「文心導師」生態項目，該項目自2023年啟動以來，導師人數從首期10人增至2025年的835人。目前百度仍在持續招募各行業專家加入導師團隊，共探AI創新之路。
#百度 #文心大模型5.0 #人工智能
(CW)
新聞來源 (不包括新聞圖片): 滙港資訊