您現在的位置是:首頁 > 棋牌

加速3.47倍!火山引擎助力AIGC突破效能瓶頸

  • 由 量子位 發表于 棋牌
  • 2023-01-07
簡介火山引擎打造同時支援訓練加速與推理加速的自主研發高效能運算元庫,在全面提升AI計算效能的基礎上,不斷追求節省視訊記憶體、簡單適配,同時支援多款GPU卡,為客戶帶來更多低成本、便捷的部署方案

火山蛋怎麼做

AIGC(AI-Generated Content 人工智慧生成內容)一經推出火爆全網,各種畫風和產品形態頻頻出現且快速演進。以Stable Diffusion模型為例,一次完整的預訓練大約需要在128張A100計算卡上執行25天,使用者付費上百萬,高額的研發費用是使用者的痛點之一。同時,AIGC產品演進快速,對效能和資源提出更高要求。

火山引擎雲服務,為此類問題提供瞭解決方案,推動AIGC產業的發展。火山引擎打造同時支援訓練加速與推理加速的自主研發高效能運算元庫,在全面提升AI計算效能的基礎上,不斷追求節省視訊記憶體、簡單適配,同時支援多款GPU卡,為客戶帶來更多低成本、便捷的部署方案。

在推理場景下,基於Stable Diffusion模型的端到端推理速度達到66。14 it/s,是PyTorch推理速度的3。47倍,執行時GPU視訊記憶體佔用量降低60%。在客戶AI影片創作的AIGC推理業務實踐中,火山引擎高效能運算元庫搭載客戶的推理模型幫助其推理效能提升一倍,GPU資源使用量減少一半,可為客戶節省50%成本。

加速3.47倍!火山引擎助力AIGC突破效能瓶頸

在訓練場景下,使用該高效能運算元庫可將上文Stable Diffusion模型在128張A100的訓練時間從25天減少到15天,訓練效能提升40%。同時,由於AIGC模型在訓練時佔用GPU視訊記憶體容量非常大,未經最佳化時的模型只能執行在最高階的A100 80GB GPU卡上。火山引擎高效能運算元庫透過大量消減中間操作,將執行時GPU視訊記憶體佔用量降低50%,使得大多數模型可從A100遷移到成本更低的V100或A30等GPU卡上執行,擺脫特定計算卡的限制,而且不需要做額外的模型轉換工作。

以AIGC場景為代表,無論是迭代速度,還是單次的訓練成本,火山引擎為客戶帶來了顯著的效能提升和成本節省。火山引擎相關負責人表示,將持續在機器學習、科學計算、圖形處理等領域深耕,不斷追求極致效能。

Top