loading
議程簡介

以 GPU 分割共享技術,優化 Kubernetes 與 GPU 資源利用率

Kubernetes 已是大規模容器管理的實質標準,而機器學習團隊也都試著把自己的開發工作容器化,轉移到 Kubernetes 的 GPU 環境中。然而在 Kubernetes 中使用 GPU 仍有相當大的挑戰,因為 GPU Non-Preemptive 的獨佔排他性,讓一塊 GPU 不能讓多個 POD 同時使用,只能預約 GPU 的使用,虛耗排隊等待時間,使得 GPU 整體利用率偏低,專案的生產力不足。本次演講將介紹 GPU Partitioning 分割共享的技術,將一塊 GPU 切分成多個隔離獨立的資源,因而讓 Kubernetes 多個 POD 可以同時共用一塊 GPU,實現了多人多專案共用 GPU 的目標,並且能提升 AI 專案的生產力。

GPU 與 K8s 應用 K8s 優化 機器學習
通識 中文
彭彥博 Edison
彭彥博 Edison
Gemini Open Cloud
VP of Engineering
講者簡介

活在 0 與 1 的世界。喜歡技術。肥宅。

最新消息

news photo

美國NSA與CISA發布《Kubernetes強化指南》

了解更多
news photo

Kubeflow框架再被用來對Kubernetes叢集發動挖礦攻擊

了解更多
news photo

伺服器端應用已在Kubernetes 1.22成為正式功能

了解更多
news photo

【臺灣SRE實例:Line臺灣】如何確保Line服務天天不中斷,專責SRE扮演開發與維運的橋樑

了解更多
報名購票