• 2024-10-24
  • 16:20 - 17:00

Nvidia GPU 共享,打造 K8S MLOPS 訓練與推論平台

對企業和資料科學家來說,無論是使用 Azure 的 Machine Learning Studio、AWS 的 SageMaker,還是 GCP 的 Google AI Platform,都可能遇到成本過高的問題。若企業想在地端構建類似公有雲所提供的訓練和推論環境,更有許多技術挑戰需要克服。

本講座將利用開源技術堆疊,分享我們如何整合內部分散於各地的 NVIDIA GPU 資源,並結合 Kubernetes,構建地端訓練和推論平台的經驗。我們的目的除了成本考量之外,更在為資料科學家提供即使在地端也能有多樣選擇的解決方案,以滿足不同訓練和推論的需求,為他們帶來如同飯店訂房般的便捷體驗。

聽眾收穫

  1. 了解 Nvidia GPU 共享的機制
  2. 了解 GPU-Operator 於 K8S 的安裝與設定
  3. 了解 Kubeflow 如何成為 MLOPS 的訓練平台與推論平台
  4. 了解 MLOPS CI/CD

李泰穎 (Tommy Lee)

Wistron
Sr. Tech Manager

曾任職 Motorola, Google, hTC

曾就讀 台北市立大學資科所, 台灣科技大學資管所博士班

曾獲得 第一屆總統盃黑客松首獎, CKA, CKAD, Microsoft Azure Cloud Certifications, Microsoft Certified Application Specialist, 6-Sigma GB

曾擔任 DevOpsDays Taipei 2023 講師, 中華電信資訊學院講師, 緯創Cloud Architect學院院長, 緯創Data Engineer學院講師, HBase開源社群

LEVEL

進階

ROOM

6F F會議室

FORM

現場演講

LANGUAGE

中文

TAGS

GPU 與 K8s 應用

RESOURCE