• 2024-10-23
  • 13:20 - 14:00

Code-Driven Development and Monitoring of Machine Learning Services on Kubernetes

本演講將深入探討如何在 Kubernetes 生態系統中實現機器學習模型服務 Day0 到 Day2 的最佳實踐和技術細節。

過往在進行服務開發時,最常遇到服務規格文件需要透過 word 或是 excel 等文件管理工具進行編寫,既費時也耗工,而服務部署後,可能還需要另請 SRE 團隊協助設定監控,也增添 SRE 團隊的工作量。

因此,希望透過導入 Code-Driven 的概念,協助開發團隊在 coding 的同時,便能夠同步建立服務規格文件,而當服務開發完成後,也能夠以 coding 方式,寫出專屬於這個服務的狀態監控設定檔,最後搭配 CI/CD pipeline 實現自動化部署,達到服務從開發到部署監控,都是以 Code-Driven 來完成,不用額外再多花時間及人力成本去完成非程式開發相關的工作。

而透過以上調整,SRE 團隊僅需要與專案團隊定義好服務監控設定檔的規格即可,這樣可以大幅減少 SRE 團隊的工作量,釋出更多工時,專注在完善系統層面的監控。

此次演講將透過實際案例分享玉山銀行智能金融處在進行機器學習服務開發時,如何將上述概念導入,以 Code-Driven 為主要核心思想,結合 Docs as Code 原則優化 API 文檔管理,以及通過 Monitors as Code 方法實現高效的服務監控,最後透過 CI/CD 實現自動化部署,為與會者提供全面的實踐指南。

聽眾收穫

  • 透過實際案例了解到如何透過 code-driven,實踐機器學習服務從開發到部署監控的管理心法
  • 掌握如何通過 "doc as code" 簡化 API 文檔管理,提高開發效率
  • 學會使用 Gatus 實現 "monitor as code",提高服務監控的自動化和可見性
  • 了解如何使用 CI/CD pipeline 自動化部署機器學習模型服務到 Kubernetes 上
  • 理解 Prometheus 和 Gatus 在監控中的不同作用和優勢,以及為何要使用兩種工具進行監控的思考關鍵
  • 瞭解 Kubernetes 進行機器學習服務 Day0 到 Day2 的最佳實踐和技術細節

陳家丞 (Michael)

玉山銀行
主任工程師

現任職於玉山銀行智能金融處,擔任主任工程師,主要負責管理及規劃 cloud 及 on-premise kubernetes 叢集、評估 Kubernetes ecosystem、新技術的導入。

LEVEL

通識

ROOM

6F ABC會議室

FORM

現場演講

LANGUAGE

中文

TAGS

企業 K8s 實例
K8s 維運
機器學習 K8s 實例