KubeSummit 2025

外部模型不能用?那就在Kubernetes上打造一座自己的AI平台!

生成式 AI 蓬勃發展,但當實際想要導入到公司中落地時,卻發現困難重重:模型無法直接使用、資料不能出牆,還得同時顧及預算與效能?本場分享將說明我們在這些現實限制下,如何於公司內部的 Kubernetes 環境中,從零打造出一套地端語言模型平台。

從模型上架、自動部署,到 API 封裝與使用流程設計,我們建立了模組化架構,讓不同團隊能穩定存取模型服務,並成功導入至查詢系統、AI 助理等實際應用。過程中也克服模型來源受限、部署彈性與整合難題,逐步找出效能、成本與落地之間的最適平衡。


《聽眾收穫》

讓參與者了解如何從無到有建構語言模型平台,包含整合流程設計、常見挑戰與實際落地方式,提供企業導入生成式 AI 的可行路徑參考。

羅述慈 (Ruby Lo)

講者

羅述慈 (Ruby Lo)

緯創資通
軟體工程師
林允安 (910 Joy Lin)

講者

林允安 (910 Joy Lin)

緯創資通
軟體工程師
LEVEL

中階

TAGS
K8s 架構設計
企業 K8s 實例
機器學習 K8s 實例