KubeSummit 2025

講者資訊

羅述慈 (Ruby Lo)

羅述慈 (Ruby Lo)

緯創資通
軟體工程師

剛踏入職場滿一年的新手工程師,現為緯創數位轉型先進技術實驗室(dxlab)成員。

專注於建置企業內部 LLMOps 平台,致力於打造能真正落地並可持續維運的 AI 解決方案。

喜歡技術交流也喜歡貓貓!

演講議程

外部模型不能用?那就在Kubernetes上打造一座自己的AI平台!

生成式 AI 蓬勃發展,但當實際想要導入到公司中落地時,卻發現困難重重:模型無法直接使用、資料不能出牆,還得同時顧及預算與效能?本場分享將說明我們在這些現實限制下,如何於公司內部的 Kubernetes 環境中,從零打造出一套地端語言模型平台。

從模型上架、自動部署,到 API 封裝與使用流程設計,我們建立了模組化架構,讓不同團隊能穩定存取模型服務,並成功導入至查詢系統、AI 助理等實際應用。過程中也克服模型來源受限、部署彈性與整合難題,逐步找出效能、成本與落地之間的最適平衡。


《聽眾收穫》

讓參與者了解如何從無到有建構語言模型平台,包含整合流程設計、常見挑戰與實際落地方式,提供企業導入生成式 AI 的可行路徑參考。