緯創資通
軟體工程師
緯創資通軟體工程師,現為數位轉型先進技術實驗室(dxlab)成員,負責企業內部雲化人才能力技術賦能,以及專案上雲的落地實踐,推廣如何提升系統的雲成熟度(穩定性、安全性、可觀測性等);另外同時有投入AI技術導入與研究,涵蓋模型部署管理、模型安全性與監控工具整合、LLMOps平台建置與應用。
生成式 AI 蓬勃發展,但當實際想要導入到公司中落地時,卻發現困難重重:模型無法直接使用、資料不能出牆,還得同時顧及預算與效能?本場分享將說明我們在這些現實限制下,如何於公司內部的 Kubernetes 環境中,從零打造出一套地端語言模型平台。
從模型上架、自動部署,到 API 封裝與使用流程設計,我們建立了模組化架構,讓不同團隊能穩定存取模型服務,並成功導入至查詢系統、AI 助理等實際應用。過程中也克服模型來源受限、部署彈性與整合難題,逐步找出效能、成本與落地之間的最適平衡。
《聽眾收穫》
讓參與者了解如何從無到有建構語言模型平台,包含整合流程設計、常見挑戰與實際落地方式,提供企業導入生成式 AI 的可行路徑參考。