生成式 AI 蓬勃發展,但當實際想要導入到公司中落地時,卻發現困難重重:模型無法直接使用、資料不能出牆,還得同時顧及預算與效能?本場分享將說明我們在這些現實限制下,如何於公司內部的 Kubernetes 環境中,從零打造出一套地端語言模型平台。
從模型上架、自動部署,到 API 封裝與使用流程設計,我們建立了模組化架構,讓不同團隊能穩定存取模型服務,並成功導入至查詢系統、AI 助理等實際應用。過程中也克服模型來源受限、部署彈性與整合難題,逐步找出效能、成本與落地之間的最適平衡。
《聽眾收穫》
讓參與者了解如何從無到有建構語言模型平台,包含整合流程設計、常見挑戰與實際落地方式,提供企業導入生成式 AI 的可行路徑參考。
中階
中文