生成式AI熱潮無法抵擋,聯發科技日前舉行生成式AI論壇,正式推出生成式AI服務平台「MediaTek DaVinci」,亦稱「聯發科技達哥」,並由聯發創新基地發表平台上最新的繁體中文大型語言模型MediaTek Research BreeXe(以下簡稱MR BreeXe)。正值近年智慧型手機成長趨緩,出貨量屢見衰退,如何找到新的藍海,生成式AI被多數廠商寄予厚望,聯發科技顯然也希望藉由掌握相關技術,打造未來商機的基礎。
基於聯發科技生成式AI服務框架(GAI Service Framework, GAISF)而開發的MediaTek DaVinci,最初是為集團內部打造具資料安全性、提高生產力的生成式AI工具,獲各部門採用,並發展成可供外部企業導入的生成式AI服務平台與生態系,目前已有數十家來自高科技、金融、電信、法律、製造、銷售、服務、系統整合、雲端服務等產業的企業以及教育機構、新創公司等加入MediaTek Davinci生態系。MediaTek Davinci提供一個高整合度、高擴展性的開放平台,讓開發者可為各產業開發客製化生成式AI擴充外掛、助理等應用;對企業來說,能夠在資料安全的環境下,利用平台的工具提高生產力與競爭力。
MediaTek Davinci支援各類大語言模型,包含聯發創新基地釋出的繁體中文大語言模型MR BreeXe。MR BreeXe以Mixtral 8x7B模型為基礎開發,繼承Mixtral多專家模型特有的節省運算資源、提升速度優勢,再加上聯發創新基地的預訓練(pre-training)之後,不但在繁體中文測試項目(TMMLU+、MT Bench TW)超越GPT-3.5,並對台灣常見之地端應用特別進行優化,提升產業界使用生成式AI 與檢索增強生成(RAG)的體驗。MR BreeXe於輝達(NVIDIA)的Taipei-1 GPU超級電腦DGX H100上進行訓練,透過MediaTek Davinci,支援全地端與部分地端的布設場景,並可依需求進行多樣本學習(Few-shot Learning)甚至微調(Fine-tuning)的客製化。