高通技術公司和Meta正攜手致力於最佳化Meta的Llama 2大型語言模型直接在裝置上的執行,不再只能依賴雲端服務運作。能夠在智慧型手機、PC、VR/AR頭戴式裝置和汽車等裝置上運行如Llama 2這類的生成式AI模型,將能讓開發人員節省雲端成本,同時為使用者提供保護隱私、更可靠且個人化的體驗。
因此,高通技術公司計劃實現基於Llama 2的裝置上AI部署,以支援打造令人期待的全新AI應用。這將讓客戶、合作夥伴和開發人員能建構如虛擬智慧助理、生產力應用程式、內容創造工具、娛樂等使用案例。這些搭載Snapdragon的全新裝置上AI體驗,可在沒有連網的地區、甚至是飛航模式中運行。
高通技術公司資深副總裁暨技術、規劃和邊緣解決方案業務總經理Durga Malladi表示,高通讚賞Meta在AI技術上採取開放和負責的策略。高通技術公司致力於推動創新,透過將生成式AI導入裝置,將為各種規模的開發人員降低入門的門檻。為了將生成式AI有效地規模化擴展至主流市場,AI需要同時能在雲端與如智慧型手機、筆記型電腦、汽車和物聯網裝置等邊緣裝置上運行。
Meta和高通技術公司長期合作,共同推動技術創新,提供新一代的頂級裝置體驗。兩家公司目前攜手支援Llama生態系,範圍橫跨研究和產品工程工作。藉由裝置上AI的領先地位,高通技術公司在支援Llama生態系方面獨具優勢。該公司在邊緣裝置具有無可比擬的布局—全球數十億的智慧型手機、汽車、XR頭戴式裝置和眼鏡、PC、物聯網等裝置,皆搭載高通領先業界的AI硬體和軟體解決方案—為生成式AI帶來規模化擴展的機會。
高通技術公司規劃將於2024年開始在搭載Snapdragon平台的裝置上支援基於Llama 2的AI部署。開發人員自今日開始便可使用高通AI疊層針對裝置上AI進行應用最佳化。高通AI疊層是一套可在Snapdragon平台上更有效地處理AI的專用的工具,即使在輕薄小巧的裝置上也可支援裝置上AI。