生成式人工智慧(GenAI)時代下的邊緣AI，所使用的不再只是進行簡單決策的基礎模型，而是動輒幾十億參數的大型模型。為了將模型導入邊緣裝置，除了採用能夠縮減模型大小的量化(Quantization)和低秩調整(LoRA)等技術，AI模型所運行的硬體平台也需要同步升級。高通(Qualcomm)近期於MWC展出最新研究成果，成功將文字、語音、影像等大型AI模型運行於智慧型手機和PC。
高通總裁暨執行長Cristiano Amon表示，生成式AI的未來是混合式的，藉由裝置上智慧與雲端攜手，以實現更佳的個人化、隱私性、可靠度和效率的應用。高通資深副總裁暨技術規劃與邊緣解決方案業務總經理Durga Malladi則說明，藉由用於智慧型手機的Snapdragon 8 Gen 3和用於PC的Snapdragon X Elite，高通促成裝置上AI的大規模商業化。
在MWC 2024展會上，高通AI Research首度於Android智慧型手機展示低秩調整(Low Rank Adaptation, LoRA)技術，藉此於智慧型手機運行Stable Diffusion，讓使用者可以根據個人或藝術偏好創造出高品質的客製化圖像。LoRA減少AI模型的訓練參數，提高裝置端生成式AI用例的可擴展性和客製化能力，除了可為不同的藝術風格進行微調的語言視覺模型(LVM)，LoRA還可廣泛運用於大型語言模型(LLM)等各種客製化的AI模型。
此外，高通也在Android智慧型手機上展示大型語言和視覺助理(Large Language and Vision Assistant, LLaVA)模型功能，為參數量超過70億個的大型多模態模型(LMM)，可以接受包括文字和圖像在內的多種類型資料輸入，並且能夠與AI助理生成關於圖像的多輪對話。除了智慧型手機，高通也同時在Windows PC展示使用超過70億個參數的LMM，可以接受文字和音訊輸入，接著生成有關該段音訊的多輪對話。
上述研究成果顯示，AI模型量化技術的成熟加上硬體元件支援，在裝置端獨立運行生成式AI等大型AI模型已經是可成真的現實。接下來，可期待各式大型AI模型進入智慧型手機、個人電腦，為邊緣AI開啟新階段。