隨著5G商轉的加速，也為人工智慧(AI)帶來更多應用可能及更龐大的資料量。而在應用越趨複雜、資料負載不斷提升的情況下，AI處理器也越趨多元，以執行不同的演算法，使得物聯網(IoT)與智慧型手機的AI處理架構邁向異質化。
Arm副總裁/院士暨機器學習事業部總經理Jem Davies表示，AI與5G時常被一同提出來討論，這並不是因為兩者間有絕對的關聯，而是因為5G的大頻寬、高傳輸速率與海量聯接可為AI應用更大的資料負載，也使之成為AI處理器開發時重要關鍵議題。
Arm IP產品事業群總裁Rene Haas 表示，AI核心平台邁向異質化時代。而若單就智慧型手機市場而言，現今的智慧型手機已經內建許多人工智慧和ML的基礎功能，包括即時影像擷取、人臉辨識等，但在全球將近四十億只的智慧型手機中，目前約有85%的手機還是將機器學習的工作負載交由CPU或者CPU與GPU執行的。
目前智慧型手機的機器學習工作負載主要由CPU或者CPU+GPU執行。
根據Arm對AI處理器工作負載的研究，AI+5G將掀起的大資料量時代，在此趨勢下，為達成更佳的應用效能和使用體驗，發揮AI和機器學習(ML)的優勢，未來智慧型裝置將走向SoC的運算架構，以CPU為AI運算中心，再整合運用GPU、NPU、資料流處理器(DPU)、現場可編程邏輯閘陣列(FPGA)等運算資源。
以目前的情勢來說，已經可以觀察到全球前三大的智慧型手機廠都已經表示會以SoC架構作為晶片開發、設計方向，導入NPU或APU來提升人工智慧運算效能，以分擔CPU或GPU的運算負載。而中階手機也會慢慢地朝這個趨勢發展，不過Davies認為，至少需要4~5年的時間才能在中階手機看到明顯的趨勢。整體而言，CPU是現階段仍是智慧型手機的運算核心。
而在物聯網的部分則可以觀察到，隨著運算需求不斷提升，人工智慧應用在雲端與邊緣端的分工也越來越明確。機器學習的應用可分為訓練(Training)與推理(Inference)，其中，訓練工作在雲端/伺服器完成，邊緣端是負責做推理或者簡單的再訓練(Retraining)工作，一來是音為雲端有更大的資料庫可供訓練，二來是這麼做就能減輕邊緣端的運算量與功耗。因此，對於部分的應用而言，邊緣端只須搭載CPU或MCU支援人臉辨識、物件辨識等推理工作，在滿足運算需求的前提下，延長電池壽命。
那麼在CPU、GPU、NPU與APU等多種處理器中，是否會有特定處理器會成為AIoT裝置運算主流？ Davies表示，以Arm推出的幾款處理器來說，ML處理器的運算能力是最強的，其次是G77，再來則是A77處理器，然而，效能最好並不代表就適合所有的應用，由於AIoT的應用非常多元包括語音、影音等對於處理器的要求都不同。以語音的AIoT裝置中，並不須要大量的運算效能，可能只須執行簡單的編元運算，就不須要GPU，用類神經網路處理器(NPU)、CPU就足夠，同時還能保有功耗上的優勢；但如果是大資料量的影音串留的話，可能就需要加速器。總結來說，並沒有絕對優秀的處理器，而是要依照應用的需求來設計一套最合適的運算架構。