AI手機強調在邊緣端運行大型語言模型的能力。為了實現這點，手機產業正展開一場硬體革命，不僅持續提高運算性能，也針對記憶體和電池技術提出新的方向。
觀察2023年底開始推出的AI手機，「在邊緣端運行大型語言模型(LLM)」的能力是業者主打功能。在手機端放入更大規模的AI模型是業界正在努力的方向之一，預期未來AI手機將能在邊緣端完成更多任務，也藉此減輕資料中心的運算負擔。為了在裝置端運行參數量更高的模型，AI手機需要從多個面向進行硬體升級。
AI手機大幅提升硬體需求 處理器重心從時脈轉向TOPS
相較於傳統智慧型手機，AI手機更重視在裝置端運行大型語言模型可帶來的創新應用，關注重點在於硬體元件能否支援新加入的語言模型。為了實現AI手機願景，有三個必須列入考量的關鍵面向：運算單元及加速器(如CPU/GPU/NPU)、記憶體容量及頻寬(DRAM和NAND Flash)，以及電池續航力。
手機處理器進入AI時代，在CPU端可以明顯看到業者正致力提高算力性能，例如聯發科技於2024年5月發表的天璣9300+，便採用全大核CPU架構，八核CPU包含四個Cortex-X4(最高頻率可達3.4GHz)，以及四個主頻為2.0GHz的Cortex-A720。不過，雖然CPU持續採用更高階的核心來提高算力，對於AI應用來說，具備平行處理能力的GPU和專門針對AI運算需求而設計的NPU，可能才是真正決定AI手機是否合格的關鍵。
NPU已成為AI手機處理器的標配，隨著AI手機產業發展，業者最關心的數字也漸漸從CPU的時脈速度，轉變為NPU的TOPS數值。TOPS代表處理器每秒可執行的運算(如加法、乘法等)，以兆為單位，是判斷處理器在處理AI資料方面效能的重要指標。目前AI手機的算力大概可達30TOPS以上，少數最新處理器具有更高算力，例如天璣9300+便宣稱其NPU算力已可達68TOPS。
手機處理器運算效能的提升，為在手機端運行大型語言模型解除第一道枷鎖，但如果手機本身無法儲存參數量可達上百億、上千億的大型語言模型，能夠實現的應用情境將受到局限。
記憶體技術再革命 NAND Flash秀新招
目前，AI手機在裝置端通常僅能運行幾十億參數的模型。然而，群聯技術長林緯(圖1)指出，330億以下的模型僅能理解人類指令並進行相關工作，要到330億以上的模型才能夠達到類似ChatGPT的等級，擁有舉一反三的能力。
圖1 群聯技術長林緯表示，330億以下的模型僅能理解人類指令並進行相關工作，要到330億以上的模型才能夠達到類似ChatGPT的等級，擁有舉一反三的能力
從幾十億演進到幾百億參數量的AI模型，記憶體在其中扮演關鍵角色，相關業者也正從不同角度著手解決這項挑戰。林緯表示，群聯正在研發一項新技術，讓傳統主要負責儲存的NAND Flash也能夠放置AI模型，而不需要像現在將模型全放在DRAM。藉由便宜、容量大的NAND Flash，新技術將可解放手機可容納的模型參數限制。
林緯說明，NAND Flash傳輸速度較慢、具有寫入/抹除次數限制的特性將成為開發此技術的挑戰。群聯新技術的基本概念，是將資料根據讀寫頻率分為熱資料(Hot Data)、溫資料(Warm Data)和冷資料(Cold Data)，在此概念下，NAND Flash將負責儲存不常被讀寫、體積大的資料。該公司預計於2025下半年正式發表此方案，並透過提前與手機相關業者共同開發，來確保此方案可順利獲得採用。
採用NAND Flash來突破AI模型瓶頸的概念已經在業界漸漸取得討論熱度，蘋果在2023年12月發表的論文也提到相關概念。為了提高NAND Flash的傳輸速度，蘋果於論文中提出兩項主要解方：視窗化(Windowing)和行列綑綁(Row-column Bundling)。「視窗化」透過在DRAM留下活躍的神經元(Neuron)，以類似快取的概念減少需要傳輸的資料；「行列綑綁」則將對應的行列儲存在一起，增加一次可讀取的資料量。
除了近期獲得關注的NAND Flash，三星(Samsung)和SK海力士(SK Hynix)等記憶體大廠也持續探索記憶體內運算(PIM)架構，預期未來DRAM和NAND Flash技術將持續取得突破，以支援邊緣端運行更高參數模型的需求。
續航力影響使用體驗 電池材料掀革命
專用於處理AI運算需求的NPU，搭配充足的記憶體容量和記憶體頻寬，讓智慧型手機能夠在裝置上運行參數量更高的大型語言模型。然而，在智慧型手機持續升級的道路上，有個無法避開的終極考驗：電池續航力。
圖2 Enovix亞太區銷售副總Jay Wang表示，手機中傳統採用石墨負極的鋰離子電池已經遭遇技術瓶頸，難以提升能量密度
手機效能和電池之間的權衡是個亙古難題，Enovix亞太區銷售副總Jay Wang(圖2)表示，在AI進入手機前，手機耗能便已經每年以超過10%的速度成長，而手機雖然尺寸同樣持續增加，實際上電池大小每年增加不到8%，整體算起來，能量密度每年成長不到4%，顯示手機電池早已跟不上手機成長中的電力需求。AI的到來使情況更加嚴峻，隨著手機導入AI功能，預期耗電量將繼續上升至6安時、甚至超過7安時(圖3)。
圖3 傳統和AI應用程式耗電量比較 (資料來源：“Bettery Technology Trailing Smartphone Innovation” (01/2024)；圖片來源：Enovix)
Wang指出，手機中傳統採用石墨負極的鋰離子電池已經遭遇技術瓶頸，難以提升能量密度。有鑑於此，業界正積極探索新的方案。矽(Si)能夠儲存的鋰離子數量超過石墨的兩倍(1800mAh/cc vs 800mAh/cc)，成為鋰離子電池具有潛力的負極材料，但因為技術上會遭遇電導率低、電池膨脹、使用壽命縮短等問題，過往一直無法真正落地至手機電池中。
在此背景下，手機電池大廠ATL於2023年發表在石墨電極中加入矽材料的電池，為手機電池邁出革命性的一步。根據業界廠商分析，ATL所使用的矽比例約占4%，在相同尺寸下，將電池效能提升7%。這看似只是微幅提升，卻是手機電池終於找到新突破方向的重要里程碑。Wang表示，未來幾乎所有電芯製造商都將盡可能增加矽的含量，以達成提升能量密度的需求。Enovix也將進一步推動這場電池材料革命，以其寬度堆疊方式(Enovix 3D Silicon)，實現能夠100%採用矽材料的負極。目前Enovix正與手機業者進行聯合開發，計畫在接下來一年多到兩年之間將電池導入實際手機產品，預期將為手機電池的矽材料革命帶來全新進展。
硬體決定軟體極限 有感體驗仰賴技術突破
硬體將決定軟體極限，在AI手機時代中，手機處理器、記憶體和電池是值得特別關注的三大方向，其技術突破與否，和AI手機的成敗息息相關：如果算力不夠，手機就不具備運行AI模型的能力；如果記憶體容量或頻寬不足，手機能夠搭載的AI模型將受到限制；如果電池續航力不佳，將顯著影響使用者體驗，甚至導致業者為了維持功耗而犧牲效能。
正如人類的欲望不會有被滿足的一天，智慧型手機也將持續加入最新技術以提供更豐富的體驗。在AI手機發展的過程中，硬體元件需要不斷升級、突破瓶頸，才能在裝置端為大型語言模型的運行保駕護航。