處理器/記憶體/電池保駕護航 AI手機算力解封邊緣LLM

2024-09-24
AI手機強調在邊緣端運行大型語言模型的能力。為了實現這點,手機產業正展開一場硬體革命,不僅持續提高運算性能,也針對記憶體和電池技術提出新的方向。
iStock

觀察2023年底開始推出的AI手機,「在邊緣端運行大型語言模型(LLM)」的能力是業者主打功能。在手機端放入更大規模的AI模型是業界正在努力的方向之一,預期未來AI手機將能在邊緣端完成更多任務,也藉此減輕資料中心的運算負擔。為了在裝置端運行參數量更高的模型,AI手機需要從多個面向進行硬體升級。

AI手機大幅提升硬體需求 處理器重心從時脈轉向TOPS

相較於傳統智慧型手機,AI手機更重視在裝置端運行大型語言模型可帶來的創新應用,關注重點在於硬體元件能否支援新加入的語言模型。為了實現AI手機願景,有三個必須列入考量的關鍵面向:運算單元及加速器(如CPU/GPU/NPU)、記憶體容量及頻寬(DRAM和NAND Flash),以及電池續航力。

手機處理器進入AI時代,在CPU端可以明顯看到業者正致力提高算力性能,例如聯發科技於2024年5月發表的天璣9300+,便採用全大核CPU架構,八核CPU包含四個Cortex-X4(最高頻率可達3.4GHz),以及四個主頻為2.0GHz的Cortex-A720。不過,雖然CPU持續採用更高階的核心來提高算力,對於AI應用來說,具備平行處理能力的GPU和專門針對AI運算需求而設計的NPU,可能才是真正決定AI手機是否合格的關鍵。

NPU已成為AI手機處理器的標配,隨著AI手機產業發展,業者最關心的數字也漸漸從CPU的時脈速度,轉變為NPU的TOPS數值。TOPS代表處理器每秒可執行的運算(如加法、乘法等),以兆為單位,是判斷處理器在處理AI資料方面效能的重要指標。目前AI手機的算力大概可達30TOPS以上,少數最新處理器具有更高算力,例如天璣9300+便宣稱其NPU算力已可達68TOPS。

手機處理器運算效能的提升,為在手機端運行大型語言模型解除第一道枷鎖,但如果手機本身無法儲存參數量可達上百億、上千億的大型語言模型,能夠實現的應用情境將受到局限。

記憶體技術再革命 NAND Flash秀新招

目前,AI手機在裝置端通常僅能運行幾十億參數的模型。然而,群聯技術長林緯(圖1)指出,330億以下的模型僅能理解人類指令並進行相關工作,要到330億以上的模型才能夠達到類似ChatGPT的等級,擁有舉一反三的能力。

圖1 群聯技術長林緯表示,330億以下的模型僅能理解人類指令並進行相關工作,要到330億以上的模型才能夠達到類似ChatGPT的等級,擁有舉一反三的能力

從幾十億演進到幾百億參數量的AI模型,記憶體在其中扮演關鍵角色,相關業者也正從不同角度著手解決這項挑戰。林緯表示,群聯正在研發一項新技術,讓傳統主要負責儲存的NAND Flash也能夠放置AI模型,而不需要像現在將模型全放在DRAM。藉由便宜、容量大的NAND Flash,新技術將可解放手機可容納的模型參數限制。

林緯說明,NAND Flash傳輸速度較慢、具有寫入/抹除次數限制的特性將成為開發此技術的挑戰。群聯新技術的基本概念,是將資料根據讀寫頻率分為熱資料(Hot Data)、溫資料(Warm Data)和冷資料(Cold Data),在此概念下,NAND Flash將負責儲存不常被讀寫、體積大的資料。該公司預計於2025下半年正式發表此方案,並透過提前與手機相關業者共同開發,來確保此方案可順利獲得採用。

採用NAND Flash來突破AI模型瓶頸的概念已經在業界漸漸取得討論熱度,蘋果在2023年12月發表的論文也提到相關概念。為了提高NAND Flash的傳輸速度,蘋果於論文中提出兩項主要解方:視窗化(Windowing)和行列綑綁(Row-column Bundling)。「視窗化」透過在DRAM留下活躍的神經元(Neuron),以類似快取的概念減少需要傳輸的資料;「行列綑綁」則將對應的行列儲存在一起,增加一次可讀取的資料量。

除了近期獲得關注的NAND Flash,三星(Samsung)和SK海力士(SK Hynix)等記憶體大廠也持續探索記憶體內運算(PIM)架構,預期未來DRAM和NAND Flash技術將持續取得突破,以支援邊緣端運行更高參數模型的需求。

續航力影響使用體驗 電池材料掀革命

專用於處理AI運算需求的NPU,搭配充足的記憶體容量和記憶體頻寬,讓智慧型手機能夠在裝置上運行參數量更高的大型語言模型。然而,在智慧型手機持續升級的道路上,有個無法避開的終極考驗:電池續航力。

圖2 Enovix亞太區銷售副總Jay Wang表示,手機中傳統採用石墨負極的鋰離子電池已經遭遇技術瓶頸,難以提升能量密度

手機效能和電池之間的權衡是個亙古難題,Enovix亞太區銷售副總Jay Wang(圖2)表示,在AI進入手機前,手機耗能便已經每年以超過10%的速度成長,而手機雖然尺寸同樣持續增加,實際上電池大小每年增加不到8%,整體算起來,能量密度每年成長不到4%,顯示手機電池早已跟不上手機成長中的電力需求。AI的到來使情況更加嚴峻,隨著手機導入AI功能,預期耗電量將繼續上升至6安時、甚至超過7安時(圖3)。

圖3 傳統和AI應用程式耗電量比較 (資料來源:“Bettery Technology Trailing Smartphone Innovation” (01/2024);圖片來源:Enovix)

Wang指出,手機中傳統採用石墨負極的鋰離子電池已經遭遇技術瓶頸,難以提升能量密度。有鑑於此,業界正積極探索新的方案。矽(Si)能夠儲存的鋰離子數量超過石墨的兩倍(1800mAh/cc vs 800mAh/cc),成為鋰離子電池具有潛力的負極材料,但因為技術上會遭遇電導率低、電池膨脹、使用壽命縮短等問題,過往一直無法真正落地至手機電池中。

在此背景下,手機電池大廠ATL於2023年發表在石墨電極中加入矽材料的電池,為手機電池邁出革命性的一步。根據業界廠商分析,ATL所使用的矽比例約占4%,在相同尺寸下,將電池效能提升7%。這看似只是微幅提升,卻是手機電池終於找到新突破方向的重要里程碑。Wang表示,未來幾乎所有電芯製造商都將盡可能增加矽的含量,以達成提升能量密度的需求。Enovix也將進一步推動這場電池材料革命,以其寬度堆疊方式(Enovix 3D Silicon),實現能夠100%採用矽材料的負極。目前Enovix正與手機業者進行聯合開發,計畫在接下來一年多到兩年之間將電池導入實際手機產品,預期將為手機電池的矽材料革命帶來全新進展。

硬體決定軟體極限 有感體驗仰賴技術突破

硬體將決定軟體極限,在AI手機時代中,手機處理器、記憶體和電池是值得特別關注的三大方向,其技術突破與否,和AI手機的成敗息息相關:如果算力不夠,手機就不具備運行AI模型的能力;如果記憶體容量或頻寬不足,手機能夠搭載的AI模型將受到限制;如果電池續航力不佳,將顯著影響使用者體驗,甚至導致業者為了維持功耗而犧牲效能。

正如人類的欲望不會有被滿足的一天,智慧型手機也將持續加入最新技術以提供更豐富的體驗。在AI手機發展的過程中,硬體元件需要不斷升級、突破瓶頸,才能在裝置端為大型語言模型的運行保駕護航。

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!