LLM應用逐漸從雲端走向邊緣，產業對於邊緣運算技術的重視度隨之提升。未來端點AI的應用規模可望大幅超越雲端，其優勢之一是通常會配置豐富的感測器連結介面，具備多感測器融合的能力。
生成式人工智慧(AI)的發酵在新興運算架構，以及先進製程的支援下，可說是水到渠成。新唐科技微控制器行銷應用處副處長沈子嵐說明，當大型語言模型(LLM)應用逐漸從雲端走向邊緣，產業對於邊緣運算技術的重視度隨之提升。高算力需求的AI應用集中在雲端，但未來端點AI的應用規模可望大幅超越雲端。端點AI的優勢之一是通常會配置豐富的感測器連結介面，具備多感測器融合的能力。感測器的資料在終端融合，可以減少資料量，進而降低邊緣端的算力需求。
新唐科技微控制器行銷應用處副處長沈子嵐表示，新的終端AI模型持續減少運算效能的需求，並且提高推論效能
另外，當智慧裝置可以在本地端完成AI推論，資料就不需要傳輸到雲端，可以確保推論的即時性。邊緣運算不會使用大型的伺服器，資料處理的過程也比雲端運算更為節能。資安方面，邊緣運算可以避免資料在傳輸到雲端的過程中，遭到駭客攔截及竊取。並且新唐的MCU透過硬體的安全區域設計，可加強防護本地資料的安全性。
聚焦在算力方面，由於終端裝置的運算資源有限，因此應用於邊緣端的AI模型需要精簡。沈子嵐指出，終端MCU的記憶體有限，無法執行太複雜的模型。在邊緣AI應用的市場成長帶動下，AI模型便逐步朝向低算力需求的方向轉型。整體而言，新的終端AI模型持續減少運算效能的需求，並且提高推論效能。
以MobileNet模型為例，其V1到V3版本，每一個版本對於終端裝置的算力需求都持續下降。同時新版的MobileNet模型版本在推論的精準度方面，不斷提升。由此可知，智慧終端裝置在算力與推論精準度之間不見得要取捨，而會在技術演進的過程中取得良好的平衡。
三大平台滿足AI應用
在AI開發平台方面，新唐提供三個平台回應市場需求。其中，最新推出的M55M1平台採用Arm的Cortex-M55處理器，也加入Ethos-U55加速器，可以提供100GOPS的算力。MA35D1則是MPU平台，使用雙核心的Arm Cortex-A35，執行速度為800MHz。從MA35D1的配置中可以了解到，部分AI應用需要大容量的記憶體，更甚於算力需求。最後的M467平台，使用Arm Cortex-M4F核心，適合中低階的AI應用，例如智慧感測等。