凌華科技宣布推出全新「DLAP Supreme」邊緣生成式AI平台系列,通過整合群聯電子的創新AI解決方案aiDAPTIV+,突破地端生成式人工智慧(AI)應用中的記憶體限制,顯著提升地端設備的AI運算能力。「DLAP Supreme」系列在不增加高昂硬體成本的情況下,實現AI效能的顯著擴展,幫助企業降低AI應用部署的成本門檻,並加速生成式AI在各行各業的落地應用,尤其在地端AI運算領域。
隨著生成式AI逐步滲透至各行各業,許多地端設備在執行大型語言模型時,面臨因DRAM容量不足而造成的性能瓶頸,影響模型運行,甚至出現Token長度不足等問題。DLAP Supreme系列利用aiDAPTIV+技術,有效突破這些限制,並顯著提升運算效能,藉此支援地端設備進行生成式語言模型訓練,使邊緣設備具備AI模型訓練能力,並提升其自主學習與適應能力。
以DLAP-411 Orin Supreme搭載NVIDIA Jetson AGX Orin 32GB組態搭配上Gemma 27B模型為例,其推論的TTFT提升了8倍,token長度提升了4倍。並且可以執行需在H100/A100 80G tensor core GPU才能運行的模型訓練任務,顯著的提升了運行生成式AI模型的效能,並且降低了部署生成式AI的成本。
凌華科技邊緣運算平台事業處總經理陳少華表示,凌華希望透過DLAP Supreme系列,幫助更多企業和機構輕鬆導入生成式AI技術,並在降低成本的同時,提升效能。凌華將繼續與群聯電子及全球AI領域的合作夥伴攜手合作,共同打造多方協作的AI應用生態圈,推動生成式AI技術的普及。
群聯電子執行長潘健成表示,群聯與凌華在工控儲存市場攜手合作已超過十年,一路以來,雙方共同推動技術創新,致力於為產業提供最具價值的解決方案。這次,群聯推出的邊緣AI技術方案aiDAPTIV+,很高興能協助凌華打造以NVIDIA Jetson AGX Orin平台為基礎的全新DLAP Supreme邊緣生成式AI系列。透過雙方的深度合作,將共同加速並擴大邊緣AI在模型fine-tuning的應用及市場,特別是在智慧製造、智慧城市及其他產業場景中的實際應用。群聯相信,這樣的合作不僅能夠滿足市場對邊緣AI的需求,更能推動產業邁向更智慧、更高效的未來。
DLAP Supreme系列的推出,不僅為地端生成式AI應用開創了全新機會,還將幫助各行各業突破記憶體限制,充分釋放AI技術的潛力。除了對AGX Orin進行突破性最佳化外,aiDAPTIV+技術同樣能擴展入門級的Orin Nano、NX及Super模組的記憶體,支持更多設備進行更高效的AI運算。凌華科技計畫持續推出Orin Nano Super與NX Super版本,進一步擴大DLAP Supreme系列的應用範圍,滿足不同需求的AI運算場景。
此產品預計於2025年2月正式發表。