東擎科技 群聯電子 aiDAPTIV+ 邊緣AI 大型語言模型

東擎科技與群聯電子攜手推動邊緣AI記憶體擴充解決方案

2026-06-04
東擎科技與群聯電子宣布展開策略合作,透過由群聯aiDAPTIV技術驅動的新世代AI記憶體擴充架構,加速大規模本地AI部署。結合東擎科技AI BOX-A395與群聯aiDAPTIV技術,可在僅需64GB系統記憶體的條件下,搭配高達85GB的aiDAPTIV Cache Memory,即可在本地運行高達120B參數的大型語言模型(LLM),相較傳統架構最高可降低約50% 記憶體需求,大幅降低邊緣AI部署門檻。

在Computex 2026展會中,雙方進一步展示此應用,使大型LLM可於本地端穩定運行,呈現高效流暢的邊緣AI應用體驗。此合作打造的新一代邊緣AI架構,不僅有效降低總體擁有成本(TCO)、提升推論效能,更能在精巧的邊緣裝置上運行更大型AI工作負載。該突破將進一步強化東擎科技邊緣AI平台的大型本地LLM部署能力,提升企業與工業AI應用的彈性與擴展性。此外,東擎科技亦將透過AI-Pathfinder工具提供經驗證的群聯aiDAPTIV最佳化配置,協助客戶依據不同工作負載需求與部署場景,快速找到最適合的AI系統配置方案。

搭載群聯aiDAPTIV技術的東擎科技最新邊緣AI平台,有效提升不同邊緣場域的大型AI LLM模型部署效率與擴展能力。其中,搭載AMD Ryzen AI Max+ 395處理器的AI BOX-A395,可有效降低大型AI工作負載所需的系統配置門檻;而搭載Intel Core Ultra系列3處理器的NUC Ultra 300 BOX Series,則可在精巧機身中實現大型語言模型的本地推論能力。透過aiDAPTIV的MoE(Mixture of Experts)推論架構,AI BOX-A395僅需64GB系統記憶體即可運行120B參數大型語言模型;128GB配置則可透過智慧SSD Cache將模型資料動態卸載至儲存裝置,釋放更多DRAM與VRAM資源供作業系統、邊緣代理及其他AI工作負載使用。此架構不僅提升整體系統資源利用率,更讓單一邊緣裝置可同時處理推論與多工AI工作負載。透過將SSD轉化為專為AI推論最佳化的高速記憶體層,aiDAPTIV打破傳統記憶體容量限制,使大型模型無需仰賴龐大系統配置即可更高效率運作,大幅提升實際邊緣AI部署的彈性與可擴展性。

東擎科技董事長李俊瑩表示:「AI正快速從雲端運算走向真實世界,而智慧運算必須更接近資料來源。透過與群聯合作,我們正推動本地AI部署的新模式,突破傳統系統的記憶體配置限制,讓更大型AI模型能夠部署在真正創造價值的地方。我們相信,可擴展的本地AI將成為下一世代企業與工業運算的重要基礎。未來AI基礎架構的競爭關鍵,不再只是運算能力,而是系統如何更有效率地運用記憶體資源。」

透過結合高效能邊緣AI平台與新世代記憶體擴充架構,此次合作象徵大型本地AI正朝向更普及、更實用且更貼近真實應用場景邁進,進一步加速企業與工業AI的落地應用。為進一步降低邊緣AI導入門檻並加速部署決策,東擎科技推出AI-Pathfinder工具,整合經驗證之AI平台配置方案,涵蓋AI加速卡、GPU與不同工作負載所需的最佳化硬體配置。透過AI-Pathfinder,客戶可依據不同AI應用需求與部署場景,更快速找到推薦系統配置,加速邊緣AI導入與落地。

欲探索AI-Pathfinder工具推薦之AI平台配置方案,請造訪東擎科技官方網站

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!