生成式人工智慧(AI)的開發者通常得面臨要取捨模型大小還是精確度的難題，NVIDIA發表的全新語言模型兼具兩者之長，該模型體積小巧，又有著最先進的精確度。
Mistral-NeMo-Minitron 8B是Mistral AI與NVIDIA在上個月共同發表開放式Mistral NeMo 12B模型的縮小版。Mistral-NeMo-Minitron 8B小到可以在NVIDIA RTX驅動的工作站上運行，同時在由AI支援的聊天機器人、虛擬助理、內容產生器和教育工具的多項基準測試中，表現依然十分出色。NVIDIA使用開發客製化生成式AI的端對端平台NVIDIA NeMo蒸餾(Distillation)出Minitron模型。
NVIDIA應用深度學習研究部門副總裁Bryan Catanzaro表示，該公司將兩種最佳化AI的方法加在一起。這包括以剪枝的方式將Mistral NeMo的120億個參數縮減為80億個，並且採用蒸餾方式提高精確度。這麼一來便能降低Mistral-NeMo-Minitron 8B的運算成本，又可以提供媲美原始模型的精確度。
小型語言模型可以即時在工作站和筆記型電腦上執行，這一點跟大型語言模型不同。此舉使得資源有限的組織更容易在基礎設施中部署生成式AI功能，又能取得最佳的成本、運作效率和能源使用程度。由於無需從邊緣裝置將資料傳送到伺服器，在邊緣裝置上以本機端的方式運行語言模型另外有著安全性方面的優勢。
開發人員可以透過包裝成有著標準應用程式介面(API)的NVIDIA NIM微服務使用Mistral-NeMo-Minitron 8B，或從Hugging Face下載模型。此NVIDIA NIM也即將開放下載，可以在數分鐘內部署在任何GPU加速系統上。
與類似大小的模型相比，Mistral-NeMo-Minitron 8B模型在九個熱門的語言模型基準測試均處於領先地位。這些基準涵蓋各種任務，包括語言理解、常識推理、數學推理、總結、編碼以及產生真實答案的能力。
Mistral-NeMo-Minitron 8B模型包裝成NVIDIA NIM微服務，並且最佳化至最佳狀態，有著低延遲的特色，能加快回應使用者的速度，並有高輸送量以降低生產環境的運算成本。
開發人員在某些情況下可能想要使用更小的模型，以便在智慧型手機或機器人等嵌入式裝置上運行。他們為此可以下載有著80億個參數的模型，並針對企業特定的應用程式使用NVIDIA AI Foundry剪枝和蒸餾出較小且最佳的神經網路。
AI Foundry平台與服務為開發人員提供完整堆疊解決方案，協助他們客製化基礎模型，並且將其包裝成NIM微服務。AI Foundry平台與服務提供熱門的基礎模型、NVIDIA NeMo平台與NVIDIA DGX Cloud上的專用容量。使用NVIDIA AI Foundry的開發人員同樣能夠使用NVIDIA AI Enterprise，這個提供安全性、穩定性及支援部署到生產環境的軟體平台。
由於原版的Mistral-NeMo-Minitron 8B模型一開始就有著最先進的精確度，因此使用AI Foundry瘦身後的版本依舊只要極少的訓練資料與運算基礎設施，就能達到高精確度的表現。
研究團隊用剪枝加上蒸餾的方法，讓較小的模型達到高精確度表現。剪枝會去除掉對精確度影響最小的模型權重(Weight)，以縮小神經網路的規模。研究團隊在蒸餾模型時，會在一個小資料集上重新訓練這個修剪過的模型，以大幅提升在修剪過程中降低的精確度。這麼一來可以得到一個更小又更有效率的模型，其預測精確度可媲美較大的模型。
這項技術代表只要使用原始資料集的一小部分，就能訓練一系列相關模型裡每個額外的模型，這跟從頭訓練一個較小的模型相比，剪枝和蒸餾一個較大的模型可以省下達40倍的運算成本。
NVIDIA近日也發表了另一個小型語言模型Nemotron-Mini-4B-Instruct，該模型針對NVIDIA GeForce RTX AI PC與筆記型電腦上低記憶體使用率與更快回應時間最佳化。該模型以NVIDIA NIM微服務形式提供，讓開發人員可以部署到雲端與裝置上。而它也是NVIDIA ACE的一部分，NVIDIA ACE是一套製作數位人類的技術，提供由生成式AI支援的語音、智慧與動畫。