NVIDIA(輝達) 日前在SC20大會上，宣布推出NVIDIA Mellanox 400G InfiniBand，全球首個400Gb/s網速的端到端網路解決方案，同時將運算、可程式化和軟體定義三種技術結合，協助研究人員和工程人員設計新一代運算系統，並針對應用效能的提升提供了新的思維。
NVIDIA Mellanox InfiniBand NDR產品是第7代的InfiniBand產品，利用100Gb/s的PAM4 Serdes技術，實現了較前一代產品兩倍提升的400Gb/s單埠傳輸頻寬，同時透過增加更多、更快的加速引擎，實現了更強大的運算和通訊能力。「Speed of Light」是關於NDR InfiniBand技術的第一個特徵，透過加倍的頻寬、更快的訊息率(Message Rate)，讓基於RDMA、GPU Direct RDMA和GPU Direct Storage等先進通訊技術的應用效能得到了進一步的提升。InfiniBand網路是自然的SDN網路，可以讓使用者根據應用的屬性來選擇各種不同的網路拓撲，以達到最佳化的效能，如Fat-Tree、DragonFly+、各種Torus等。例如，透過DragonFly+網路拓撲可以同時在四個交換器Hop內達到一百萬個節點間的同時通訊，這個規模遠遠超出了E級超算 、甚至10 E級超算或百E級超算需要的規模；同時其自然的SDN屬性也讓動態路由和網路壅塞控制變得更容易。InfiniBand動態路由已被廣泛地應用到各種網路拓撲中，成為最佳化通訊效能的關鍵角色，如美國橡樹嶺國家實驗室的Summit超級電腦就透過動態路由將超級電腦中心全網的通訊效率從60% 提升到了96%。NDR InfiniBand交換器在1U空間內可以支援64個400Gb/s的埠或128個200Gb/s的埠，提供較上一代交換器3倍的埠密度；它還將交換器系統的聚合雙向吞吐量提高了5倍，達到每秒1.64 petabits。
硬體加速是InfiniBand網路的最大特色，隨著越來越多的加速引擎被添加到InfiniBand硬體中，進一步加大了網路技術。舉例來說，NDR InfiniBand實現了All2All和Allreduce通訊的硬體卸載，能讓訊息傳遞介面(MPI) 通訊的效能提升四倍；NDR InfiniBand對於MPI Tag Matching的硬體卸載實現了1. 8倍的MPI通訊效能提升；NDR InfiniBand可以實現對於NVMeoF的全面卸載，NVMeoF的Target卸載可以讓儲存系統在幾乎不消耗Target端CPU的前提下，達到數百萬級的IOPS；NVME SNAP可以實現對於NVMeoF的Initiator端的卸載，同時可以將InfiniBand網路模擬成NVMe磁碟提供給主機CPU，解決目前很多OS還沒有NVMeoF的Initiator支援問題，實現了對任何OS，無論是虛擬化還是實體機的全面NVMeoF的支持；InfiniBand FIO SNAP可以實現對於文檔儲存的本地模擬，讓任何OS都可以享受最先進的分散式文檔儲存系統的效能優勢。
InfiniBand SHARP(Scalable Hierarchical Aggregation and Reduction Protocol) 技術徹底消除MPI或NCCL(NVIDIA Collective Communications Library) 的Allreduce操作中的多打一通訊帶來的Incast Burst問題，在保證所有埠全線速、共計12.8Tb/s或25.6Tb/s的資料登錄的前提下，實現在交換器上的Allreduce、Barrier、Reduce和Broadcast運算，在NDR交換器上較前一代交換器提升32倍的運算效能。InfiniBand SHIELD(Self-Healing Interconnect Enhancement for Intelligent Datacenters) 技術實現了網路中鏈路故障的自修復，讓網路無需等待管理軟體的參與來恢復鏈路故障，較傳統的軟體故障恢復速度快千倍以上的效能，讓應用不再受困鏈路故障的干擾以提升應用的效能。
InfiniBand安全卸載是針對Cloud Native的應用場景，InfiniBand已取得Open Stack的官方軟體支援，透過自帶的硬體IPSec、TLS、AES、Root of Trust等功能，讓資料不論是在網路中移動時，還是在向儲存中落盤時都能以線速效能取得並解密，實現在虛擬化環境或容器化環境中的安全保障。
軟體可程式設計讓InfiniBand的應用場景得到了進一步的延伸，可程式化的NDR InfiniBand不僅可以讓使用者處理資料的標頭(Header)，還可以針對資料的路徑進行操作，例如使用者可以自訂規則並對資料路徑進行操作，或是讓資料無需送到CPU便可直接在網路中進行預處理。使用者還可以針對資料的通訊特徵進行提取，接著利用AI技術進行訓練，得到不同應用資料的通用通訊特徵，若發現有異常通訊資訊，則可以向管理員主動發出預警。
NDR InfiniBand以其優異的效能和靈活廣泛的使用場景吸引了許多合作夥伴共同打造生態系，包含Atos、戴爾科技(Dell Technologies)、富士通(Fujitsu)、浪潮、聯想(Lenovo) 和美超微(Supermicro) 等基礎架構製造商，以及DataDirect Networks(DDN) 與IBM Storage等儲存基礎架構商。
NVIDIA網路事業部門資深副總裁Gilad Shainer表示，在人工智慧應用方面，最重要的工作是應對越來越複雜的應用，它們都需要更快、更聰明且更具擴充性的網路。NVIDIA Mellanox 400G InfiniBand的巨大吞吐量與智慧加速引擎，讓高效能運算、人工智慧與超大規模雲端基礎架構，透過更低的成本與複雜性來達成效能。
Exascale等級的AI和高效能運算時代已經來臨，同時也帶來新的挑戰。由軟體定義、硬體加速、針對網路運算的可程式設計NDR InfiniBand產品將於2021年第二季推出樣本。NDR產品的出現，將會大幅提升Exascale等級的AI和高效能運算系統的效能和效率，並簡化系統的管理和操作、降低系統的總擁有成本(TCO)，進而保護資料中心的投資。