FPGA新手也能速成視覺AI應用　Kria SOM簡化架構加速開發

由此使得自我調整系統單晶片(SoC)透過在不同規模FPGA架構上，提供統一的處理子系統為用戶帶來三重自由度，即軟體可程式設計能力、硬體可程式設計能力和嵌入式平台的可擴展能力。

這種廣泛應用源自於FPGA技術顯而易見的、差異化的優勢。然而，正如這種狀況所揭示的前景，其應用範圍可以更加廣泛。那麼如何進一步釋放這種應用潛力呢？

首先，說明阻礙其得到更廣泛採用的有哪些因素。兩個最常見的因素是：一是不熟悉傳統的FPGA設計流程，二為用開發時間衡量FPGA設計流程的反覆運算成本。

很明顯，大量的系統架構師和嵌入式及人工智慧(AI)軟體發展者，都對FPGA的優勢有所耳聞，並希望有機會運用這類FPGA。然而，他們不想花費漫長的過程克服學習「新」設計流程的困難，只想專注於嵌入式硬體方面的開發過程。即便對於FPGA專家而言，許多人也表示希望能為自己的嵌入式設計提供一種簡單且經濟高效的的量產硬體部署選項。由於同地協作(例如在電子實驗室)中需要協作才能啟動嵌入式電路板，加上2020年和2021年的全球疫情肆虐對同地協作的局限，這種願望也變得愈加強烈。

Kria SOM新解方節省九個月開發時間

Kria系統模組(System-on-Module, SOM)是賽靈思(Xilinx)量產型產品組合的最新成員，該產品組合的成員已包括x86應用、FPGA和自我調整SoC的加速器卡。它是一種整合嵌入式、可插拔、信用卡尺寸的基於Arm SoC的解決方案。SOM的初衷是簡化架構，只包含SoC、記憶體、電源和其他SoC的基本支援功能。當SOM與最終用戶設計的低複雜度印刷電路板載卡(Carrier Card)搭配使用時，只需要採用一組簡單的開放連接器解決使用者終端系統的連接和附加元件需求，就可以將其整合到量產部署的系統中。而針對開發和評估，也提供了入門套件，該套件由非量產型Kria SOM與預定義的載卡共同構成，並提供各種介面選項以連接感測器或其他周邊設備。入門套件是初次使用Kria SOM(特別是視覺AI應用)的最便捷方法，它為目標應用開發並由使用者定義的客製化量產載卡提供了實現途徑。

Kria SOM為剛接觸FPGA和SoC技術的開發者，提供了獨特、簡化的用戶體驗，並向打算外購而非自行開發量產硬體的FPGA長期使用者，提供了極具吸引力的效率提升。而對於FPGA專業人士而言，Kria SOM可節省多達9個月的開發時間和相關成本。節省的這9個月時間主要來自元件選型、錄入原理圖、布局電路板和啟動多學科協作電路板，有時也包括部分的重新設計。對於剛接觸自我調整運算的用戶而言，還有更值得關注、也更加顯著的效益。Kria SOM首個成員SOM K26和首個入門套件KV260視覺AI入門套件已經推出(圖1)。

借助Kria SOM簡化嵌入式設計的關鍵實現技術，在於隨每個入門套件提供的應用專用基礎架構。它可以直接用於用戶的量產設計。首款Kria入門套件為Kria KV260視覺AI入門套件，它主要著重在視覺AI應用。未來的解決方案將重點放在該公司與協力廠商開發的多樣應用，並在賽靈思應用商店(Xilinx App Store)中提供。Xilinx App Store提供成套的量產級參考設計，稱為Kria加速應用。這種基於加速應用的方法既為以軟體為基礎的設計提供了全新範例，同時也為目標應用保持了FPGA的性能優勢和系統級靈活性。

利用加速應用方法簡化FPGA設計

自我調整SoC是一把雙面刃。它們雖然比任何其他主流半導體技術都更加靈活，但也會讓新用戶感到過於複雜。這種靈活性體現在眾多方面：可程式設計邏輯、可程式設計軟體、可程式設計I/O、可程式設計數位訊號處理(DSP)引擎、可程式設計嵌入式隨機存取記憶體(RAM)、可程式設計安全性、可程式設計功耗等。Kria SOM以最常用、最主流的使用案例為重點，從設計上簡化了這種靈活性造成的複雜性。這些使用案例已開發到加速應用中，方便使用者透過Xilinx App Store加入設計者的行列中。加速應用的變革性影響，類似於自動排擋的發明較之手動排擋讓汽車駕駛更容易操控。雖然手動排擋的熱衷者仍不乏其人，但是世界上大多數人會自然地選用最容易操縱、最方便的方式。

除了預配置電源提供的便利特性、具備極佳鏡像回讀功能的自動化啟動流程和靈活的I/O分配以外，Kria SOM還為加速開發提供更多功能。Kria SOM支援預構建、可擴展的Linux基礎設施，無論客戶傾向於Canonical提供的Ubuntu和Ubuntu Core版本，還是透過PetaLinux工具管理的Linux內核，以及使用Yocto進行客製化構建的功能。兩種方式都提供一套系統工具，如溫度監控器、性能監控器、雙倍資料速率(DDR)記憶體和其他周邊設備的服務品質配置、韌體無線更新能力、內置自檢測等。這些特性對於簡化Kria SOM的使用很有幫助。然而，Kria SOM最突出的特點在於Xilinx App Store所持續新增提供的加速應用庫。其中既有免費應用，也有收費應用，並且都可以輕鬆載入到Kria SOM中(圖2)。

預構建的可程式設計邏輯與加速應用

Kria加速應用旨在借助基礎軟體應用創建應用專用FPGA硬體設計，方便最終使用者進行擴展。在加速應用中，SoC的可程式設計邏輯部分已經為使用者預先構建，不需要進行修改即可使用。當然，如果需要也可以修改。目前已經開發出一定數量的加速應用，透過修改就能滿足設計者的多樣化需求。初始Kria加速應用依據的是研究發現的用戶在開發過程中最常使用的視覺AI應用。這些提供的加速應用可由使用者根據自身目標和需求進行修改。與從頭開發相比，節省了軟體發展時間。此生態系統(運用自己在各自重點領域的專業知識來轉化為應用的合作夥伴)將在Xilinx App Store上增加更多加速應用(表1)。

對於首批入門套件解決方案，主要應用是視覺AI應用，例如安全、智慧城市、交通管理和零售分析。這些應用推動了針對KV260入門套件的設計決策，包括為I/O介面選擇連接器等決策。這些連接包括行動產業處理器介面(MIPI)、高畫質多媒體介面(HDMI)、DisplayPort、通用序列匯流排(USB)和乙太網路等介面。未來的入門套件將擴及更多類型的應用，如機器視覺、視覺引導機器人等。Kria加速應用引導使用者快速從評估階段進入到設計階段以及部署階段。

從評估到量產部署的典型流程

這裡說明的是從評估到量產部署的典型流程：

1. 最初數天(評估)

選擇滿足用戶需求，適合評估平台功能最為近似的賽靈思預構建設計(加速應用)。

2. 最初數周(設計)

客製化應用軟體和AI模型，根據最終產品需求調校Kria加速應用。此外，使用者還可針對使用者的AI模型選擇，使用Vitis庫的硬體加速器優化完整的圖像資料路徑以提升性能。

3. 最初數月(部署)

針對具體的用戶周邊設備(如不同的攝影機感測器)客製化硬體並啟動建構客製化載卡的流程。根據需要，參照線上教程和設計指南，在這個階段透過Vitis設計工具也可以修改FPGA硬體。

4. 數年(適配)

透過無線更新的方式對現場的軟硬體進行更新，以最大化產品相關性，並透過這些更新，有望為用戶的公司創造新收益。不斷演進的標準、威脅和客戶需求可能導致AI模型、視覺管線、控制環路、通訊協定和加密引擎發生改變。Kria SOM提供了在部署後做出這些改變的靈活性與內置功能(圖3)。

正如上述場景所呈現的，在評估階段無須安裝任何工具。GNU編譯器和Vitis AI等軟體工具用於第二步，即設計階段。第三階段是部署。如果有任何階段需要實現硬體客製化，最有可能是在這個階段。因此有可能需要Vitis或Vivado設計套件等FPGA工具。

軟體設計便利性　提供加速應用優勢

Kria加速應用的重要之處在於，它們允許用戶在Ubuntu或Yocto Linux環境下從熟悉的嵌入式軟體和AI工具入手，而不必與可能不熟悉的FPGA工具打交道。要讓使用者充分發揮這種流程的優勢，前提是Xilinx App Store中有與使用者需求匹配的加速應用(例如智慧攝影機、AI Box、配有KV26和KV260的機器視覺攝影機，還有未來的機器人控制器和電子驅動器)。應用軟體和AI處理是量產所需的主要修改。因此，雖然完全支援FPGA客製化，但無須客製。

憑藉軟體設計的便利性，預先構建在這些系統內的應用專用FPGA加速區塊提供了更好的性能和低延遲。SOM還能根據載入到SOM中的具體加速應用，透過改變使用者可用的加速區塊，提供「個性化」加速。此外，每個加速應用都可以使用Vitis加速庫實現客製化。客製化範圍從OpenCV到各種其他常用功能。這種靈活性是SOM自我調整技術基礎的基本價值主張。

Kria SOM主要性能與特性說明

主要特性和標準隨使用的Kria加速應用以及與該應用相關的功能而有所變化。對於首批解決方案而言，K26 SOM和KV260視覺AI入門套件重點關注AI輸送量、性能功耗比和每通道成本。如欲瞭解更詳細的性能基準測試報告，可查詢相關白皮書WP529，Kria K26 SOM：邊緣視覺AI的理想平台。本白皮書概述了此SOM產品的競爭優勢，重點介紹了具體的使用案例，如智慧城市應用中的車牌/數字車牌識別等。

Kria K26 SOM特性介紹

K26 SOM採用Zynq UltraScale + MPSoC架構。由此，K26和所有K2x系列SOM均搭載一個64位元四核心Arm Cortex-A53應用處理器組、一個32位元雙核心Arm Cortex-R5F即時處理器和一個Arm Mali-400MP2 3D圖形處理器。SOM還內置4GB的64位元DDR4記憶體以及QSPI和eMMC記憶體。透過外部可信平台模組(TPM) 2.0，內置硬體信任根的固有安全啟動功能得到擴展，能進行測量啟動並符合IEC 62443的標準。

此外，透過其FPGA架構內的25.6萬個系統邏輯單元，K26 SOM還能支援最多4,096個大小的資料處理器(DPU)，並為H.264/H.265提供內置視訊轉碼器。K26 SOM透過四個6Gbps收發器和四個12.5Gbps收發器，支援大量的1.8伏特(V)、3.3伏特、單端和差分I/O。整體上可以支援多種類型的標準，如MIPI、SLVS-EC、sub-LVDS、DisplayPort、HDMI、PCIe、USB 2.0/3.0等，包括用戶定義的標準。K26 SOM的大小是77毫米(mm)×60毫米×11毫米，在未來，計畫顯著縮小SOM的尺寸，以支援堅固型應用。商用級K26 SOM支援的額定溫度範圍是0℃至+85℃，以內部溫度感測器報告應用處理器的溫度為準。SOM上的所有其他元件均以該感測器的測量值為準。類似地，工業級支援的額定溫度範圍是-40℃至+100℃。SOM透過兩個240引腳連接器與載卡相連，參見表2。 

KV260入門套件特性介紹

為了降低成本、簡化評估，儘管量產的K26 SOM上有兩個連接器，KV269入門套件內的SOM由於功能受限，因此只有一個連接器可以使用。量產SOM和入門套件間的其他差異，還有載卡上移除eMMC記憶體，用SD卡介面代替，以及入門套件只能在室溫下運行。

KV260視覺AI入門套件支援三個MIPI感測器介面，一個安森美半導體(ON Semiconductor)提供的成像器接入系統(IAS)連接器並配套一個板載圖像訊號處理器(ISP)、一個補充IAS連接器和一個樹莓派(Raspberry Pi)連接器。提供多個USB 2.0/3.0介面以及乙太網路、HDMI、DisplayPort和Pmod連接器，用於評估多種類型的視覺AI應用。這種入門套件使用簡便，從開箱到開發應用，需時不到1個小時(圖4)。

長生命週期供貨期保障靈活適應市場趨勢

成套的應用專用解決方案和固有的性能優勢，讓Kria SOM成為全新嵌入式設計的選擇。除此之外，它還可為工業市場提供多項長期商業以及技術優勢。

工業市場的特徵是要求嚴苛環境下的長生命週期。這裡的長生命週期是指在更寬泛的工作溫度範圍下承受濕度、衝擊和振動的長使用壽命。工業級Kria SOM能在100℃接面溫度、80%相對濕度下提供10年的使用壽命。此外，它還能承受最高40g的衝擊和5g RMS的振動。

對一些客戶而言，長生命週期也指長期供貨。就該公司SOM產品而言，工業級解決方案的供貨期至少為10年，因為DDR4、QSPI、eMMC、TPM 2.0等各類元件和電源管理元件的價格和供貨可能存在諸多變數。此外，Kria SOM模型還允許客戶根據出貨量漲跌造成的業務需求，從SOM過渡到成品晶片。

從技術的角度，Kria SOM具備自我調整元件基礎，可為用戶提供靈活性優勢。這些系統級靈活性可透過加速應用的未來更新得到進一步強化。例如，一項對DPU性能的研究揭示，從INT8調整到INT4能提高硬體性能77%，同時減少邏輯占用和晶片上(on Chip)記憶體占用。也能部署可擴展量化的神經網路(FINN)這樣的降低精度的推斷架構，因為Kria SOM硬體會隨著時間推移不斷改進，可以在部署到實地後進行升級。這與固定的繪圖處理器(GPU)架構相比完全相反。

除此之外，有時候在市場的推動下，可能發生從一種技術或介面向另一種技術或介面遷移的情況。而Kria SOM也能適應這些外部力量的作用。其可程式設計I/O和內部可程式設計邏輯能支援從MIPI等成像標準向SLVS-EC轉型，乃至從SLVS-EC 1.0版向2.0版轉型，以支援二倍的資料速率。

Kria SOM靈活性的另一個部分是它們是雲原生的。可以讓用戶迅速、無縫地在邊緣和雲之間分配工作負載。在需要加快回應速度的時候，其他物聯網解決方案所受限制過大，無法可靠地處理雲工作負載。但是Kria SOM可支援許多最常用的雲框架。就部分雲解決方案而言，例如採用Greengrass框架的亞馬遜網路服務(AWS)，運行在雲端的應用可以無縫遷移到邊緣，反之亦然。根據大多數工業資產的預期使用壽命和耐久度，Kria SOM專為滿足工業級使用壽命的要求量身打造。

發揮FPGA技術優勢可從Kria SOM入手

對於希望在量產系統中發揮FPGA技術的優勢，但不知道從何著手的嵌入式開發者和AI軟體發展者來說，Kria SOM是理想的解決方案。此外，Kria SOM還能消除設計流程中一些比較耗時的環節，為FPGA專家提高自我調整SoC硬體的設計效率並降低了風險。

隨著開發廠商和合作夥伴的不懈努力，Kria SOM開發者生態系統將持續成長，不斷提供更多加速應用，強化Kria SOM系列和入門套件，大幅縮短掌握自我調整運算技術的性能和靈活性所需的時間。

(本文作者為賽靈思工業、視覺、醫療與科學市場總監)