直擊處理器盛會Hot Chips風向　AI晶片亂鬥贏家取決生態系

儘管受到疫情影響，全球高性能晶片領域最負盛名的業界盛會Hot Chips仍在2020年改成線上會議如期展開，本屆Hot Chips會議報告品質依然非常之高，涵蓋範圍也非常之廣。本屆在專題演講部分，有來自Google TPU團隊、Cerebras、百度的機器學習訓練專題，也有來自於Google、IBM等量子運算專題。會議正式內容分為8個單元，包括伺服器處理器、行動處理器、邊緣運算和感測器、GPU和遊戲架構、FPGA和可重構架構、網路和分散式系統、機器學習訓練，以及機器學習推理。

網路公司開發晶片增加

從過去至今，百度一直是Hot Chips常客，在主任架構師歐陽劍的帶領下，其基於FPGA開發的軟體定義加速器(Software-Defined Accelerator, SDA)，以及面向於多種實際應用的XPU等都已經在Hot Chips進行過報告。本次百度展示了2019年在三星使用14nm技術的崑崙晶片。

阿里巴巴在最近幾年也大規模地投入在基礎架構、晶片開發。阿里巴巴達摩院團隊的張健松博士於2019年在Hot Chips發佈了基於FPGA的新一代語音合成晶片Ouroboros，2020年阿里巴巴更是有兩個報告入選，其中就包括由焦陽(驕暘)領導開發的含光800 NPU。

同是網路公司開發的AI晶片，百度崑崙和阿里巴巴含光800差異非常大，但各有優勢。百度崑崙重點強調通用性，其峰值性能256 INT8 TOPS/150W的指標雖然不那麼突出，但能夠支援搜尋引擎、電腦視覺、NLP、語音辨識等多種模型。含光800則性能指標非常突出，使用台積電12nm製程，實現了825 INT8 TOPS/280W的能效比(Energy Efficiency Ratio)，但因為沒有外接儲存，其所能使用的模型有限，目前揭露的資料基本都是針對ResNet-50。

無論兩顆晶片的差異如何，值得注意的是，阿里巴巴與百度等許多網路公司都在布局雲端AI晶片。騰訊一方面戰略投資了由曾在AMD任職多年、也曾在銳迪科(RDA)擔任CEO的趙立東創立的燧原科技(Enflame)；而另一邊，騰訊也在悄悄招兵買馬，布局自己的AI晶片；北京字節跳動(ByteDance)也極其低調地策略投資了一家AI晶片公司。至此，中國網路三巨頭BAT和新興網路公司中最大的字節跳動，都已經有了自己的AI晶片嫡系部隊。但實際上這其中任何一家自身對AI晶片的需求，成本和收益之比都不足以支撐一顆7nm晶片的開發。

在雲端AI晶片市場，除了高市占率的NVIDIA外，也有Intel、Xilinx這樣的資深巨頭玩家加入。除了上述網路公司自行研發或關係緊密的企業之外，還有寒武紀(Cambricon)、壁仞(Biren)、登臨(Denglinal)等企業參與競爭。儘管近年部分快速崛起的中國網路企業還沒有任何公開AI晶片布局，但是也不排除會在未來透過策略投資等方式進行布局。中國雲端AI晶片的市場正在被快速瓜分，在未來，即便存在有協力廠商獨立AI晶片企業的機會，整個市場也可能只能支撐一家這樣的公司，所有相關的企業都必須思考，未來自己的目標客戶與公司出路。

下一代運算技術：量子運算

在2018年之後，基於傳統數位積體電路的AI晶片研發進展開始變得緩慢，已經很難見到特別新鮮的想法和前所未有的微架構。一方面，因為針對視覺和語音辨識等領域的深度演算法，反覆運算幅度開始變小，沒有更多新興問題需要解決。另一方面，AI晶片也無非是一個特殊領域的特殊應用積體電路(ASIC)，很多解決過往問題的思路都可以遷移過來，好的「金礦」也率先都被挖出來了。 因此，在過去兩年，看到了數位AI晶片的進步更多是和業務結合，如網路公司製造晶片、特斯拉的自動駕駛晶片等，或者利用一些新的平台型技術(如HBM、Chiplet、Wafer-Scale Chip)，微架構也在升級，但沒有特別突出的大變化。

而更本質的問題在於，大家原本寄望AI晶片領域誕生「破壞性創新」或者「顛覆式創新」的機會，目前看起來很難實現。破壞性創新是指一種簡單、便捷、成本低的新型技術，雖然早期達不到客戶需求的性能，但其會逐步提升，直到滿足客戶需求、形成對傳統技術的顛覆。然而，隨著AI晶片試生產成本越來越高，在7nm節點達到了1億美元以上，如果沒有大量訂單支撐攤平成本，一般企業根本無法承受。因此，在AI晶片領域變成了公司越大，晶片賣得越多，晶片越便宜。單純架構上的變化，很難實現簡單、便捷、低成本，難以成為「破壞性創新」的源泉。

在這種情況下，越來越多的新技術路線得到關注，比如模擬運算、記憶體內運算(In-memory Computing)、光子運算等等。在2019年Hot Chips上，來自於一家法國新創公司Upmem和普林斯頓大學賈弘洋博士的兩篇記憶體內運算報告被錄用就是有力的佐證。 在2020年Hot Chips的講座選擇了一條未來極其重要的運算路線：量子運算。4個報告其中有兩個來自2019年實現了「量子霸權(Quantum Supremacy)」的 Google量子運算團隊，還有兩個報告分別來自IBM團隊和Intel團隊。然而，儘管量子運算得到很大的關注，但距離實用還非常遙遠，至少10年以上才能落實。如圖1，來自Intel量子運算團隊的James S. Clarke所言，實現了50個量子位元只是完成概念驗證，未來真正實現在商用層面，如進行密碼破解，需要實現超過100萬個量子位元，仍有很長的路要走。

育成自美國麻省理工學院的Lightmatter團隊介紹的光子運算方案，相比而言更加接近實用。其利用一種MEMS製程技術製造的Mach Zehnder干涉儀(MZI)，透過光子運算將傳統的乘法轉化為光路的相位調變與干涉，可以在幾乎不耗能的情況下完成運算。然而，MZI仍對訊號有一定的損耗，因為如果光路經過多個級聯的MZI，光路損耗的程度可能使得最終結果出錯，也因此無法執行特別大的計算陣列。同時，光子運算還存在的一個問題是，仍然需要去解決記憶體撞牆(Memory Wall)問題，因為MZI只是替代乘法器。值得一提的是，麻省理工學院光子運算團隊實際上育成了兩家新創企業，除了Lightmatter外，還有曦智科技(Lightelligence, LightAI)。

AI下一步演算法與應用

2017年Hot Chips主題講者是Google著名的架構師「程式師之神」Jeff Dean，當時發表主題是「Recent Advances in Artificial Intelligence via Machine Learning and the Implications for Computer System Design(基於機器學習的人工智慧最新進展及其對電腦系統設計的影響)」，足夠顯示AI真正地進入了主流應用，市場開始關注AI最新的進展以及如何去針對性進行系統設計。

儘管2018~2019的主題演講與AI關係不深，但2018年Intel CPU被發現了Spectre和Meltdown兩個重大漏洞，因此在2018年主題演講邀請了John Hennessy教授講解兩個漏洞以及處理器的安全性問題；同年，Xilinx新任總裁兼執行長Victor Peng甫就任，當時推出自我調整運算加速平台(Adaptive Computing Acceleration Platform, ACAP)架構，受到了極大關注，因此同時擔任主題演講的講者。到了2019年，當時產業最關心的問題是摩爾定律是否還能延續，也因此邀請了AMD執行長蘇姿豐(Lisa Su) 與史丹佛大學教授、時任台積電研究副總裁的黃漢森教授分別介紹他們的觀點。

2020年主題演講，Hot Chips則邀請了英國人工智慧公司DeepMind工程師Dan Belov，演講「AI Research at Scale－Opportunities on the Road Ahead(大規模的人工智慧研究－未來的機遇)」的報告，介紹未來AI研究可能帶來的新機會。在Dan Belov報告內容裡面，隻字未提電腦視覺、語音辨識等已經進入規模應階段的演算法，反而重點介紹了強化學習及其在機器人領域、圍棋、圖形學等領域應用的進展。Dan指出，從2012年的AlexNet至今，演算法效率提升了44倍(以達到同樣精度的運算量計)，但演算法的總運算量規模卻暴增了30萬倍，仍需要很多工作才能填補近1萬倍的差距，因此也需要關注全系統設計、考慮經濟性問題、軟體架構領域應用更多機器學習的最新技術。

回到一個更本質的問題，如黃漢森教授在2019的Hot Chips主題演講中指出(見圖2)，半導體技術的發展很大程度上由重要的應用驅動，因為目前需要去理解和預測未來的新應用，所以2020年Hot Chips邀請做演算法的企業DeepMind擔任主題演講。從20世紀40年代的無線電，到70年代的電腦，到90年代的PC和網路，到21世紀前20年的手機與行動設備，再到現在這個時間點，行動的市場趨於飽和，AI開始進入大規模應用，理所當然大家也都在思考，下一步究竟是機器人、AR亦或是人機介面。

AI 晶片不是技術遊戲

筆者在過去曾擁有創業的經歷，因此得以接觸到各行各業的創業者與投資人，過去有投資人分享網路交易平台的邏輯和壁壘表示，對於這類平台，一方連接的是供給方，一方連接的是需求方，當經過發展，供需雙方的數量達到了一定的臨界值之後，平台就不需要再付出特別大的成本而可以獲得使用者規模的自然成，如圖3所示。平台幾乎是模式最牢固、收益最高的商業模式，如淘寶、微信、大眾點評、美團外賣、拼多多、抖音、快手等。

然而，對於AI晶片，目前多數都討論技術，但實際上要做的遠遠不止技術。從2017年起，筆者在所有公開報告中開始強調軟體的重要性，強調不止要讓晶片性能很好，還要讓使用者可以極其簡單地享用新的晶片。因此，提到對於AI晶片產品來說，要讓使用者「離不開」，最重要的是開源生態、社群。

至今，筆者認為AI晶片的競爭，最根本的問題是在類似於網路平台的生態競爭，如圖4所示，當有了足夠多的開源項目，在使用者初次接觸AI晶片時，就有更高的機率使用同一家廠商的晶片，於是開發者可能繼續貢獻更多的開源項目，實現正迴圈。因此，Xilinx越來越重視軟體生態，越來越重視開發者，推出了 Vitis這種面向所有類型開發者的軟體平台，並且把開發者生態作為重點領域持續推進。

(本文作者為Xilinx人工智慧業務高級總監)