實現快狠準語音控制　神經決策處理器翻新人機互動

全球AI晶片市場不但沒有降溫的跡象，且AI晶片的競爭自2015年已經逐漸進入白熱化，根據Allied Market Research最近發表的報告，全球人工智慧晶片市場預計到2025年將從2017年的45.2億美元達到911.9億美元[2]，足見AI晶片新創業者如雨後春筍般湧現，致使AI晶片市場蘊含著極大的潛力。

自AI熱潮興起至今，許多AI晶片新創業者試圖以不同的技術手法、商業策略切入市場，預期在高成長潛力的市場中占有一席。近年在AI晶片領域最引人注目的進展包括過去較少人知曉的神經形態晶片(Neuromorphic Chip)。神經形態計算是一個相當熱門的研究領域，其目的主要是希望電腦能夠達到媲美人類的靈活彈性，使用電路來模擬生物的神經形態結構，是新一代計算機的發展方向之一。再者，由於當前許多AI晶片公司都將重點放在視覺晶片研發，相較之下語音晶片因為技術相對成熟，較少公司投入資源。

然而，當前行動設備處理數據承載著高功率的成本以因應機器學習應用的需求，為了讓各種設備具備語音控制功能，針對語音處理的部分，美國新創公司Syntiant推出針對語音任務處理設計的低功耗神經網路加速器，用來檢測功率水準低於200微瓦(μw)的聲音模式，可強化深度學習並提升AI語音晶片處理器效能。

低功耗AI語音晶片

Syntiant致力於研發雲端技術到邊緣設備的機器學習，其執行AI演算法打造低功耗處理器，且由於體積小，能將更多精密演算法帶進消費電子產品，有利於語音助理的應用。

圖2揭示了Syntiant所研發的其中一種神經決策處理器(Neural Decision Processor, NDP)，稱之為NDP100晶片[3]。它是一種使用模擬神經網路實現始終開啟(Always-On)的語音和音頻識別處理器，可以同時支援數十種應用程式定義的音頻和關鍵字分類，使開發人員可直接在線上進行語音介面的控制，並針對音頻數據速率進行最佳化，從而能辨識聲音、識別關鍵字(Keyword Spotting)、檢測喚醒詞(Wake Word Detection)、檢測音頻事件、分類環境、分析感測器而成為邊緣裝置的新介面。

該晶片可直接連接到數位麥克風或其他感測裝置並觸發與睡眠中的系統間的中斷線路，且配備有一個儲存緩衝器；在被喚醒前，系統會透過語音晶片確認喚醒詞及語音指令，當晶片忙於監測喚醒字是否發出時，該儲存緩衝器能夠儲存長達三秒鐘的音頻，具有音訊緩衝而不會丟失任何訊息；一旦檢測到喚醒字，NDP神經決策處理器會向其所在的嵌入式系統發送一個中斷，該系統進而會從晶片中讀取其聽到的命令。 此外，Syntiant開發的神經決策處理器沒有傳統處理器架構的限制，且具有大規模並行乘法累加運算能力，可透過極高的記憶體效率達到極低功耗，讓任何使用電池來進行供電的設備(例如：行動裝置、穿戴式裝置、遙控器、監控攝影機等)，以最簡易的方式添加語音控制，非常適合資源受限的邊緣設備，或者工作環境處於比較危險的使用者(如警察、石油鑽井工人等)能夠安全且高效地工作。

NDP神經決策處理器不但具有效能、功耗和成本優勢，並且晶片面積更小，特別適用於低功耗、用電池供電的設備，它能讓這些設備在連續監測喚醒字的情況下避免耗光電池，因此可以配備在手機、智慧音響、智慧手表、無線耳機、助聽器以及各種物聯網裝置終端設備中，提供始終開啟的語音介面功能，從而設備製造業者可以對NDP晶片進行編程以識別聲音，並且每種聲音還可以相對指定執行特定功能，例如接收到玻璃碎裂聲而發出警報，或在接收到嬰兒哭聲時直接自動向用戶發送提醒訊息，此外還可監控氣體感測器的數據，或者運用被動紅外線數據進行人體偵測。

由於NDP具有廣泛應用潛力，不少業者都有對Syntiant進行投資的興趣。Syntiant創立迄今已獲應材(Applied Materials)、微軟(Microsoft)、英特爾(Intel)、亞馬遜(Amazon)、博世(Bosch)等多家投資者千萬美元的投資。當然在數輪募資後，其技術、產品與市場成績也開始會受到檢視。

Syntiant專利布局概述

Syntiant自2018年起開始申請涉及有關神經形態運算領域的專利，且多有透過美國臨時申請案(Provisional Application)制度主張優先權，而將申請日回溯至2017年臨時申請案的申請日來做為優先權日。其專利申請國別統計如圖3所示，其中以申請美國專利最多，其次為透過專利合作條約(Patent Cooperation Treaty, PCT)程序申請的PCT專利申請案(WO)。

圖4顯示Syntiant專利組合中四階的國際專利分類碼(International Patent Classification, IPC)分析，其中以G06N 3/00(基於生物模式之計算機系統)最多；圖5顯示五階IPC國際專利分類碼分析圖，其中以G06N 3/08(涉及利用神經網路模式的學習方法)和G06N 3/063(涉及採用電子方式之神經網路、神經元或神經元部分的硬體實現)最多。再者，若以合作專利分類(Cooperative Patent Classification, CPC)[4]來統計分析，有可能將IPC國際專利分類碼又進一步細分或擴展，如圖6顯示五碼的CPC合作專利分類分析圖，其中以G06N 3/0635最多，涉及使用類比方式(Using Analogue Means)之神經網路、神經元或神經元部分的硬體實現，足見Syntiant主要採用類比神經網路處理器提供低功耗的記憶體內運算技術。

Syntiant重要專利解析

Syntiant專利組合中若有被其他公司專利引用，有可能會是神經形態運算領域的基礎技術專利，這些公司包括意法半導體(ST)、助聽器大廠Starkey Laboratories以及美光科技(Micron)，本文以下分別就這些被國際科技大廠引用的專利來解析其專利技術特徵和申請專利範圍主張保護的標的。

用於過衝補償的神經形態積體電路

當前許多研究者正在進行研究開發神經形態晶片，以實現神經形態運算的深度神經網路技術。然而，對於人工智慧演算法而言，神經形態晶片的開發旨在提供一種具有巨大處理能力的晶片，但與常規處理器相比，該處理器處理資料所消耗的功率要少很多。再者，神經形態晶片被設計為在複雜和非結構化數據的情況下能夠支援動態學習。

美國專利公開號US20190050721A1涉及神經形態運算領域，更具體地說是涉及一種用於過衝補償(Overshoot Compensation)的神經形態積體電路(Neuromorphic Integrated Circuit)與方法，該積體電路包括：一配置在積體電路之記憶體磁區中的乘法器(Multiplier)陣列中的神經網路(Neural Network)以及配置在該乘法器陣列的複數個乘法器。圖7為乘法器陣列的示意圖。該發明的技術特徵在於乘法器至少包括一個基於電晶體的單元(Transistor-based Cell)用以儲存該神經網路的突觸權重(Synaptic Weight)，一輸入被配置為用以接受該乘法器的數位輸入脈衝(Digital Input Pulses)，一輸出被配置為用以提供該乘法器的數位輸出脈衝，以及一電荷積分器(Charge Integrator)被配置位在該等輸入脈衝中，任一輸入脈衝的輸入脈衝寬度之上，對與該輸入脈衝相關聯的電流進行積分。其中，該乘法器被配置為向該等輸出脈衝中的任一輸出脈衝，提供與前述輸入脈衝寬度成比例的輸出脈衝寬度。

具專用主處理器和神經形態副處理器的神經形態處理系統

為了增強諸如助聽器之類的專用處理能力，美國專利US20190034791A1公開了一種神經形態處理系統，包括可作為獨立主處理器操作的專用主處理器(Host Processor)，以及包括人工神經網路的神經形態副處理器(Co-processor)。其中，主處理器和副處理器之間配置有一通訊介面用以彼此傳輸資訊，且副處理器的配置是以人工神經網路增強主處理器的特殊用途處理。

在實施例中，主處理器是助聽器處理器，被配置為在作為通訊介面的串列通訊介面(Serial Communication Interface)上，以傅立葉變換的形式向副處理器發送頻率成分(Frequency Component)或訊號頻譜資訊(Signal Spectrum Information)。另外，副處理器包括解多工器(Demultiplexer)，該解多工器被配置為將來自串列通訊介面的串列訊號解多工，成為用於人工神經網路多個輸入的平行傳輸訊號(Parallel Signals)。該專利發明的神經形態處理系統，可增強助聽器處理器的專用處理，包括透過串列通訊介面將資訊提供給助聽器處理器，從而使助聽器處理器能夠選擇性地抑制噪聲並增強所需訊號。

該專利權利請求項亦主張一種具有專用主處理器和神經形態副處理器的神經形態處理系統方法，如圖8所示，該方法在一些實施例中包括利用副處理器的人工神經網路來增強主處理器的特殊處理，用以在神經形態處理系統中增強訊噪比(Signal to Noise Ration, SNR)。

數位乘法器陣列中設置權重值的方法

當將神經形態晶片的單元突觸設置為其所需的權重值時，如果將一個或多個單元的權重值設置為高於或低於目標值，則會有過衝(Overshoot)的問題發生。也就是說，在將單元重設為其目標權重值之前，必須將整個陣列中的所有單元重設為一個極限權重值(Extreme Weight Value)。

有鑑於此，美國專利US20190026629A1提供了一種用於過衝補償的系統和方法，包括用於特定應用標準產品(Application Specific Standard Product, ASSP)的神經形態積體電路，且該積體電路102具有包括雙象限乘法器(Two-quadrant Multipliers)類比乘法器陣列的可抹除記憶區(Erasable Memory Sector)。其中，該雙象限乘法器包括被配置為接受重複脈衝，以將單元的權重值設置在單元權重值的容限(Tolerance)內單元。單元的權重值對應於電路神經網路中神經節點之間的突觸權重值。輸入電流值乘以權重值以提供輸出電流值，將這些輸出電流值組合在一起獲得了神經網路的決策結果，其中每個單元都包括一個MOSFET。圖9示意性地顯示該專利數位乘法器陣列中設置權重值的方法示意圖。

本文還公開了一種用於在數位乘法器陣列中設置權重值的方法，該方法包括抹除具有雙象限乘法器之數位乘法器陣列的積體電路的記憶區；將第一組程式化脈衝施加到該雙象限乘法器的單元，以設置單元的權重值；確定單元的權重值是否在單元的權重值的容限範圍內；施加第二組程式化脈衝至該雙象限乘法器的補體單元以補償不在單元權重值容限範圍內的單元。這種神經形態積體電路可用於特定應用標準產品(Application Specific Standard Product, ASSP)，例如可應用於關鍵字識別、語音識別、音頻過濾器、手勢識別、圖像識別以及包括無人機在內的自動駕駛載具。

對類比快閃記憶體/乘法器陣列進行重新編程

當使用類比陣列時，存儲在其上的值可能容易受到洩漏(Leakage)或漂移(Drift)的影響而造成輸出電壓的誤差，即類比陣列電路的漏電流(Current Leakage)可能會引起輸出的電壓漂移(Voltage Drift)。因此有必要提供一種用於檢測漏電流或電壓漂移並作為響應來對類比陣列進行重新編程的系統和方法。

有鑑於此，如圖10所示，美國專利US10698754B2提供了一種方法(600)，包括以下步驟：響應於計時器到期(602)，從計時器向電路傳輸訊號；響應於接收到訊號，由電路檢索(i)存儲在類比陣列中的第一值(604)，和(ii)存儲在數位非揮發性記憶體中的第二值(606)；由電路執行第一值和第二值之比較的操作；由電路分析比較結果，以確定誤差是否大於或等於預定義的臨界值(Predefined Threshold)(608)；響應於確定所述誤差大於或等於預定義的臨界值，由電路發起利用第二值對類比陣列進行重新編程的操作(610)。

圖10之600為利用存儲在數位非揮發性記憶體中的值對類比陣列進行重新編程的方法，604為用於獲取存儲在類比陣列中的第一值的步驟，606為用於獲取存儲在數位非揮發性記憶體中的第二值的步驟，608為由電路執行第一值和第二值的比較的步驟，610步驟為用於啟動使用第二值對類比陣列進行重新編程的操作。

再者，圖11示例性地提供專利實施例中用於對類比快閃(Analog Flash)記憶體/乘法器陣列進行重新編程的系統示意圖，此為Syntiant所開發的一種內嵌Flash記憶體晶片，著重在神經形態計算中使用存儲在數位非揮發性記憶體中的值對類比陣列進行重新編程，包括響應於電路對第一值和第二值比較後之誤差值的確定，進而發起使用第二值對類比陣列進行重新編程的操作。

滿足多語言語音交互應用Syntiant攜手Sensory 

邊緣AI晶片組市場競爭激烈，使用案例也越來越複雜多樣，新競爭者除了要有很強的專業團隊與核心技術，強大的夥伴生態支援系統更有助於在競爭激烈的AI市場上成功。有鑑於此，Syntiant於2020年國際消費電子展(CES)中宣布與人工智慧臉部和語音辨識技術供應商Sensory建立合作伙伴關係[5]，並以Sensory高性能TrulyHandsFree喚醒字引擎與語音控制解決方案支援Syntiant的微瓦級NDP神經決策處理器。

Syntiant與Sensory的合作，是Sensory的人工智慧語音演算法(嵌入式人工智慧語音軟體)與Syntiant的NDP晶片技術的結合，為電池供電的設備提供深度學習及多語言語音互動介面，同時也為消費者和邊緣設備帶來低延遲和即時語音互動的解決方案。

有鑑於全球消費者對語音控制和語互動的需求，為了將語音技術擴展到新設備和新場景，Sensory和Syntiant的合作為邊緣側提供智慧語音解決方案(Intelligent Voice Solutions)，使製造商能夠以多種語音實現無縫的語音指令，並能支援基於語音的使用者識別等功能，為雙方打開了如語音、視覺和自然語言處理(Natural Language Processing)等新的市場，特別是在需要長續航、低功耗、高精準度語音辨識的場景。此外，因為命令是在邊緣設備執行的，不受雲端連接的影響，設備和應用程式無需按下任何按鈕就可以運行，從而提供更高的安全性[6]。

(本文作者為工業技術研究院技術移轉與法律中心博士)