FocusMotion 智慧穿戴 IDC SDK

AI套件識別人體動作　穿戴裝置運動健身更智慧

2017-11-27

廖憲正/蔣益庭/翁于堯

全球智慧穿戴健身運動器材與服務市場年複合成長率將由2016的25.22%上升至2020年的38.35%。透過其「解放雙手」與「隨時量測」的優勢，結合深度學習等技術賦予產品智慧運算能力，幫助其「量化」健身狀態，提供使用者更有效率的運動。

智慧穿戴產品早已融入日常生活中，市場研究機構IDC預估2021年智慧穿戴裝置出貨量將達2億4010萬台，相較於2017年的1億2550萬台，市場成長將近一倍，5年複合成長率達18.2%。產品使用情境亦逐漸明朗，以運動、定位、通話、支付、精品為主。

其中，運動健身領域之需求持續增溫，根據市場調查機構Research and Markets 2016年所發表的報告預估，全球智慧穿戴健身運動器材與服務市場年複合成長率將由2016的25.22%上升至2020年的38.35%。推動市場成長的主要動力為消費者對於健康生活型態日益重視、以及運動員藉由智慧穿戴裝置分析其運動狀況，提升運動表現。國際知名大廠Apple、Garmin、Samsung等更相繼推出著重於運動應用之穿戴產品，強化精準深層等訓練。

動作偵測越加多樣精確

就目前市面上多數智慧手表而言，簡單的日常活動偵測，如走路、跑步或睡眠，已是基本的必備功能，最新推出之產品更進展到多樣化的運動偵測與應用。例如Apple的watchOS 4加入了更多智慧型的動作感知來協助使用者進行健身運動，其中包括了偵測走路、跑步、單車、高強度活動以及不同泳姿的游泳運動等。

Fitbit的SmartTrack功能可以自動追蹤使用者是否正在進行走路、跑步、戶外單車、橢圓機(Elliptical)、有氧運動等活動，並可偵測一些動作幅度大的運動，如：網球、籃球與足球等；而加入了防水功能的Flex 2可以自動追蹤使用者在泳池內以四種常見的游泳姿勢(自由式、仰式、蛙式與蝶式)所持續的時間以及所游的距離。三星的Gear Fit2 Pro則增加了仰臥起坐、深蹲、開合跳等健身動作自動計數功能，讓使用者可以更輕鬆的進行健身活動。

而根據這些運動偵測結果可以進一步的提供使用者健身目標規畫與挑戰，將被動的活動偵測提升到如教練般主動給予建議的角色。如Moov Now針對健身設計了一套動作，讓使用者可以跟著耳機裡的指示，循序的進行健身運動，計畫性的達到燃脂的目的。

新創公司Coach T則利用動作辨識來協助使用者學習網球揮拍動作，教練可以針對學員的每一次揮拍錄製相對應的口語指導。之後在學員單獨練習時，Coach T手機上的應用程式便可比對當次揮拍與之前所記錄之揮拍動作相似度並播放相對應之指導音檔，猶如教練仍在身邊指導一樣。

除了終端應用程式上的活動偵測外，部分新創公司也針對智慧化的健身運動記錄與動作評量提供軟體開發工具組(Software Development Kit, SDK)，如FocusMotion提供了超過50種預先定義好的健身動作計數功能，並且可以讓開發者自定動作，讓開發者可針對自身的應用定義動作或手勢。開發者只需收集資料，便可將動作偵測加入應用之中。Kiwi則是提供健身動作、活動(包括運動)以及自定動作等3種模組予開發者進行應用開發。每種模組提供5種動作辨識，開發者可視自身需求來挑選適合的模組。

圖1 智慧穿戴裝置產品類別、出貨量、市場占有率與年複合成長率

資料來源：IDC Worldwide Quarterly Wearables Device Tracker, June 21, 2017

感測器與AI讓穿戴裝置更聰明

究竟上述這些智慧產品如何判斷運動資訊？目前不論是智慧手表、智慧手環、智慧衣、智慧眼鏡或智慧鞋，都是利用裝置內的慣性測量單元(Inertial Measurement Unit, IMU)來達到智慧感知的目的。慣性測量單元能夠偵測裝置的運動狀態(如加速，旋轉與方位等)，再加入人工智慧-即搭配相對應之演算法，可辨識使用者之動作內容。

結合其他感測器，可以監測與記錄使用者運動狀態，並提供心率、卡路里消耗、睡眠數據等資訊，進而洞悉使用者健康。應用於專業運動領域如網球、高爾夫、足球、籃球、滑雪等，智慧穿戴可偵測運動員速度、計算距離、呼吸與心跳資訊，透過解析感測資料，可以提供運動員訓練建議以及在比賽中做出關鍵決定。

讓穿戴裝置越來越聰明的核心之一為人工智慧的運用，利用深度學習技術解析慣性感測單元資料，可以自動地學習出慣性感測單元訊號中階層式的關係。而以類神經網路來實現便是一個具有多層架構的網路模型。

但類神經網路早期因為電腦運算能力較弱以及沒有大量資料來進行網路訓練以取得較佳的參數組合，所以沒有太突出的表現。加上Hornik等研究者在1989年發表的論文[1]，證明了單一隱藏層的類神經網路可逼近任何多變數的連續函數，因此除少數例外，早年研究者較少探討多層架構。直到近年GPU以及硬體運算能力的提升，有利於處理大量資料，再加上雲端運算技術的出現與最佳化演算法有所突破，類神經網路在近幾年終於又重新嶄露頭角。

深度學習中最有名的卷積神經網路(Convolutional Neural Network, CNN)概念來自貓的視覺神經細胞以階層形式運作的假說。由Hubel及Wiesel在1968年提出[2]。現行的CNN則主要是LeCun等人所提的LeNet[3]。CNN在輸入層之後有兩種神經細胞層，分別執行卷積(Covolution)以及池化(Pooling)運算。

以影像辨識問題為例，卷積運算將一張影像切割為多個局部影像，每個節點針對局部影像進行運算。舉例來說，假設原始影像大小為m×n，所設定要擷取的局部影像單張大小為r×r。一種可能的做法是將r×r的正方形由原始影像左上角開始，每次往右位移一個單位，到最右方之後回到最左方，但往下位移一個單位。如此反覆進行，直到覆蓋到整張影像為止。圖2是最左上方的節點在一個3×3的局部影像中進行運算的例子。

卷積運算之後通常會進行的運算為池化運算。上一層卷積運算的輸出可視為一新影像。在此新影像上，可設定另一局部影像，根據在此局部影像內的資料進行池化運算。常見的池化運算為在所有輸入資料內取最大值或是計算平均值等。池化運算完的結果可再傳給下一層進行卷積運算，然後再進行池化運算。反覆數次之後，最後的輸出便拿來作為一個分類器的輸入，進行影像辨識。

圖2 卷積(Convolution)運算的例子

資料來源：資策會智慧系統所

深度學習至今已在電腦視覺及語音識別等領域，取得領先地位。例如Google Brain完成了辨識影像中的「貓」、ImageNet進行照片辨識、TIMIT之語音辨識等成功案例，皆說明深度學習已相當成功。目前智慧手表或智慧手環之應用將越來越普及，分析源於智慧手表等穿戴裝置之動作感測器訊號以理解使用者之動作狀態等應用需求將越來越高。

然而，為了分辨出不同動作以進行互動，應用開發者需要具有相關的機器學習技術，且需針對不同載體來進行程式碼優化以帶來更順暢的使用者體驗。整個過程從設計動作、資料收集程式開發、辨識演算法開發、動作資料收集、動作模型訓練一直到終端程式與動作模型部署，總共所需時間通常超過數個月。

慣性測量單元動作偵測開發工具套件

為了加速整個開發流程，讓開發者可以專心於終端應用與服務設計上，資策會智慧系統所嘗試對深度學習中的卷積神經網路架構進行改良，並針對特定終端運算限制進行網路優化以達到即時偵測動作之目的，並且為了因應越來越多樣化的穿戴裝置智慧感知開發需求，發展出一套以慣性測量單元為基礎的動作偵測開發工具套件。

終端應用開發者只需透過三個步驟：一、收集資料；二、模型訓練；三、應用部署，便可將動作偵測功能加入自身的應用當中，如圖3所示，期望開發者可藉由此工具套件快速地開發以動作辨識為主的運動健身應用。

圖3 動作偵測開發工具套件應用流程圖

資料來源：資策會智慧系統所

該工具套件進行動作偵測開發三個步驟如下所述：

資料收集

為一資料收集程式，協助使用者收集並標記從慣性測量單元所收集來的資料。此程式以得到品質佳的動作資料為目標進行設計，提供動作清單新增與編輯、動作軌跡檢視、當次動作資料捨棄等功能。而在收集流程上則以系統主導流程的方式進行，避免收集時，因不同使用者習慣而導致的資料變異性過大問題。

動作模型訓練

動作種類會因應不同應用而有所差異，為了讓不同類型的動作模型訓練自動化，在訓練動作模型時採用深度神經網路技術，利用卷積與池化層協助進行特徵擷取與特徵選取，以減少模型訓練期間專家介入的需求，並考量最後行動載具的運算資源來調整網路架構與進行程式碼優化。在維持正確率的情形下盡量減少運算所需時間以提供良好的使用者體驗。

模型部署

該工具套件提供不同載具開發用的SDK，開發者僅需將SDK引入專案中，並於應用中使用動作偵測函式，再將訓練好的動作偵測模型複製到指定的目錄下，便可成功加入動作偵測功能至要開發的軟體。

透過上述三個步驟，開發者便可整合動作偵測於運動健身應用。目前該工具套件已經初步應用於復健動作品質評量以及虛擬實境遊戲操控中。如圖4所示，使用者只需戴上智慧穿戴裝置，如智慧手環、手表或Google Daydream控制器，做出預先定義好之手勢，便可控制虛擬實境遊戲中之角色發出特定的招式。另外，透過動作模型也可以即時回饋使用者復健動作是否正確，以增強復健效能，如圖5。