結合感測器融合與REC技術　物聯網應用功能再升級

感測器已用於各種應用中，如智慧行動裝置、汽車系統、工業控制、醫療保健、石油勘探和氣候監測等，可謂無處不在。現今感測器技術已開始密切模仿終極感知裝置，即人類。感測器融合技術使上述成為可能，該技術利用微控制器(MCU)將透過多個感測器採集的各個資料融合，獲得的資料視圖比單獨使用各個離散感測器獲得的資料視圖更準確、更可靠。透過感測器融合技術，整體採集的資料遠遠大於各感測器獨立採集的資料總和。

感測器融合支持環境感知，這對物聯網(IoT)來說蘊藏著巨大潛力。感測器融合針對遠端情感計算(REC)，亦即情感感測和處理的演進，在未來還可能產生新應用，包括智慧醫療；然而，這些功能也帶來物聯網監管中須解決的嚴重隱私問題。藉著感測器融合和REC技術採集的大量環境感知資料，可結合物聯網對「空中全球神經網路」和基於雲的處理資源，進一步發展成針對特定情況提供定制的環境感知服務。這些服務可基於個人使用者正在做什麼、設備正在做什麼、基礎設施正在做什麼，大自然正在做什麼等環境，以及所有上述內容的各種組合。

感測器融合運作似人體感知

為了解感測器融合如何工作，本文將舉人體內感知工作方式為例，並進行說明。一個人在許多方面體驗外部世界，包括視覺、聽覺、化學感覺(嗅覺和味覺)和表面感覺(觸覺)，都提供關於一個人周圍環境的感官資訊，這些資訊通過外周神經系統(PNS)傳遞給大腦，然後大腦決定如何針對這個情況或體驗進行回應(圖1)。

圖1　人體感知運作示意圖

PNS對傳輸的資訊並不制定複雜決策，這些決策由大腦制定。對感覺輸入，大腦的反應是發送運動資訊，這是人類對輸入資料的回應，例如，一個行人看到一輛汽車向他開過來，他的大腦告訴他的肌肉以更快的速度走到另一邊，避免發生事故。人們還接收來自內臟器官的資訊，其中一些資訊非常明顯，如胃疼。還有其他類型的體內資訊是人類無法感知的，如血壓，這些資訊用於調節人體的內部環境。

大腦是最終的決策者。然而，如果沒有外周神經系統帶來感知資訊並發出運動資訊，人將無法行走、說話或執行其他許多的功能。大腦經常使用數個感官輸入源驗證事件，並完善非「完整性」的資訊，從而做出決策。例如，人類可能看不到汽車引擎蓋下的火焰，但橡膠燃燒的氣味和儀表板散發的熱量將告訴大腦須離開這輛汽車，因為引擎起火，在這種情況下，使大腦做出反應的資訊大於獨立感官輸入的總和。

在技術世界，感測器融合發揮的作用與此相似。感測器融合將來自多個感測器的輸入資料整合在一起，提供更準確、更可靠的感測，能夠產生更高水準的認知，並提供新的應對措施。各個感測器都有其局限性，可能產生錯誤，但這些錯誤可以由補充感測節點進行糾正或進行補償，例如，陀螺儀會隨著時間的推移而產生偏移，可使用配備的加速計補償這些偏移，因此，來自多個感測器融合的感測器資訊，比單獨的感測器資料更準確、更可靠。

感測器技術日新月異

本文舉計步器簡單示例說明(圖2)。傳統的計步器使用一個鐘擺，須以垂直的角度佩戴在髖關節，以避免讀數計算錯誤，當使用者走動時，計步器跟蹤鐘擺隨著髖關節的運動來回擺動，擺動一回便計數一次，以此對每一步進行計數。然而，由於步幅、攀登/步行角度的變化，以及當使用者駕駛汽車或進行其他運動時的錯誤計步，無效讀數很常見。

圖2　計步器應用範例

基於MEMS的慣性感測器有很大的改進。第一代基於MEMS的計步器使用的加速計對人的加速度執行一軸、二軸或三軸(3D)檢測，更準確地測量步數。此外，老式機械計步器只根據擺動次數記錄步數，而加速計則每秒多次測量一個人的運動。

但是，若消費者不僅想計量步數，還想準確地計算上下樓梯或上下山時燃燒的卡路里，可採用添加高度計的下一代計步器，測量和計算個人在行走時相對於某個固定參考點的高度變化。高度計用於檢測高度計或氣壓計(BAP)應用中的絕對氣壓，要獲得精確的壓力讀數還須要進行溫度測量，因此通常會增加某種溫度補償電路以提高測量精度。

繼掛在慢跑者手臂上的早期可攜式音樂播放器獲得成功後，現在有許多設計佩戴在手臂上的獨立計步器和具備計步器功能的手機(並非掛在髖關節的皮帶上)。在此使用案例中，手臂運動引入寄生運動，陀螺儀可測量手臂的旋轉運動並對其進行補償。將三種感測器(加速計、高度計和陀螺儀)和微控制器結合在一起測量和處理讀數，就可開發高精準度計步器。

Win 8加速感測器融合發展

最基本的感測器融合示例是電子羅盤，電子羅盤結合3D磁力計和3D加速計提供功能，而更複雜的感測器融合技術增強使用者體驗，充分利用3D加速計、3D陀螺儀和3D磁力計(測量相對於給定裝置空間方向的特定方向上的磁場組成)，並融合在一起。每種感測器都有獨特的功能，但也有其局限性。

感測器融合結合這些感測元件，接收來自多個感測器的同時輸入，並對輸入資料進行處理，產生一個綜合各個部件輸出的最終輸出值，即感測器融合使用特殊演算法和濾波技術，消除各個獨立感測器的不足之處。

感測器行業目前面臨的問題之一是各個作業系統(OS)缺乏標準化。目前，大多數OS驅動程式需要最基本的感測器資料，這使感測器無法發揮其所有功能。感測器融合是微軟(Microsoft)市場策略的一部分，因此Windows 8 OS都支持感測器，並使用感測器級驅動程式，帶動符合其與微軟的生態系統合作夥伴共同制定的標準(Human Interface Device specification 2011)。另外，Windows Runtime編程模組允許羽量級執行調用，使感測器能夠在硬體級進行處理。

感測器融合通常是指結合3D加速計、3D陀螺儀和3D磁力計，這種配置被稱為九軸系統，為使用者提供九個自由度(9-DoF)的感測。2012年，飛思卡爾(Freescale)推出支援Windows 8作業系統的十二軸感測器平台(圖3)，提供12-DoF感測器融合解決方案，該解決方案包括氣壓感測器、溫度感測器和環境光感測功能。

圖3　Windows 8十二軸感測器資料流程

十二軸感測器此一硬體和軟體平台使用32位元微控制器，融合加速計、磁力計和陀螺儀資料，並提供易於整合的特性，可簡化開發工作。微軟的Windows 8 OS針對平板裝置、筆記型電腦和其他行動裝置，借助個人電腦的計算能力，擴展智慧型手機和平板裝置應用的功能。

基本的感測器融合處理需10?12MIPS處理週期，而9-DoF感測器融合則要求感測平台可達到18～20MIPS處理週期。有各種方法可以滿足這些處理要求，包括為感測器處理添加專用的輔助運算器，或使用足夠性能擴展空間、允許隨著時間的推移增加新功能的微控制器。如果工程師本就需微控制器為物聯網應用執行嵌入式處理，那麼增加微控制器選項將是有利的，因為可一舉兩得。

感測器平台應用多元

感測器業者正在進行有關感測器在醫療電子方面的使用，以及非醫療應用的多感測器處理的研究。Jose Fernandez Villasenor是一位醫學博士兼電氣工程師，研究使用感測器(REC技術的較大基本構件)進行情感分析。研究表明由於物理活動導致心律增加的模式和幅度，與由於腎上腺素激發的心率增加不同，因此人們可使用演算法並分析感測器資料，以電子方式檢測一個人所顯示的情感的類型。

以下是一個遊戲平台示例，這個遊戲平台能夠監控生理變化和狀態並採集資料，從而以電子方式檢測情感，例如通過壓力感測器偵測肌肉放鬆(MR)與收縮(MC)、透過一個晶片上的雙電極心電圖(ECG)感測心律變化(HRV)、利用電容式感測器感測玩家流汗程度，以及透過加速計監測一個人的放鬆狀態(生澀的動作和平穩的手)。

能夠在遊戲情境過程中檢測情感，並為玩家提供回饋，將可使遊戲更精彩。是否可在賽車遊戲中當檢測到玩家處於更放鬆的狀態(加速計的讀數減少)，然後使轉彎速度更快、更難操控？如此一來，能更好控制情感、沉穩的駕駛員得分會更高(與現實生活相似)。如果本地控制台的微控制器提供處理功能，將被視為本地情感計算；若基於雲端系統提供處理功能，則被視為遠端情感計算。在基於雲端的系統中，可利用複雜的大資料演算法對遊戲場景提供更詳細的回應。

在另一個示例中，感測器可用於通過測量使用者拿手機輸入文字或撥打電話的方式，檢測使用者的情感。此外，軟體演算法可用於分析人輸入文字的方式、手機運動是否平穩或者在輸入文字時犯了多少錯誤(使用倒退鍵)，提供有關個人心理狀態的其他背景。

感測器融合擴大物聯網應用

物聯網包含許多應用實例，從互聯家庭和城市、互聯的汽車和道路到跟蹤個人的行為，並使用採集資料推送服務的裝置。物聯網是一種普遍的「空中全球神經網路」，將觸及生活的各個方面。從技術的角度來看，物聯網被定義為與其他機器、物件、環境和基礎設施進行交互和通訊的智慧機，會產生大量資料，並將這些資料處理成有用的行為，可指揮和控制事物並使人類的生活更加輕鬆。

所有物聯網應用的通用要求，包括感測和資料獲取功能(感測節點)、本地嵌入式處理層功能(本地嵌入式處理節點)、有線和/或無線通訊功能(連接節點)、軟體自動執行任務，並啟用新的服務類別、遠端網路/基於雲的嵌入式處理功能(遠端嵌入式處理節點)，以及整個訊號路徑都具有完整的安全性(圖4)。

圖4　物聯網應用基本架構與要求

物聯網需要的感測節點類型變化很大，具體取決於所涉及的應用。感測節點應包括用於圖像監測的照相機系統、用於智慧能源的水或氣流量計、雷達視覺(在需要主動安全時)、感測物件或人是否存在的無線射頻識別(RFID)讀取器、帶有開/關電路的門和鎖(指示樓宇入侵)或測量溫度的簡單溫度計。

這些節點都有一個唯一的ID，可通過遠端指揮和控制拓撲單獨進行控制。現在有一些應用實例，帶有RFID和/或近距離無線通訊(NFC)和全球衛星定位系統(GPS)功能的智慧型手機，可接近和獲取一座大樓內各個支持RFID/NFC的事物，與它們進行溝通，並在網路上註冊物理位置，因此，RFID和NFC在遠端註冊方面將占有一席之地，最終，智慧型手機將能指揮和控制物聯網。

情境感知創造物聯網新應用

感測器融合與嵌入式處理及連接技術一起支持情境感知，而情境感知又實現一個全新的服務世界。情境的定義是構成事件、聲明、情況或想法的設置情況或事實，在軟體編程中，開發情境感知應用的想法已有一段時間。情境感知的應用包括檢查誰、在哪裡和什麼時候，軟體設計人員使用情境資訊確定發生某種情況的原因，然後在應用中解碼一些行為。

根據這個定義，構成情境感知行為的四類最重要的資訊包括身分、地點、時間與活動。在使用情境資訊制定決定性的行為時，首先在人和人間產生境介面，然後在情境中，在機器和基礎設施要素間產生情境介面。帆布、一套油漆管和刷子能夠讓藝術家創造一幅傑作，同樣，情境感知和這些介面是支援各種服務的工具，如果沒有這些，那麼這些服務將沒有意義。透過感測器能接入人的心態，使體驗更加個人化。

人、自然和環境，以及機器/基礎設施間的交互(介面)為環境感知提供寶貴的資料點，包括人、運動、姿態和步伐、對刺激的反應、在特定條件下的情感、任何特定時間的生物特徵。而周圍環境的地點、高度、溫度、濕度、光、聲音和味道，以及人們使用基礎設施/機器的軌跡、影響、速度、回饋、振動和轉動，以及與結構完整性相關的變化，也都是環境感知的資訊來源(圖5)。

圖5　感測器融合環境感知運作架構

在物聯網中，感測節點採集資料並輸入後，嵌入式處理器將對情境感知資料進行處理，然後提供回饋並立即採取行動，或者繼續傳遞資料以便進行基於雲/網路的處理。後者需各種連接機制才能把資料傳遞到核心網，如手機或連接的平板裝置就會變成閘道，連接到廣域網路(WAN)。

設想一種情形，使用一個感測器融合平台，充分利用本地嵌入式處理及基於雲的軟體技術，例如在網際網路搜索和線上諮詢中使用的模式識別及機器學習，遠端監控各種情況，並提供全新的服務類別，所有這些都由基於雲的指揮和控制中心自動完成，而無需人的互動。

上述服務的種類只受人類想像力限制，各種情況可能包括，水果和蔬菜紙箱上的感測器能夠跟蹤位置、溫度、運輸途中的振動、顛簸及產品的氣味，事先警告腐敗情況，然後基於雲的指揮和控制中心可自動與運輸卡車或火車進行通訊，重新安排運輸線路並存儲這些食物。

另外，提供方向、優惠券、放大的實境地圖和關於交易、免費音樂會及其他娛樂、社交網路的資訊，並根據購物者的健康史提供就餐地點資訊，將可幫助商場的消費者獲得更好的購物體驗。感測器融合平台可用於減少醫院護士檢查病人生命徵象的次數，降低醫療成本。還可將其用於遠端監測病人，並在必要時提供建議或提供預防保健。

在大多數情況下，設計工程師不需要重大的技術突破便可實現上述情況，且人們已非常關注使用大資料處理、分析工具和機制來生成這些服務類型，應用工程師只須逐步改進並將技術生態系統和參與者匯聚在一起，制定遊戲規則，並從較小的孤立雲遷移到空中全球神經網路(圖6)。

圖6　結合環境感知、感測器融合與通訊技術的物聯網運作架構

感測器採集的資訊可用於改善和簡化人們的生活的服務，透過感測器融合和REC技術，物聯網系統業者可為應用產品組合添加更多功能。正如網際網路在不久前像野火般迅速發展，預計不到10年，物聯網便會觸及生活的各方面，感測器融合便是物聯網普及的先鋒。

(本文作者為飛思卡爾MCU策略行銷和業務發展總監)