模型縮小燈!模型壓縮與邊緣計算的結合
「目前AI的問題,已不在於模型夠不夠強,而是模型夠不夠小,是否能放在邊緣設備中運行。」
人工智慧科技基金會的AI工程師Chris,曾經接觸過睡眠品質分析、利用生成式對抗網路之車聯網路障系統等專案,專長研究領域為電腦視覺、深度學習及生成式對抗網路的他,以深入淺出的方式向觀眾解釋Edge AI的原理。
Chris表示,邊緣設備是具備聯網、運算能力的小型硬體設備,其便宜、體積小、方便部署、低功耗及便於結合各種感測器的特性,使它成為AI進入產業的絕佳選擇。
目前AI的流程,主要分成訓練模型learning與執行模型inference,以自駕車為例,自駕車本身的並沒有空間容納過大的計算資源,若所有判斷都需經由雲端計算才能返回結果,一來一回的時間將導致即時性不足,假如邊緣設備中,有具備自主運算與決策能力的inference model,即時性便能大大提升。
詳細內文請參考網址