產經情報

AIFLY團隊解碼患者姿態辨識

日期:2020-11-27

AI 工程師與清華資工系的絕妙組合
AIFLY 是 AIGO 計畫中較為特別的參賽隊伍,既不是新創團隊,也非學校組隊,團隊人數也很少,是由兩個朋友因應這次活動而臨時成軍的組合。話雖如此,他們可不是什麼雜牌軍,一位是台灣人工智慧學校的 AI 工程師王柏鈞,另一位則是清華大學資訊工程系的大學四年級學生阮羿寧。

王柏鈞之前在製造業做電子與電控,後來轉職到台灣人工智慧學校,獲得很多和人工智慧相關的專案管理經驗,目前擔任台灣人工智慧學校技術發展處的 AI 工程師。他眼中的隊友阮羿寧,雖然還是大學生,但她在程式碼編寫上很有邏輯,專案架構亦是條理清楚,並且也有 App 開發的相關經驗,這正好彌補柏鈞所欠缺的。

王柏鈞認為:「人工智慧發展到現在仍是一個學門,它不是落地的技術,也不是終端產品。通常很難把 AI 直接當成產品,要透過網頁或硬體的方式做包裝才可以。」

這兩人組成的 AIFLY 團隊,選擇由豐醇科技有限公司出題的「馬術姿勢影像輔助判斷系統」,主要是因為王柏鈞具有相關經驗——曾與知名光學設備製造商「台灣股王」大立光電合作過「姿勢識別」(Pose Estimation)技術。

馬術治療是一種應用馬匹的物理治療方式,主要服務腦性麻痺兒童,但目前馬術治療需要治療師、教練、防護員等陪同,課程所費不貲,且馬術治療中心在國內並不普遍。許多家屬會帶領患者自主訓練,但也因此缺乏專業治療師及醫師給予意見。豐醇科技希望透過 AI 的力量,將影像或照片進行數據分析,判別治療者騎乘馬匹時與正常標準姿勢的差距,以數據的呈現方式,提供治療師記錄查閱使用,還可降低家屬的訓練費用。阮羿寧也認為具有社會公益性質的題目,很值得嘗試。

人工智慧新興領域——姿勢識別
大約在 2016 年之後,才有人開始使用 AI 來做「姿勢識別」,至今還沒有很多資源可以使用, AIFLY 團隊花了一些時間在網路論壇上搜尋相關論文(如:Papers With Code),分別測試了約 8 至 9 篇,然後使用 Google Codelabs 寫出一個草稿,便送出提案。

初版的提案構想是將這個系統做成二分法,用 AI 做姿勢識別——抓出 17 個關節後分析,即可分成正確姿態與不正確的姿態。

但當提案通過,兩人和豐醇科技實際接觸得到與治療師詳談的機會後,才發現對方真正的需求是「必須要知道患者和正確的姿態相比,到底偏離了多少角度」,若治療師判斷偏離 x 度以上就需要矯正,才能以此著手治療。

一番討論後定義出新的辨識系統:判斷偏離的角度。這時,真正的工作才剛開始。這個系統的使用者將會是患者的家長,且治療師並不會在場,更增添難度。由於照片是在患者騎馬時拍攝,會有各式各樣的拍攝角度,陽光的角度也各不相同,一開始當照片裡面出現馬頭, AI 模組甚至會辨識到馬的姿勢,而誤以為患者是背景。

AIFLY 團隊摸索出問題的解法,就是做「語意分割」:先讓電腦做照片元素的初步辨識後,分割人、馬與其他物品,把像素切割後剩下人,然後調整照片,最後再做「姿態分析」。

此外,因為是騎馬,照片的拍攝上幾乎都會有一部分患者的身體被自己或被馬遮住,不過 AIFLY 也順利地找到 AI 界前輩釋出已訓練好的模組解決所面臨的難題,使用將 2D 座標轉成 3D 座標的方式,判斷被遮住的身體部份會是什麼姿勢的機率最高。

比賽帶來諸多助益,解題結果將實際推出
阮羿寧提到:「這個題目會是可以持續發展的 Project,很可能未來能夠實際推出 App 給小兒麻痺的患者使用,豐醇科技已媒合小兒麻痺治療的團體,之後會做使用者測試。」

她也表示,這次 AIGO 計畫對她個人技術上的成長相當有幫助,以前沒有做過姿態辨識的題目,在這次比賽中,隊友王柏鈞的業界經驗無形中傳承給了她,在實際使用過相關的 AI 模組之後,她也非常有興趣繼續在未來發展使用。

阮羿寧更因為 AIGO 計畫而獲得工作機會,她代表團隊出席頒獎典禮時,就有公司邀請她擔任資料工程師。

王柏鈞則認為,台灣目前有相當多的產業正準備進行數位轉型,但轉型的過程,絕不是單純委託外部顧問就能完成的,必須要有內部團隊,以及在該領域深耕的資料科學團隊共同合作。而 AIGO 計畫的獎金與模式,可以連結資料科學團隊及企業,並讓資料科學團隊累積該領域的經驗和對 know-how 的認知。希望未來 AIGO 計畫能持續辦理,協助團隊持續深耕某一領域。