產經情報

計算機視覺加上傳感器,科學家研發AI手語識別

日期:2020-08-21

科學家終於找到了能讓人工智能識別我們日常生活中使用的手勢的方法,雖然語音識別機器人已經存在,但在它們能夠破譯我們的雙手到底在做什麼之前,即使是最複雜的人工智能也較困難去理解人類交流的關鍵。

過去,如果想讓手語即時翻譯成口語,大部分都得在桌機環境中進行,主要是因為使用手語時,手勢可能會遮到自己的手指、手掌或是手會因為一些原因而抖動;再加上手語的手部動作其實很細微,而且手語的速度其實並不慢,即使採用多個攝影鏡頭拍攝,但這些辨識對機器視覺來說,還是屬於高強度挑戰,也因此很難在手機或行動裝置中進行追蹤、辨識、分析後進行即時翻譯。


手部識別是具挑戰性的電腦視覺工作

「目前最先進的方法都是依賴效能強大的桌機環境,而我們的方法可在手機做到即時追蹤,甚至能延伸到多手部。」Google 研究人員於官方部落格寫到。強悍的手部追蹤演算法是具挑戰性的電腦視覺工作,因手部經常會被動作遮擋,且缺乏高對比模式。

研究證明,這些問題都在於輸入這些算法的數據,但現今有了更好的傳感器,南洋理工大學的研究小組認為他們已經解決了這個問題。科學家們會使用計算機視覺(視頻片段的技術術語)來訓練人工智能,而它有助於用人們戴著動作捕捉手套做出手勢的空間信息來補充這些數據。


在手上安裝了一個傳感器

這些設備可能很笨重,與人工智能需要解釋的精細動作相比,它們提供的數據幾乎毫無用處。因此,根據發表在《自然電子》雜誌上的研究,南洋理工學院的團隊去掉了沈重的機器人技術,代之以在表演者的手上安裝了一個有彈性的、合身的傳感器。

由此產生的人工智能並不是一個溝通的高手,而且人類若指望任何算法能夠真正理解我們所說的話還為時過早,但研究小組確實知道,它至少理解了手勢的含義,它們能夠僅憑精細的手勢就引導機器人穿過迷宮。得知人工智能開始迎頭趕上總是很酷的,但對於我們這些人類過於複雜的手勢,機器還需要很長一段時間才能理解我們在做什麼。