產經情報

IconNet 視覺物體偵測模型用以辨識 App 內圖標

日期:2021-02-03

Google新開發IconNet視覺物體偵測模型,用來強化其無障礙應用程式Voice Access辨識圖標的能力,進而改進行動應用程式的可存取性。Voice Access是一個Android上的應用程式,可讓使用者以口語命令來自由控制裝置,過去Voice Access需要仰賴螢幕上使用者介面元素的無障礙標籤來運作,但是在許多應用中,像是圖像或是圖標,並非總能提供適當的無障礙標籤,如此也就降低了Voice Access的可用性。

為了解決這個問題,Voice Access必須要能夠藉由偵測螢幕上的畫素,來自動辨識圖標,而非僅仰賴無障礙標籤,因此Google開發了IconNet,這是一個以視覺為基礎的物體偵測模型,該模型可以使用與應用程式低層架構無關的方法,自動偵測螢幕上的圖標,目前這項功能已經加入到最新的Voice Access應用程式中。

IconNet僅透過使用者介面螢幕截圖,就可以偵測31種不同的圖標類型,接下來還會擴充至70多種,為了要讓IconNet在裝置上順暢運作,IconNet經過最佳化使其適用於行動環境,模型被設計成小巧且快速的形式。

詳細內文請參考網址