產經情報

Google開發可計算動作重複次數的模型RepNet

日期:2020-07-05

Google開發出可以理解各種重複過程的模型RepNet,像是人類跑步、鐘擺以及鳥類拍動翅膀等動作,Google提到,過去的研究是跨不同的影片,以非常精細的等級理解同一個動作,而這個研究則是從單一影片,辨識出不停重複的動作。

RepNet是一種模型,以影片作為輸入,這些影片包含各種周期性動作,RepNet能計算動作重複的周期數,而過去解決重複計數的問題,通常是比較影格的像素強度,但是Google提到,實際的影片在拍攝過程,攝影機可能會移動,場景中的物體也會被遮蔽,比例還可能出現急劇變化,所以模型必須要能夠學習不受這些雜訊影響的特徵。

因此Google以端到端的方式訓練機器模型,來估算重複的次數,RepNet由3部分組成,影格編碼器,以及稱為相似矩陣的中介表示,還有周期預測器。

詳細內文請參考網址