Ultrazvukové 3D sledování polohy ruky s AI

Navrhli a realizovali jsme 3D detektor polohy ruky s HW akcelerovaným algoritmem pro AI výpočet polohy ruky z akustických odrazů založený na ultrazvuku. Zařízení používá piezoelektrický generátor akustických signálů s frekvencí 40 KHz a 2 x 16 mikrofonů uspořádaných ve dvou na sebe kolmých liniích. Ultrazvukový signál vracející se po odrazu do mikrofonů je konvertovaný pomocí beamformer algoritmu. Algoritmus počítá 3D datovou representaci intensity akustických signálů, která je vstupem pro AI algoritmus, který je natrénovaný pro sledování 3D pozice ruky. 

Ve fázi trénování AI modelu jsme systém doplnili o Leap Sensor pracující s infračervenou kamerou. Doplnili jsme také standartní web kameru. Data z Leap sensoru sloužila jako referenční data pro trénování AI modelu.

Natrénovaný 3D AI model poskytl dostatečnou 3D přesnost sledování polohy pro obě ruce i pro detekci situace, kdy před sensorem je jen pravá, levá nebo žádná ruka.

AI model byl konvertován na kvantizovaný AI model vhodný pro implementaci v int 8 aritmetice podporované v AMD HW akcelerátoru. Tento HW akcelerator byl integrován v programovatelném hradlovém poli, které je součástí AMD Zynq Ultrascale+ chipu, spolu s HW akcelerovaným beamformer algoritmem. Systém podporuje Linux OS a provádí sledování 3D polohy ruky založené pouze na ultrazvuku s rychlostí měření polohy ruky 18 krát za vteřinu.

Také jsme navrhli a implementovali na ultrazvuku založené 1D sledování vzdálenosti ruky. Algoritmus pracuje s Bayesovským testováním hypotéz o presenci/absenci ruky s adaptivní rekursivní RLS identifikací parametrů systému pomocí Lattice algoritmu [1].