Включи камеру, и я покажу, какие жесты вижу. Всё считается здесь, в браузере: кадры никуда не уходят.
Модель жестов — MediaPipe Gesture Recognizer (Google, Apache-2.0), лицо — BlazeFace. Работают в браузере на твоём ПК или телефоне; в программу ПК переедет тот же код. Взмах вбок и «сел / ушёл» я считаю сам поверх модели.