Техника понимает жест, а руки остаются занятыми
Распознавание жестов с обычной камеры. Модель считается прямо на устройстве — без облака, без подписки, без перчаток-контроллеров и камер глубины. Телефон, ноутбук или микроконтроллер с камерой.
Как это работаетЧетыре звена, все на устройстве
Кадр
Обычная камера: вебка ноутбука, камера телефона, камера микроконтроллера. Ничего специального.
Кисть
Модель находит 21 точку кисти в трёх координатах — глубину она тоже видит, поэтому палец, направленный в камеру, не теряется.
Слово
Позы превращаются в короткий словарь: указатель, скролл, пауза, нажатие. Одна поза — одно значение, никаких скрытых режимов.
Действие
Клик по элементу, прокрутка, пауза — или событие, улетающее на робота, станок, медиапанель.
Инженерные решения, которые видно по поведению курсора
- Одна поза — одно значение. Четыре слова вместо десяти. Непонятная поза означает «пауза», а не тишину: система не молчит, она говорит, что не поняла.
- Прицел фиксируется до щипка. Палец, который складывается для нажатия, сам сдвигает точку прицела. Поэтому цель запоминается на последнем открытом кадре — нажатие приходит туда, куда человек целился, а не туда, куда уехал палец.
- Сглаживание адаптивное. Фильтр меняет силу сглаживания по скорости руки: медленное движение точное, быстрое — без запаздывания.
- Курсор не исчезает. Он рисуется в каждом кадре и в любом состоянии, а состояние показано цветом и подписью. Потеря кисти даёт надпись «кисть не в кадре», а не тишину.
- Ложный кадр не переключает режим. Смена позы подтверждается выдержкой — одна ошибка распознавания ничего не ломает.
Словарь жестовПовторяет язык, принятый в шлемах дополненной реальности: нажатие — щипок, перетаскивание — щипок с движением, прокрутка — взмах
| Жест | Что делает | Основание |
|---|---|---|
| Один палец | Указатель — точка прицела | Луч из указательного пальца |
| Два пальца | Прокрутка | Свайп по поверхности |
| Открытая ладонь | Пауза | Жест, который модель понимает сама |
| Сжатый кулак | Та же пауза, а не отдельный режим | Одно действие — одно следствие |
| Щипок, короткий | Нажатие | Стандартная лексика шлемов: «щипок и отпустить» |
| Щипок, удержание ~0,8 с | Второе нажатие — вызов контекстного меню | «Щипок и держать» |
| Щипок и движение | Перетаскивание, за захваченным следует кисть целиком | Захват без смещения цели |
Куда это ставитсяОдна технология — четыре носителя, от браузера до микроконтроллера
Браузер
Android, iOS, Windows, Linux, macOS. Ничего не устанавливается: открывается страница, нажимается кнопка доступа к камере. Отдельная ценность для школ, больниц и госучреждений, где ставить софт нельзя в принципе.
Приложение для Android
Управление не страницей, а самим телефоном: системный указатель, перелистывание, отклик вибрацией. Требует службы доступности — включается вручную в настройках.
Программа для Windows и Linux
Рабочее место: камера смотрит на человека, жесты уходят в систему или в приложение — слайды, медиапанель, схема на экране.
Микроконтроллер с камерой
ESP32-S3 и ESP32-P4 со встроенным распознаванием: девять жестов, полностью автономно, без сети. Девять жестов хватает на «стоп», «дальше», «назад», «принять» — это язык рабочего места, а не рабочего стола.
Другие распознаватели
Тот же конвейер, другая модель: поза тела по 17 точкам, наличие защитной экипировки, вход в опасную зону, положение головы для управления без рук.
Жесты как канал для робота
Камера превращается в датчик жестов для роботов: событие уходит по сети, решение принимает их общий мозг. Так жест становится не пультом, а языком постановки задачи.
Сферы примененияПорядок — по силе аргумента, а не по красоте идеи
Критерий один: можно ли выполнить действие, не снимая перчатку и не выпуская из рук инструмент. Где ответ «да, и это экономит минуту каждый раз» — там технология нужна. Где ответ «просто модно» — там она не нужна, и это честно сказано ниже.
Руки в перчатках и в тесте
Повар с тестом на руках, механик с маслом на пальцах, кладовщик в перчатках. Жест листает рецепт, схему, накладную — вместо того чтобы вытирать руки или пачкать технику.
Стерильные среды
Там, где прикосновение — нарушение режима: листать изображения или снимки, не касаясь ни мыши, ни панели. Камера стоит рядом, человек остаётся в стерильном поле.
Производство и чертежи
Инструмент занят в руках, а посмотреть нужно следующий лист, узел, режим станка. Управление идёт жестом, без возврата к пульту.
Доступность
Управление без мыши и тачскрина — по положению головы, направлению и позе корпуса, для людей с ограниченной подвижностью рук.
Презентации, лекции, киоски
Смена слайда жестом без бега к ноутбуку. Экран в общем зале не нужно трогать после сотни людей — жест работает на расстоянии.
Обучение
Занятие, где движение и есть задание: показать фигуру, поймать объект, повторить позу. Вовлечённость выше, чем от клика мышью.
Где жест не нужен — говорим прямо
- Полная замена мыши на рабочем столе. Мышь уже есть, и в точных задачах она лучше: в графическом редакторе с пиксельной точностью жест проигрывает перу и мыши. Замещать нечего — значит, и продавать нечего.
- Очки дополненной реальности. В шлемах отслеживание рук встроено производителем и бесплатно. Телефон как «мост» туда не нужен.
- Ленивое управление из кресла. В темноте гостиной распознавание по камере деградирует именно тогда, когда нужно, и ложные срабатывания на бытовые движения перебивают удобство.
- Копирование «жеста-фокуса» из кино. История этой темы знает несколько громких провалов, где демонстрация была эффектнее работы. Мы строим на скучных критериях: цифра задержки, устойчивость к свету, отсутствие ложных нажатий.
Что измереноЦифры, полученные на реальном стеке, а не из рекламных материалов
| Показатель | Значение | Где измерено |
|---|---|---|
| Инференс модели | 8,5 мс медиана, 9,1 мс на 90-м процентиле (~95 кадров/с) | Телефон, кадр 640×480, ускорение на графике |
| Живой цикл | 657 кадров при отрисовке 60 кадров/с, задержка 8 мс | Телефон, реальная камера |
| Объём поставки | 26 МБ: движок 137 КБ, вычислительное ядро 19,5 МБ, модель 7,5 МБ | Кэшируется браузером — работает офлайн |
| ESP32-S3, 240 МГц | 74 мс на кадр (обработка кадра 4,2 + модель 69,2 + запас) | Замеры производителя чипа |
| ESP32-P4, 400 МГц | 25 мс на кадр | Замеры производителя чипа |
| Стоимость железа | от 2 100 ₽ за плату с камерой | Розница РФ |
| Сервер и подписка | не требуются: вычисления на устройстве | Архитектурное решение |
Линейка МотусОдна платформа, разные распознаватели — чтобы имя не устарело на первом же расширении
Мотус Жест
Распознавание кисти и управление: указатель, прокрутка, нажатие щипком, пауза. Именно то, что измерено и показано на этой витрине.
Мотус Поза
Положение тела по 17 точкам: движение корпуса, наклон, жест двумя руками. Поза как команда станку или терминалу вместо кнопки.
Мотус Экипировка
Наличие защитных средств и вход в опасную зону: та же камера, другая модель, тот же конвейер. Самый платёжеспособный спрос в России.
Мотус Корпус
Ориентация и наклон тела для управления без рук — там, где руки заняты. Без распознавания лица, чтобы не попадать в биометрию.
Данные и частная жизньИнженерное решение вместо бумажного
Видео не покидает устройство
Кадр обрабатывается на месте и никуда не отправляется: серверу нечего хранить, потому что вычисления идут на камере, на телефоне или на контроллере. Отсюда и отсутствие подписки, и работа без интернета.
Никакой биометрии
Лицо, радужка глаза, голос и геометрия руки в России относятся к биометрическим персональным данным: их обработка требует письменного согласия и уведомления регулятора. Жест и поза сами по себе личность не устанавливают. Поэтому технология не строится на распознавании лица и глаз, а доступность делается по положению головы, направлению и позе — без идентификации.
Что дальшеПорядок работ витрины
- Защищённый адрес и живая демонстрация. Страница, где посетитель разрешает камеру и сам видит работающий указатель.
- Стенд на микроконтроллере. Девять жестов на плате с камерой, автономно, с замером расстояния: с какого метра камера ещё видит кисть.
- Приложение для Android — управление системой целиком, с откликом вибрацией.
- Программа для Windows и Linux — рабочее место оператора.
- Второй распознаватель — поза тела и защитная экипировка в одном конвейере.
Связь
Технология разрабатывается в рамках проекта ДОМ ДРОИДА — роботы, у которых мозг отдельно от железа.