МОТУС·ЛАБ
витрина технологии

Техника понимает жест, а руки остаются занятыми

Распознавание жестов с обычной камеры. Модель считается прямо на устройстве — без облака, без подписки, без перчаток-контроллеров и камер глубины. Телефон, ноутбук или микроконтроллер с камерой.

8,5 мсинференс модели, медиана (телефон, 640×480)
21 точкакисти в кадре — положение в трёх координатах
0 ₽серверная часть и подписка не требуются
офлайн26 МБ поставки, работает без интернета
Это витрина собираемой технологии. Разделы описывают то, что уже измерено и проверено, и отдельно помечают то, что ещё в работе. Живая демонстрация откроется по защищённому адресу: браузеры отдают камеру только защищённому контексту.

Как это работаетЧетыре звена, все на устройстве

1

Кадр

Обычная камера: вебка ноутбука, камера телефона, камера микроконтроллера. Ничего специального.

2

Кисть

Модель находит 21 точку кисти в трёх координатах — глубину она тоже видит, поэтому палец, направленный в камеру, не теряется.

3

Слово

Позы превращаются в короткий словарь: указатель, скролл, пауза, нажатие. Одна поза — одно значение, никаких скрытых режимов.

4

Действие

Клик по элементу, прокрутка, пауза — или событие, улетающее на робота, станок, медиапанель.

УКАЗАТЕЛЬ или НАЖАТИЕ камера кисть: 21 точка поза действие

Инженерные решения, которые видно по поведению курсора

  • Одна поза — одно значение. Четыре слова вместо десяти. Непонятная поза означает «пауза», а не тишину: система не молчит, она говорит, что не поняла.
  • Прицел фиксируется до щипка. Палец, который складывается для нажатия, сам сдвигает точку прицела. Поэтому цель запоминается на последнем открытом кадре — нажатие приходит туда, куда человек целился, а не туда, куда уехал палец.
  • Сглаживание адаптивное. Фильтр меняет силу сглаживания по скорости руки: медленное движение точное, быстрое — без запаздывания.
  • Курсор не исчезает. Он рисуется в каждом кадре и в любом состоянии, а состояние показано цветом и подписью. Потеря кисти даёт надпись «кисть не в кадре», а не тишину.
  • Ложный кадр не переключает режим. Смена позы подтверждается выдержкой — одна ошибка распознавания ничего не ломает.

Словарь жестовПовторяет язык, принятый в шлемах дополненной реальности: нажатие — щипок, перетаскивание — щипок с движением, прокрутка — взмах

ЖестЧто делаетОснование
Один палецУказатель — точка прицелаЛуч из указательного пальца
Два пальцаПрокруткаСвайп по поверхности
Открытая ладоньПаузаЖест, который модель понимает сама
Сжатый кулакТа же пауза, а не отдельный режимОдно действие — одно следствие
Щипок, короткийНажатиеСтандартная лексика шлемов: «щипок и отпустить»
Щипок, удержание ~0,8 сВторое нажатие — вызов контекстного меню«Щипок и держать»
Щипок и движениеПеретаскивание, за захваченным следует кисть целикомЗахват без смещения цели

Куда это ставитсяОдна технология — четыре носителя, от браузера до микроконтроллера

работает

Браузер

Android, iOS, Windows, Linux, macOS. Ничего не устанавливается: открывается страница, нажимается кнопка доступа к камере. Отдельная ценность для школ, больниц и госучреждений, где ставить софт нельзя в принципе.

26 МБ, кэшируется — после первого открытия работает без сети
в разработке

Приложение для Android

Управление не страницей, а самим телефоном: системный указатель, перелистывание, отклик вибрацией. Требует службы доступности — включается вручную в настройках.

Доступность: управление без мыши и тачскрина
в разработке

Программа для Windows и Linux

Рабочее место: камера смотрит на человека, жесты уходят в систему или в приложение — слайды, медиапанель, схема на экране.

Цех, склад, операторская, лекционная
измерено на железе

Микроконтроллер с камерой

ESP32-S3 и ESP32-P4 со встроенным распознаванием: девять жестов, полностью автономно, без сети. Девять жестов хватает на «стоп», «дальше», «назад», «принять» — это язык рабочего места, а не рабочего стола.

74 мс на кадр у ESP32-S3 (6–7 кадров/с), 25 мс у ESP32-P4 (~15 кадров/с)
план

Другие распознаватели

Тот же конвейер, другая модель: поза тела по 17 точкам, наличие защитной экипировки, вход в опасную зону, положение головы для управления без рук.

Промышленная безопасность — самый платёжеспособный спрос в России
план

Жесты как канал для робота

Камера превращается в датчик жестов для роботов: событие уходит по сети, решение принимает их общий мозг. Так жест становится не пультом, а языком постановки задачи.

Обучение робота жестом вместо программирования

Сферы примененияПорядок — по силе аргумента, а не по красоте идеи

Критерий один: можно ли выполнить действие, не снимая перчатку и не выпуская из рук инструмент. Где ответ «да, и это экономит минуту каждый раз» — там технология нужна. Где ответ «просто модно» — там она не нужна, и это честно сказано ниже.

Руки в перчатках и в тесте

Повар с тестом на руках, механик с маслом на пальцах, кладовщик в перчатках. Жест листает рецепт, схему, накладную — вместо того чтобы вытирать руки или пачкать технику.

Боль: испачканная техника, вынутая перчатка, остановка на мытьё рук

Стерильные среды

Там, где прикосновение — нарушение режима: листать изображения или снимки, не касаясь ни мыши, ни панели. Камера стоит рядом, человек остаётся в стерильном поле.

Боль: регламент и протокол, а не удобство

Производство и чертежи

Инструмент занят в руках, а посмотреть нужно следующий лист, узел, режим станка. Управление идёт жестом, без возврата к пульту.

Боль: время перехода между рабочим местом и пультом

Доступность

Управление без мыши и тачскрина — по положению головы, направлению и позе корпуса, для людей с ограниченной подвижностью рук.

Проводится без распознавания лица и глаз, поэтому не является биометрией

Презентации, лекции, киоски

Смена слайда жестом без бега к ноутбуку. Экран в общем зале не нужно трогать после сотни людей — жест работает на расстоянии.

Ниша узкая, зато это лучший полигон: зал, свет, публика, живые помехи

Обучение

Занятие, где движение и есть задание: показать фигуру, поймать объект, повторить позу. Вовлечённость выше, чем от клика мышью.

Покупает школа и родитель, а не «пользователь»

Где жест не нужен — говорим прямо

  • Полная замена мыши на рабочем столе. Мышь уже есть, и в точных задачах она лучше: в графическом редакторе с пиксельной точностью жест проигрывает перу и мыши. Замещать нечего — значит, и продавать нечего.
  • Очки дополненной реальности. В шлемах отслеживание рук встроено производителем и бесплатно. Телефон как «мост» туда не нужен.
  • Ленивое управление из кресла. В темноте гостиной распознавание по камере деградирует именно тогда, когда нужно, и ложные срабатывания на бытовые движения перебивают удобство.
  • Копирование «жеста-фокуса» из кино. История этой темы знает несколько громких провалов, где демонстрация была эффектнее работы. Мы строим на скучных критериях: цифра задержки, устойчивость к свету, отсутствие ложных нажатий.

Что измереноЦифры, полученные на реальном стеке, а не из рекламных материалов

ПоказательЗначениеГде измерено
Инференс модели8,5 мс медиана, 9,1 мс на 90-м процентиле (~95 кадров/с)Телефон, кадр 640×480, ускорение на графике
Живой цикл657 кадров при отрисовке 60 кадров/с, задержка 8 мсТелефон, реальная камера
Объём поставки26 МБ: движок 137 КБ, вычислительное ядро 19,5 МБ, модель 7,5 МБКэшируется браузером — работает офлайн
ESP32-S3, 240 МГц74 мс на кадр (обработка кадра 4,2 + модель 69,2 + запас)Замеры производителя чипа
ESP32-P4, 400 МГц25 мс на кадрЗамеры производителя чипа
Стоимость железаот 2 100 ₽ за плату с камеройРозница РФ
Сервер и подпискане требуются: вычисления на устройствеАрхитектурное решение

Линейка МотусОдна платформа, разные распознаватели — чтобы имя не устарело на первом же расширении

работает

Мотус Жест

Распознавание кисти и управление: указатель, прокрутка, нажатие щипком, пауза. Именно то, что измерено и показано на этой витрине.

21 точка кисти, 8,5 мс на кадр
план

Мотус Поза

Положение тела по 17 точкам: движение корпуса, наклон, жест двумя руками. Поза как команда станку или терминалу вместо кнопки.

Датасет HaGRID для кисти, шесть классов из него дают 99% точности
план

Мотус Экипировка

Наличие защитных средств и вход в опасную зону: та же камера, другая модель, тот же конвейер. Самый платёжеспособный спрос в России.

Промышленная безопасность: подписка 5 000–10 000 ₽ за камеру в месяц
план

Мотус Корпус

Ориентация и наклон тела для управления без рук — там, где руки заняты. Без распознавания лица, чтобы не попадать в биометрию.

Только поза и направление, без идентификации личности

Данные и частная жизньИнженерное решение вместо бумажного

Видео не покидает устройство

Кадр обрабатывается на месте и никуда не отправляется: серверу нечего хранить, потому что вычисления идут на камере, на телефоне или на контроллере. Отсюда и отсутствие подписки, и работа без интернета.

Никакой биометрии

Лицо, радужка глаза, голос и геометрия руки в России относятся к биометрическим персональным данным: их обработка требует письменного согласия и уведомления регулятора. Жест и поза сами по себе личность не устанавливают. Поэтому технология не строится на распознавании лица и глаз, а доступность делается по положению головы, направлению и позе — без идентификации.

Что дальшеПорядок работ витрины

  • Защищённый адрес и живая демонстрация. Страница, где посетитель разрешает камеру и сам видит работающий указатель.
  • Стенд на микроконтроллере. Девять жестов на плате с камерой, автономно, с замером расстояния: с какого метра камера ещё видит кисть.
  • Приложение для Android — управление системой целиком, с откликом вибрацией.
  • Программа для Windows и Linux — рабочее место оператора.
  • Второй распознаватель — поза тела и защитная экипировка в одном конвейере.

Связь

Технология разрабатывается в рамках проекта ДОМ ДРОИДА — роботы, у которых мозг отдельно от железа.

motuslab.ru