Google Open-Sources Hand Tracking AI "MediaPipe" для смартфонов

1 min


Google с открытым исходным кодом AI, который способен распознавая формы рук и движения в режиме реального времени в начале этой недели. Этот шаг Google поможет многим начинающим разработчикам реализовать возможности распознавания жестов в своем приложении.

Программный гигант продемонстрировал эту функцию ранее на конференции Computer Vision and Pattern Recognition (CVPR) 2019, которая состоялась в июне. Исходный код для AI теперь доступен на GitHub, который вы можете проверить здесь. Вы также можете скачать arm64 APK здесь и версию с режимом 3D здесь.

MediaPipe — это кроссплатформенная структура, которая может быть реализована для построения конвейеров для обработки воспринимаемых данных различных форматов (аудио и видео). Это стало возможным благодаря применению методов машинного обучения определить 21 3D ключевых точек руки из одного кадра изображения.

«Способность воспринимать форму и движение рук может быть жизненно важным компонентом в улучшении взаимодействия с пользователем в различных технологических областях и платформах». читает пост Google AI в блоге.

Google использует три модели искусственного интеллекта в MediaPipe, которые они называют BlazePalm, модель ориентира руки и распознаватель жестов. Модель детектора ладони (BlazePalm) отвечает за анализ кадра и возврат ориентируемого ограничивающего прямоугольника, в то время как модель наземного ориентира используется для возврата трехмерных ключевых точек руки из области обрезанного изображения, а распознаватель жестов используется для классификации ранее вычисленных конфигураций ключевых точек в набор жестов.

гугл детектор пальм

Самая крутая часть этого ИИ отслеживания рук — это способность определить жесты, Исследователи говорят, что ИИ способен распознавать такие общие знаки рук, как «Большие пальцы вверх», «Кулак», «ОК», «Скала» и «Человек-паук». Довольно круто, правда? Посмотрите на GIF ниже, чтобы посмотреть AI в действии.

«Мы считаем, что публикация этой технологии может дать толчок новым творческим идеям и приложениям со стороны сообщества исследователей и разработчиков в целом». написал Валентин Базаревский и Фан Чжан, инженеры-исследователи в Google.

Будущие цели исследователей в Google AI — повысить функциональность и эффективность AI. Это может включать расширенную поддержку жестов, более быстрое и точное отслеживание и поддержку динамических жестов.


0 Comments

Добавить комментарий