Что такое чип Apple R1 и чем он отличается от M1 и M2?

В Vision Pro используется новый кремний Apple, чип R1, предназначенный для обработки данных в реальном времени со всех встроенных датчиков. Он отвечает за отслеживание глаз, рук и головы, рендеринг среды пользователя без задержек в режиме передачи видео и другие функции visionOS.

Снимая нагрузку с основного процессора и оптимизируя производительность, R1 снижает укачивание до незаметного уровня, независимо от того, используется ли гарнитура в режиме дополненной или виртуальной реальности. Давайте рассмотрим, как работает чип Apple R1, и сравним его с основным чипом M2, какие функции Vision Pro он поддерживает и многое другое.

Что такое чип Apple R1? Как это работает?

Apple R1, а не основной чип M2, обрабатывает непрерывный поток данных в реальном времени, поступающих в Vision Pro с помощью двенадцати камер, пяти датчиков и шести микрофонов.

Две основные внешние камеры записывают ваш мир, каждую секунду выводя более миллиарда пикселей на экраны гарнитуры с разрешением 4K. Кроме того, пара боковых камер вместе с двумя нижними камерами и двумя инфракрасными прожекторами отслеживают движения рук из самых разных положений — даже в условиях низкой освещенности.

Датчики, обращенные наружу, также включают в себя сканер LiDAR и камеру TrueDepth от Apple, которые создают карту глубины вашего окружения, позволяя Vision Pro точно размещать цифровые объекты в вашем пространстве. Внутри кольцо светодиодов вокруг каждого экрана и две инфракрасные камеры отслеживают движения ваших глаз, что составляет основу навигации VisionOS.

На R1 возложена задача обработки данных со всех этих датчиков, включая инерциальные измерительные блоки, с незаметной задержкой. Это крайне важно с точки зрения создания плавного и правдоподобного пространственного восприятия.

Чем Apple R1 отличается от M1 и M2?

M1 и M2 — процессоры общего назначения, оптимизированные для компьютеров Mac. R1 — это узконаправленный сопроцессор, разработанный для поддержки плавного взаимодействия с дополненной реальностью. Он выполняет свою работу быстрее, чем M1 или M2, что позволяет использовать такие преимущества, как отсутствие задержек.

Apple не указала, сколько ядер процессора и графического процессора у R1, а также не указала частоту процессора и оперативную память, что затрудняет прямое сравнение между R1, M1 и M2.

Основными областями R1 являются отслеживание глаз и головы, жесты рук и 3D-картирование в реальном времени с помощью датчика LiDAR. Разгрузка этих ресурсоемких операций позволяет M2 эффективно запускать различные подсистемы, алгоритмы и приложения visionOS.

Основные характеристики чипа Vision Pro R1

R1 обладает следующими ключевыми возможностями:

• Быстрая обработка. Специализированные алгоритмы и обработка сигнала изображения в R1 оптимизированы для распознавания входных сигналов сенсора, камеры и микрофона.
• Низкая задержка: оптимизированная аппаратная архитектура обеспечивает очень низкую задержку.
• Энергоэффективность: R1 справляется с определенным набором задач при минимальном потреблении энергии благодаря эффективной архитектуре памяти и 5-нм производственному процессу TSMC.

С другой стороны, двухчиповый дизайн Vision Pro и сложность R1 способствуют высокой цене гарнитуры и двухчасовому времени автономной работы.

Какие преимущества дает R1 Vision Pro?

R1 обеспечивает точное отслеживание глаз и рук, которое «просто работает». Например, для навигации по visionOS вы направляете взгляд на кнопки и другие элементы.

Vision Pro использует жесты рук для выбора элементов, прокрутки и многого другого. Сложность и точность отслеживания глаз и рук позволили инженерам Apple создать гарнитуру смешанной реальности, не требующую физических контроллеров.

Точность отслеживания R1 и минимальная задержка позволяют использовать дополнительные функции, такие как воздушный набор на виртуальной клавиатуре. R1 также обеспечивает надежное отслеживание головы, что имеет решающее значение для создания пространственного вычислительного холста, окружающего пользователя. Опять же, здесь важна точность — вы хотите, чтобы все объекты AR сохраняли свое положение независимо от того, как вы наклоняете и поворачиваете голову.

Пространственное осознание — еще один фактор, влияющий на опыт. R1 получает данные о глубине от датчика LiDAR и камеры TrueDepth, выполняя 3D-картографирование в реальном времени. Информация о глубине позволяет гарнитуре понять окружающую среду, например стены и мебель.

Это, в свою очередь, важно для сохраняемости AR, которая относится к фиксированному размещению виртуальных объектов. Это также помогает Vision Pro уведомлять пользователя, прежде чем он столкнется с физическими объектами, помогая снизить риск несчастных случаев в приложениях AR.

Как R1 Sensor Fusion смягчает укачивание в дополненной реальности?

Двухчиповая конструкция Vision Pro разгружает обработку датчиков с основного чипа M2, на котором работают операционная система и приложения visionOS. Согласно Пресс-релиз компании «Вижн Про»R1 передает изображения с внешних камер на внутренние дисплеи в течение 12 миллисекунд, что в восемь раз быстрее, чем мгновение ока, сводя к минимуму задержку.

Задержка относится к задержке между тем, что видят камеры, и изображениями, отображаемыми на экранах гарнитуры 4K. Чем короче отставание, тем лучше.

Морская болезнь возникает, когда существует заметная задержка между входными данными, которые ваш мозг получает от ваших глаз, и тем, что ощущает ваше внутреннее ухо. Это может произойти во многих ситуациях, в том числе в парке развлечений, на лодке или в круизе, при использовании устройства виртуальной реальности и т. д.

Виртуальная реальность может вызвать у людей недомогание из-за сенсорного конфликта, что приводит к таким симптомам укачивания, как дезориентация, тошнота, головокружение, головные боли, напряжение глаз, сидячее положение, рвота и другие.

Виртуальная реальность также может быть вредна для ваших глаз из-за напряжения глаз, симптомы которого включают воспаленные или зудящие глаза, двоение в глазах, головные боли и боль в шее. Некоторые люди могут ощущать один или несколько таких симптомов в течение нескольких часов после снятия гарнитуры.

Как правило, устройство VR должно обновлять дисплей не менее 90 раз в секунду (FPS), а задержка экрана должна быть менее 20 миллисекунд, чтобы не вызывать у людей укачивание.

С заявленной задержкой всего в 12 миллисекунд R1 сокращает задержку до незаметного уровня. Хотя R1 помогает свести к минимуму последствия укачивания, некоторые тестировщики Vision Pro сообщали о симптомах укачивания после ношения гарнитуры более 30 минут.

Специализированные кремниевые сопроцессоры Apple обеспечивают основные преимущества

Apple не новичок в специализированных процессорах. На протяжении многих лет его команда по производству кремниевых микросхем производила мобильные и настольные чипы, вызывающие зависть в отрасли.

Кремниевые чипы Apple в значительной степени зависят от специализированных сопроцессоров для обработки определенных функций. Например, Secure Enclave надежно управляет биометрическими и платежными данными, а Neural Engine ускоряет функции ИИ, не разрушая батарею.

Это прекрасные примеры того, чего можно достичь, имея сопроцессор с высокой степенью фокусировки для правильного набора задач, а не используя основной процессор для всего.