Каждый датчик внутри Apple Vision Pro и для чего он разработан индивидуально

За устройство стоимостью 3499 долларов США, предназначенное для замены вашего телефона, ноутбука, часов, планшета, телевизора и даже мыши, вы можете поспорить, что Apple Vision Pro буквально напичкан датчиками, которые отслеживают вас, ваши движения, зрение, жесты, голосовые команды, и ваше положение в пространстве. Согласно заявлению Apple, Vision Pro имеет до 14 камер внутри и снаружи, 1 сканер LiDAR, а также несколько ИК- и невидимых светодиодных осветителей, которые помогают ему понять, где вы находитесь и что делаете. Помимо этого, гарнитура также оснащена специальным чипом Apple Silicone R1, который обрабатывает данные со всех этих датчиков (и некоторых других), чтобы помочь создать наилучшее представление о постепенном переходе Apple к «пространственным вычислениям».

«Vision Pro — это новый вид компьютера», — говорит Тим ​​Кук, впервые демонстрируя гарнитуру смешанной реальности. «Это первый продукт Apple, который вы просматриваете, а не рассматриваете», — добавляет он, отмечая переход Apple к пространственным вычислениям. Вы спросите, что такое пространственные вычисления? Итак, настольный компьютер рекламировался как первый в мире персональный компьютер или ПК, как мы его сегодня повсеместно называем. Ноутбук уменьшил рабочий стол до портативного формата, а телефон уменьшил его еще больше… вплоть до часов, которые помещают ваш персональный компьютер на ваше запястье. Пространственные вычисления знаменуют собой первый отход Apple от персональных вычислений в том смысле, что вы больше не ограничены дисплеем – большим или маленьким. «Вместо этого ваше окружение становится холстом», — резюмирует Тим, передавая сцену вице-президенту по дизайну Алану Даю.

Пространственные вычисления знаменуют собой новую эру вычислений, в которой четыре угла традиционного дисплея не создают никаких ограничений для вашей рабочей среды. Вместо этого ваша реальная среда становится вашей рабочей средой, и так же, как у вас есть папки, окна и виджеты на экране, Vision Pro позволяет вам создавать папки, окна и виджеты в вашем трехмерном пространстве. Дай объясняет, что в пространственных вычислениях вам не нужно сворачивать окно, чтобы открыть новое. Просто перетащите одно окно в сторону и откройте другое. VisionOS от Apple превращает вашу комнату и визуальную периферию в операционную систему, позволяя вам создавать несколько экранов/окн где угодно, перемещать их и изменять их размеры. Вспомните «Отчет меньшинства» или голографический компьютер Тони Старка… но с лучшим и классным интерфейсом.

В основе гарнитуры Vision Pro лежат два чипа, которые работают вместе, помогая плавно сочетать виртуальность и реальность. Vision Pro оснащен кремниевым чипом Apple M2, помогающим выполнять вычисления и выполнять многозадачные задачи, а также новым кремниевым чипом R1, являющимся собственностью гарнитуры, который работает со всеми датчиками внутри и снаружи гарнитуры, отслеживая ваше зрение, управляя вводом, а также помогает виртуальным элементам беспрепятственно существовать в реальном мире, делая впечатляющие вещи, такие как отбрасывание теней на мир вокруг вас, изменение углов при движении или исчезновение/затухание, когда кто-то входит в ваш кадр.

Чип R1 во многом является секретным соусом Apple для Vision Pro. Он обрабатывает данные от каждого датчика на устройстве, одновременно отслеживая ваше окружение, ваше положение в нем, ваши руки и даже движения глаз с потрясающей точностью. Движения ваших глаз составляют основу того, как Vision Pro узнает, с какими элементами вы собираетесь взаимодействовать, практически превращая их в настоящие курсоры. Как бы впечатляюще это ни было, R1 также использует данные вашего глаза, чтобы знать, какие элементы экрана визуализировать, а какие нет. Учитывая, что в любой момент времени вы можете сосредоточиться только на ограниченной области, чип R1 умеет визуализировать только эту часть вашей визуальной периферии с четкой четкостью, а не тратить ресурсы на рендеринг всей сцены. Это феноменально умный способ оптимизировать расход заряда батареи и одновременно обеспечить невероятное погружение. Однако это еще не все…

Инженер-нейротехнолог из Apple приоткрыл завесу над тем, насколько сложной и несколько пугающей является внутренняя технология Vision Pro. Будучи связанным соглашением о неразглашении, Стерлинг Криспин поделился в твиттере, как Vision Pro отслеживает ваше зрение и знает, как вы так безупречно перемещаетесь по его интерфейсу. По сути, чип R1 спроектирован таким образом, чтобы предсказывать путь и намерения пользователя. «Один из самых крутых результатов заключался в том, чтобы предсказать, что пользователь собирается нажать на что-то, прежде чем он действительно это сделает […]