Apple виртуальная реальность – На пути к триллиону: виртуальная реальность, тотальный контроль и другие новинки Apple | Технологии

Содержание

Как AR/VR от Apple столкнулся с жестокой реальностью / Habr

Очки виртуальной или дополненной реальности таят в себе манящие возможности. Но трудности разработки заставили Apple пересмотреть ожидания

Давайте начнём с контекста.

Последние 18 месяцев не прекращались слухи о том, что Apple разрабатывает устройства AR/VR (дополненной реальности / виртуальной реальности). Для контекста: мы можем смотреть приключения от Microsoft при помощи HolosLens, от Facebook при помощи Oculus, от Google при помощи грубой поделки из картона или амбициозного устройства от компании Magic Leap, капитализацию которой серьёзно лихорадит. Всё это придавало участию в гонке AR/VR компании Apple ореол неизбежности. Комментаторы не могли не поместить эти предполагаемые устройства в следующую продуктовую волну компании. С их точки зрения, после нескольких лет проблем, испытываемых iPhone на насыщающемся рынке, умные очки, наконец, взбодрят сдувающийся капитал Apple. По примеру непрекращающегося потока предсказаний печально известного Мин-Чи Ко, все согласились с тем, что AR/VR продукт от Apple будет запущен в 2020 году, возможно, во второй половине.

А потом произошло нечто необычное.


Судя по всему, Apple провела совещание со всеми причастными к проекту волшебных очков сотрудниками в аудитории им. Стива Джобса. Там, перед толпой, насчитывающей сотни человек (а некоторые говорят, что и около тысячи), вице-президент Майк Роквел представил график работ: гибридная гарнитура AR/VR под кодовым названием N301 выйдет в 2022 году, а облегчённая версия очков N421 увидит свет лишь в 2023.

Само по себе собрание всех сотрудников – не такая уж редкая вещь. Но его суть, в особенности в свете заявления насчёт 2022/2023 годов, лучше можно понять, рассмотрев все шаги, которые необходимо сделать Apple для входа на рынок AR/VR.

Но перед тем, как углубляться в вопросы требуемых компонентов из областей ПО и железа, нам нужен контекст. Устройства от Apple горизонтальные, а не вертикальные – то есть, они покрывают более широкий спектр потребителей и примеров использования, в отличие от других, узкоспециальных инструментов для небольшого круга пользователей. Иначе говоря, Apple не будет делать VR-очки для хирургов или умные очки для персонала, обслуживающего роботов.

Учитывая всё это, можно представить себе первый необходимый компонент: комбинация CPU/GPU, способная дать нам убедительную галлюцинацию из мира виртуальной реальности. Сегодня наиболее убедительные в использовании VR-наборы состоят из очков или шлема, подключенного к мощному ПК. Эппловские очки нужно как-то отсоединить от компьютера, впихнув туда собственные вычислительные движки, на манер Apple Watch, отсоединённых от телефона.

Чтобы устройство получило широкое признание, возникает известная, но серьёзная сложность: CPU/GPU должны работать вкупе с небольшим аккумулятором. Грубо говоря, это должна быть вычислительная и графическая мощность, превосходящая сегодняшний iPhone, но работающая целый день. Это легче сказать, чем сделать, и один лишь этот фактор сам по себе может объяснить такие далёкие сроки выхода.

Затем у нас ещё есть проблема «замочной скважины». Можно вспомнить социальную неловкость и ругань, связанные с экспериментом с умными очками от Google. Если вы увидите меня, сидящего за столом с надетыми умными очками, оборудованными камерой, насколько комфортабельно вы будете чувствовать себя, зная, что я могу записывать видео и звук нашего разговора? Можно представить себе использование умных очков без камеры (однако это ограничит их возможности), или индикатор работы камеры на оправе, а также эволюцию социальных обычаев, связанных с принятием или отвержением записи личных разговоров. Нелёгкий будет переход. Возможно, его облегчат предыдущие игроки, выходящие на рынок.

Это приводит нас к примерам использования, которые лучше изучать с точки зрения разработчиков приложений. Для умных очков и их приложений со смешанной реальностью (сгенерированные компьютером изображения проецируются на полупрозрачные очки, и фокусируются так, чтобы быть на удобном для разглядывания расстоянии) от разработчиков потребуется более творческий подход. Можно представить себе, как на скучном собрании в очках появляются сообщения или электронные письма, или как человек на улице читает на ходу книгу, рискуя воткнуться в столб или другого человека. Лично мне бы хотелось посетить Лувр, получая комментарии о технике живописи Элизабет Виже-Лебрен. Для нового набора примеров использования VR/AR разработчикам потребуются платформы, которых нет сейчас у iOS. А этим платформам самим потребуется iOS-платформа, для обработки взаимодействий, радикально отличающихся от того, что предлагают смартфоны и часы.

Этот набор трудностей выглядит неприступным, и невиданным никем из существующих участников AR/VR гонки, где призом служит голова пользователя. У Microsoft есть набор HoloLens 2 за $3 500, нацеленный на предпринимателей. Марк Цукерберг признаёт, что ставка в $2 млрд, сделанная Facebook на виртуальную реальность, отбивается не так быстро, как казалось ранее. Google прекращает поддержку платформы DayDream VR. Magic Leap, подняв $2,6 млрд инвестиций, пытается привлечь ещё денег, для чего ей потребовалось заложить имеющееся портфолио в JP Morgan Chase, поскольку ей так и не удалось совершить революцию со своим устройством Creator Edition за $2295. Логично, что Apple, не делясь ни с кем информацией о своих разработках, с трудом идёт по тому же самому пути, к AR/VR продукту или продуктовой линейке потребительского качества. Директор Apple Тим Кук недавно высказался по поводу предстоящих трудностей:

Сегодня я могу сказать вам, что не существует технологий, способных решать эту задачу качественно. Требуется технология дисплеев, а также технология размещения множества всяких вещей вокруг головы, и с этим есть огромные трудности. Поле зрения, качество дисплеев – всё это пока ещё не достигло нужного уровня.

Лично мне кажется, что на октябрьской встрече Apple рассказала о существующей программе разработки устройств для AR/VR или смешанной реальности. В этом году компания, скорее всего, решила, что для выпуска устройств в 2020 году существует слишком много препятствий, и нажала на паузу, что, возможно, и послужило причиной появления слухов об отмене программы. Затем, переосмыслив план разработки качественного пользовательского устройства, и чтобы успокоить общественность кассательно паузы в разработке, менеджмент компании организовал собрание команд разработки ПО и железа. И поскольку для подобного рода заседаний такая утечка информации, вплоть до кодовых названий продуктов и сроков, не очень типична, складывается ощущение, что она могла быть намеренной.

два 8K-экрана, 5-нм процессор, релиз в 2020-м

Слухи о том, что в Apple разрабатывают устройство для виртуальной и/или дополненной реальности ходят уже не первый год. Подкреплял их неоднократно и глава компании Тим Кук, называвший AR перспективной технологией. В прошлом году Apple представила ARKit — платформу дополненной реальности для iOS-устройств, облегчающую разработчикам создание AR-приложений — и всячески продвигает программы такого рода в App Store. Теперь появилась первая подробная утечка о том, каким может быть первое полноценное устройство Apple.

По информации издания CNET, которое ссылается на источник в Apple, устройство под кодовым названием T288 будет объединять технологии виртуальной и дополненной реальности — то есть либо полностью погружать пользователя в виртуальный мир, либо накладывать виртуальные объекты поверх реальных в его поле зрения. Его выход на рынок предварительно намечен на 2020-й год.

Источник сообщил изданию, что изображение в устройстве будут формировать два экрана с разрешением 8K каждый. Для справки: под 8K обычно понимают дисплеи с разрешением 7680 на 4320 точек, то есть на каждый глаз в якобы разрабатываемом Apple VR-шлеме придется по 33 мегапикселя.

Чтобы сформировать настолько подробное изображение (по крайней мере, если речь идет не о трансляции видео, а о рендеринге трехмерных сцен в реальном времени) возможностей даже самых продвинутых современных процессоров и видеокарт не хватит.

По сведениям CNET, «шлем» Apple будет работать в паре с подключаемым по беспроводной связи вычислительным блоком, сердцем которого станет разработанная компанией самостоятельно и производимая по 5-нм техпроцессу система-на-чипе. Для сравнения, самые продвинутые на сегодня процессоры (Apple A11 Fusion, Snapdragon 845, Kirin 970) имеют «шаг» транзисторных элементов в 10 нм.

Хотя устройства виртуальной реальности присутствуют на рынке уже не первый год, массовыми они пока не стали — то ли потому, что интересного и качественного контента мало, то ли из-за дороговизны, то ли потому, что рядового потребителя подсознательно пугает полное погружение в искусственную реальность, оторванную от реального мира — слишком напоминает технологическую антиутопию вроде «Матрицы».

Возможно, именно принимая в расчет такие опасения в Apple всегда подчеркивали, что считают более преспективными именно AR-решения. В них же вкладывают миллионы долларов (а некоторые, как Magic Leap — миллиарды) многочисленные стартапы. Magic Leap, которая работает над своими очками с 2012 года, собрала с инвесторов (Google, Alibaba, KPCB, Andreeseen Horowitz и др.) без малого 2 миллиарда долларов, но показала, как будет выглядеть ее гаджет, лишь в конце прошлого года. Обещан выход на рынок в 2018-м, и первые разработчики ПО под новую платформу уже получили футуристичные AR-очки. При этом, по требованию помешанного на секретности стартапа, обязаны хранить их в запертых сейфах.

Как говорит глава Magic Leap Рони Абовиц, устройство комплектуется отдельной графической картой, четырьмя встроенными микрофонами, как минимум шестью внешними камерами, а также встроенными динамиками, подобно HoloLens. Производительность очков будет сопоставима с MacBook Pro или игровым компьютером Alienware.

возможности и примеры / Habr

Многие люди верят, что за дополненной реальностью — будущее. Если виртуальная реальность погружает вас в цифровой мир, то дополненная «вливается» в реальный мир, делает обыденность интереснее, что позволит в будущем крутить показывать вам рекламные баннеры на домах, на транспорте и других людях, так что вы вообще не сможете отличить настоящий рекламный щит от иллюзорного.

В технологических гигантах, очевидно, понимают этот тренд. Google для своей мобильной операционки Android разработала инструмент Project Tango, с помощью которого элементы дополненной реальности можно просматривать на экране смартфона. Apple не отстаёт: на конференции WWDC этого года компания представила инструмент для iOS с говорящим названием ARKit. Разработчики с энтузиазмом начали экспериментировать. Появились приложения для парковки гоночных машин на стоянку, танцев роботов на кухне и посадки первой ступени Falcon 9 в бассейн, а осенью поддержку технологии получит игра Pokemon Go. Давайте обсудим несколько потенциальных направлений для использования дополненной реальности, включая развлечения (PornHub?), обучение и медицинские цели и посмотрим на самые интересные работы.

Хирурги тренируют навыки с помощью операций на тренажёрах, чтобы не отправлять в расход пациентов. В нью-йоркском медколледже Weill Cornell есть специальная комната, оборудованная системой виртуальной реальности. В тех же целях может использоваться дополненная реальность: студенты смогут стоять у бюста и рассматривать, что находится внутри его черепа, как в видео с джунглями в гараже. Учитывая, что для неё не нужно специальное оборудование, часть студентов сможет тренироваться очень часто.

Пока подобных тренажёров среди разработанных примеров нет. Зато есть образцы, позволяющие показать Солнечную систему. Мне не хватало этого приложения, когда я дочери объяснял, почему день сменяется ночью, с помощью прижатого к источнику света жёлтого шара и маленького шарика.

Дополненная реальность позволяет разместить любые шедевры в любом месте. Мы, конечно, и там умеем пользоваться поисковиками, и увидеть плоские изображения для нас не проблема. Скульптуры были бы интереснее, так как дополненная реальность поможет разглядеть их со всех сторон. Игровая форма этого действия позволит просвещать как можно больше людей. Технологии ведь созданы, чтобы мы становились лучше?

Если вернуться к упоминанию медицины, то ещё в 2014 году Google Glass начали использовать для помощи людям с болезнью Паркинсона. Очки дополненной реальности напоминают о приёме лекарств, при необходимости «будят» пациента, отображают визуальные подсказки. Робот на экране мог бы стать подобным виртуальным помощником для детей или для взрослых.

На стыке развлечений и образования находятся работы Томаса Гарсии. Первым он представил проект по посадке лунного модуля на Луну. Позже он на заднем дворе своего дома посадил ступень Falcon 9 на морскую платформу в бассейне.

Смотрите видео со звуком.

«Страдаешь от одиночества? Устал работать самостоятельно? Ненавидишь принимать решения?

Собери совещание!» — народная мудрость. Коллегам теперь можно показать объёмные диаграммы, висящие прямо в воздухе в переговорной, превратив скучную встречу в высокотехнологичное совещание из будущего.

Помните, как лет 10-12 назад можно было убивать комаров в дополненной реальности на экране Nokia 3650? Теперь у нас есть то же самое, но на iPhone, и с 8-битными инопланетянами в стиле Space Invaders из далёких 1970-х.

А как насчёт поиграть в Dead House в собственной квартире — разве не чудесная идея?

Танки или крейсеры на полу квартиры будут смотреться крайне интересно.

После просмотра следующего видео на ум пришла идея спецпроекта для какой-нибудь марки автомобиля, машинного масла или шин: гонка на ближайшей дороге, где от пользователя требуется показать максимальное мастерство в дополненной реальности и загрузить видео.

В дополненной реальности порно тоже будет. И продажи подушек для обнимания ещё испытают потрясения, если всё сложится правильно.

Виртуальную реальность в порно уже используют, и в дополненной реальности оно будет. Производителям такого контента откроются огромные возможности, учитывая реалистичность. Рынок подушек для обнимания испытает потрясение, если всё сложится правильно. Или нет — политика Apple на тему эротического контента довольно строга.

Далее на видео — два человека, играющие в баскетбол: я раза три пересмотрел, пока понял, что их обоих нет в реальности. Затем — героиня Overwatch.

Google работает с дополненной реальностью долгие годы. У нас были очки Google Glass, которые до сих пор используют для исследовательских целей, и есть Project Tango, который поддерживает лишь несколько устройств. Для Tango нужны дополнительные датчики и совместимые процессоры, что на рынке Android, богатом на производителей, обеспечить сложно. С другой стороны, технология от Apple будет работать со всеми устройствами на iOS 11 и процессорами A9 и A10, то есть с iPhone 6S и выше и iPad 7-го поколения.

Количество устройств по сравнению с Tango получается огромным: по итогам 2016 года 34% всех активированных в США телефонов были сделаны Apple.

Обзор Apple VR — фото, дата выхода, цена, характеристики и патенты

На сегодняшний день, цифровая индустрия идет в ногу с виртуальной и дополненной реальностью. Компания Apple не является исключением. Несмотря на то, что главные конкуренты компании уже выпустили свои VR-очки и активно продают их, в ближайшем времени мы сможем наблюдать выход Apple VR, которые вероятно, перевернут рынок данной индустрии.

Запланированная дата выхода Apple VR и его стоимость

Пока что, информация о точной дате выхода и цене Apple VR неизвестна, однако можно смело предположить, что компания поделится датой релиза и всеми техническими новшествами на конференции WWDC 2018.

Помимо Apple VR, компания поделится разработками, выход которых запланирован в ближайшее время (MacBook Pro, iPhone SE 2, iPhone 11(Xl)). Не исключено, что мы узнаем о ближайших планах компании на следующий год.

Главные патенты Apple связанные связанные с Apple VR

Ровно 11 лет назад (к слову сказать это было еще до выхода первого iPhone), компания Apple запатентовала свою версию VR-очков. Их дизайн был достаточно страшным. Внешний вид напоминал громоздкие горнолыжные или мотоциклетные очки. Функционал же был идентичен тому, что представляют на сегодняшний день Google и Samsung.

Материал, из которого планировали изготавливать устройство, может удовлетворить и сегодняшние стандарты. Продукт должен был изготавливаться из высококачественного пластика с алюминиевыми вставками. Для повышения комфорта пользователя, очки включали в себя дышащие компоненты, а именно breathable-пену, которая служит подушкой, смягчающей контакт с лицом.

Очки виртуальной реальность Apple

К сожалению, мы не увидели этот продукт вживую, а его нынешняя версия уже не удовлетворяет современным стандартам. Однако в 2013 году, всплыла еще одна технология запатентованная компанией.

Патент описывает устройство, с большим дисплеем, позиционировавшим себя как: “Система очков, для обеспечения личного медиа-просмотра пользователя. Система очков может включать в себя наружную крышку, в середине кадра, оптические компоненты, для создания средств отображения информации, и объектив, позволяющий регулировать качество картинки”.

Apple VR

Три года спустя, в октябре 2016 года, информация о еще одном патенте Apple появилась в сети. Устройство являлось компактным, а его форма была схожа с обычными очками. Устройство должно было быть полностью автономным, не завися от смартфона.

 Очки виртуальной реальность Apple

Apple VR: что известно на данный момент?

Судя по выходу Samsung Gear VR и Google DayDream (стоит отметить, что обе модели не являются полноценными VR очками и работают только в паре со смартфоном), в 2018 году виртуальная реальность и мобильные устройства будут идти рука об руку.

Apple VR конкурентыApple VR конкуренты

Но как быть владельцам iPhone? Разумеется, для iPhone существует несколько VR-систем от сторонних производителей, но они не идут ни в какое сравнение с эксклюзивами для Android от Samsung и Google. Apple уже выпустила устройство дополненной реальности ARKit, так что же мешает компании позволить своим пользователям окунуться в виртуальный мир?

Но не стоит отчаиваться – по слухам, Apple уже несколько лет работает над собственным VR-шлемом. Об этом говорит большое количество кадров и патентов, имеющих отношение к виртуальной реальности. Рассмотрим все недавние новости и патенты, касающиеся Apple VR, и попробуем прикинуть дату выхода и стоимость шлема.

Apple VR

К слову, если Apple всё-таки не выпустят VR-устройство, то, скорее всего, компания анонсирует новые AR-очки.

Но в чем же разница между VR и AR, спросите вы?

Так как не все могут понимать разницу между дополненной и виртуальной реальностью, проведем небольшую терминологическую справку. VR-шлемы надеваются на голову, наподобие горнолыжных очков, и полностью перекрывают собой окружающий мир. Шлем отслеживает положение головы в пространстве, и трехмерные изображения, которые видит человек, перемещаются относительно него. Это создает реалистичный эффект присутствия в трехмерном виртуальном мире.

патенты Apple VR

Впервые о виртуальной реальности начали говорить в ранних 90-ых, когда монстры индустрии, такие как Sega или Nintendo, предприняли первые попытки создать версию VR-системы для широкого потребителя.

Но тогда технология находилась в зародышевом состоянии, и полноценная реализация концепта произошла лишь в 2012 году с выходом Oculus Rift. Виртуальная реальность пережила новый скачок популярности, и в 2014 году компанию Oculus VR приобрел Facebook за 2 миллиарда долларов.

Что касается дополненной реальности, то в основном технология реализуется в форме очков, через которые пользователь может беспрепятственно видеть окружающий мир, но при этом поверх последнего накладываются дополнительные изображения или информация.

дополненная реальность Apple

Apple заслуженно носят репутацию первопроходцев, хоть компания и не слишком-то распространяется о своих планах и новых разработках. Но можно быть уверенным, что раз Google, Facebook и Microsoft ведут активную работу в сфере VR и AR, то и у Apple есть свои прототипы данных технологий.

Действительно ли Apple работает над шлемом виртуальной реальности?

Интернет полнится слухами на эту тему уже последние несколько лет. Но предположения пользователей не голословны и впервые были озвучены ещё до того, как появились первые слухи об очках дополненной реальности от Google, так что не исключено, что в скором будущем Apple действительно анонсируют новую VR-систему.

Смотрите также: Обновление iOS 11.2.6 l Новая колонка от Apple – HomePod

Apple нанимает специалистов в сфере VR

В 2014 году Apple открыла несколько вакансий на места разработчиков приложений, имеющих опыт в 3D-графике, виртуальной и дополненной реальности. Вскоре эти вакансии были удалены из общего доступа, но их содержимое сохранилось. В частности, компания искала «разработчиков высокопроизводительных приложений, совместимых с виртуальной реальностью для прототипирования и пользовательского тестирования».

С тех пор Apple наняла несколько высококвалифицированных спецов для работы над VR-проектом, среди которых особого упоминания стоит бывший сотрудник Microsoft Ник Томпсон, ранее на протяжении трех лет работавший над AR-очками HoloLens. Помимо этого, Apple взяла на работу Беннетта Вилбёрна, ещё одного экс-сотрудника Microsoft, специализирующегося в сфере «машинного обучения распознаванию движения человека».

Ник Томсон AppleБенетт Вилбурн Apple

Помимо выходцев из Microsoft, Apple также наняла Дуга Боумана, ведущего специалиста в сфере трехмерных пользовательских интерфейсов. Ранее Боуман занимал должность профессора информатики Политехнического университета Виргинии и главы Центра человеко-компьютерного взаимодействия при университете. Наконец, вспомним и о Грэме Майре, ранее разрабатывавшем 3D-линзы и сенсоры для Lytro, а теперь занимающимся «новейшими оптическими и экранными технологиями для будущих поколений продукции Apple». Во всяком случае, так указано в его профиле на LinkedIn.

Грахами Мир Apple

Вспомним и об опубликованном в Financial Times отчете, в котором говорилось, что Apple успешно закончила создание собственного прототипа VR-системы и активно тестирует его в условиях полной секретности. Впрочем, деталями касательно характеристик и цены будущего девайса от Apple информационный источник Financial Times не поделился.

Помимо этого, в Business Insider публиковалась заметка о том, что Apple наняли Зейю Ли – одного из ведущих инженеров AR-стартапа под названием Magic Leap. Не обошлось и без нашего земляка Юрия Петрова, ранее сотрудничавшего с Oculus VR.

Патенты Apple VRЦена Apple VR

Но этим Apple не ограничились и наняли сразу несколько человек из компании-разработчика, ответственного за создание графического процессора iPhone 7. В марте 2016 и вовсе хотела полностью выкупить Imagination Technology, но этого так и не случилось. Вместо этого Apple «завербовала» технического директора Джона Меткалфа. Согласно его профилю в LinkedIn, он перешел в Apple в июле 2016, оставив Imagination Technology после 20 лет сотрудничества. По слухам, Меткалф и его коллеги работают над новым графическим процессором для AR/VR проектов Apple.

Apple выкупила несколько компаний, работающих в нише VR

Наиболее явно о заинтересованности Apple в виртуальной реальности говорит покупка целого ряда связанных с этой сферой компаний.

Одним из крупнейших и наиболее громких приобретений стала покупка PrimeSense (разработчика Xbox Kinect) за невероятные 345 миллионов долларов. Это огромная сумма за технологию, которая только развивается. Изначально многие решили, что новоприобретенная компания будет заниматься домашним кинотеатром от Apple (или самим Apple TV), но гораздо логичнее предположить, что силы PrimeSense брошены на создание системы VR/AR.

Дата выхода Apple VR

Но это было только начало. Apple начали 2015 год с приобретения Metaio, – немецкой компании, имеющей большой опыт в сфере дополненной реальности. Они приложили руку к созданию многих AR-приложений, пользующихся популярностью и по сей день. Среди них виртуальный каталог Ikea и AR-салон Ferrari.

Цена Apple VR

После перехода к Apple от Metaio, что называется, ни слуху ни духу. На сайте фирмы можно найти лишь немного информации в графе «О нас» и контактный email. Ничего о текущих разработках.

Вдогонку к Metaio, в ноябре 2015 Apple выкупила Faceshift. В частности, компании принадлежит авторство технологии захвата движения, использовавшейся в «Звездных Войнах». Благодаря этой технологии можно создавать трехмерных компьютерных персонажей на основе движений реальных актеров. В принципе, это отдаленно связанно с технологиями AR/VR.

Дата выхода Apple VR

Позднее Apple объявили о приобретении Flyby Media – компании, занимающейся разработкой технологий, которые позволяют смартфонам «видеть» мир вокруг них. В прошлом ребята сотрудничали с Google в создании технологии распознавания изображений, ныне использующуюся в смартфоне Project Tango.

Дата выхода Apple VR

Сейчас сайт компании не работает (что является типичным последствием перехода к Apple), но в целом Flyby Media описывают себя как «компанию, призванную углубить реальный опыт и переживания, а не заменить их». В прошлом они занимались локализацией, навигацией, построением карт, мультисенсорным слиянием, распознаванием изображений и 3D-слежением.

И это ещё не всё. В августе 2017 Apple купили SensoMotoric Instruments. Небольшая немецкая компания специализируется на технологии отслеживания взгляда. На выставке CES 2017 она представила модифицированные версии HTC Vive и Gear VR, оснащенные этой технологией. Как и всегда, Apple лаконично объявила о приобретении компании, не разглашая своих далеко идущих планов. Впрочем, тут к бабке не ходи, дело в VR.

Последнее крупное приобретение Apple датируется ноябрем 2017. Согласно изданию TechCrunch, компания выкупила VR-стартап Vrvana за 30 миллионов долларов. Сейчас Vrvana занимается шлемом под названием Totem, который откроет нам мир «расширенной реальности». Судя по всему, это нечто среднее между VR и AR.

Тим Кук поднимает тему Apple VR на ежеквартальных собраниях директоров

В то время, как споры о том, планирует ли Apple выпускать собственный VR-шлем, не утихают уже более года, компания до недавних пор даже официально не заявляла о своем интересе в данной нише. Впрочем, с нишевостью направления Тим Кук не соглашается: когда его спросили о планах касательно виртуальной реальности на собрании в январе 2016, он ответил, что не считает VR «нишей», и что технология определенно не лишена перспектив.

Конечно, этот комментарий не служит доказательством разработки VR-шлема от Apple. Но если обратиться к прошлом, то Тим Кук уже говорил нечто подобное, отвечая на вопрос об Apple TV. Сперва он заявил, что компания «очень заинтересована в развитии этого направления», и менее чем через год мы получили Apple TV с собственным магазином приложений и поддержкой игр.

В той же манере Кук назвал «интересной» нишу смарт-часов в 2013 году. И что бы вы думали? Через какое-то время свет увидел Apple Watch. Опять же, это всё предположения, но тренд прослеживается, и возможно он вновь проявит себя в ближайшем будущем.

Apple отправляет сотрудников в лабораторию по изучению VR

Допустим, Apple не занимается разработкой VR-системы. Тогда зачем же компания несколько раз на протяжении трех последних месяцев отсылала сотрудников в лабораторию виртуального человеческого взаимодействия Стэнфордского Университета? Основатель лаборатории Джереми Байленсон впервые упомянул об этом на конференции Wall Street Journal в Калифорнии.

Судя по всему, лабораторию виртуального человеческого взаимодействия стоит посетить каждому предпринимателю, планирующему заниматься темой VR. Например, так сделал Марк Цукерберг перед приобретением Oculus.

В частности, Байленсон рассказал, что «Apple не посещали нашу лабораторию на протяжении 13 лет. Но за последние 3 месяца они появились 3 раза. Разумеется, не рассказали зачем, но этот факт сам по себе интересен».

Как и всегда, Apple не разглашают своих планов, но посещение Стэнфордской лаборатории и заявления Тима Кука о заинтересованности в виртуальной реальности явственно указывают на то, компания ведет работу над новым VR-шлемом, хоть мы, скорее всего, и не увидим его в ближайшем будущем.

Apple перенесла релиз очков дополненной реальности — Wylsacom

По информации аналитика Мин-Чи Куо, очки дополненной реальности Apple должны были представить в следующем году. Однако их покажут, скорее всего, только в 2023-м, а годом ранее выйдет шлем дополненной реальности. Об этом сообщило издание The Information.

Что известно про очки?

Не так много, как хотелось бы: в одной из бета-версий iOS 13 нашли упоминание нового аксессуара, также была информация от разных изданий, а недавно стало известно о сотрудничестве с Valve для работы над шлемом виртуальной реальности.

Устройства, конечно, разные, причём в Apple посчитали нужным сделать именно два аксессуара: в 2022 году выйдет шлем с технологией 3D-сканирования и возможностью распознавания людей, а в 2023 — очки, то есть изящная версия шлема.

Концепт зарядки. Красиво!

Новые продукты обсуждало большое количество сотрудников прямо в Театре Стива Джобса, и такой график выхода был утверждён руководителями компании. Шлем виртуальной реальности Apple будет похож на Oculus Quest, но более «гладкий». Основные материалы — ткань и пластик.

Oculus анонсировала автономный VR-шлем Quest

С 2021 года компания планирует привлекать сторонних разработчиков для создания интересных и полезных программ. AR-очки, кстати, получат форму обычных солнцезащитных очков. Оправа будет немного толще, чем мы привыкли видеть, так как аккумуляторы и электроника занимают достаточно места.

Похоже, компании совершенно не понравился опыт с AirPower, поэтому она решила сначала разработать устройство, протестировать его должным образом, создать базу приложений и только потом показывать его нам, покупателям.

Очень хочется посмотреть на «умные» очки и шлем дополненной реальности Apple, которые могут изменить рынок подобных устройств, вдохнуть в него жизнь и заставить разработчиков трудиться активнее. Все будут в плюсе, так ведь?

Тестируем возможности ARKit. Создаем игру с дополненной реальностью

На WWDC 2017 Apple анонсировала ARKit — SDK для работы с дополненной реальностью. Благодаря ему порог вхождения в эту технологию стал значительно ниже. Можно ожидать появления большого количества качественных игр и приложений.

Если вы смотрели Keynote, то, вероятно, вы уже в восторге от увиденного. Игровой мир, который инженеры Apple смогли развернуть на обычном столе при помощи ARKit, не может оставить равнодушными даже самых искушенных геймеров. Это был не просто прототип, а хорошо работающая технология, над которой действительно потрудились. В этом легко убедиться, запустив несколько демо или попробовав самим привнести что-либо виртуальное в наш мир.

Вынужден расстроить счастливых обладателей iPhone 6 и ниже. На данных девайсах все эти прелести жизни будут недоступны. Для использования всех ключевых функций ARKit необходим процессор А9 и выше. Apple, конечно, даст урезанный доступ к функциональности, но это уже совсем не то.

Дополненная реальность

Дополненная реальность (augmented reality, AR) — это виртуальная среда, которая накладывается на реальный мир для придания ему большей выразительности, информативности или просто ради развлечения. Термин, предположительно, был предложен исследователем компании Boeing Томасом Коделлом еще в 1990 году. Уже тогда начали появляться первые примеры устройств с применением данной технологии. Впервые дополненная реальность была реализована на электронных шлемах летчиков для вывода информации о полете и радаре.

Хочется спросить, чем же все занимались почти 20 лет и почему масштабное развитие эта технология получила лишь сейчас. Все предельно просто. Появление хороших камер в телефонах, сенсоров и развитие технологий компьютерного зрения сделали это возможным.

Что же можно сделать полезного и чего ждать в ближайшее время на полках AppStore? На самом деле все ограничивается лишь фантазией разработчиков. Можно с уверенностью назвать несколько отраслей, где AR произведет революцию с выходом нового фреймворка от Apple:

  • Игровая индустрия;
  • Архитектура;
  • Киноиндустрия.

Возможности ARKit

ARKit — не волшебная палочка Гарри Поттера, а инструмент, который умеет грамотно обрабатывать большое количество данных, полученных от устройства. Благодаря камере и датчикам движения фреймворк отслеживает движение, находит поверхности и определяет освещенность. После анализа данных мы получаем конкретное представление об окружающем мире в виде точек пересечения, координат поверхностей и положении камеры в пространстве.

Основой задачей ARKit является слежение за окружающим миром (World Tracking) для создания виртуальной модели реального мира. Фреймворк распознает особенности видеокадров, отслеживает изменения их положения и сравнивает эту информацию с данными от датчиков движения. Результатом является виртуальная модель реального мира. Отдельная возможность — распознавание плоских горизонтальных поверхностей. ARKit находит плоскости и сообщает об их расположении и размерах.

Слежение за окружающим миром требует анализа картинки, получаемой от камеры. Для достижения наилучшего результата, необходимо хорошее освещение.

Основой ARKit являются ARSCNView и ARSKView. Они служат для отображения live видео и рендеринга 3D и 2D изображений. Как все уже догадались, это наследники от SCNView и SKView. Следовательно, ARKit не привносит каких-то невероятных особенностей в отображении данных. Это все те же движки для работы с 2D и 3D графикой, с которыми уже все знакомы. Поэтому порог вхождения в данную технологию будет достаточно низким. Apple знаменита любовью к своим технологиям и продуктам, но несмотря на это разработчики ARKit сделали поддержку Unity и Unreal Engine. Это положительно скажется на количестве качественных приложений, которые появятся в ближайшее время.

ARSCNView и ARSKView содержат в себе сердце ARKit — ARSession. Именно этот класс содержит в себе все необходимое для работы с дополненной реальностью. Для запуска ARSession необходимо передать конфигурацию работы сессии.

Тип конфигурации определяет стиль и качество работы AR, которое может быть достигнуто:

  • На девайсах с процессором A9 и новее можно использовать ARWorldTrackingSessionConfiguration. Именно эта конфигурация дает возможность воспользоваться всей мощью нового фреймворка. Для вас будет создана модель окружающего мира в виртуальной реальности и предоставлена информация о плоскостях в поле видимости камеры. Это поможет расположить виртуальные объекты с максимальной точностью.
  • На остальных девайсах, поддерживающих ARKit, будет доступна лишь ARSessionConfiguration. Базовый класс предоставляет только информацию о движении устройства в пространстве, но не строит виртуальных моделей. Это не даст необходимого эффекта и не позволит насладиться всем качеством новой технологии. Вам будет недоступна возможность фиксации виртуальных объектов относительно объектов реального мира.

После выбора типа конфигурации необходимо создать ее экземпляр, произвести настройку и запустить сессию:

override func viewWillAppear(_ animated: Bool) {
        super.viewWillAppear(animated)

        // Create a session configuration
        let configuration = ARWorldTrackingSessionConfiguration()

        // Run the view's session
        sceneView.session.run(configuration)
}

Важно помнить, что ARKit потребляет довольно много энергии для расчетов. Если View с контентом не отображается в данный момент на экране, то имеет смысл приостановить сессию на это время, используя session.pause().

После запуска сессии можно начинать работать с виртуальным контентом. Если хотите, чтобы ARKit распознавал плоскости, не забудьте установить значение planeDetection у конфигурации в значение horizontal. Изначально распознавание горизонтальных поверхностей выключено. Будем надеяться, что в будущем появится возможность находить и вертикальные поверхности, но пока только горизонтальные.

Способ получения информации об окружающей среде зависит от того, какой вид отображения данных вы будете использовать ARSCNView, ARSKView или Metal. Единицей информации, которую предоставляет ARKit, является ARAnchor. Если у вас включено распознавание поверхностей, то вы столкнетесь с сабклассом ARPlaneAnchor. Он содержит в себе информацию о найденных плоскостях. Благодаря данным якорям есть возможность ориентироваться в пространстве. В случае использования Metal вам придется вручную заниматься рендерингом. Тогда можете подписаться на обновления, используя делегат ARSessionDelegate у класса ARSession, и получать якоря от сессии. Если используете один из Apple движков для рендеринга объектов, тогда есть возможность воспользоваться более удобными делегатами ARSCNViewDelegate или ARSKViewDelegate.

На первый взгляд все довольно просто. Почти всю сложную работу делает ARSession. Давайте попробуем сделать тестовое приложение.

Тестируем возможности ARKit

Дополненная реальность сейчас у всех ассоциируется с игрой Pokémon GO, которая взорвала рынок игровой индустрии. Попробуем сделать нечто похожее.

Для создания тестового приложения мы воспользуемся ARSCNView для создания и рендеринга 3D моделей. Наша игра будет состоять из 2 этапов. Сначала мы будем расставлять мишени по комнате, а после пытаться как можно быстрее попасть по ним всем. Игра довольна примитивна, но продемонстрирует простоту создания игр с дополненной реальностью.

Начнем с того, что растянем на весь ViewController ARSCNView и создадим IBOutlet. Далее будем работать с ней, как с обычной SCNView. Произведем первоначальную настройку. Сделаем контроллер делегатом контактов физического мира и выведем статистику. Настроим запуск и паузу сессии при появлении и скрытии контроллера.

override func viewDidLoad() {
        super.viewDidLoad()

        sceneView.scene.physicsWorld.contactDelegate = self

        // Show statistics such as fps and timing information
        sceneView.showsStatistics = true
}

override func viewWillAppear(_ animated: Bool) {
        super.viewWillAppear(animated)

        // Create a session configuration
        let configuration = ARSessionConfiguration.isSupported ? 
ARWorldTrackingSessionConfiguration() : ARSessionConfiguration()

        // Run the view's session
        sceneView.session.run(configuration)
}

override func viewWillDisappear(_ animated: Bool) {
        super.viewWillDisappear(animated)

        // Pause the view's session
        sceneView.session.pause()
}

Выбор конфигурации сессии зависит от модели устройства, на котором запустили приложение. Крайне важно сделать эту проверку. Иначе, в случае неверной конфигурации, сессия пришлет ошибку и игра не запустится вообще.

ARKit настолько прост, что мы больше не будем использовать никакие его настройки. Единственное, что еще понадобится — это расположение камеры в пространстве виртуального мира. Остальное — дело техники и немного SceneKit.

Мы не будем здесь описывать обработку нажатий или подсчет очков. Это не так важно, и вы можете это увидеть сами в ДЕМО, представленном в конце статьи.

Наша игра содержит две модели объектов: шарик, которым мы будем стрелять, и летающие логотипы Touch Instinct. Для добавления этих моделей на экран, необходимо создать их, используя SCNNode.

Что понадобится, чтобы создать физический объект:

  • задать фигуру определенного размера;
  • создать фигуру с физическими свойствами для контролирования контактов с другими объектам;
  • создать физическое тело для описания поведения объекта при соприкосновении;
  • задать текстуры.

Пример реализации классов патрона в виде шара и логотипа в виде куба с нужными текстурами.

class ARBullet: SCNNode {

    override init() {
        super.init()

        let arKitBox = SCNSphere(radius: 0.025)
        self.geometry = arKitBox
        let shape = SCNPhysicsShape(geometry: arKitBox, options: nil)
        self.physicsBody = SCNPhysicsBody(type: .dynamic, shape: shape)
        self.physicsBody?.isAffectedByGravity = false

        self.physicsBody?.categoryBitMask = CollisionCategory.arBullets.rawValue
        self.physicsBody?.contactTestBitMask = CollisionCategory.logos.rawValue

        // add texture
        let material = SCNMaterial()
        material.diffuse.contents = UIImage(named: "art.scnassets/ARKit_logo.png")
        self.geometry?.materials  = [material]
    }

    required init?(coder aDecoder: NSCoder) {
        fatalError("init(coder:) has not been implemented")
    }

}
class Logo: SCNNode {

    override init() {
        super.init()

        let logo = SCNBox(width: 0.1, height: 0.1, length: 0.1, chamferRadius: 0)
        self.geometry = logo
        let shape = SCNPhysicsShape(geometry: logo, options: nil)

        self.physicsBody = SCNPhysicsBody(type: .dynamic, shape: shape)
        self.physicsBody?.isAffectedByGravity = false

        self.physicsBody?.categoryBitMask = CollisionCategory.logos.rawValue
        self.physicsBody?.contactTestBitMask = CollisionCategory.arBullets.rawValue

        // add texture
        let material = SCNMaterial()
        material.diffuse.contents = UIImage(named: "art.scnassets/logo-mobile.png")
        self.geometry?.materials  = Array(repeating: material, count: 6)
    }

    required init?(coder aDecoder: NSCoder) {
        fatalError("init(coder:) has not been implemented")
    }

}

Хочется обратить внимание на CollisionCategory. Это структура используется для определения типа объекта при контакте.

struct CollisionCategory: OptionSet {
    let rawValue: Int

    static let arBullets  = CollisionCategory(rawValue: 1 << 0)
    static let logos = CollisionCategory(rawValue: 1 << 1)
}

Это стандартная тактика для определения контакта. Свойство categoryBitMask задает маску конкретного объекта, а contactTestBitMask настраивает все контакты, которые нам будут интересны и о которых мы хотим получать уведомления.

Раз мы заговорили про обработку контактов, давайте посмотрим, как это выглядит в контроллере. Во viewDidLoad мы уже подписались на события контактов физического мира. Осталось реализовать одну функцию.

extension ViewController: SCNPhysicsContactDelegate {

    func physicsWorld(_ world: SCNPhysicsWorld, didBegin contact: SCNPhysicsContact) {
        guard let nodeABitMask = contact.nodeA.physicsBody?.categoryBitMask,
            let nodeBBitMask = contact.nodeB.physicsBody?.categoryBitMask,
            nodeABitMask & nodeBBitMask == CollisionCategory.logos.rawValue & CollisionCategory.arBullets.rawValue else {
                    return
        }

        contact.nodeB.removeFromParentNode()
        logoCount -= 1

        if logoCount == 0 {
            DispatchQueue.main.async {
                self.stopGame()
            }
        }

        DispatchQueue.main.asyncAfter(deadline: .now() + 0.5, execute: {
            contact.nodeA.removeFromParentNode()
        })
    }

}

Самое интересное — это первая проверка того, что произошло именно соударение патрона и мишени в виде куба. Она выполняется на основе битовой маски. Это очень удобно и избавляет от большого количества других проверок.

При соударении мы убавляем счетчик оставшихся логотипов и удаляем оба объекта. Второй объект удаляется с небольшой задержкой для визуализации столкновения.

Две основные игровые функции — это добавление мишени и выстрел. Добавление происходит на небольшом расстоянии от экрана в той стороне, куда направлена камера. Мы просто создаем уже сконфигурированный объект куба, добавляем его на сцену и настраиваем его расположение относительно камеры в пространстве.

private func addLogo() {
        guard let currentFrame = sceneView.session.currentFrame else {
            return
        }

        let logo = Logo()
        sceneView.scene.rootNode.addChildNode(logo)

        var translation = matrix_identity_float4x4
        translation.columns.3.z = -1
        logo.simdTransform = matrix_multiply(currentFrame.camera.transform, translation)

        logoCount += 1
        if logoCount == ViewController.logoMaxCount {
            startGame()
        }
}

При выстреле мы также создаем объект шара. Добавляем его на сцену. Но теперь нам необходимо не просто его добавить, но и придать ему ускорение. Для этого мы определяем позицию посередине экрана и придаем ускорение, приложив силу в нужном направлении.

private func shoot() {
        let arBullet = ARBullet()

        let (direction, position) = cameraVector
        arBullet.position = position
        arBullet.physicsBody?.applyForce(direction, asImpulse: true)
        sceneView.scene.rootNode.addChildNode(arBullet)
}

Вот так всего за пару десятков строк мы создали простую игру.

Будущее наступит в сентябре

Как видите, Apple потрудились на славу. Благодаря новому фреймворку ARKit создание приложений с дополненной реальностью — так же просто, как сделать приложение с несколькими контроллерами. При этом вам не нужно беспокоиться о красивых декорациях. Эта технология точно изменит наше представление о мобильных приложениях.

Скачивайте новый Xcode 9, и создавайте приложения, которые добавят в наш мир виртуальной магии. Будущее уже здесь. Ну или будет здесь ближе к сентябрю, после очередной презентации Apple.

Демо проект

Скачивайте в репозитории Touch Instinct

что это такое и как включить у себя на смартфоне

Приветствую всех поклонников высоких технологий! Нас давно не удивляют пиксели, число ядер, мегагерцы, точки на дюйм и сами дюймы в давно уже не простых устройствах связи. Сегодня в тренде смартфоны с двойными камерами и безрамочным дисплеем и технология — виртуальная и дополненная реальность на Айфон. Дальше будет интересно!

Что это за технология

Дополненная реальность — это внедренные трехмерные виртуальные предметы на все, что нас окружает. Благодаря технологиям дополнительной реальности (ДР) наш мир выглядит выразительно, ярко, многогранно. Модель «дополненного» проектирования окружающей среды успешно внедряется в разные программы, игры, эта технология применяется на устройствах мобильной связи. Высококачественный контент полностью стирает границу между «натуральной» и «искусственной» жизнью. Окружающее нас пространство расширится, изменится, человек по-другому увидит мир.

Обзор технологии дополненной реальности на Айфоне (AR): как работает и чем отличается от VR + + топ лучших игр

Наша жизнь дополнится новыми красками благодаря специальному ПО, а также:

  • «Умным» очкам.
  • Планшетам.
  • Смартфону с поддержкой AR эффектов и иным девайсам.

Краткая история появления

Само понятие «дополненная реальность» (Augmented Reality или AR) предложил Том Кодел в 1990 году. ДР стала популярной после релиза игры Pokemon Go, где удачно удалось внедрить виртуальные метки на окружающее пространство.

История AR начинается в 20 веке, имеет несколько этапов:

  • Профессору из Гарварда Айвену Сазерленду удалось получить «двойную» реальность. Геометрическая сетка дополнила его помещение, такой эффект был виден пользователю. Но технология оказалась громоздкой, проект провалился.
  • Расширить границы окружающего пространства с применением AR удалось НАСА в 90-х годах. Исследовались программы для истребителей и в космической отрасли. Удалось создать дисплеи, очки, шлемы. С внедрением кодов быстрого реагирования (QR) современные девайсы стали поддерживать AR.
  • «Расширить» реальность и полноценно воплотить технологию удалось Дитеру Шмальстигу, Даниэлу Вагнеру. Они приспособили augmented reality для смартфонов, а Ральфом Остерхаутом был усовершенствован специальный софт.
  • Сейчас AR доступна каждому, у кого есть с ПК, и современный мобильник.

Принцип работы

Самые элементарные приложения этой технологии представляют собой изображение, которое наложено на видео в смартфонах от Apple или иных популярных компаний.

При разработке augmented reality на базе платформы ARKit в iOS 11 применяются алгоритмы, с помощью которых:

  • Совмещается то, что виртуально и реально.
  • Взаимодействие происходит в реальном времени, поддерживается 3d.

Чтобы создать эффект AR не обойтись без:

  • Процессора.
  • Экрана.
  • Видеокамеры.
  • Электронного «фарша», определяющего местоположение (датчики, компас, GPS).

Все это имеется в современных гаджетах (планшеты iPad, телефоны, например, Айфон 7 и выше).

Обзор технологии дополненной реальности на Айфоне (AR): как работает и чем отличается от VR + + топ лучших игр

Принцип работы программ ДР прост:

  • Применяется специальный маркер.
  • Его считывает мощный смартфон, например, iPhone 8, iPhone X или компьютер.
  • Дисплей воспроизводит слой дополнительной информации.

Как включить ДР у себя на телефоне? Просто запускается приложение или игра с поддержкой AR, наводится видеокамера смартфона на предмет, на дисплее появляются текстовые примечания, фотографии, видео либо все вместе.

Отличия от виртуальной реальности

При дополненной реальности шире воспринимается окружающая действительность. Восприятие реальной обстановки происходит как обычно, а окружающие предметы дополнят новый образ. Технологическая «начинка» гаджетов создает дополненный искусственный слой в виде контента.

Настоящая реальность дополнится разработанными программными объектами в виде информации о том, что просматривается.

VR или виртуальная реальность и настоящая действительность — это противоположные понятия. VR — это мир, которого на самом деле нет, он полностью иллюзорен, создан разработчиками компьютерных игр. При полном погружении в этот нереальный мир человек перестает контролировать окружающую действительность. Выйти из этого состояния ему удастся если, например, он получит травму в действительности, ударившись об шкаф или кресло.

Преимущества и недостатки

Возможности ДР безграничны, ее можно применять в любой сфере деятельности:

  • Маркетинге, рекламном бизнесе.
  • Шоу, развлекательных мероприятиях.
  • Образовании, отдыхе, играх.
  • Археологии, строительстве, биологии, архитектуре и иных отраслях.

Недостатки заключаются в том, что:

  • Технология пока еще «сырая» для смартфонов, планшетов, графика иногда несовершенна, гаджеты работают медленнее. Требуется чтобы модель телефона была не менее, чем iPhone 5s.
  • Аккумулятор мобильного устройства быстро разряжается.
  • Отсутствует совершенный ввод и интерактив. Такое взаимодействие медленное, утомляет.
  • Устройства, поддерживающие ДР, имеют высокую стоимость.

Далее смотрите интересное видео про AR:

Лучшие игры и приложения с AR на Iphone

Здесь контент очень разнообразен:

  • The Machines
  • Kings of Pool
  • AR Sports Basketball
  • Flat Pack
  • AR Dragon
  • AR Drone Commander
  • Ink Hunter
  • WaveLength
  • Magicplan
  • Sketch AR
  • IKEA Place
  • «Яндекс.Карты» с AR

Благодаря высоким технологиям мы видим мир по-новому, они не стоят на месте. Разнообразные решения уже применяются во многих отраслях, делая нашу жизнь комфортнее. Впереди нас ждет все самое лучшее!

Всех благодарю за внимание, подписывайтесь на мои статьи, делитесь лайками в социальных сетях. До новых встреч!

Обзор технологии дополненной реальности на Айфоне (AR): как работает и чем отличается от VR + + топ лучших игр Загрузка…

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *