Augmented reality что это: Как работает технология дополненной реальности AR, описание, примеры приложений

Содержание

Как работает технология дополненной реальности AR, описание, примеры приложений

Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера.
Ее
специфика
заключается в том, что она программным образом визуально совмещает два изначально независимых
пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.

Новая
виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх
видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.

Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных
технологиях, в играх, для мониторинга объектов и в мобильных устройствах.

Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что
«глазами» системы становится камера, а «руками» — маркеры. Камера распознает маркеры в
реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и
таким образом создает мир дополненной реальности.

Существуют три основных направления в развитии этой технологии:

«Безмаркерная» технология AR

«Безмаркерная» технология работает по особым алгоритмам распознавания, где на
окружающий
ландшафт,
снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы
находят
некие
опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная
модель.
Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по
себе и
для
них не нужно создавать специальных визуальных идентификаторов.

AR технология на базе маркеров

Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются
камерой и
дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо
надежнее
«безмаркерной» и работает практически без сбоев.

«Пространственная» технология

Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на
пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и
компаса,
встроенного в мобильный телефон. Место виртуального объекта определяется координатами в
пространстве. Активация программы дополненной реальности происходит при совпадении
координаты,
заложенной в программе, с координатами пользователя.

Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа
программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии
дополненной реальности.

Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в
методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при
изучении конкретной темы и проведении практических работ по ней.

Примеры приложений с AR технологиями

Оборудование для AR технологий

Для работы с технологией дополненной реальности обязательно необходимы следующие
компоненты:

  • Графическая станция. Это может быть мобильный телефон, ноутбук, персональный компьютер,
    графическая рабочая станция с профессиональной видеокартой. Одним словом, компьютер.
  • Дисплей. Экран телефона, телевизор, монитор, моно или стерео дисплей, проекционный
    экран.
  • Камера. Благодаря камере мы получаем «слепок» реального мира, на который специальное
    программное
    обеспечение накладывает виртуальные объекты.
  • Метки, или маркеры.
  • Программное обеспечение. Математические алгоритмы, которые позволяют камере увидеть и
    распознать
    метку (маркер) в окружающем пространстве, а затем определить, какая именно модель
    программно
    «привязана» к метке. И, наконец, «положить» эту модель на метку таким образом, чтобы
    виртуальный
    2D или 3D объект повторял любое движение реальной метки.

Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это
специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую
интерактивную систему.

Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с
помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры.
Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки.
Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D
контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача –
определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы –
построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к
метке.

После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней
будет точно следовать за движением метки.

К сожалению, маркерная технология, как и  любая другая технология, имеет ряд возможных проблем в
работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть
с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для
этого.

Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное
освещение, лампа дневного света, светочувствительность камеры, — все эти параметры напрямую влияют
на уровень распознавания метки.

Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку
камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под
наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком
быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает
отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.

Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья,
более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель
реальной камеры в компьютерном пространстве.

Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран,
нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях,
используя «шахматную доску» и специальное программное обеспечение.

Еще одна проблема, которая часто относится к web-камерам, — это низкое разрешение камеры.
Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими
объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с
метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или
на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с
более высоким разрешением и ее последующей калибровкой.

И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь
ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае
модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой
объект) или вовсе исчезать с экрана.

Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3
основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный
видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на
устройства вывода для восприятия конечным пользователем.

AR — Дополненная Реальность (статья плюс ролик) / Хабр

По-настоящему широкая публика столкнулась с ней, когда Гугл захотел повесить нам на нос свои умные очки. После пришла эпоха смешных масок, которые делали из нас котиков, зайчиков и Леонардо Ди Каприо. Затем покемоны захватили обе реальности и заставили наматывать километры. А недавно Эппл показала ARKit, а Гугл — ARCore, и значит нас вот-вот накроет новая волна игр и приложений с применением дополненной реальности, возможности которой гораздо шире и полезнее для общества, чем ловля слоупоков.

Это популяризаторская статья. В ней нет подробного описания технической стороны, зато есть история развития ЭйАр, ссылки на упоминающиеся разработки и множество интересных иллюстраций.

Очень много картинок!

Что такое ЭйАр

Дополненная реальность — это среда, в реальном времени дополняющая физический мир, каким мы его видим, цифровыми данными с помощью каких-либо устройств — планшетов, смартфонов или других, и программной части. Например, Google Glass или шлем Железного Человека. Системы прицеливания в современных боевых самолетах — это тоже дополненная реальность.

Дополненную реальность (augmented reality, AR) надо отличать от виртуальной (virtual reality, VR) и смешанной (mixed reality, MR).

В дополненной реальности виртуальные объекты проецируются на реальное окружение.

Виртуальная реальность — это созданный техническими средствами мир, передаваемый человеку через (пока что) органы чувств.

Смешанная или гибридная реальность объединяет оба подхода.

То есть, виртуальная реальность создает свой мир, куда может погрузиться человек, а дополненная добавляет виртуальные элементы в мир реальный. Выходит, что ВиАр взаимодействует лишь с пользователями, а ЭйАр — со всем внешним миром.

История ЭйАр

Как многие другие интересные исследования, история манипуляций с реальностью начинается в научной фантастике. Автор «Волшебника страны Оз» Лайман Фрэнк Баум в романе

«Главный ключ»

описал некое устройство, способное помечать в режиме реального времени людей буквами, указывающими на их характер и уровень интеллекта. Примитивные инструменты дополнения реальности были известны задолго до того: это и маски, которые надевали римские лучники, чтобы лучше целиться, и подзорные трубы с нанесенными метками расстояний и так далее.

Но история дополненной реальности, какой мы ее знаем сейчас, берет начало из разработок, касающихся ВиАр. Отцом виртуальной реальности считается Мортон Хейлиг. Он получил это звание за исследования и изобретения, сделанные в 1950-х и 60-х годах. 28 августа 1962 года он запатентовал симулятор Sensorama. Сам Хейлиг еще называл его театром погружения.

Патент описывает виртуальную технологию, в которой визуальные образы дополняются движениями воздуха и вибрацией. Обоснование ее существования давалось такое:

«Сегодня постоянно растет спрос на методы обучения и тренировки людей таким способом, чтобы исключить риски и опасность реальных ситуаций»

Это было устройство ранней версии виртуальной реальности, а не дополненной, но именно оно дало толчок к развитию обоих направлений. Хейлиг даже изобрел специальную 3Д-камеру, чтобы снимать фильмы для Сенсорамы.

А вот в 1968-м году компьютерный специалист и профессор Гарварда Айван Сазерленд со своим студентом Бобом Спрауллом разработали устройство, получившее название «Дамоклов Меч». И это была первая система уже именно дополненной реальности на основе головного дисплея.

Очки были настолько тяжелыми, что их пришлось крепить к потолку. Конструкция угрожающе нависала над испытуемым, отсюда и название. В очки со стереоскопическим дисплеем транслировалась простая картинка с компьютера. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя, поэтому понадобился механизм, позволяющий отслеживать направление взгляда. Для того времени это был фантастический прорыв.

Следующим шагом было создание Майроном Крюгером лаборатории с искусственной реальностью Videoplace в 1974-м году.

Его основной целью было избавить пользователей от необходимости надевать специальные шлемы, очки и прочие приспособления для взаимодействия с искусственной реальностью. В Видеоплейсе использовались проекторы, видеокамеры и другое оборудование. Люди, находясь в разных комнатах, могли взаимодействовать друг с другом. Их движения записывались на видео, анализировались и переводились в силуэты искусственной реальности. Пользователи видели, как их силуэты взаимодействуют с объектами на экране и это создавало впечатление, что они часть искусственной реальности. Хотя правильнее было бы назвать это проектом интерактивного окружения.

Спустя четыре года, в 1978-м, Стив Манн придумал первое приспособление для ЭйАр, которое не было прикручено к потолку. В EyeTap использовалась камера и дисплей, дополняющий среду в режиме реального времени. Это изобретение стало основой для будущих проектов, но массово не использовалось.

Первое массовое использование дополненной реальности стало возможно благодаря Дену Рейтону, который в 1982-м году использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телепрогнозах погоды. Там ЭйАр до сих пор используется таким образом.

В 90-е поиск новых способов использования продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров. Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе.

Дальше развитие происходило стремительно. Скачок, сделанный в производстве микропроцессоров, и, как следствие, во всем технологическим секторе, позволил сильно ускорить работы.

В 1993-м году в университете штата Колумбия Стив Файнер представил систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, переводится примерно как «Интерактивный помощник по обслуживанию»), позволявшую через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

А вот в 95-м Джун Рекимото собрал Navicam — прототип мобильного устройства дополненной реальности, какой ее сейчас знают пользователи смартфонов. Навикам представлял собой переносной дисплей с закрепленной на обратной стороне камерой, чей видеопоток обрабатывался компьютером и, при обнаружении цветной метки, выводил на экран информацию об объекте.

В 96-м году Джуном Рекимото и Южди Аятцука был разработан Матричный Метод (или КиберКод). Он описывает реальные и виртуальные объекты с помощью плоских меток наподобие QR-кодов. Это позволяло вписывать виртуальные вещи в реальный мир, просто перенося метки. Например, положить на пол листок с кодом, навестись на комнату камерой — и вот у вас в комнате стоит динозавр.

В 98-м году НФЛ впервые использовала дополненную реальность, разработанную компанией Sport Vision, в прямой трансляции спортивных игр. Во время матчей на картинку с камеры, обзорно показывающей игровое поле, добавлялись технические линии и информация о счете. О «волшебной желтой линии» есть старый сюжет.

В 99-м НАСА применила систему дополненной реальности в приборной панели космического аппарата Икс-38, который научился отображать объекты на земле вне зависимости от погодных условий и реальной видимости.

И в том же году Хироказу Като создал открытую библиотеку для написания приложений с ЭйАр-функционалом ARToolKit (еще на Гитхабе). В ней использовалась система распознавания положения и ориентации камеры в реальном времени. Это позволяло стыковать картинку реальной и виртуальной камер, что давало возможность ровно накладывать слой компьютерной графики на маркеры реального мира.

Можно сказать, что с релизом первой версии этой библиотеки начался современный этап активного развития дополненной реальности.

Как работает дополненная реальность

Если откинуть совсем уж древние реализации, то ЭйАр — это распознавание образов и отслеживание маркеров.

С распознаванием образов все более-менее понятно. Если приложение должно распознавать стол, то достаточно загрузить на сервер библиотеку фотографий столов, обозначить общую структуру, цвет, произвольные параметры и присвоить этому набору данных определенное действие при обнаружении на картинке.

Вторая часть — это отслеживание маркеров. Маркерами могут выступать как специально напечатанные изображения, так и любые объекты.

Обложку журнала приложение распозна́ет по простой форме с прямыми углами и конкретному рисунку, и будет отслеживать ее положение в пространстве, отмечая смещение относительно фона. В этом случае сама обложка и есть маркер.

Со специальными маркерами все обстоит еще проще. Допустим, мы хотим примерить автомобилю новые диски. Для этого нам достаточно наклеить на диски QR-метки и система автоматически поймет, что именно в этих местах следует вставлять в картинку изображение новых колес. Еще один пример: мы кладем метку на пол и приложение понимает, что эта плоскость и есть пол, и разместит на нем произвольные объекты.

Но маркеры везде не налепишь, а сделать уникальный маркер под каждую ситуацию и унифицировать всю систему слишком сложно.

Здесь на выручку приходит SLAM — метод Одновременной Локализации и Построения Карты, используемый для построения карты в неизвестном пространстве с одновременным контролем текущего местоположения и пройденного пути.

Звучит сложно. В упрощённом виде, Слэм — это способ распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. После чего каждой отдельной форме система присваивает точку (или много-много точек), фиксируя их расположение в пространственных координатах на последовательных кадрах видеопотока. Таким образом, условное здание раскладывается на плоскости стен, окна, грани и прочие выделяющиеся элементы. А условная комната — на плоскости (пол, потолок, стены) и объекты внутри. Благодаря тому, что алгоритм позволяет запоминать положение точек в пространстве, вернувшись в эту же комнату из другой вы увидите точки на тех же местах, где они и находились ранее.

Особенно сильный толчок этот метод получил после того как производители смартфонов начали встраивать дополнительные камеры для расчета глубины резкости в свои аппараты.

Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Он дает приложению понять, где находится пользователь. Но намного хуже подходит для опознания, например, медведя на картинке.

Для максимальной эффективности оба подхода объединяют для конкретной задачи. Что приводит нас к современной ситуации.

Настоящее: от очков к телефонам

В самом начале развития ЭйАр было понятно, что ее успех будет зависеть от того, насколько удобно будет нашим глазам.

Еще в 1984-м году в фильме «Терминатор» Джеймса Кэмерона была визуализирована концепция дополненной реальности и компьютерного зрения. Но Кэмерон сильно опередил время, т.к. встроить ЭйАр прямо в глаз в те годы не представлялось возможным даже в смелых фантазиях. Идеалом виделись форм-факторы контактных линз или очков. Первое и сейчас лишь на стадии концептов, а вот по мере удешевления и появления более тонких производственных процессов форма очков становилась все ближе. С годами к ней окончательно прилип и второй вариант реализации: с помощью ставших вездесущими смартфонов.

Самым громким событием дополненной реальности последних лет стали вышедшие в 2013-м году очки Google Glass, с которыми есть небольшая путаница. Несмотря на то, что именно они многим первыми приходят на ум, когда речь заходит о дополненной реальности, к таковой эти очки отношения почти не имели. Виртуальная среда практически не взаимодействовала с реальной. Разве что навигацию можно причислить к ЭйАр-контенту, но и она была реализована в стиле карт для телефона, а не каких-нибудь висящих над дорогой стрелок.

Зато очки умели делать фото и снимать видео по команде, с автоматической отправкой в облако. Этот не ставший массовым эксперимент все же сделал свое дело: запустил волну, дав понять другим компаниям, что можно всерьез приниматься за разработку устройств дополненной реальности для масс.

Эстафету тут же приняла Майкрософт, через пару лет завуалированно анонсировавшая (а в 2016-м и представившая) очки смешанной реальности Hololens. Правда, только для разработчиков и журналистов. Продукт сложный, его до сих пор разрабатывают. Но в интернете много восторженных обзоров, где люди делятся своим опытом взаимодействия с виртуальной средой.

Хололенс не требуют подключения к другому ПК или телефону. У очков четыре камеры, с помощью которых они анализируют комнату и совмещают виртуальные объекты с реальным миром.

Очки позволяют практически полноценно работать с Windows 10, причем, название «Виндоус» обретает новый смысл: окна системы легко вешаются на стены на манер, собственно, окон. Очки запоминают помещение, поэтому, когда пользователь возвращается в ту же самую комнату, все окна приложений и прочие элементы смешанной реальности ждут его на своих местах.

Сейчас существует около десятка наиболее перспективных разработчиков и продуктов для дополненной реальности в форм-факторе очков: Vuzix, Sony, ODG, Solos.

Но один производитель подобрался наиболее близко к тому, что может быть не только технологично, но и удобно. Это — компания Magic Leap.

Первое концепт-видео

Запустившись в 2010-м году в атмосфере абсолютной секретности, она уже через пару лет собрала инвестиций более чем на полмилллиарда долларов от таких гигантов как Гугл и Куалком. Никто за пределами узкого круга инвесторов не знал, чем эта компания привлекла такое внимание и что у нее за продукт.

Но информация все-таки просочилась. А позднее было официально объявлено: компания работает над продвинутой версией очков дополненной реальности, которые на голову сильнее Гугл Гласс и Хололенс. И, в отличие от других производителей, в Мэджик Лип равное внимание уделяют как железу, так и ПО и интерфейсам. Несмотря на то, что компанию больше интересует индустрия развлечений, чем прикладное применение, на сегодняшний день она является лидером в удобстве пользовательских интерфейсов.

Но пока ЭйАр в основном встречается в телефонах. Это удобство, готовая техническая база, широкая распространенность устройств и простота написания ПО.

Заточенные под фото для соцсетей приложения предлагают примерно одни и те же функции: маски и помещение персонажей в пространство. То есть — развлечения. Но все больше компаний понимают важность этой ниши и представляют более утилитарные приложения:

AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3д-окружении;

Google Translate умеет переводить текст, который видит камера, в реальном времени;

Sun Seeker помогает увидеть траекторию солнца на местности в любой день года;

Google Sky Map помогает узнать, какие звезды сейчас видно на небе.

Именно в мобильном сегменте сейчас сконцентрированы самые интересные ЭйАр-стартапы для массового рынка:

YouAR
6D
Selerio
Ubiquity6 и другие.

А одной из наиболее инвестирующих в технологию компаний является Фейсбук, который обкатывает новые идеи на своей массивной пользовательской базе.

Развлечения

Главная мобильная сфера, где себя нашла Дополненная Реальность — это, конечно же, развлечения.

Вы наверняка играли в шутеры от первого лица. Но вы когда-нибудь задумывались, что отображение количества патронов, здоровья и аптечек — это тоже дополненная реальность, только для вашего персонажа?

В начале 2000-х вышел ЭйАр-порт легендарной игры Квейк. Он так и назывался: ARQuake.

В наше же время можно и самому стать героем шутера. Например, в игре Father.IO. Такие проекты появляются все чаще.

В 2014-м вышла игра Night Terrors, один из первых популярных ужастиков в дополненной реальности. Попробуйте его ночью в каком-нибудь подвале — не забудете.

В 2016-м студия Nyantic выпустила наследницу своей игры Ingress и самую главную ЭйАр-игру, вероятно, на много лет вперед: Pokemon Go. Дополненная реальность, геотрекинг и популярная вселенная — все сложилось настолько удачно, что Покемон Гоу скачали более ста миллионов человек. Игра быстро стала феноменом и начала собирать вокруг себя скандалы, в том числе в России. Покемон Гоу уникальна еще и тем, что заставила миллионы людей гулять на свежем воздухе.

Настольные игры получили новую форму благодаря технологии.

Такие компании как Лего и Дисней активно ведут разработку игр с использованием ЭйАр, а намерения к ним присоединиться выразили практически все крупные производители игрушек. Исследовательские группы уже занялись сбором данных о том, как маленькие дети взаимодействуют с играми и приложениями дополненной реальности, и каким образом это влияет на их восприятие реального мира. Возможно, в будущем самые интересные идеи по развитию технологии будут звучать от тех, для кого эта самая технология была просто частью детства.

Именно развлечения сегодня развивают исследовательскую базу дополненной реальности. А благодаря колоссальным объемам данных, добровольно передаваемых людьми компаниям-разработчикам, технология в связке с машинным обучением делают шаги в сторону более серьезных областей.

От развлечений к реальной жизни

Справочная информация, объявления и виртуальные указатели обязательно войдут в наше виртуальное пространство. Виртуальный экскурсовод проведет нас по развалинам замка, да еще и покажет сценку, как именно этот замок развалили, и каким он был до того. Ну а социальные функции, вроде фильтра по статусу «в активном поиске», помогут найти вторую половинку прямо в толпе.

Ну и реклама. Вот уж какая сфера спит и видит скорейшее внедрение дополненной реальности в повседневную жизнь. А свежесть и новизна формата обеспечат вау-эффект. ЭйАр появилась даже в печатных изданиях. Например, в выпуске Эсквайра 2009-го года нужно было отсканировать обложку, и тогда на ней оживал Роберт Дауни младший.

Еще раньше ЭйАр и печатные издания скрестила БМВ, выпустившая в нескольких немецких журналах рекламу модели MINI, которая на экране становилась трехмерной и позволяла себя рассматривать со всех сторон.

А обложки, к слову, есть не только у журналов и книг. Для того, чтобы с вами начала разговаривать этикетка бутылки, сегодня не нужно даже пить.

Коммерческие возможности дополненной реальности настолько обширны, что сложно очертить границы. Даже граффити не осталось в стороне от ЭйАр-технологий.

ЭйАр может использоваться для быстрой примерки в магазинах: идея зайти в мебельный и тут же на тестовом стенде собрать себе комнату с мебелью и бытовой техникой, пользуясь подсказками по сочетаемости, напрашивается сама собой.

Более интересную и полезную идею воплотил маркетинговый отдел Икеи еще в 2014-м. Примерить мебель из каталога прямо к интерьеру своей комнаты оказалось крайне заманчиво.

Вдохновляют возможности ЭйАр в сфере образования.

Образование

Технология может занять ту нишу, которая в научной фантастике отдана голограммам. Только голограммы будут еще не скоро, а устройства вроде Хололенса технически почти готовы. Перспектива увидеть в вузах, а после и школах, виртуальные

интерактивные иллюстрации

, которые можно рассмотреть со всех сторон, с которыми можно взаимодействовать и тут же видеть результат своих опытов, представляется прекрасным далёко из светлых фантазий о будущем. Обучение любым инженерным специальностям может стать куда более наглядным и легким для понимания.

Еще одна важная сфера — медицина.

Медицина

Тут прямо глаза разбегаются от возможностей. Кроме максимально наглядного обучения студентов медвузов, сразу представляется визуализация данных прямо на пациенте, вместо расставленных вокруг экранов. УЗИ станет максимально наглядным. Ну и будущая мама будет счастлива получить на телефон трехмерного ребеночка, которого будет с радостью крутить и рассматривать, выискивая сходство того с отцом и собой.

Но одно дело УЗИ, которое не требует оперативного вмешательства, и другое — опасные для жизни пациентов операции, где наглядность может помочь врачу быстрее реагировать и точнее работать.

Наглядную анатомию в дополненном пространстве демонстрирует HoloAnatomy для Хололенса, который как раз и про медицину, и про образование. А заодно — и одна из знаковых демок для майкрософтовского шлема.

Менее драматично, но не менее полезно — помощники для слепых и глухих, сообщающих первым о предметах и событиях вокруг и показывающие субтитры вторым.

Например, стартап Aira одновременно предлагает нейросетевого помощника, распознающего и проговаривающего всё, что видит камера очков, и живого сотрудника стартапа, что поможет сориентироваться по той же камере в особо сложной ситуации. Система привязана к приложению для смартфона. Пользователь по подписке получает очки с камерой и возможность транслировать изображение с них дежурящим сотрудникам поддержки. Но постоянно созваниваться с ними нет нужды: голосовой ассистент Аиры распознает тексты и образы, перекрывая множество повседневных городских задач. Логично, что по мере развития компьютерного зрения надстройка с живыми сотрудниками будет все менее актуальна, но сегодня это хороший компромисс из человеческих и компьютерных ресурсов.

Ну и: у кого бюджеты больше, чем у рекламщиков и игроделов? У военных.

Военные технологии

И если системы наведения в боевых истребителях, дронах и танках для армии — это сегодня дело обычное, т.к. именно из ранних систем дополненной реальности для летчиков и росли другие военные проекты в этой области. Например, продвинутые системы дополненной реальности для пехоты, которые будут внедряться уже через пару лет.

Официальная фантазия армии США

В американской армии уже сегодня используется система HUD 1.0: сильно усовершенствованный прибор ночного видения, который также выполняет функции тепловизора и проецирует в монокль на шлеме целеуказатель, показывающий куда попадет пуля при текущем положении ствола.

Облегченные полуаналоги таких систем уже более пяти лет доступны на рынке. Баллистический калькулятор от компании TrackingPoint, фактически заменяет снайперу, ну или любому желающему, напарника-споттера.

На очереди — HUD 3.0, который должен выйти в следующем году. Он будет иметь возможность накладывать на реальную картинку полностью цифровые слои местности, модели зданий, планы этажей, позиции врагов и даже самих врагов. А это уже заявка на удешевление военных учений. Военные игры обходятся государственным бюджетам в колоссальные суммы каждый год, а с помощью систем дополненной реальности солдаты смогут тренироваться с условным противником не покидая пределов базы.

Российская армия разрабатывает похожие системы для саперов.

Конечно, хотелось бы, чтобы технологии получали развитие не благодаря военным проектам и интересам, но если вспомнить историю, то многие изобретения находили широкое мирное применение, несмотря на военные корни и прошлое. Например, микроволновки, тефлон и интернет.

Будущее

Резюмируя, дополненная реальность — это не только игры и селфи с виртуальными масками. Это гигантское количество возможностей для коммерческого применения, новые горизонты в образовании, промышленности, медицине, строительстве, торговле и даже туризме. И дальше должно быть только интереснее.

Коммерческий рост ЭйАр поразителен. Ей, в отличие от виртуальной реальности, необязательно опираться на специализированное железо и громоздкие устройства. Технология прекрасно работает на самом массовом носимом девайсе — смартфоне.

Дополненная реальность уже меняет наше настоящее: виртуальные маски, охота за покемонами по городам и болотам, дети, стреляющие друг в друга не из деревяшек, а через экран телефона. Сейчас это уже реальность.

Следующий шаг — массовый выход ЭйАр из зоны развлечений и соцсетей в сектор информационной поддержки. Автопроизводители (пока лишь Хендай, БМВ и Ауди, но список растет) начинают выпускать приложения-дополнения к пользовательским инструкциям, помогающие владельцам наглядно изучить свой автомобиль. Все больше производителей техники начинают выпускать приложения для ремонтных мастерских, которые помогают мастерам ориентироваться во внутреннем устройстве сложных приборов. Амазон думает над тем, чтобы облегчить жизнь покупателям: понравились кеды на прохожем — навел на того телефон и тут же заказал себе такие же.

Сегодня мы с вами живем во время бурных исследований в отрасли. Даже у технологических гигантов нет ясной картины дальнейшего развития дополненной реальности. Это время непрерывного рождения идей, нахождения неожиданных способов применения и осознания всей мощи этой фантастической когда-то технологии — дополненной реальности.

Ролик

Эту статью об ЭйАр я подготовил для Хабра, но изначально мы делали ролик. В нем закадровый текст с техническими, историческими и просто красивыми иллюстрациями.

Что такое Дополненная Реальность? | Дополненная реальность

Дать определение этому новому понятию не так уж и просто. Мы постараемся представить свое видение этой технологии. Если вы хотите дополнить данную статью, напишите нам — мы всегда открыты для диалога!

Базовые понятия

Д

ополненная реальность может рассматриваться как связующее звено между «виртуальными» данными и реальным миром. Она должна обладать следующими тремя характеристиками:

  • Комбинировать реальный мир и виртуальные данные в реальном времени
  • Быть интерактивной в реальном времени (изменение в плоскости реального влечет за собой корректировку виртуальных данных)
  • «Видеть» окружающий мир в 3D (потому что мы живем в трехмерном пространстве)

Дополненная реальность — это совмещение виртуального с реальным, она позволяет «привязывать» данные к определенному контексту. Хотя большинство примеров связано со зрением, дополненная реальность может «дополнять» любое из пяти чувств. Примеры этому мы увидим ниже.

Данные реальных сцен и объектов собираются специальной системой и обрабатываются на компьютере. Существенная часть этого процесса посвящена налаживанию связи между реальным и виртуальным. К примеру, чтобы на Вашем лице появились очки, нужно хорошо определить положение Ваших глаз, носа и т.д. И конечно, все это должно работать в реальном времени!

Дополненная реальность — это ответ современных технологий на проблемные вопросы, которые возникают у нас каждый день. Действительно, она более понятна большинству людей, ее проще воплотить, чем виртуальные миры. Дополненная реальность позволяет нам сделать ежедневную реальность богаче. В сочетании с неисчерпаемостью Интернет-ресурсов, ее возможности безграничны.

Введение

Г

оворить о дополненной реальности (по-английски «Augmented reality») — это говорить о настоящем, а не о будущем! Уже сегодня существует большое количество устройств и приложений, где используется эта технология.

Концепция дополненной реальности не новая. Мортон Хейлиг (англ. Morton Heilig) в 1962 году создал «Сенсораму», оборудованный специальными датчиками шлем, который позволял симулировать поездку на мотоцикле в Нью-Йорке. Но рассмотренный пример относится к виртуальной реальности, то есть возможности «посещать» виртуальные, несуществующие миры. В 1978 году Стив Манн, возможно, стал первым, кто предложил портативное устройство дополненной реальности – одевающийся на голову дисплей EyeTap. Он позволял демонстрировать виртуальные данные перед глазами своего носителя. Стив продолжил совершенствовать аппарат, и сегодня он представляет собой простое устройство, напоминающее обычные очки.

Методы создания дополненной реальности

С

уществует ряд методов создания дополненной реальности. Основная проблема состоит в том, чтобы «привязать» виртуальные данные к реальному миру. Задача состоит в построении такого изображения, где пользователь мог бы видеть два мира в одной перспективе.

Использование географических координат дает возможность такой локализации. Дополненная реальность базируется на данных GPS, к которым должны быть привязаны элементы, уточняющие направление взгляда. Для смартфона, например, встроенные компас и акселерометры обеспечивают полноту таких данных. Таким образом, программное обеспечение дополненной реальности может определить, где Вы находитесь и в каком направлении смотрите. Поэтому становится возможным показывать дополнительную информацию в контексте окружающего мира, как в приложении Métro Paris.

Другой способ узнать местоположение — это распознавание изображения или характерного рисунка. Дополненная реальность оживает благодаря такому приему. Первые используемые маркеры были монохромными и асимметричными, они и по сей день продолжают использоваться, к примеру, в этом приложении для Villeroy & Boch.

Сегодня компьютеры обладают достаточной мощностью, чтобы обрабатывать различные алгоритмы распознавания изображений, поэтому маркеры могут быть любыми изображениями.
Очевидно, что приложения дополненной реальности не остановились на распознавании статичных изображений — стал возможен анализ видеопотоков. Благодаря этому сегодня Вы можете попробовать знаменитые GoogleGlass.

Также возможно распознавать и отслеживать части человеческого тела, такие как пальцы, руки, ноги, и даже человека целиком, как для сенсорного игрового контроллера Kinect фирмы Microsoft.

Что нужно для создания дополненной реальности?

Д

ля того, чтобы дополненная реальность правильно функционировала, требуются по меньшей мере 3 элемента:

  • Прибор, который улавливает окружающую среду и отвечает на вопрос «где я?». В настоящее время используется целый ряд таких датчиков: GPS, камера, акселерометр, гигрометр, гидрометр и др.
  • Приспособление для распознавания окружающей среды и правильного ее смешивания с виртуальными элементами. Им часто является компьютер… остается вопрос, загружены ли виртуальные данные или нет. В последнем случае необходимо какое-либо подключение к этим данным.
  • Устройство, которое показывает пользователю результат комбинации.

Остановимся более подробно на последнем пункте, поскольку такое устройство является наиболее близким для пользователя интерфейсом. Первоначально программное обеспечение для дополненной реальности использовало камеру, компьютер и экран. Процесс вы можете видеть на примере этой рекламы Кока-Колы справа.

С распространением сети 3G и демократизацией смартфонов, телефоны стали главными устройствами визуализации дополненной реальности. Это кажется очевидным, но иметь при себе универсальный инструмент визуализации — необходимое условие для использования приложений, основанных на геолокализации.

Приложение Métro Paris, о котором мы говорили немного раньше, — хороший этому пример. Современные смартфоны по своей сути — настоящие компьютеры; стало возможным применять их для распознавания и обработки данных в упомянутой выше цепи. Примеры многочисленны, посмотрите оригинальную идею приложения компании Häagen-Dazs.

В течение полутора лет смартфоны и планшеты, кажется, стали перспективными устройствами для дополненной реальности. Очки тоже в почете, с тех пор как компания Google выпустила свои Google Glass. Кроме того, существуют и другие разработки, например, умные часы, которые также смогут стать хорошей платформой для дополненной реальности. В ближайшие несколько лет применение дополненной реальности в повседневной жизни будет только расширяться.

Закончим эту статью одним феноменом, пока еще мало развитым, но весьма интересным. По-английски он называется «Spatial Augmented Reality», на русский его можно перевести как «Пространственная дополненная реальность». В этом случае пользователям не нужно иметь специальные устройства визуализации. Необходимые для принятия и передачи данных датчики и проекторы находятся вокруг них. Чтобы иметь представление, посмотрите фотографии ClaytricSurface, моделируемого пространства, которое можно раскрашивать при помощи пальцев. Оно было представлено в 2013 году в ходе международной конференции Laval Virtual.

В чем разница между VR, AR и MR?

2017-04-27

Что такое VR, AR и MR? Если в случае с виртуальной реальностью у большинства людей не возникает вопросов, то споры о разнице между AR и MR не утихают до сих пор. Ниже пойдет речь о каждой из реальностей.

Virtual Reality (VR)

Этим термином называют полностью виртуальную реальность, созданную компьютером и воспроизводящую совершенно отличное от реального окружение.

Человек погружается в нее при помощи специальных устройств (чаще всего VR-шлемов) и не может видеть то, что происходит в реальном мире. Благодаря этому создается эффект присутствия в совершенно другом месте.

Простой пример — VR-игры. Пользователь надевает шлем и попадает в иное, виртуальное пространство, с которым и взаимодействует.

Augmented Reality (AR)

В это понятие входят цифровые объекты, отображаемые на носимых устройствах, при этом никак не меняющие внешний мир.

Дополненная реальность не меняет окружение человека, а лишь привносит в него искусственные элементы, вроде информации о погоде или всплывающего перед глазами уведомления о получении e-mail.

Ключевой момент заключается в том, что цифровой контент не прикреплен к пространству.

Такую реальность можно увидеть, надев например Google Glass.

Mixed Reality (MR)

Смешанная реальность — это окружение, которое создано с привязкой к положению в реальном мире. Сосуществование реальных и виртуальных объектов.

В этом случае в мир добавляются виртуальные предметы, которые прикреплены к своему месту в пространстве для того, чтобы смотрящий воспринимал их как реальные.

Например, создание виртуальной висящей на стене картины — это смешанная реальность. Пустая комната, обставленная виртуальным креслом, диваном и торшером — это тоже смешанная реальность.

Суть технологии состоит с том, чтобы привнести виртуальные объекты, выглядящие максимально правдоподобно, в реальный мир.

Максимизация правдоподобности и возможность взаимодействия с виртуальным объектом, «живущим» в реальном мире — ключевые моменты в смешанной реальности.

Заключение

У перечисленных выше технологий есть сходства и терминологические границы порой могут казаться размытыми, но факт остается: каждой из них присущ свой уровень погружения в виртуальное пространство. Возможно в будущем будет придуман еще один вид реальности.

8 июня в Москве состоится AR/VR/MR Conference 2017, посвященная технологиям виртуальной, дополненной и смешанной реальности. Зарегистрируйтесь, чтобы стать участником этого инновационного мероприятия.

Сравнение виртуальной реальности, дополненной реальности и смешанной…

По мере стирания грани между виртуальным и реальным миром открываются такие невероятные возможности, которые всего несколько лет назад могли родиться только в воображении писателей-фантастов.

В течение последних нескольких лет виртуальная реальность (ВР) считалась очередным новым веянием. Но сейчас ее время наступило окончательно: теперь можно создавать реалистичные изображения, звуки и другие ощущения, способные перенести вас прямо в центр захватывающего вымышленного мира. Дополненная реальность (ДР), которая привносит элемент виртуальности в окружающую реальность, только усиливает уверенность в том, что обе технологии составят огромную часть нашего будущего. Смешанная реальность позволяет, играя в виртуальную видеоигру, взять реальную бутылку с водой и ударить ею воображаемого персонажа из игры. Воображение и реальность никогда не были так переплетены.

Так быстро и так много всего происходит, что на первый взгляд разница между виртуальной, дополненной и смешанной реальностью может показаться немного неясной. Каждая из этих захватывающих технологий доступна почти каждому. Но прежде чем вы потратите с трудом заработанные деньги на последний шлем-дисплей, давайте разберемся, что необходимо, чтобы получить невероятные впечатления от виртуальной, дополненной и смешанной реальности.

История и будущее виртуальной реальности
Понять, что такое виртуальная реальность, мы пытаемся уже давно, не только в последние пять-десять лет. В 1950-х годах были популярны игрушки, через которые можно было смотреть, а в 1960-х появились авиасимуляторы, но идея ВР появилась гораздо ранее.

Еще в 1930-е годы писатели-фантасты, изобретатели и народные умельцы мечтали о создании такой среды, куда можно было бы сбегать от реальности средствами науки и техники. Мы задумывались над вопросами, связанными с виртуальной, дополненной и смешанной реальностью, задолго до того, как технологии претворили из в жизнь.

Технологии вышли на уровень фантастики, и исследователи рынка предсказывают бурный рост индустрии ВР.

На стыке виртуальной, дополненной и смешанной реальности
Обо всем по порядку. Определимся с терминами. Термин «виртуальная реальность» можно использовать как обобщающее понятие для описания других технологий, подобных, но отличающихся от самой виртуальной реальности. В чем разница между дополненной и смешанной реальностью? Вот еще немного информации:

Виртуальная реальность
Их этих технологий виртуальная реальность является самой известной. Она является полностью иммерсивной и создает ощущение, что вы находитесь в другом мире, отдельном от реального. С помощью шлема-дисплея (HMD) или гарнитуры вы почувствуете себя в смоделированном компьютером мире образов и звуков, в котором можно манипулировать объектами и передвигаться с помощью тактильных контроллеров, будучи привязанным к пульту управления или ПК.

Дополненная реальность
Дополненная реальность накладывает цифровую информацию на мир реальных вещей. Одним из самых известных примеров является игра Pokémon GO*. Реальный мир остается в центре дополненной реальности, но усиливается цифровыми деталями, что накладывает новый уровень восприятия и дополняет существующую реальность.

Смешанная реальность
Смешанная реальность сочетает реальный мир и цифровые элементы. В смешанной реальности вы взаимодействуете с физическими и виртуальными предметами и окружением и манипулируете ими с помощью новейших технологий восприятия и визуализации. Смешанная реальность позволяет видеть и погружаться в окружающий мир даже по мере взаимодействия с виртуальной средой с помощью собственных рук, не снимая гарнитуру. С ее помощью одна нога (или рука) может находиться в реальном мире, а другая — в вымышленном, что подрывает базовые отличия между реальностью и вымыслом и позволяет изменить существующую сегодня концепцию игры и работы.

Использование технологий виртуальной реальности
От игр к кинематографу и медицине: использование виртуальной, дополненной и смешанной реальности растет.

  • Здравоохранение — для обучения, например в хирургических симуляциях
  • Кинематограф и телевидение — в фильмах и шоу для создания уникальных впечатлений
  • Виртуальные путешествия — в виртуальных турах, от музеев до других планет, не выходя из дома
  • Профессиональный спорт — в тренировочных программах, например STRIVR для профессиональных спортсменов и любителей
  • Игры — уже предлагается для более 1000 игр, от шутеров от первого лица до стратегических и ролевых игр

Что необходимо: гарнитура
Предлагается невероятное множество видов гарнитуры для виртуальной реальности, отличающихся по техническим характеристикам и цене. Оснащение начального уровня, например Google Cardboard*, использует мобильный телефон в качестве экрана, а устройства на базе ПК, например HTC Vive* и Oculus Rift*, создают эффект погружения и обеспечивают виртуальную среду премиального качества. Недавно корпорация Microsoft анонсировала новую платформу смешанной реальности Windows* 10, которая изначально использует полностью иммерсивную гарнитуру от Acer, Asus, Dell, HP, Lenovo и Samsung.

Некоторые гарнитуры для дополненной реальности уже представлены на рынке, и, по слухам, в ближайшее время появятся еще варианты. Отличными примерами являются гарнитуры Microsoft Hololens*, Google Glass* и Meta 2*.

Для каждого HMD имеются различные требования системы. Поэтому, покупая новую гарнитуру для виртуальной реальности, уточните у поставщика HMD рекомендуемые и минимальные требования к системе.

Что необходимо: компьютеры
Если вам нужен новый компьютер и вы интересуетесь ВР, вам понадобится машина, которая сможет справиться с большими нагрузками. Когда речь идет о высокопроизводительных настольных ПК или ноутбуках для виртуальной реальности и других сложных задач, например игр или видеомонтажа, наиболее важными компонентами являются ЦП, графический процессор и память.

Без этих высокопроизводительных компонентов, работающих синхронно, вы можете получить печальный опыт. Мощная система гарантирует отличные ощущение при выполнении разных действий: наклонов, подъемов и ходьбе. ВР, которая работает медленно, не обеспечит ожидаемого быстродействия виртуального мира, что приведет не только к разочарованию, но и повысит риск укачивания.

Высокопроизводительный процессор помогает в позиционировании и контролирует степень реальности и иммерсивности виртуальной среды, поэтому вы сможете насладиться более глубоким погружением в среду с более четким воспроизведением. Для отличных впечатлений от ВР рассмотрите процессор Intel® Core™ i7 новейшего поколения.

Рекомендуется дискретный графический процессор (GPU), а в случае Oculus Rift*, HTC Vive* и Windows Mixed Reality Ultra* он является обязательным. Графический процессор отвечает за передачу иммерсивных изображений высокого разрешения, необходимых для виртуальной реальности. Oculus, HTC и Microsoft имеют инструменты профилирования, которые можно загрузить с их сайтов и использовать на ПК для определения, соответствует ли он минимальным требованиям для их гарнитуры для ВР.

Выбирайте свою реальность
Новые технологии и продукты для виртуальной и дополненной реальности продолжают поступать на рынок и делают доступной новую реальность для широких масс. Виртуальная, дополненная, смешанная реальность: выбор новой реальности за вами. Пусть ваше воображение и готовность испытать новое снаряжение усилят впечатления!

Что такое VR, AR и смешанная реальность — сайты, приложения и статьи, которые помогут разобраться

14 044

просмотров

Когда я занимаюсь новыми проектами, я много времени уделяю исследованию и анализу стратегий конкурентов. Особенно если я работаю над любым VR-, AR- или MR-проектом, ведь каждый из них по-своему отличается от остальных, и даже сейчас уже существуют инструменты, которые помогают ускорить процесс разработки.

Мне кажется, что тому, кто ещё не является разработчиком игр, учиться нужно очень многому. Это ведь не только интерактивный рабочий цикл, но и очень сложный процесс, который включает в себя жесты, голос, UI, UX, расположение в пространстве, аудио и так далее.

Недавно я работала над очередным проектом для Hololens и AR для мобильных платформ и поняла, что интерес к XR (VR, MR, AR) всё больше возрастает, что я должна показать людям список статей, который я когда-то собрала.

Я согласна, что список не самый полный, но если кто-то ищет, с чего начать в XR, попробуйте с него. Это комбинация ссылок на то, чем я пользовалась в работе, и некоторые рекомендации. Если я продолжу работать в этой области, то буду обновлять список этих статей. Надеюсь, это поможет тем, кто только начинает.

(Между MR и AR очень тонкая грань. Я считаю их почти одним и тем же, но в нашей индустрии принято, что MR больше относится к немобильным приложениям.)

Дизайн

Инструменты для раскадровки

Сетка для панорамы 360° (для печати на A4).

Блокнот с изометрической бумагой от Alvin.

LightBox. Инструмент для MacOS для рисования анимации вручную. Если вы можете управляться с карандашом, то вы способны создать иллюзию жизни с Light Box.

Storyboarder — простой инструмент для раскадровки. С помощью Storyboarder визуализировать историю так просто, как будто вам нужно нарисовать схематичного человечка. Быстро нарисуйте и проверьте, работает ли идея вашей истории. Создайте и покажите анимацию другим. Выразите идею своей истории, не создавая для этого фильм.

Gravity Sketch — Приносит виртуальную реальность в дизайнерский рабочий процесс. 3D-дизайн с эффектом погружения. Передавайте свои идеи напрямую в формате 3D через AR и VR. Мощный и профессиональный инструмент, который обращается напрямую к визуальному и пространственному мышлению. Gravity Sketch устраняет барьеры на пути к цифровому 3D-дизайну для всех.

Storyboard VR — Artefact. Инструмент прототипирования и визуализации, который помогает создателям контента, художниками и дизайнерам, используя их талант, представлять и визуализировать VR-опыт непосредственно в виртуальной реальности.

VR — Gravity Sketch — мощный дизайн-инструмент от Gravity Sketch, который предлагает интуитивно-понятный опыт дизайна VR. Он позволяет быстро создавать уникальную геометрию и проекты в захватывающем сеттинге. Создавайте 3D-модели, сцены и произведения с помощью этого мощного инструмента. Возьмите свою модель и просто импортируйте её напрямую в другой инструмент создания 3D. Gravity Sketch VR изменит то, как вы создаёте и делитесь идеями.

Проект Felix от Adobe — это набор 3D-инструментов с доступным и современным интерфейсом для лёгкого создания реалистичной графики.

3D-инструменты от Microsoft: Paint 3D, Photos, Remix 3D, 3D in Office и Mixed Reality viewer. Создавайте и редактируйте в Paint 3D, добавляйте эффекты в свои фотографии и видеоролики, совершенствуйте свою работу с Office, экспортируйте объекты из Minecraft, просматривайте творения в смешанной реальности, делитесь работами в сообществе Remix3D.com.

Adobe Fuse CC (Beta) — создавайте человеческие 3D-модели и персонажей с помощью Adobe Fuse CC (Beta). С лёгкостью импортируйте их в проекты в Photoshop CC, располагайте новых персонажей в нужную позу и анимируйте их.

Инструменты прототипирования

AfterNow Prez позволяет пользователям превратить их физическое окружение в интерактивную среду для общения, потому что облегчает создание увлекательных презентаций в дополненной реальности. Это подходит для коммерческих презентаций, маркетинговых переговоров и практических курсов.

Загрузите 3D-модели, картинку и видеоролики, физически поместите их в реальный мир и добавьте красивые переходы. Зрители увидят, как виртуальная презентация развернётся в реальном мире.

Mirra — создавайте, делитесь и исследуйте опыт с эффектом погружения. Создавайте AR- и VR-опыт профессионального качества — без знаний 3D и алгоритмов.

VRED от Autodesk — программное обеспечение для 3D-визуализации, которое помогает инженерам и дизайнерам автомобилей создавать презентации их продукта, обзоры дизайна и виртуальные прототипы.

Sketchbox — инструмент прототипирования, раскадровки и дизайна для AR и VR. Набрасывайте идеи в виртуальной реальности, а затем представьте их как раскадровку или взаимодействуйте с ними. Представьте масштаб, эргономику и процесс без проблем с игровым движком.

Facebook Design — шаблоны Sketch и Unity для быстрого прототипирования в VR.

Sketch-to-VR — персональный проект от Auxdesigner, который превращает черновой дизайн продукта в VR.

MarvelVR — позволяет создавать приложения в iPhone или iPad. Превращайте наброски, черновики и макеты в интерактивные прототипы приложений, которые позволяют вам демонстрировать свои идеи, делиться ими с другими людьми.

Нарисуйте экраны своего приложения на бумаге, затем сфотографируйте их или добавьте черновики из Dropbox или Creative Cloud (включая файлы Photoshop). Можно также нарисовать их на экране. Соедините все экраны и получите демо-версию приложения, а потом просто нажмите «Play».

Kuula — платформа для 360° или VR-фотографий. Делитесь фотографиями и создавайте виртуальные 3D-туры за несколько минут.

Halo Labs — платформа по разработке VR и AR. Halo Labs упрощает процесс разработки VR- или AR-продукта и обеспечивает эффективный способ разрабатывать, тестировать и передавать концепты VR. Знание алгоритмов не требуется.

Пользовательский опыт

Cognitive3D — позволяет уловить модели человеческого взаимодействия через VR-, AR- и MR-опыт и получить информацию о реальном мире из цифровой реальности. Технология пространственной аналитики способна выявить новые поведенческие метрики, которые наиболее важны для виртуальной, дополненной и смешанной реальностей.

Dialogflow — платформа интерактивного пользовательского опыта. Обеспечивает новые способы взаимодействия пользователей с продуктом, создавая цепляющие голосовые и текстовые интерактивные интерфейсы, например, голосовые приложения и чат-боты, на основе технологии ИИ.

Установите контакт с пользователями на своём сайте, в мобильном приложении, через помощника Google, Amazon Alexa, Facebook Messenger и другие популярные платформы и устройства.

Пользовательский интерфейс

Руководство по созданию интерфейсов дополненной реальности от Google.

Разработка интерфейсов для VR (конференция Google I/O ’17), презентация Криса Маккензи

Hover-UI-Kit — это инструмент для создания настраиваемых и динамических пользовательских интерфейсов. Любое взаимодействие с интерфейсами подразумевает простой и надёжный механизм — «зависание», — который можно реализовать на любом 3D устройстве. Эти интерфейсы созданы специально под VR- и AR-приложения и справляются со сложными UI задачами, которые ставятся виртуальными средами.

CentroUI — это набор многократно используемых и расширяемых компонентов UI и утилит для VR-приложений в браузере. CentroUI основан на React VR, он обеспечивает разработчиков автоматически конфигурируемыми настройками ввода текста, карточками, списками, элементами навигации и сетками. Все они совместимы с любым устройством и браузером.

VRTK — набор производственных инструментов для быстрой разработки VR-технологий в Unity3D.

Наборы инструментов для проектирования и образцы приложений UWP от Microsoft.

Разработка типографики для Hololens. Путь одного дизайнера от 2D-набросков к смешанной 3D-реальности.

Социальные сети и обмен контентом

Cappasity — 3D-, VR- и AR- облачная платформа, которая позволяет компаниям из области электронной коммерции и розничной торговли быстро создавать и внедрять 3D-контент на сайты, в мобильные и VR- и AR-приложения.

Sketchfab — крупнейшая социальная платформа в мире для публикации 3D-контента в интернете через мобильные AR- и VR-приложения. У сервиса более миллиона пользователей.

Facebook Spaces (beta) — совместный проект Oculus и Facebook. Встречайтесь с друзьями в веселой интерактивной среде, как будто вы находитесь в одной комнате, вне зависимости от того, где вы в реальном мире. Фотографии на Facebook можно использовать для создания своего виртуального образа, а затем пригласить друзей из Facebook присоединиться к вам.

Вы найдете разнообразный контент, включая видео 360° и фотографии, которые перенесут вас в новые места. Рисуйте 3D-объекты с помощью виртуальных маркеров, совершайте видеозвонки за пределами VR и делитесь селфи своих VR-воспоминаний на Facebook.

3D-публикации в Facebook — 3D-публикации позволяют показывать трёхмерные объекты в публикациях на Facebook и делиться ими.

Онлайн-курсы

Проект 3D for Designers — для визуальных дизайнеров, которые используют 3D для творческой работы. Изучайте 3D и другие современные технологии, которые повлияют на будущее искусства, культуры и стиля.

Уроки по четырёхмерному кино и тренинги для 3D-художников от проекта Eye for Design.

LyndaVR — обучение техникам моделирования, текстурирования и отображения для создания 3D-контента для игр виртуальной реальности и симуляций на базе Maya, Unity, and Unreal.

VR Dev School — как делать игры для Oculus Rift, HTC Vive, Gear VR и Google Cardboard.

Список из 600 бесплатных (или почти бесплатных) онлайн-курсов от 200 университетов мира по следующим направлениям: информатика, математика, программирование, теория анализа и обработки данных, гуманитарные науки, общественные науки, образование и преподавание, здоровье и медицина, бизнес, личностный рост, инженерное дело, искусство и дизайн, наука.

Вдохновение

Эксперименты с Google — с 2009 года программисты провели тысячи экспериментов на базе Chrome, Android, AI, WebVR, AR и других платформ. В блоге — процессы и результаты, а также инструменты, используемые в экспериментах. Новые работы добавляются каждую неделю.

Проект YouTube The Greatest Stories Retold — современный пересказ длинных и коротких историй.

Light Fields на Steam — испытайте на себе реальные отблески, глубину и прозрачность, которых раньше не было в VR. Пройдитесь по игорному и мозаичному домам и совершите миссию на космическом шаттле. Это пример возникающей сейчас технологии, которую Google использует, чтобы усилить новое поколение VR-контента.

CodyHouse — жемчужины дизайна. Бесплатная библиотека готовых к использованию HTML-, CSS- и JS-компонентов для дизайнеров и разработчиков.

Codrops — блог по веб-дизайну и разработке, который публикует статьи и обучающие уроки по новым трендам в интернете.

CodePen — интерактивная среда для фронтенд-разработчиков.

Материалы по ресурсам

Аудио

Обзор технологии Resonance Audio на Google Developers. Resonance Audio — это мощная пространственная аудиотехнология, рассчитанная на оптимальную производительность и поддержку разных платформ.

Audiokinetic Wwise — принципиально новые инструментальные программные средства для создания аудиодорожек и проигрывателей для разработчиков игр и интерактивных медиа.

FMOD — библиотека с рекомендациями высококачественных и готовых к использованию звуковых эффектов для игр.

3D- и 2D-ресурсы

Vectary — простой онлайн-инструмент 3D-моделирования, с помощью которого можно создавать простым перетаскиванием, делиться и настраивать 3D-модели.

Radical — AI-powered Motion Capture — проект был основан, чтобы развивать одну из наиболее мощных технологий машинного зрения, которая помогает определять и реконструировать в 3D человеческое движение на основе 2D-контента.

Xperia™ XZ1 3D Image Creation — с помощью камеры телефона просканируйте объект в течение 15-60 секунд и получите 3D-изображение. Превращайте людей и объекты в 3D-аватары с высоким разрешением.

The-Happy-Toolbox — это студия 3D-дизайна, которая создаёт простые и стилистические единые 3D-модели. Они тщательно выстраивают своё направление в 3D и разрабатывают как лёгкие в использовании наборы моделей, так и индивидуальные 3D-решения.

Kanova в магазине Steam. Это лёгкое в использовании приложение для создания 3D-скульптур с поддержкой VR. В нём используется запатентованная технология 3D Adaptive Distance Field (ADF), разработанная компанией Foundry. Для создания 3D-ресурсов используются глиноподобные материалы. Работать можно как на настольном компьютере, так и в VR-среде.

DepthKit — это первое программное приложение, которое позволяет создателям кинофильмов воспользоваться преимуществом камер с датчиком глубины при создании контента для таких платформ, как Oculus Rift и Gear VR от Samsung.

DepthKit позволяет сделать датчик глубины из камер вроде Microsoft Kinect аксессуаром для HD-камер и запечатлевать и визуализировать мир в виде завораживающих 3D-форм, которые можно в режиме реального времени проигрывать в виртуальных мирах.

Experiment: Сканирование с помощью Structure.IO. Использование структурного сенсора и iPad Air 2 для создания 3D-моделей. Сканируйте людей, объекты и пространства с помощью технологии лазерного сканирования и различных приложений и сравнивайте полученные результаты.

MakeHuman — иструмент с открытым исходным кодом для создания 3D-персонажей.

Конвертирование 3D-моделей в gLTF. glTF — многообещающий формат 3D-моделей. Многие 3D-приложения, игровые движки и веб-приложения работают в основном в этом формате. Это приложение позволяет конвертировать 3D-модели в формат glTF с помощью three.js GLTFExporter.

Blocks — инструмент для простого создания 3D-объектов в VR, которыми можно делиться с другими пользователями. Приложение похоже на детский конструктор, в котором предметы нужно собирать из кубиков. С помощью этого инструмента можно создавать как простые объекты, так и целые сцены в виртуальной реальности.

Poly — открывайте, просматривайте и загружайте 3D-объекты и пространства. Сначала Poly разрабатывалась с учётом развития AR и VR. Она полностью интегрирована с Tilt Brush и Blocks, а также она поддерживает прямую загрузку OBJ-файлов. Вне зависимости от того, работаете ли вы над виртуальной прогулкой в космосе, или над безмятежным садом с цветами в дополненной реальности, всё необходимое можно найти в Poly.

Инструмент для 3D-оптимизации от Simplygon Studios — это золотой стандарт для автоматизированной 3D-оптимизации. Современные устройства различаются по графическим характеристиками, и 3D-визуализация данных очень разная.

С помощью Simplygon вы сможете настроить свои 3D-ресурсы так, чтобы они чётко работали на любой платформе. Simplygon можно использовать как приложение для стационарного компьютера или как полностью автоматизированный процесс.

Магазин ресурсов Asset Store от Unity — лучшие ресурсы для создания игр. Чтобы ускорить процесс разработки игры, выбирайте двух и трёхмерные модели, SDK, шаблоны и инструменты из каталога.

MagicaVoxel — бесплатный легковесный восьмибитный редактор изображений в стиле Voxel и интерактивный рендерер.

Qubicle Voxel Editor от Minddesk для разработки мобильных игр, моддинга, 3D-печати. Minddesk предлагает профессиональные инструменты для дизайна и разработки в стиле voxel.

Tridiv — веб-редактор для создания 3D-форм в CSS.

Rough.js — это легковесная JavaScript-библиотека, которая позволяет рисовать графику, будто нарисованную от руки. Библиотека определяет функции для рисования линий, кривых, дуг, многоугольников, окружностей и эллипсов, а также поддерживает рисование контуров SVG.

VR-глоссарий — глоссарий терминов, которые используются в VR-индустрии. От каждого слова идёт ссылка на сайт, который объясняет тот или иной термин.

Практическое руководство от Алексея Ощепкова по созданию карты нормалей для игр.

Cappasity Token Sale — децентрализованная AR- и VR-экосистема для обмена 3D-контентом.

Анимация и визуальные эффекты

Bullet — моделирование физической среды в режиме реального времени для игр, визуальных эффектов, роботостроения и обучения с подкреплением.

Mixamo — анимированные 3D-персонажи. Знание 3D-технологий не требуется. Быстрое создание, установка и анимирование уникальных персонажей для дизайн проектов.

Хранилище материалов по Unity пользователя Кейджиро Такахаси на Github.

Видео

GoPro VR-проигрыватель от Kolor — это проигрыватель видеороликов и фотографий 360° для настольных компьютеров с профессиональными возможностями воспроизведения. Проигрывать видеоролики и фотографии 360° можно и в офлайне.

Videoblocks — VR-видео и ролики 360° от Storyblocks с лицензией royalty-free. Контент можно использовать в Oculus Rift, Samsung Gear VR и других устройствах виртуальной реальности.

Изображения

Roundme — виртуальные туры. Создавайте, загружайте, лицензируйте и встраивайте виртуальные и гигапиксельные панорамные изображения и виртуальные туры в онлайне. Простая авторская платформа для публикации VR-контента 360° и панорамных туров.

Getty Images — 360° и VR-видео и фотографии. Фотографии высокого разрешения, распространяемые по лицензии royalty-free, стоковые фотографии, векторная графика, клипы с видеоматериалом и стоковая музыка из крупного банка изображений в онлайне.

Группа 360° на Flickr — фотографии 360°, составленные вместе, чтобы получить 360° изображение места или объекта.

Mistika VR от SGO — доступное решение в области VR с возможностью сшивания в режиме реального времени с помощью технологии Mistika Optical Flow. Высокое качество изображений достигается благодаря уникальным алгоритмам сшивания.

Сшивайте, просматривайте, исправляйте и получайте результат всего за несколько секунд. Полностью совместимо с любым устройством на рынке. Можно индивидуально контролировать любой параметр сшивания. Экспортируйте свои клипы в разных форматах, включая DPX и ProRes.

Общие технологические ресурсы

Набор инструментов, SDK (комплект разработки ПО), CMS (системы управления содержимым)

Lens Studio — инструмент для создания эффектов дополненной реальности, с помощью которого можно публиковать и продвигать собственные AR-фильтры для Windows и Mac.

Creator от Magic Leap. Разработчики могут загрузить Lumin SDK, пройти обучение и ознакомиться с другими ресурсами, а также присоединиться к сообществу Magic Leap Community.

AR и VR Toolkit Forge или Unity — с помощью нового «Forge AR|VR Toolkit» получите доступ к BIM, Navisworks, Revit и Solidworks прямо внутри Unity. А когда у вас будет множество CAD-данных, воспользуйтесь Unity, чтобы создать более продвинутый AR- или VR-опыт для таких устройств, как Hololens, ARKit от Apple, Vive, Oculus, DayDream и GearVR.

AR Studio от Facebook — часть платформы Camera Effects, она помогает создавать креативные эффекты для снимков в соцсети. Платформа Camera Effects включает в себя проекты AR Studio и Frame Studio, которые предлагают новый способ объединить искусство и технологию, чтобы изменить то, как люди делятся контентом и выражают себя через камеру.

ARKit — Apple Developer. С помощью ARKit можно создавать не имеющий аналогов опыт дополненной реальности для пользователей iOS — крупнейшей платформе дополненной реальности. С ARKit 2 на iOS 12 можно внедрять объекты реального мира в опыт дополненной реальности.

ARCore SDK от Google. ARCore предоставляет SDK для большинства наиболее популярных сред разработки. Эти комплекты разработки ПО предоставляют естественные API для всех самых важных функций дополненной реальности, таких как отслеживание движения, понимание окружающей среды, и оценка освещения. С этими способностями вы можете создавать совершенно новый опыт дополненной реальности или улучшать уже существующие приложения с AR функциональностью.

Vuforia. Компания PTC объединила все свои разработки в области дополненной реальности под брендом Vuforia. Vuforia Engine разрабатывает кросс-платформенные приложения для дополненной реальности. Vuforia Studio повторно использует данные 3D-САПР, внедряет пошаговые инструкции и данные IoT.

Vuforia View — в этом универсальном браузере с телефонов и планшетов на iOS, Android и Windows, а также через очки дополненной реальности, такие как Microsoft HoloLens, потребляется контент, созданный в Vuforia Studio. Vuforia Chalk — удалённая помощь экспертов для специалистов.

CraftAR от Catchoom (комплект разработки ПО дополненной реальности). Готовый к использованию комплект разработки ПО, который визуализирует опыт дополненной реальности автоматически в ваших приложениях на iOS и Android.

Layer — платформа обмена сообщениями с покупателями. Эта платформа позволяет брендам создавать такой покупательский опыт, который ведёт к увеличению конверсии, вовлечения и удержания.

Blippar — бизнес-инструменты и решения, которые используют дополненную реальность, машинное зрение, искусственный интеллект и технологию поиска объектов на изображениях.

TARTT — приложение, система управления и комплект разработки ПО дополненной реальности.

Zappar — решения для дополненной, виртуальной и смешанной реальностей. Создание опытов различных реальностей для крупнейших мировых брендов. Могут почти всё превратить в интерактивный медиаканал.

HP Reveal — студия веб-разработки, которая позволяет создавать, управлять от отслеживать кампании дополненной реальности. Интуитивный понятный интерфейс. Персонализированные кампании дополненной реальности для определённых сегментов аудитории, которые определяются через передовые инструменты таргетинга, такие как платформа, регион, время дня и многие другие. Аналитическая картина по кампании в режиме реального времени.

Подкасты, онлайн-лекции

Method Podcast, Episode 3 от Google. UX-дизайнер виртуальной реальности Даррен Делайе обсуждает будущее безопасной и социальной виртуальной реальности.

Gunters Universe с гостями из индустрии виртуальной реальности, технологической индустрии и индустрии развлечений.

WebVR, WebAR, WebGL2 & WebGPU

Mozilla VR — виртуальная реальность для свободного и открытого интернета.

PlayCanvas — это JavaScript-фреймворк с открытым исходным кодом для создания игр и интерактивных 3D-приложений в интернете. Движок предоставляется бесплатно и отдельно от инструментов PlayCanvas, что даёт максимальную гибкость для разработчика.

ARjs — оптимальная дополненная реальность для интернета.

WebVR Rocks. Гид по VR в интернете. Это JavaScript API для создания 3D-опыта с эффектом погружения, а также VR-опыта в браузере.

A-painter — рисуйте VR в браузере.

Networked-aframe — Платформа разработки приложений интернета для создания опыта многопользовательской виртуальной реальности. Пишите полнофункциональный многопользовательский VR-опыт полностью в HTML. Создана на базе чудесной A-Frame.

A-Frame — платформа для создания WebVR с помощью HTML и фреймворка Entity-Component. Работает на Vive, Rift, Daydream, GearVR и стационарном компьютере.

CodeSandbox — онлайн-редактор кода, разработанный специально под создание и совместное использование веб-приложений.

Технология чтения мыслей (ЭЭГ-датчики или шлем для чтения мыслей)

Technology от Neuroscape — замкнутые системы, которые объединяют технологические достижения с последними новшествами в оборудовании.

Throw Trucks With Your Mind! — игра, в которой с помощью ЭЭГ-шлема, считывающего волны мозга, вы получаете телекинетическую суперсилу, контролируемую мыслями.

Uncle Milton — опыт с голограммами. Можно двигать голограммы силой мысли. Для использования продукта требуется планшет. Работает с наиболее популярными планшетами, включая iPad (iPad 2 — 2011 года и более новые) и устройствами Android (рекомендуется использовать Samsung Galaxy Tablet 10.1).

Emotiv — 14-канальный мобильный ЭЭГ с высоким разрешением используется для получения контекстуализированных результатов уровня научного исследования. Пятиканальный мобильный ЭЭГ используется заинтересованными лицами, чтобы лучше понимать свой мозг и психические состояния.

Технология отслеживания движения

Leap Motion — технология отслеживания рук компании Leap Motion создана, чтобы встраиваться напрямую в VR- и AR-шлемы следующего поколения.

Sixense — следующий уровень отслеживания движения в VR и AR. Запатентованная технология Sixense включает в себя электромагнитный метод отслеживания и новые достижения для уменьшения периода задержки (ответа программы на действия пользователя), которые были разработаны специально, чтобы опыт VR и AR был максимально реалистичным.

Устройства для тактильной обратной связи и другие

Nintendo Labo для the Nintendo Switch — домашняя игровая система. Nintendo Labo — серия DIY-наборов, созданных для работы с Nintendo Switch. Создайте свой Toy-Con из картона и оживите его с помощью системы Nintendo Switch и соответствующего ПО.

VR-трость для людей с нарушением зрения. Canetroller — это трость-контроллер, которая симулирует взаимодействие с тростью в реальном мире, что позволяет людям с нарушением зрения ориентироваться в виртуальном пространстве.

Haptx VR-перчатки — первые сенсорные перчатки серийного производства. С перчатками HaptX ощущения будут максимально реалистичными, вы ощутите сильную тактильную отдачу, а отслеживание движений будет максимально точным.

Manus VR — комплект разработчика, который представляет собой цифровую перчатку. Manus VR-перчатки предлагают ключевые решения для симуляции тренировок, VR-аркад и захвату движения. Она совместима с ведущими VR-устройствами и системами захвата движения, такими как HTC Vive, Xsens, Vicon, PhaseSpace и OptiTrack.

Senso-перчатка и Senso-костюм — один из лучших контроллеров для виртуальной и дополненной реальностей. Senso VR-перчатка — беспроводной контроллер, который точно отслеживает движение рук и пальцев.

Senso-костюм — набор модулей слежения, который позволяет отслеживать движение тела. Каждый модуль оборудован IMU-сенсором, моторчиком и модулем SteamVR и Lighthouse, которые точно отслеживают движения и дают тактильную обратную связь.

Системы визуализации данных

GIS-powered решения для дополненной, смешанной и виртуальной реальностей. vGIS — платформа, которая трансформирует обычные GIS-данные в решения для VR, AR и MR. Объединяя, а затем визуализируя информацию из различных источников, таких как ArcGIS, Esri maps и индивидуальные клиентские данные, vGIS создаёт инструменты повышения продуктивности, которые способны справляться с задачами реальной действительности.

vGIS поддерживает полный спектр устройств — телефоны, планшеты, Microsoft HoloLens и очки виртуальной реальности — чтобы вы могли выбрать оптимальный инструмент для работы.

DataMesh — смешанная реальность радикально меняет визуальный опыт и интерактивный дизайн во всех областях, и компании уже осознают, что показатели эффективности рекламной кампании будут выше, если соединить данные с MR-приложением.

DataMesh помогает предприятиям внедрять «умный» дизайн, ускорять внедрение услуг, применять низкозатратные процессы планирования к продуктам и сервисам, которые основаны на анализе данных, графах знаний, машинном обучении и визуализации.

Виртуальная реальность

Плагины

Страница на Reddit, посвящённая всем VR-плагинам для любого движка — r/VRplugins.

Методы

Исследования в VR от Leap Motion. Научитесь создавать передовой VR-опыт с учётом ультрасовременных трендов в VR-дизайне.

Кинематографический опыт (Full-Motion)

KAT Walk mini — первая беговая дорожка виртуальной реальности, совместимая с любым устройством и не ограничивающая движений рук и тела. Новый дизайн создан, чтобы предоставлять полноценный виртуальный опыт передвижения, не требуя при этом большого пространства и не ограничивая свободу передвижения. Ходите, бегайте и даже приседайте, чтобы укрыться или поднять предмет в любимой VR-игре.

Virtuix Omni — первая подвижная платформа виртуальной реальности, которая задействует всё тело и полностью меняет игровой опыт. Идите, бегите, двигайтесь в бок, сидите или прыгайте на 360° на Virtuix Omni.

Infinadeck — действующая во всех направлениях беговая дорожка, которая может интегрироваться с виртуальной реальностью. Вместе со шлемом виртуальной реальности платформа позволяет пользователю испытать ощущение естественного передвижения, без необходимости в дополнительном оборудовании.

Платформы

TheWaveVR — платформа для людей, которые любят музыку, она позволяет просматривать, устраивать и общаться в музыкальных шоу по всему миру в любое время и в любом месте.

Социальная виртуальная реальность

Блог Oculus — налаживание отношений через креативность и открытие доступа к VR каждому человеку.

AltspaceVR — ведущая социальная платформа виртуальной реальности. Встречайтесь с людьми со всего мира, посещайте бесплатные интерактивные мероприятия, играйте в интерактивные игры с друзьями.

Hubs — социальная платформа от Mozilla.

Смешанная реальность (с гарниром из AR)

Hololens

Design — руководство создано дизайнерами, разработчиками, руководителями проектов и исследователями компании Microsoft, чья работа касается голографических устройств (таких как HoloLens) и устройств с эффектом присутствия (например, шлемы смешанной реальности Acer и HP Windows). Так что можно считать, что эта работа раскрывает тему «Как проектировать для шлемов виртуальной реальности Windows».

HoloSketch — инструмент пространственного размещения и рисования эскизов пользовательского опыта для HoloLens, который позволяет создавать голографический опыт. HoloSketch работает как с подсоединёнными через Bluetooth клавиатурой и мышью, так и с жестовыми и голосовыми командами.

Academy — здесь можно найти руководство по тому, с чего начать разработку голограмм, а также получить совет от эксперта.

Hard Surface Applications

Lampix — первое программное и аппаратное решение, которое позволяет превратить любую поверхность в интеллектуальную (с элементами ИИ), поверхность для дополненной реальности или интерактивную поверхность.

Lightform — инструмент дизайна, с помощью которого любой сможет с лёгкостью создавать графику для дополненной реальности, используя программное обеспечение для создания контента на базе устройств машинного зрения.

Spatial — профинансированная венчурным капиталом компания, создающая ПО для дополненной реальности. Создаёт приложения для AR. Команда основателей имеет большой опыт в создании трёхмерных пользовательских интерфейсов.

Future Experience Program — программа по которой Sony делится с пользователями концептуальными прототипами, полученными командой Sony R&D, чтобы совместно создавать образ жизни будущего.

Без шлема

LaForge Optical представляет Shima — очки с диоптриями, которые показывают уведомления со смартфона в поле вашего зрения.

Skully Nation — технология «умного» шлема изменит стиль вождения мотоциклов, усилив безопасность водителя и предоставив ему возможность выхода в сеть.

WayRay — передовые AR-технологии для транспорта будущего

ModiFace — фотореалистичная дополненная реальность для индустрии красоты.

Дополненная реальность

Non-Markers

Placenote. Создавайте AR-опыт для реального мира. Интегрируйте Placenote SDK в свои AR-приложения, чтобы сохранить и поделиться существующим AR-контентом в физическом пространстве. Работает на любом устройстве с ARKit. Поддерживает Unity и XCode.

MAP API

Google Maps Platform — продукт для создания игр в реальном мире на основе модели мира карт от Google.

Облачные платформы

Blue Vision Labs — первая облачная платформа дополненной реальности для создания совместного и устойчивого опыта размером с целый город.

ThingWorx Studio. Дополненная реальность для промышленности

Метка ThingMark является не просто ссылкой для загрузки 3D-объекта дополненной реальности, а ещё и информационным объектом, входящим в состав модели изделия и процессов работы с ним. Метка ThingMark является «ключом», открывающим доступ ко всему разнообразию накопленной информации, касающейся маркируемого изделия («объекта») и практики работы с ним («сценариев»).

Платформа ThingWorx Studio Suite, это высокоэффективное и легкое в использовании приложение для создания специализированных инструкций, которые обеспечивают комбинированное представление цифровых и физических данных об изделии, информационных панелей и оповещений, представленных в 2D, 3D и дополненной реальности.

Работа в ThingWorx Studio не требует навыков программирования, как при использовании Vuforia SDK, а выполняется с применением дружественного многооконного графического интерфейса и широкой номенклатуры базовых шаблонов, типовых виджетов, многоуровневых инструментальных меню и «drag-n-drop»-режимов выполнения операций.

ThingWorxExperience Services – Решение, построенное на основе архитектуры открытого сервиса – «облачное» решение по хранению разработанных на рабочих местах ThingWorx Studio Suite изделий и сервисов, интеграции их с внешними источниками информации и on-line актуальными данными, получаемыми непосредственно от объектов в терминах IoT «умных вещей». ThingWorxExperience Services обеспечивает эффективный доступ к множеству разработок и актуальным данным с применением сетевых протоколов удалённого доступа для пользователей ThingWorx View.

ThingWorx Studio Suite обеспечивает:

  • Простоту создания объектов и сценариев их использования в AR
  • Неограниченное повторное использование 3D-данных
  • Возможность использования данных, передаваемых по каналам и протоколам интернета вещей
  • Доступ к данным предприятия
  • Масштабируемость решения

Дополненная реальность (AR) Определение

Что такое дополненная реальность?

Дополненная реальность (AR) — это улучшенная версия реального физического мира, которая достигается за счет использования цифровых визуальных элементов, звука или других сенсорных стимулов, доставляемых с помощью технологий. Это растущая тенденция среди компаний, занимающихся мобильными вычислениями и, в частности, бизнес-приложениями.

На фоне роста сбора и анализа данных одной из основных целей дополненной реальности является выявление конкретных особенностей физического мира, улучшение понимания этих функций и получение умных и доступных сведений, которые можно применить к реальным приложениям.Такие большие данные могут помочь в принятии решений компаниями и, в частности, получить представление о потребительских привычках.

Ключевые выводы

  • Дополненная реальность (AR) включает в себя наложение визуальной, слуховой или другой сенсорной информации на мир, чтобы улучшить свой опыт.
  • Розничные торговцы и другие компании могут использовать дополненную реальность для продвижения товаров или услуг, запуска новых маркетинговых кампаний и сбора уникальных данных о пользователях.
  • В отличие от виртуальной реальности, которая создает свою собственную киберсреду, дополненная реальность дополняет существующий мир таким, какой он есть.

Понимание дополненной реальности

Дополненная реальность продолжает развиваться и становится все более распространенной среди широкого спектра приложений. С самого начала маркетологам и технологическим компаниям приходилось бороться с представлением о том, что дополненная реальность — это не более чем маркетинговый инструмент. Однако есть свидетельства того, что потребители начинают извлекать ощутимые выгоды из этой функциональности и ожидают, что она станет частью их процесса покупки.

Например, некоторые ранние пользователи в секторе розничной торговли разработали технологии, призванные повысить качество покупательского опыта потребителей.Внедряя дополненную реальность в приложения-каталоги, магазины позволяют потребителям визуализировать, как разные продукты будут выглядеть в разных средах. Что касается мебели, покупатели направляют камеру на соответствующую комнату, и товар появляется на переднем плане.

В других местах преимущества дополненной реальности могут распространиться на сектор здравоохранения, где она может сыграть гораздо более важную роль. Один из способов — использовать приложения, которые позволяют пользователям видеть высокодетализированные трехмерные изображения различных систем организма, когда они наводят свое мобильное устройство на целевое изображение.Например, дополненная реальность может стать мощным инструментом обучения для медицинских работников на протяжении всего их обучения.

Некоторые эксперты давно предполагают, что носимые устройства могут стать прорывом в области дополненной реальности. В то время как смартфоны и планшеты показывают крошечную часть ландшафта пользователя, умные очки, например, могут обеспечить более полную связь между реальным и виртуальным миром, если они разовьются достаточно, чтобы стать мейнстримом.

Дополненная реальность и виртуальная реальность

Дополненная реальность использует существующую среду реального мира и помещает поверх нее виртуальную информацию для улучшения восприятия.

Напротив, виртуальная реальность погружает пользователей, позволяя им «жить» в совершенно другой среде, особенно в виртуальной, созданной и отображаемой компьютерами. Пользователи могут быть погружены в анимированную сцену или в реальное место, которое было сфотографировано и встроено в приложение виртуальной реальности. С помощью средства просмотра виртуальной реальности пользователи могут смотреть вверх, вниз или в любую другую сторону, как если бы они действительно находились там.

Что такое дополненная реальность? | Институт Франклина

Дополненная реальность (AR) — одна из крупнейших технологических тенденций в настоящее время, и она будет только расти по мере того, как смартфоны с поддержкой AR и другие устройства станут более доступными по всему миру.AR позволила нам увидеть реальную среду прямо перед нами — деревья в парке качаются, собаки гоняются за мячом, дети играют в футбол — с наложенным на нее цифровым дополнением. Например, можно увидеть, как птеродактиль приземляется на деревья, собаки могут смешиваться со своими мультяшными собратьями, а дети могут быть замечены, проносясь мимо инопланетного космического корабля, направляющегося к цели.

С развитием технологии AR эти примеры не сильно отличаются от того, что уже может быть доступно для вашего смартфона.Дополненная реальность, на самом деле, легко доступна и используется множеством способов, в том числе в качестве линз Snapchat, в приложениях, которые помогают найти машину на переполненной парковке, и в различных торговых приложениях, которые позволяют примерить одежду, даже не снимая одежды. выходя из дома.

Пожалуй, самым известным примером технологии AR является мобильное приложение Pokemon Go, выпущенное в 2016 году и быстро ставшее неизбежной сенсацией. В игре игроки обнаруживают и захватывают персонажей покемонов, которые появляются в реальном мире — на тротуаре, в фонтане и даже в собственной ванной комнате.

Games Помимо игр, в нашей повседневной жизни AR имеет столько же применений, сколько Пикачу на свободе в Pokemon GO. Вот лишь несколько примеров:

  • Усовершенствованные навигационные системы используют дополненную реальность для наложения маршрута на изображение дороги в реальном времени.
  • Во время футбольных матчей вещатели используют AR, чтобы рисовать линии на поле, чтобы иллюстрировать и анализировать игры.
  • Гигант мебели и предметов домашнего обихода IKEA предлагает приложение с дополненной реальностью (IKEA Place), которое позволяет увидеть, как мебель будет выглядеть и вписаться в ваше пространство.
  • Военные летчики-истребители видят AR-проекцию своей высоты, скорости и другие данные на визоре своего шлема, что означает, что им не нужно терять фокус, глядя вниз, чтобы увидеть их.
  • Нейрохирурги иногда используют AR-проекцию трехмерного мозга, чтобы помочь им в операциях.
  • В таких исторических местах, как Помпеи в Италии, AR может проецировать виды древних цивилизаций на сегодняшние руины, оживляя прошлое.
  • Наземный экипаж в аэропорту Сингапура носит очки с дополненной реальностью, чтобы видеть информацию о грузовых контейнерах, что сокращает время загрузки

Что такое дополненная реальность? Вот что вам нужно знать

  • Дополненная реальность (AR) — это интерактивный трехмерный опыт, сочетающий в себе вид реального мира с элементами, созданными компьютером.
  • AR отличается от VR тем, что VR является полностью автономной компьютерной средой, в то время как AR размещает компьютерные элементы среди реальных объектов в реальном времени.
  • Вот введение в AR и некоторые общие приложения для этой технологии.
  • Чтобы узнать больше, посетите техническую библиотеку Business Insider .

Идет загрузка.

Дополненная реальность, обычно называемая AR, представляет собой интерактивный трехмерный опыт, сочетающий в себе вид реального мира с элементами, созданными компьютером в реальном времени.

Что вам нужно знать о дополненной реальности, или AR

Дополненная реальность может проявляться разными способами, например, с помощью очков AR, которые объединяют вид ближайшего окружения с компьютерной графикой или на дисплее смартфона, который делает то же самое, используя камеру телефона, чтобы видеть мир перед зрителем и управлять им.

Чем дополненная реальность отличается от VR

Они могут показаться похожими технологиями — и, конечно, иметь похожие сокращения, — но принципиально разные. Виртуальная реальность (VR) создает полностью синтетический виртуальный мир внутри гарнитуры. Как пользователь, вы попадаете в трехмерную среду, а затем можете перемещаться и взаимодействовать с элементами, полностью созданными компьютером.

Виртуальная реальность полностью синтетическая, без реальных элементов.Игры Плавание для взрослых

AR, с другой стороны, удерживает вас в реальном мире и накладывает виртуальные элементы в качестве визуального слоя в этой среде. Системы иммерсивной дополненной реальности могут сочетать компьютерные элементы с элементами реального мира с убедительной глубиной, перспективой и другими характеристиками рендеринга, а система дополненной реальности будет достаточно хорошо понимать реальную среду, чтобы иметь возможность размещать соответствующие синтетические элементы «перед» и » позади «реальных объектов и иным образом иметь возможность взаимодействовать с реальным миром значимым образом.

AR сочетает в себе реальный мир с элементами, созданными компьютером в реальном времени.

Волшебный прыжок

Приложения для AR

Ценность AR заключается в том, как они могут интерпретировать, манипулировать и улучшать представление о реальном мире в реальном времени.Например, вот несколько способов, которыми может использоваться и активно используется AR:

Retail : Возможно, самое важное приложение AR для большинства пользователей будет в розничных приложениях, особенно «попробуйте, прежде чем покупать». Поскольку все больше людей делают покупки из дома и уделяют меньше внимания общественным торговым площадям, дополненная реальность позволит потребителям увидеть, как товары будут выглядеть в их собственных домах, прежде чем покупать их. Это поможет избавиться от догадок в процессе покупки. Уже существует ряд приложений, таких как Wayfair, Houzz и Ikea, которые позволяют размещать мебель и другие продукты в вашей реальной среде.

Отображение и навигация : приложение бизнес-справочника Yelp было одним из первых пользователей AR с его теперь прекращенной функцией Monocle. Монокль наложил информацию о местных предприятиях при просмотре окружающей обстановки на дисплее вашего телефона. Выноски показывали, где расположены ближайшие рестораны, а также основную информацию, например, как далеко они находятся. Это разновидность проекционного дисплея (HUD) — например, Mercedes-Benz представляет автомобиль, который накладывает навигационную информацию на лобовое стекло, помогая вам управлять автомобилем, не отвлекаясь от дороги.

Образование : AR находит свое применение в учебных программах для улучшения традиционных методов обучения. Например, учебники могут быть помечены кодами, которые при сканировании смартфоном могут отображать дополнительный контент или 3D-визуализации.

Техническое обслуживание и промышленность : AR имеет большой потенциал в ближайшие годы для значительного снижения зависимости от физических технических руководств и одновременного повышения производительности за счет наложения соответствующей информации в поле зрения рабочего при выполнении технического обслуживания или других задач.Достаточно продвинутые системы AR могут не только понимать контекст, чтобы отображать нужную информацию, но и помогают идентифицировать компоненты и рабочие процессы с помощью выделения и наложений. BMW, например, делает именно это с помощью пилотной программы, использующей AR на конвейере.

BMW экспериментирует с системами AR, которые могут помочь работникам визуализировать оборудование, над которым они работают.BMW

Развлечения и социальные сети : AR также имеет большой потенциал для развлечения. Magic Leap, например, — компания-разработчик дополненной реальности, которая, как сообщается, потратила более 2,6 миллиарда долларов на разработку очков дополненной реальности и технологической платформы дополненной реальности, но продолжает привлекать дополнительные инвестиции, не имея коммерческого продукта.На более доступной платформе — смартфонах — TikTok недавно представил фирменные эффекты AR, которые пользователи могут добавлять в свои видео. Без сомнения, это только начало гонки за создание еще более захватывающих впечатлений от дополненной реальности, стирающих грань между реальным и виртуальным.

Дэйв Джонсон

Писатель-фрилансер

Почему каждой организации нужна стратегия дополненной реальности

Существует фундаментальный разрыв между богатством доступных нам цифровых данных и физическим миром, в котором мы их применяем.Хотя реальность трехмерна, обширные данные, которые мы теперь должны информировать о наших решениях и действиях, остаются в ловушке на двухмерных страницах и экранах. Эта пропасть между реальным и цифровым мирами ограничивает нашу способность использовать поток информации и идей, создаваемых миллиардами умных, подключенных к сети продуктов (SCP) по всему миру.

Дополненная реальность, набор технологий, которые накладывают цифровые данные и изображения на физический мир, обещает закрыть этот пробел и высвободить неиспользованные уникальные человеческие возможности.Хотя AR все еще находится в зачаточном состоянии, она готова стать мейнстримом; Согласно одной из оценок, расходы на технологию AR в 2020 году достигнут 60 миллиардов долларов. AR затронет компании во всех отраслях и многие другие типы организаций, от университетов до социальных предприятий. В ближайшие месяцы и годы это изменит то, как мы учимся, принимаем решения и взаимодействуем с физическим миром. Это также изменит то, как предприятия обслуживают клиентов, обучают сотрудников, проектируют и создают продукты, управляют своими цепочками создания стоимости и, в конечном итоге, как они конкурируют.

В этой статье мы описываем, что такое AR, развивающиеся технологии и приложения, а также почему это так важно. Его значение будет экспоненциально расти по мере распространения SCP, поскольку оно усиливает их способность создавать ценность и изменять конкуренцию. AR станет новым интерфейсом между людьми и машинами, соединяющим цифровой и физический миры. Хотя проблемы с его развертыванием остаются, новаторские организации, такие как Amazon, Facebook, General Electric, Mayo Clinic и U.S. Navy, уже внедряют дополненную реальность и видят серьезное влияние на качество и производительность. Здесь мы предоставляем дорожную карту того, как компании должны развертывать AR, и объясняем критический выбор, с которым они столкнутся при интеграции ее в стратегию и операции.

Что такое дополненная реальность?

Изолированные приложения AR существуют уже несколько десятилетий, но только недавно стали доступны технологии, необходимые для раскрытия его потенциала. По сути, AR преобразует объемы данных и аналитики в изображения или анимацию, которые накладываются на реальный мир.Сегодня большинство приложений AR доставляется через мобильные устройства, но все больше и больше будет распространяться использование носимых устройств без помощи рук, таких как дисплеи на голове или умные очки. Хотя многие люди знакомы с простыми развлекательными приложениями AR, такими как фильтры Snapchat и игра Pokémon Go, AR применяется гораздо более последовательными способами как в потребительских, так и в корпоративных условиях. Например, дисплеи дополненной реальности, отображающие информацию о навигации, предупреждении о столкновении и другую информацию непосредственно в зоне прямой видимости водителей, теперь доступны в десятках моделей автомобилей.Носимые устройства AR для заводских рабочих, которые накладывают инструкции по производству, сборке или обслуживанию, проходят апробацию в тысячах компаний. AR дополняет или заменяет традиционные руководства и методы обучения все более быстрыми темпами.

В более широком смысле, AR обеспечивает новую парадигму доставки информации, которая, как мы полагаем, окажет глубокое влияние на то, как данные структурируются, управляются и доставляются в Интернете. Хотя Интернет изменил способы сбора, передачи и доступа к информации, его модель хранения и доставки данных — страницы на плоских экранах — имеет серьезные ограничения: она требует от людей мысленного перевода двумерной информации для использования в трехмерном мире.Это не всегда легко, как знает любой, кто использовал руководство для ремонта офисного копировального аппарата. Наложая цифровую информацию непосредственно на реальные объекты или среду, AR позволяет людям обрабатывать физическое и цифровое одновременно, устраняя необходимость мысленно связывать их. Это улучшает нашу способность быстро и точно усваивать информацию, принимать решения и выполнять необходимые задачи быстро и эффективно.

дисплеев AR в автомобилях — яркая тому иллюстрация. До недавнего времени водителям, использующим GPS-навигацию, приходилось смотреть на карту на плоском экране, а затем выяснять, как применить ее в реальном мире.Например, чтобы выбрать правильный выезд из загруженного поворотного круга, водителю нужно было переключить взгляд с дороги на экран и мысленно связать изображение на карте с правильным поворотом. В заголовке AR отображаются навигационные изображения, расположенные непосредственно над тем, что водитель видит через лобовое стекло. Это снижает умственные усилия при использовании информации, предотвращает отвлечение внимания и сводит к минимуму ошибки водителя, позволяя людям сосредоточиться на дороге.

AR продвигается на потребительских рынках, но его влияние на производительность человека еще больше в промышленных условиях.Подумайте, как компания Newport News Shipbuilding, которая проектирует и строит авианосцы ВМС США, использует дополненную реальность ближе к концу производственного процесса для проверки корабля, маркируя для удаления стальные строительные конструкции, которые не являются частью готового авианосца. Исторически сложилось так, что инженерам приходилось постоянно сравнивать реальный корабль со сложными двумерными чертежами. Но с AR теперь они могут видеть окончательный дизайн, наложенный на корабль, что сокращает время проверки на 96% — с 36 часов до 90 минут. В целом, экономия времени на 25% и более типична для производственных задач с использованием AR.

Основные возможности

AR

Как мы ранее объясняли (см. «Как интеллектуальные подключенные продукты меняют конкуренцию», HBR, ноябрь 2014 г.), SCP, распространяющиеся по нашим домам, рабочим местам и фабрикам, позволяют пользователям отслеживать работу продукта и условия в режиме реального времени, контролировать и удаленно настраивать операции с продуктом и оптимизировать производительность продукта с помощью данных в реальном времени. А в некоторых случаях интеллект и возможность подключения позволяют SCP быть полностью автономными.

AR значительно увеличивает ценность, создаваемую этими возможностями.В частности, он улучшает то, как пользователи визуализируют и, следовательно, получают доступ ко всем новым данным мониторинга, как они получают и следуют инструкциям и руководствам по работе с продуктами, и даже как они сами взаимодействуют с продуктами и контролируют их.

Визуализируйте.

Приложения

AR обеспечивают своего рода рентгеновское зрение, выявляя внутренние особенности, которые иначе было бы трудно увидеть. Например, в компании AccuVein, производящей медицинские устройства, технология AR преобразует тепловую сигнатуру вен пациента в изображение, которое накладывается на кожу, что упрощает поиск вены для врачей.Это значительно повышает вероятность успешных заборов крови и других сосудистых процедур. AR более чем втрое увеличивает вероятность успешного укола иглой с первой попытки и снижает потребность в «эскалации» (например, обращении за помощью) на 45%.

Bosch Rexroth, глобальный поставщик силовых агрегатов и средств управления, используемых в производстве, использует визуализацию с дополненной реальностью, чтобы продемонстрировать конструкцию и возможности своего интеллектуального подключенного гидравлического силового агрегата CytroPac. Приложение AR позволяет клиентам видеть трехмерные изображения внутреннего насоса и вариантов охлаждения устройства в различных конфигурациях и то, как подсистемы сочетаются друг с другом.

Визуализировать

Демоверсия демонстрационного зала дополненной реальности, разработанная Microsoft и Volvo, позволяет получить рентгеновский снимок двигателя и ходовой части автомобиля.

Инструктаж и руководство.

AR уже меняет определение инструкций, тренингов и коучинга. Эти критически важные функции, повышающие производительность труда, по своей природе дороги и трудозатратны и часто дают неодинаковые результаты. Например, письменные инструкции по сборке часто трудны и отнимают много времени.Стандартные обучающие видео не интерактивны и не могут быть адаптированы к индивидуальным потребностям обучения. Очное обучение стоит дорого и требует, чтобы студенты и преподаватели собирались в одном месте, иногда неоднократно. А если оборудование, с которым обучаются студенты, недоступно, им может потребоваться дополнительное обучение, чтобы перенести то, что они узнали, в реальный контекст.

AR решает эти проблемы, предоставляя в реальном времени на месте пошаговые визуальные инструкции по таким задачам, как сборка продукта, работа машины и подбор склада.Сложные двухмерные схематические представления процедуры в руководстве, например, становятся интерактивными трехмерными голограммами, которые проводят пользователя через необходимые процессы. Мало что остается воображению или интерпретации.

Инструктаж и руководство

Сотрудник компании Agco, производящей сельскохозяйственное оборудование, просматривает инструкции AR по работе с гидрораспределителем трактора.

Клинт Форд

В Boeing обучение AR оказало огромное влияние на производительность и качество сложных процессов производства самолетов.В одном исследовании Boeing AR использовалась, чтобы направлять слушателей через 50 шагов, необходимых для сборки секции крыла самолета, состоящей из 30 частей. С помощью AR стажеры выполнили работу на 35% быстрее, чем стажеры, используя традиционные двухмерные чертежи и документацию. А количество практикантов с небольшим опытом или без него, которые смогли правильно выполнить операцию с первого раза, увеличилось на 90%.

Взаимодействовать.

Традиционно люди использовали физические элементы управления, такие как кнопки, ручки, а в последнее время и встроенные сенсорные экраны для взаимодействия с продуктами.С появлением SCP приложения на мобильных устройствах все чаще заменяют физические элементы управления и позволяют пользователям управлять продуктами удаленно.

AR выводит пользовательский интерфейс на совершенно новый уровень. Виртуальная панель управления может быть наложена прямо на продукт, и ею можно управлять с помощью гарнитуры AR, жестов рук и голосовых команд. Вскоре пользователи, носящие умные очки, смогут просто смотреть на продукт или указывать на него, чтобы активировать виртуальный пользовательский интерфейс и управлять им. Например, рабочий в умных очках сможет пройти ряд заводских машин, увидеть их рабочие параметры и настроить каждую машину, не касаясь ее физически.

Возможности взаимодействия AR еще только появляются в коммерческих продуктах, но являются революционными. Reality Editor, приложение AR, разработанное группой Fluid Interfaces в Media Lab Массачусетского технологического института, дает представление о том, как оно быстро развивается. Reality Editor позволяет легко добавить интерактивную дополненную реальность к любому объекту SCP. С его помощью люди могут навести смартфон или планшет на объект SCP (или, в конечном итоге, посмотреть на него через умные очки), «увидеть» его цифровые интерфейсы и возможности, которые можно запрограммировать, и связать эти возможности с жестами рук или голосом. команды или даже другой умный продукт.Например, Reality Editor может позволить пользователю видеть элементы управления интеллектуальной лампочкой для цвета и интенсивности и настраивать голосовые команды, такие как «яркий» и «настроение», для их активации. Или различные настройки лампы могут быть связаны с кнопками на интеллектуальном переключателе света, который пользователь может разместить в любом удобном месте.

Технологии, лежащие в основе этих возможностей, все еще появляются, но точность голосовых команд в шумной обстановке повышается, и прогресс в отслеживании жестов и взгляда был быстрым.GE уже протестировала использование голосовых команд в опытах с дополненной реальностью, которые позволяют заводским рабочим выполнять сложные процессы электромонтажа в ветряных турбинах, и добилась повышения производительности на 34%.

Объединение AR и виртуальной реальности

Известная кузина

AR, виртуальная реальность, является дополнительной, но отличной технологией. В то время как AR накладывает цифровую информацию на физический мир, VR заменяет физическую реальность компьютерной средой. Хотя виртуальная реальность используется в основном для развлекательных приложений, она также может воспроизводить физические параметры в тренировочных целях.Это особенно полезно, когда задействованные настройки являются опасными или удаленными. Или, если оборудование, необходимое для обучения, недоступно, VR может погрузить технических специалистов в виртуальную среду, используя голограммы оборудования. Поэтому при необходимости VR добавляет четвертую возможность — моделирование — к основным возможностям AR по визуализации, обучению и взаимодействию.

AR будет гораздо более широко применяться в бизнесе, чем VR. Но в некоторых обстоятельствах объединение AR и VR позволит пользователям преодолевать расстояние (путем моделирования далеких мест), преодолевать время (воспроизводя исторический контекст или моделируя возможные будущие ситуации) и преодолевать масштаб (позволяя пользователям взаимодействовать со средами, которые либо слишком маленький или слишком большой, чтобы испытать его напрямую).Более того, объединение людей в общей виртуальной среде может улучшить понимание, совместную работу, общение и принятие решений.

Ford, например, использует виртуальную реальность для создания виртуальной мастерской, где географически рассредоточенные инженеры могут совместно работать над голограммами прототипов транспортных средств в режиме реального времени. Участники могут ходить и заходить внутрь этих трехмерных голограмм в натуральную величину, работая над тем, как уточнить детали дизайна, такие как положение рулевого колеса, угол наклона приборной панели, а также расположение инструментов и органов управления без необходимости создавать дорогой физический прототип и соберите всех в одно место, чтобы изучить его.

Министерство внутренней безопасности США идет еще дальше, объединив инструкции AR с симуляциями виртуальной реальности для обучения персонала навыкам реагирования на чрезвычайные ситуации, такие как взрывы. Это снижает затраты и — в случаях, когда обучение в реальных условиях было бы опасно — риск. Многонациональная энергетическая компания BP накладывает процедуры обучения AR на модели VR, которые воспроизводят определенные условия бурения, такие как температура, давление, топография и океанические течения, и которые инструктируют группы по операциям и помогают им практиковать скоординированное реагирование на чрезвычайные ситуации без высоких затрат или риска.

Как AR создает ценность

AR создает ценность для бизнеса двумя широкими способами: во-первых, становясь частью самих продуктов, а во-вторых, повышая производительность по всей цепочке создания стоимости — в разработке продуктов, производстве, маркетинге, обслуживании и во многих других областях.

AR как особенность продукта.

Возможности AR играют на растущем внимании к дизайну, направленному на создание лучших пользовательских интерфейсов и эргономики. То, как продукты передают пользователям важную информацию о работе и безопасности, все чаще становится отличительной чертой (подумайте о том, как мобильные приложения дополняют или заменяют встроенные экраны в таких продуктах, как аудиоплееры Sonos).AR готова быстро улучшить такие интерфейсы.

Специальные проекционные дисплеи с дополненной реальностью, которые только недавно были внедрены в автомобили, в течение многих лет были ключевой особенностью элитной военной продукции, такой как истребители, а также были внедрены в коммерческую авиацию. Эти типы дисплеев слишком дороги и громоздки, чтобы их можно было интегрировать в большинство продуктов, но носимые устройства, такие как умные очки, представляют собой революционный интерфейс с широкими последствиями для всех производителей. С помощью умных очков пользователь может видеть дисплей AR на любом продукте, с которым можно общаться.

Например, если вы смотрите на кухонную духовку через умные очки, вы можете увидеть виртуальный дисплей, на котором отображается температура выпечки, оставшиеся минуты на таймере и рецепт, которому вы следуете. Если вы приблизитесь к своей машине, дисплей дополненной реальности может показать вам, что она заблокирована, что топливный бак почти полон, а давление в левой задней шине низкое.

Поскольку пользовательский интерфейс AR основан исключительно на программном обеспечении и доставляется через облако, его можно персонализировать и постоянно развивать.Дополнительные затраты на предоставление такого интерфейса невелики, и производители также могут сэкономить значительные суммы, когда традиционные кнопки, переключатели и циферблаты удаляются. Каждому производителю продукта необходимо тщательно продумать разрушительное влияние, которое этот интерфейс следующего поколения может оказать на его предложение и конкурентное позиционирование.

AR и цепочка создания стоимости.

Эффект дополненной реальности уже можно увидеть по всей цепочке создания стоимости, но в одних областях они более развиты, чем в других.В целом приложения для визуализации и обучения / руководства в настоящее время оказывают наибольшее влияние на деятельность компаний, в то время как возможность взаимодействия все еще находится на стадии пилотного тестирования.

Разработка продукта.

Хотя инженеры использовали возможности автоматизированного проектирования (САПР) для создания трехмерных моделей в течение 30 лет, они были ограничены взаимодействием с этими моделями через двумерные окна на экранах своих компьютеров, что усложняло им задачу полностью концептуализировать дизайн.AR позволяет накладывать трехмерные модели на физический мир в виде голограмм, расширяя возможности инженеров по оценке и совершенствованию проектов. Например, трехмерную голограмму строительной машины в натуральную величину можно разместить на земле, и инженеры могут ходить вокруг нее, заглядывать под нее и над ней и даже заходить внутрь, чтобы полностью оценить обзор и эргономику ее. дизайн в полном масштабе в предполагаемой обстановке.

AR также позволяет инженерам накладывать модели САПР на физические прототипы, чтобы сравнить их соответствие друг другу.Volkswagen использует эту технику — которая делает разницу между новейшим дизайном и прототипом визуально очевидной — для проверки согласованности в цифровых обзорах дизайна. Это повышает точность процесса обеспечения качества, в котором раньше инженерам приходилось тщательно сравнивать двухмерные чертежи с прототипами, и делает его в 5-10 раз быстрее.

Мы ожидаем, что в ближайшем будущем устройства с поддержкой AR, такие как телефоны и умные очки, со встроенными камерами, акселерометрами, GPS и другими датчиками, будут все больше информировать дизайн продукта, показывая, когда, где и как пользователи на самом деле взаимодействуют с продукт — например, как часто запускается определенная последовательность ремонта.Таким образом, интерфейс AR станет важным источником данных.

Производство.

В производстве процессы часто бывают сложными, требуют сотен или даже тысяч шагов, а ошибки обходятся дорого. Как мы узнали, дополненная реальность может предоставлять нужную информацию в тот момент, когда она необходима заводским рабочим на сборочных линиях, сокращая количество ошибок, повышая эффективность и повышая производительность.

На предприятиях AR может также собирать информацию из систем автоматизации и управления, вторичных датчиков и систем управления активами и делать видимыми важные данные мониторинга и диагностики каждой машины или процесса.Просмотр такой информации, как эффективность и процент брака, в контексте помогает техническим специалистам по обслуживанию понять проблемы и побуждает заводских рабочих проводить профилактическое обслуживание, которое может предотвратить дорогостоящие простои.

Iconics, специализирующаяся на программном обеспечении для автоматизации заводов и зданий, начала интегрировать дополненную реальность в пользовательские интерфейсы своих продуктов. Прикрепляя соответствующую информацию к физическому месту, где она будет лучше всего наблюдаться и понятна, интерфейсы AR позволяют более эффективно контролировать машины и процессы.

Логистика.

По оценкам, складские операции составляют около 20% всех затрат на логистику, в то время как сбор товаров с полок составляет до 65% складских затрат. На большинстве складов рабочие по-прежнему выполняют эту задачу, сверяясь с бумажным списком вещей, которые нужно собрать, а затем ищут их. Этот метод медленный и подвержен ошибкам.

Логистический гигант DHL и все большее число других компаний используют дополненную реальность для повышения эффективности и точности процесса комплектации.Инструкции AR направляют рабочих к месту, где нужно вытащить каждый продукт, а затем предлагают лучший маршрут к следующему продукту. В DHL такой подход привел к меньшему количеству ошибок, большему вовлечению сотрудников и повышению производительности на 25%. В настоящее время компания внедряет по всему миру комплектование под управлением дополненной реальности и тестирует, как дополненная реальность может улучшить другие типы складских операций, такие как оптимизация положения товаров и машин на макетах. Intel также использует AR на складах и добилась сокращения времени комплектования на 29%, а количество ошибок упало почти до нуля.А приложение AR позволяет новым сотрудникам Intel немедленно достигать скорости сборки на 15% быстрее, чем у сотрудников, прошедших только традиционное обучение.

Маркетинг и продажи.

AR переопределяет концепцию выставочных залов и демонстраций продукции, а также меняет качество обслуживания клиентов. Когда клиенты могут виртуально увидеть, как продукты будут выглядеть или функционировать в реальных условиях, прежде чем покупать их, они имеют более точные ожидания, большую уверенность в своих решениях о покупке и большее удовлетворение продуктом.В будущем AR может даже полностью снизить потребность в обычных магазинах и выставочных залах.

Когда продукты могут быть сконфигурированы с использованием различных функций и опций, что может сделать их сложным и дорогостоящим для хранения, AR является особенно ценным маркетинговым инструментом. Компания по производству строительных материалов AZEK, например, использует дополненную реальность, чтобы показать подрядчикам и потребителям, как ее продукция для настила и брусчатки выглядит в различных цветах и ​​компоновках. Клиенты также могут видеть симуляции в контексте: если вы посмотрите на дом через телефон или планшет, приложение AR может добавить к нему колоду.Этот опыт снижает любую неуверенность клиентов в своем выборе и сокращает цикл продаж.

В электронной коммерции приложения AR позволяют онлайн-покупателям загружать голограммы продуктов. Wayfair и IKEA предлагают библиотеки с тысячами трехмерных изображений продуктов и приложений, которые интегрируют их в реальную комнату, позволяя покупателям увидеть, как мебель и декор будут выглядеть в их домах. IKEA также использует свое приложение для сбора важных данных о предпочтениях в отношении продуктов в разных регионах.

Гарантийное обслуживание.

Это функция, в которой AR демонстрирует огромный потенциал для раскрытия возможностей SCP по созданию ценности. AR помогает техническим специалистам, обслуживающим клиентов на местах, во многом так же, как помогает рабочим на заводах: показывая данные прогнозной аналитики, созданные продуктом, визуально направляя их при ремонте в режиме реального времени и связывая их с удаленными экспертами, которые могут помочь оптимизировать процедуры. Например, приборная панель AR может показать полевому технику, что конкретная часть машины, скорее всего, выйдет из строя в течение месяца, что позволит технику упредить проблему для клиента, заменив ее сейчас.

В KPN, европейском провайдере телекоммуникационных услуг, инженеры, выполняющие удаленный ремонт или ремонт на месте, используют интеллектуальные очки с дополненной реальностью для просмотра данных истории обслуживания продукта, диагностики и информационных панелей с привязкой к местоположению. Эти дисплеи с дополненной реальностью помогают им принимать более обоснованные решения о том, как решать проблемы, снижая на 11% общие расходы для сервисных бригад, на 17% снижая количество ошибок в работе и повышая качество ремонта.

AR значительно снижает количество ошибок и увеличивает производительность на предприятиях.

Компания Xerox использовала дополненную реальность для связи инженеров с экспертами вместо предоставления руководств по обслуживанию и поддержки по телефону. Количество исправлений с первого раза увеличилось на 67%, а эффективность инженеров подскочила на 20%. Между тем, среднее время, затрачиваемое на решение проблем, сократилось на два часа, и потребность в персонале снизилась. Теперь Xerox использует дополненную реальность, чтобы напрямую связывать удаленных технических экспертов с клиентами. Это на 76% увеличило скорость, с которой технические проблемы решаются клиентами без какой-либо помощи на месте, сокращая командировочные расходы для Xerox и сводя к минимуму простои клиентов.Возможно, неудивительно, что уровень удовлетворенности клиентов Xerox вырос до 95%.

Человеческие ресурсы.

Ранние пользователи дополненной реальности, такие как DHL, ВМС США и Boeing, уже открыли для себя возможности пошагового обучения визуальных работников по запросу с помощью дополненной реальности. AR позволяет адаптировать инструкции к опыту конкретного работника или отразить распространенность конкретных ошибок. Например, если кто-то неоднократно совершает одну и ту же ошибку, от него могут потребовать использовать поддержку AR до тех пор, пока качество его работы не улучшится.В некоторых компаниях AR сократила время обучения новых сотрудников определенным видам работы почти до нуля и снизила требования к квалификации для новых сотрудников.

Это особенно выгодно для компании по доставке посылок DHL, которая сталкивается с резким повышением спроса в пиковые сезоны и сильно зависит от эффективного найма и обучения временных работников. Предоставляя обучение в режиме реального времени и практические рекомендации по навигации по складам, а также по правильной упаковке и сортировке материалов, AR сократила потребность DHL в традиционных инструкторах и увеличила скорость приема на работу новых сотрудников.

AR и стратегия

AR окажет широкое влияние на конкуренцию компаний. Как мы объясняли в наших предыдущих статьях HBR, SCP меняют структуру почти всех отраслей, а также природу конкуренции внутри них, часто при этом расширяя границы отрасли. SCP открывают перед производителями новый стратегический выбор, начиная от того, какую функциональность использовать и как управлять правами и безопасностью данных, до того, стоит ли расширять ассортимент продукции компании и конкурировать в области интеллектуальных систем.

Растущее проникновение AR, наряду с его мощью в качестве человеческого интерфейса с технологиями SCP, поднимает некоторые новые стратегические вопросы. Хотя ответы будут отражать бизнес каждой компании и уникальные обстоятельства, дополненная реальность станет все более и более неотъемлемой частью стратегии каждой фирмы.

Вот основные вопросы, с которыми сталкиваются компании:

1. Каков диапазон возможностей AR в отрасли и в какой последовательности они должны быть реализованы?

Компании должны взвесить потенциальное влияние дополненной реальности на клиентов, возможности продукта и цепочку создания стоимости.

2. Как AR усилит дифференциацию продуктов компании?

AR открывает несколько путей дифференциации. Он может создавать сопутствующие впечатления, которые расширяют возможности продуктов, предоставляют клиентам больше информации и повышают лояльность к продуктам. Интерфейсы AR, которые улучшают функциональность продуктов или простоту использования, могут быть большим отличием, так же как и те, которые существенно улучшают поддержку продукта, обслуживание и время безотказной работы. А способность AR предоставлять новые виды обратной связи о том, как клиенты используют продукты, может помочь компаниям раскрыть дополнительные возможности для дифференциации продуктов.

Правильный путь дифференциации будет зависеть от существующей стратегии компании; что делают конкуренты; и темпы развития технологий, особенно в области аппаратного обеспечения.

3. Где AR окажет наибольшее влияние на снижение затрат?

AR обеспечивает новые возможности повышения эффективности, которые должна изучить каждая фирма. Как мы уже отмечали, это может значительно снизить стоимость обучения, обслуживания, сборки, проектирования и других звеньев цепочки создания стоимости. Это также может существенно сократить производственные затраты за счет уменьшения потребности в физических интерфейсах.

Каждой компании необходимо будет расставить приоритеты по сокращению затрат на основе дополненной реальности таким образом, чтобы это соответствовало ее стратегическому позиционированию. Фирмы, предлагающие сложные продукты, должны будут извлечь выгоду из превосходного и недорогого интерфейса AR, в то время как многие товаропроизводители сосредоточатся на операционной эффективности по всей цепочке создания стоимости. В потребительских отраслях и розничной торговле приложения визуализации, связанные с маркетингом, являются наиболее вероятной отправной точкой. В производстве приложения Instruct приносят самые быстрые выгоды за счет устранения неэффективности в проектировании, производстве и обслуживании.И возможности взаимодействия AR, хотя и появляются, будут важны во всех отраслях с продуктами, которые имеют возможности настройки и комплексного управления.

4. Следует ли компании сделать разработку и развертывание дополненной реальности основным преимуществом или будет достаточно аутсорсинга или партнерства?

Многие фирмы изо всех сил пытаются получить доступ к цифровым талантам, необходимым для разработки дополненной реальности, которых не хватает. Один из самых востребованных навыков — это пользовательский интерфейс или дизайн пользовательского интерфейса (UX / UI). Крайне важно представить трехмерную цифровую информацию таким образом, чтобы ее было легко усваивать и использовать; компании хотят избежать потрясающих, но бесполезных впечатлений от дополненной реальности, которые противоречат его основной цели.Для эффективного взаимодействия с дополненной реальностью также требуется правильный контент, поэтому люди, которые знают, как его создавать и управлять — еще один новый навык, — также имеют решающее значение. Возможности цифрового моделирования и знание того, как их применять в приложениях AR, также являются ключевыми.

Мы ожидаем, что со временем компании создадут команды, посвященные AR, точно так же, как они создавали такие команды для создания и запуска веб-сайтов в 1990-х и 2000-х годах. Потребуются специальные команды для создания инфраструктуры, которая позволит этой новой среде процветать, а также разрабатывать и поддерживать контент дополненной реальности.Многие фирмы начали развивать навыки дополненной реальности собственными силами, но лишь немногие из них освоили их.

Следует ли нанимать и обучать сотрудников AR или сотрудничать с компаниями, специализирующимися на программном обеспечении и услугах, для многих остается открытым вопросом. У некоторых компаний нет другого выбора, кроме как относиться к талантам в области дополненной реальности как к стратегическому активу и инвестировать в их приобретение и развитие, учитывая потенциально большое влияние дополненной реальности на конкуренцию в их бизнесе. Однако, если AR важна, но не обязательна для конкурентного преимущества, фирмы могут сотрудничать со специализированными компаниями, занимающимися программным обеспечением и услугами, чтобы использовать внешние таланты и технологии.

Проблемы, время и затраты, связанные с созданием полного набора технологий AR, которые мы описали, значительны, и специализация всегда проявляется в каждом компоненте. На ранних этапах AR количество поставщиков технологий и услуг было ограничено, и компании создали внутренние возможности. Однако начинают появляться лучшие в своем классе поставщики дополненной реальности с решениями под ключ, и внутренним усилиям компании будет все труднее угнаться за ними.

5.Как AR изменит общение с заинтересованными сторонами?

AR дополняет существующие методы печати и двумерной цифровой коммуникации, а в некоторых случаях может полностью заменить их. Тем не менее, мы рассматриваем AR как нечто большее, чем просто еще один канал связи. Это принципиально новый способ взаимодействия с людьми. Просто подумайте о новом способе, которым он помогает людям воспринимать информацию и инструкции и действовать в соответствии с ними.

Интернет, который начинался как способ обмена техническими отчетами, в конечном итоге изменил бизнес, образование и социальное взаимодействие.Мы ожидаем, что дополненная реальность сделает то же самое для коммуникации, изменив ее способами, выходящими далеко за рамки того, что мы можем себе представить сегодня. Компаниям нужно будет творчески подумать о том, как они могут использовать этот зарождающийся канал.

Развертывание AR

приложений AR уже тестируются и развертываются в продуктах и ​​по всей цепочке создания стоимости, и их количество и охват будут только расти.

Каждой компании нужна дорожная карта внедрения, в которой излагается, как организация начнет использовать преимущества AR в своем бизнесе, создавая при этом возможности, необходимые для расширения ее использования.При определении последовательности и темпа внедрения компании должны учитывать как технические проблемы, так и задействованные организационные навыки, которые варьируются от контекста к контексту. В частности, организациям необходимо ответить на пять ключевых вопросов:

1. Какие возможности разработки потребуются?

Некоторые возможности дополненной реальности более сложны, чем другие. Опыт, который позволяет людям визуализировать продукты в различных конфигурациях или настройках, например, созданные IKEA, Wayfair и AZEK, является относительно простой отправной точкой для компаний.Потребителей просто нужно поощрять загружать и запускать приложения AR, и для их использования необходимо только мобильное устройство.

Приложения с инструкциями, подобные тем, которые Boeing и GE используют на производстве, сложнее создавать и использовать. Они требуют способности разрабатывать и поддерживать динамический трехмерный цифровой контент и часто получают большую выгоду от использования налобных дисплеев или умных очков, которые все еще находятся на ранних стадиях разработки.

Приложения, которые создают интерактивные возможности, которые создают значительную ценность как для потребителей, так и для бизнеса, разработать сложнее всего.Они также включают менее зрелые технологии, такие как распознавание голоса или жестов, и необходимость интеграции с программным обеспечением, контролирующим SCP. Большинство компаний начнут со статической визуализации трехмерных моделей, но им следует создать способность быстро переходить к динамическому обучению, имеющему большее стратегическое влияние.

2. Как организациям следует создавать цифровой контент?

Любой опыт дополненной реальности, от минимального до самого сложного, требует контента. В некоторых случаях можно перенаправить существующий цифровой контент, например дизайн продуктов.Однако со временем более сложные, динамичные контекстные переживания должны создаваться с нуля, что требует специальных знаний.

Простые приложения, такие как каталог мебели с дополненной реальностью, могут нуждаться только в базовых представлениях продуктов. Однако более сложные приложения для бизнес-инструкций, такие как те, которые используются для ремонта машин, потребуют точных и очень подробных цифровых представлений продукта. Компании могут создавать их, адаптируя модели САПР, используемые при разработке продуктов, или применяя методы оцифровки, такие как трехмерное сканирование.Самая изощренная среда дополненной реальности также должна использовать потоки данных в реальном времени из корпоративных бизнес-систем, SCP или внешних источников данных и интегрировать их в контент. Чтобы подготовиться к расширению портфеля AR, компаниям следует провести инвентаризацию существующих трехмерных цифровых активов в САПР и других местах и ​​инвестировать в возможности цифрового моделирования.

3. Как приложения AR распознают физическую среду?

Чтобы точно наложить цифровую информацию на физический мир, технологии дополненной реальности должны распознавать то, на что они смотрят.Самый простой подход — определить местоположение устройства AR, используя, например, GPS, и показать соответствующую информацию для этого местоположения, не привязывая ее к конкретному объекту. Это известно как «незарегистрированный» опыт дополненной реальности. Навигационные дисплеи транспортных средств обычно работают таким образом.

«Зарегистрированные» более высокие значения получают информацию о привязке к определенным объектам. Они могут делать это с помощью маркеров, таких как штрих-коды, логотипы или этикетки, которые размещаются на объектах и ​​сканируются пользователем с помощью устройства AR.Однако более мощный подход использует технологию, которая распознает объекты, сравнивая их форму с каталогом трехмерных моделей. Это позволяет технику по обслуживанию, например, мгновенно распознавать любой тип оборудования, за обслуживание которого он или она отвечает, и взаимодействовать с ним, и делать это под любым углом. Хотя маркеры являются хорошей отправной точкой, технологии распознавания форм быстро развиваются, и организациям потребуется возможность использовать их для использования во многих наиболее ценных приложениях дополненной реальности.

4. Какое оборудование AR требуется?

AR-решения, ориентированные на широкую потребительскую аудиторию, обычно разрабатывались для смартфонов, используя их простоту и повсеместность. Для более сложных задач компании используют планшеты с большими экранами, улучшенной графикой и большей вычислительной мощностью. Поскольку распространение планшетов ниже, компании часто предоставляют их пользователям. Для некоторых дорогостоящих приложений, особенно в самолетах и ​​автомобилях, производители встраивают в свои продукты специальные проекционные дисплеи с дополненной реальностью, что является дорогостоящим подходом.

В конечном итоге, однако, для большинства приложений AR для обслуживания, производства и даже интерфейсов продуктов потребуются головные дисплеи, которые освобождают руки пользователей. Эта технология в настоящее время является незрелой и дорогой, но мы ожидаем, что доступные умные очки станут широко доступны в ближайшие несколько лет и сыграют важную роль в раскрытии полной мощности AR. Microsoft, Google и Apple теперь предлагают технологии дополненной реальности, оптимизированные для их собственных устройств. Однако большинству организаций следует использовать кроссплатформенный подход, который позволяет развертывать возможности дополненной реальности на телефонах и планшетах разных производителей, а также убедиться, что они готовы к использованию умных очков по прибытии.(См. «Битва умных очков».)

5. Следует ли использовать модель разработки программного обеспечения или модель публикации контента?

Многие ранние возможности дополненной реальности реализовывались с помощью автономных программных приложений, которые загружались вместе с цифровым контентом на телефон или планшет. Такой подход обеспечивает надежную работу с высоким разрешением и позволяет организациям создавать приложения, не требующие подключения к Интернету. Проблема с этой моделью заключается в том, что любое изменение опыта AR требует, чтобы разработчики программного обеспечения переписали приложение, что может создать дорогостоящие узкие места.

Возникающая альтернатива использует коммерческое программное обеспечение для публикации AR для создания контента AR и размещения его в облаке. Затем опыт AR можно загрузить по запросу с помощью универсального приложения, работающего на устройстве AR. Как и контент веб-сайтов, контент AR можно обновлять или дополнять без изменения самого программного обеспечения — важное преимущество, когда речь идет о больших объемах информации и частых изменениях контента. Модель публикации контента станет распространенной по мере того, как все больше и больше машин и продуктов включают в себя взаимодействие и управление AR в реальном времени.Возможность публикации контента важна для масштабирования AR в масштабах всей организации.

Более широкое влияние

Цифровая революция с ее SCP и стремительным ростом объемов данных высвобождает производительность и открывает новые возможности для экономики. Все чаще ограничение заключается не в отсутствии данных и знаний, а в том, как ассимилировать их и действовать в соответствии с ними — другими словами, взаимодействие с людьми. AR становится ведущим решением этой проблемы.

В то же время быстрое развитие машинного обучения и автоматизации вызывает серьезные опасения по поводу возможностей человека.Будет ли хватать работы для всех, особенно для людей без высшего образования и знаний? Станут ли люди устаревшими в мире искусственного интеллекта и роботов?

Легко сделать вывод, что новые технологии уменьшают возможности человека. Тем не менее, новые изобретения веками заменяли человеческий труд, и они привели к росту занятости, а не к спаду. Технологии резко повысили нашу производительность и уровень жизни. Это привело к появлению новых видов предложений, которые отвечают новым потребностям и требуют новых типов работников.Многие из сегодняшних рабочих мест связаны с продуктами и услугами, которых сто лет назад не существовало. Урок истории состоит в том, что сегодняшняя цифровая революция породит новые волны инноваций и новые виды работы, которые мы еще не можем себе представить.

Неправильно понимается роль людей в этом будущем. У людей есть уникальные сильные стороны, которые машины и алгоритмы не смогут воспроизвести в ближайшее время. У нас есть развитые моторные навыки — значительно превосходящие то, на что сегодня способны роботы, — которые позволяют нам выполнять тонкие манипуляции, необходимые, например, для замены детали машины или подключения проводки турбины.Даже относительно менее квалифицированная работа, такая как забор крови, обрезка сада или ремонт спущенной шины, требует человеческой ловкости и не поддается автоматизации. Человеческое познание мгновенно адаптируется к новым ситуациям; люди легко корректируют то, как они интерпретируют информацию, решают проблемы, выносят суждения и принимают меры в соответствии со своими обстоятельствами. Люди обладают гибкостью, воображением, интуицией и творческими способностями, которые в обозримом будущем недостижимы для любой машины.

Несмотря на то, что достижения в области искусственного интеллекта и робототехники впечатляют, мы считаем, что объединение возможностей машин с отличительными сильными сторонами людей приведет к гораздо большей производительности и созданию большей ценности, чем можно было бы создать в одиночку.Для реализации этой возможности необходим мощный человеческий интерфейс, который ликвидирует разрыв между цифровым и физическим миром. Мы рассматриваем AR как историческую инновацию, которая обеспечивает это. Это помогает людям расширять свои собственные возможности, в полной мере используя новые цифровые знания и возможности машин. Это коренным образом изменит обучение и развитие навыков, позволяя людям выполнять сложную работу без длительного и дорогостоящего обычного обучения — модель, недоступная сегодня для многих.Таким образом, дополненная реальность позволяет людям лучше использовать цифровую революцию и все, что она может предложить.

Версия этой статьи появилась в выпуске журнала Harvard Business Review за ноябрь – декабрь 2017 г. (стр. 46–57).

Что такое дополненная реальность? | Живая наука

Дополненная реальность — это результат использования технологий для наложения информации — звуков, изображений и текста — на мир, который мы видим. Представьте себе интерактивный стиль «Репортаж меньшинства» или «Железного человека».

Дополненная реальность vs.виртуальная реальность

Это сильно отличается от виртуальной реальности. Виртуальная реальность — это компьютерная среда, с которой вы можете взаимодействовать и погружаться в нее. Дополненная реальность (также известная как AR), добавляет к реальность, которую вы обычно видите, а не заменяет ее.

Дополненная реальность в современном мире

Дополненная реальность часто представляется как своего рода футуристическая технология, но такая форма существует уже много лет. Например, на многих истребителях еще в 1990-х годах на экранных дисплеях отображалась информация об ориентации, направлении и скорости самолета, и только через несколько лет они могли показать, какие объекты в поле зрения были целями. .

За последнее десятилетие различные лаборатории и компании создали устройства, которые предоставляют нам дополненную реальность. В 2009 году группа Fluid Interfaces Group из MIT Media Lab представила SixthSense — устройство, сочетающее в себе использование камеры, небольшого проектора, смартфона и зеркала. Устройство висит на груди пользователя шнурком на шее. Четыре сенсорных устройства на пальцах пользователя могут использоваться для управления изображениями, проецируемыми SixthSense.

Google представила Google Glass в 2013 году, переместив дополненную реальность в более удобный интерфейс; в данном случае очки.Он отображается на экране объектива пользователя через небольшой проектор и реагирует на голосовые команды, накладывая изображения, видео и звуки на экран. Google выпустил Google Glass в конце декабря 2015 года.

Как оказалось, телефоны и планшеты — это способ дополненной реальности, который проникает в жизнь большинства людей. Например, приложение Star Walk от Vito Technology позволяет пользователю направить камеру своего планшета или телефона на небо и увидеть названия звезд и планет, наложенные на изображение. Другое приложение под названием Layar использует GPS и камеру смартфона для сбора информации об окружении пользователя.Затем он отображает информацию о близлежащих ресторанах, магазинах и достопримечательностях.

Некоторые приложения для планшетов и телефонов также работают с другими объектами. Disney Research разработала книжку-раскраску AR, в которой вы раскрашиваете персонажа в обычной (хотя и совместимой с приложениями) книге и запускаете приложение на устройстве. Приложение обращается к камере и использует ее для определения персонажа, который вы раскрашиваете, и использует программное обеспечение для воссоздания персонажа в трехмерном персонаже на экране.

Один из самых популярных способов проникновения дополненной реальности в повседневную жизнь — мобильные игры.По данным CNET, в 2016 году AR-игра Pokémon Go стала сенсацией во всем мире. По оценкам CNET, на пике ее развития было более 100 миллионов пользователей. По данным Forbes, в итоге они принесли более 2 миллиардов долларов. Игра позволяла пользователям видеть персонажей покемонов, прыгающих в их собственном городе. Цель состояла в том, чтобы поймать этих карманных монстров, а затем использовать их для борьбы с другими, локально, в спортзалах с дополненной реальностью.

В 2018 году «Гарри Поттер: Тайны Хогвартса» стал сенсацией мобильных AR-игр. Игра позволяет пользователям видеть мир Хогвартса вокруг себя, имея возможность читать заклинания, использовать зелья и учиться у учителей Хогвартса.На момент написания этой статьи у игры было около 10 миллионов загрузок в магазине Google Play.

Исследователи также разрабатывают голограммы, которые могут продвинуть виртуальную реальность на шаг вперед, поскольку голограммы могут одновременно видеть и слышать толпа людей.

«Хотя исследования в области голографии играют важную роль в разработке футуристических дисплеев и устройств дополненной реальности, сегодня мы работаем над многими другими приложениями, такими как сверхтонкие и легкие оптические устройства для камер и спутников», — исследователь Лэй Ван, доктор наук. студент Исследовательской школы физики и инженерии ANU, говорится в заявлении.

Будущее дополненной реальности

Это не означает, что телефоны и планшеты будут единственной площадкой для AR. Продолжаются исследования по включению функциональности дополненной реальности в контактные линзы и другие носимые устройства. Конечная цель дополненной реальности — создать удобное и естественное погружение, поэтому есть ощущение, что телефоны и планшеты будут заменены, хотя неясно, какими будут эти замены. Даже очки могут принять новую форму, поскольку для слепых разработаны «умные очки».

Как и любая новая технология, AR имеет множество политических и этических проблем. Google Glass, например, выразили обеспокоенность по поводу конфиденциальности. Некоторые беспокоились, что разговоры могут быть тайно записаны или сделаны снимки, или думали, что они могут быть идентифицированы программным обеспечением для распознавания лиц. Однако очки AR, контакты и многое другое, например Glass — X и Google Lens, продвигаются вперед в производстве и продажах.

Дополнительный отчет Алины Брэдфорд, автора Live Science.

Дополнительные ресурсы

Дополненная реальность (AR) vs.Виртуальная реальность (VR): в чем разница?

Термины «виртуальная реальность» и «дополненная реальность» часто используются. Гарнитуры виртуальной реальности, такие как Oculus Quest или Valve Index, и приложения и игры AR, такие как Pokemon Go, по-прежнему популярны. Они звучат похоже, и по мере развития технологий они немного перетекают друг в друга. Но это две очень разные концепции, с характеристиками, которые легко отличают одно от другого.


Что такое виртуальная реальность?


Oculus Quest 2

Гарнитуры

VR полностью овладевают вашим видением, создавая впечатление, что вы находитесь где-то в другом месте.HTC Vive Cosmos, PlayStation VR, Oculus Quest, Valve Index и другие гарнитуры непрозрачны, закрывая все вокруг, когда вы их надеваете. Если вы наденете их, когда они выключены, вы можете подумать, что у вас завязаны глаза.

Однако, когда гарнитуры включаются, ЖК- или OLED-панели внутри преломляются линзами, чтобы заполнить ваше поле зрения тем, что отображается. Это может быть игра, 360-градусное видео или просто виртуальное пространство интерфейсов платформ.Визуально вы попадете туда, куда хотите направить гарнитуру — внешний мир заменяется виртуальным.

Привязанные гарнитуры VR, такие как Index и PS VR, и автономные гарнитуры VR, такие как Quest 2, используют отслеживание движения с шестью степенями свободы (6DOF). Эта технология предоставляется благодаря внешним датчикам или камерам (для Index и PS VR) или камерам, обращенным наружу (для Quest 2). Это означает, что гарнитуры не просто определяют направление, в котором вы смотрите, но и любое движение, которое вы совершаете в этих направлениях.Это, в сочетании с контроллерами движения 6DOF, позволяет вам перемещаться в виртуальном пространстве с помощью виртуальных рук. Это пространство обычно ограничено несколькими квадратными метрами в поперечнике, но оно гораздо более захватывающее, чем просто стоять на месте и смотреть в разные стороны. Недостатком является то, что вам нужно быть осторожным, чтобы не споткнуться о какой-либо кабель, соединяющий гарнитуру с вашим компьютером или игровой системой.

И для игр, и для приложений виртуальная реальность заменяет ваше окружение, перенося вас в другие места. Где вы находитесь физически, значения не имеет.В играх вы можете сидеть в кабине истребителя. В приложениях вы можете виртуально путешествовать по отдаленным местам, как если бы вы были там. В VR есть масса возможностей, и все они предполагают замену всего, что вас окружает, чем-то другим.


Что такое дополненная реальность?


Microsoft HoloLens

В то время как виртуальная реальность заменяет ваше видение, дополненная реальность дополняет его. Устройства с дополненной реальностью, такие как Microsoft HoloLens и различные «умные очки» корпоративного уровня, прозрачны, что позволяет вам видеть все перед собой, как если бы вы носили слабые солнцезащитные очки.

Эта технология разработана для свободного перемещения при проецировании изображения поверх всего, на что вы смотрите. Эта концепция распространяется на смартфоны с приложениями и играми AR, такими как Pokemon Go, которые используют камеру вашего телефона для отслеживания вашего окружения и наложения дополнительной информации поверх нее на экране.

Дисплеи с дополненной реальностью могут предложить что-то настолько простое, как наложение данных, показывающее время, до чего-то столь же сложного, как голограммы, плавающие посреди комнаты. Pokemon Go проецирует покемона на ваш экран поверх всего, на что смотрит камера.Между тем, HoloLens и другие умные очки позволяют виртуально размещать вокруг себя плавающие окна приложений и 3D-украшения.

У этой технологии есть явный недостаток по сравнению с виртуальной реальностью: визуальное погружение. В то время как VR полностью покрывает и заменяет ваше поле зрения, приложения AR отображаются только на экране вашего смартфона или планшета, и даже HoloLens может проецировать изображения только в ограниченной области перед вашими глазами. Это не очень захватывающе, когда голограмма исчезает, когда она выходит из прямоугольника в середине вашего зрения, или когда вы должны смотреть на маленький экран, делая вид, что объект на этом экране находится перед вами.

Рекомендовано нашими редакторами

Basic AR, который накладывает простую информацию на то, что вы смотрите, отлично работает с 3DOF. Однако для большинства приложений AR требуется 6DOF в той или иной форме для отслеживания вашего физического положения, чтобы программное обеспечение могло поддерживать согласованные положения для изображений, которые оно проецирует в трехмерном пространстве. Вот почему HoloLens использует стереоскопическую камеру и расширенное распознавание образов, чтобы всегда определять, где он находится, и почему более продвинутые смартфоны, ориентированные на дополненную реальность, используют несколько камер на задней панели для отслеживания глубины.

Возможности дополненной реальности практически безграничны. Программное обеспечение дополненной реальности для телефонов уже много лет распознает окружающую обстановку и предоставляет дополнительную информацию о том, что видит, предлагая живой перевод текста или всплывающие обзоры ресторанов, когда вы на них смотрите. Выделенные гарнитуры AR, такие как HoloLens, могут делать даже больше, позволяя виртуально размещать различные приложения в виде плавающих окон вокруг себя. Они эффективно предоставляют вам модульную вычислительную систему с несколькими мониторами.

В настоящее время AR широко доступна только на смартфонах и не имеет улучшающего зрение аспекта AR-дисплеев корпоративного уровня.Это означает, что AR все еще очень ограничен, пока не будет выпущена потребительская гарнитура AR.


Волшебный прыжок один


Разница между AR и VR

Виртуальная реальность и дополненная реальность решают две очень разные вещи двумя разными способами, несмотря на схожий дизайн их устройств. VR заменяет реальность, унося вас в другое место. AR дополняет реальность, проецируя информацию поверх того, что вы уже видите. Это мощные технологии, которые еще не заметили потребителей, но демонстрируют многообещающие перспективы.Они могут полностью изменить то, как мы будем использовать компьютеры в будущем, но сейчас остается только гадать, добьются ли они успеха одному или обоим.

Получите наши лучшие истории!

Подпишитесь на Что нового сейчас , чтобы каждое утро получать наши главные новости на ваш почтовый ящик.

Этот информационный бюллетень может содержать рекламу, предложения или партнерские ссылки. Подписка на информационный бюллетень означает ваше согласие с нашими Условиями использования и Политикой конфиденциальности. Вы можете отказаться от подписки на информационные бюллетени в любое время.

Что такое дополненная реальность? Узнать больше!

Дополненная реальность: реальный мир другими глазами

#science # R&D

Дополненная реальность (AR) — это технология, которая позволяет накладывать виртуальные элементы на наше видение реальности. Все более востребованные, к 2020 году AR станет бизнесом, который в глобальном масштабе достигает 120 миллиардов долларов.

Медицинские приложения с дополненной реальностью.

Термин был изобретен в 1992 году ученым и исследователем Томасом П.Caudell во время разработки одного из самых известных самолетов в мире: Boeing 747. Коделл заметил, что рабочие, отвечающие за сборку нового самолета, теряли слишком много времени, интерпретируя инструкции, и думали: «Что бы произошло, если бы у них был доступ к экран, который поможет им выполнить установку «? Изобретение не удалось, но концепция дополненной реальности (AR) родилась именно в этот момент.

Эта концепция возникла тогда, а не летом 2016 года, как многие из нас считают, когда мир обрушился с Pokémon GO fever, видеоигрой, которая заключалась в поиске и захвате различных персонажей из японской саги, которая пик, достиг астрономической цифры в 45 миллионов активных ежедневных пользователей.

Pokémon GO популяризировал AR, сделав ее ближе к широкой публике, на самом деле всем аудиториям. К тому времени, однако, уже было очень много компаний из самых разных секторов (здравоохранение, образование, архитектура, инженерия, услуги, розничная торговля и т. Д.), Которые начали использовать AR с целью создания ценного опыта для своих клиентов. вне развлечений.

ДЕСЯТЬ ПРИЛОЖЕНИЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Можете ли вы представить себе, как пьете коктейль, украшенный элементами дополненной реальности? Первый музей / бар с этой технологией в США был недавно открыт в Вашингтоне.

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *