Система дополненной реальности: В чем разница между VR и AR?

Содержание

Система виртуальной/дополненной реальности — Решения

Решение эфирной системы дополненной и/или виртуальной реальности с трекингом студийных камер на базе ПО Aximmetry и трекинговой системы Mo-Sys StarTracker.

Виртуальная реальность (Virtual Reality – VR) – это компьютерно сгенерированная искусственная среда (окружающий мир), в которой действует и с которой интерактивно взаимодействует реальный персонаж (актер, телеведущий, геймер и т.д.).
Дополненная реальность (Augmented Reality – AR) – это встраивание в изображение реального окружающего мира искусственных объектов, с которыми наблюдатель интерактивно взаимодействует.

ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ AXIMMETRY

Aximmetry Technologies — компания из Венгрии с многолетним опытом в области графики, обработки изображений в реальном времени и 3D-визуализации представляет ПО для виртуальных студий или студий дополненной реальности с масштабируемым собственным 3D движком и поддержкой 4K в VR, AR, встроенным высококачественным кейером на базе GPU и поддержкой трекинга камер в реальном времени.

Aximmetry обеспечивает бесшовную интеграцию реальных и виртуальных сред с взаимодействием виртуальных источников света и объектов реального мира. Продвинутый кейер позволяет вводить реалистичные контактные тени и ПО может отрисовывать виртуальные тени на объект и плавно комбинировать их с тенями, созданными самим объектом.
Используя редактор контента и сцен Composer, легко создавать виртуальные трехмерные сцены и соединения, которые обеспечивают высокий уровень интерактивности во время живого шоу. Наконец, легкий эффект обертывания Aximmetry стирает границы между физическим и виртуальным пространством.

MO-SYS OPTICAL TRACKING

Отслеживание оптическим методом положения камеры в студии StarTracker® — это направленная на потолок студии камера-датчик, которая устанавливается на студийную камеру. На потолке студии наклеиваются в случайном порядке светоотражающие маркеры – «звезды».

Они могут быть легко прикреплены на разных высотах к любой поверхности или неподвижным элементам конструкций, например к самому потолку, трубам, фермам, светильникам или стенам.
Одноразовая 30-минутная процедура калибровки автоматически запоминает их позиции, после чего нет необходимости проводить повторную калибровку.
StarTracker® обеспечивает отслеживание камеры в любой точке студии в абсолютных значениях положения камеры без необходимости вмешательства оператора.
Камера-датчик слежения имеет собственную подсветку светоотражающих маркеров в инфракрасном и особом синем спектре, в диапазоне которого работает и сама камера-датчик. Благодаря этому любые другие источники света не влияют на работу системы.

Особенности:
Работа без люфта
Неограниченная свобода передвижения камеры
Без повседневной калибровки
Выходы – RS422, RS232 или Ethernet

Дополненная реальность (AR): технологии, устройства, финансовые перспективы

Технологии дополненной реальности появились относительно недавно, терминология еще не устоялась, подробно об этом говорится в статье «Дополненная, виртуальная и прочие реальности». Википедия дает следующие определения.

Дополненная реальность (augmented reality, AR) — результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации.
Термин «дополненная реальность» предположительно был предложен исследователем корпорации Boeing Томом Коделом (Tom Caudell) в 1990 году.

Существует несколько других определений дополненной реальности. В частности, исследователь Рональд Азума (Ronald Azuma) в 1997 году определил её как систему, которая:

1) совмещает виртуальное и реальное;
2) взаимодействует в реальном времени;
3) работает в 3D.

В концепции Пола Милграма (Paul Milgram) и Фумио Киширо (Fumio Kishino) дополненная реальность является частью смешанной реальности, которую также называют гибридная реальность (hybrid reality).
Эта концепция была предложена еще в 1994 году. Но, начиная с 2016 года, компания Microsoft начала активно использовать термин «смешанная реальность» для продвижения на рынке своего продукта HoloLens. И теперь некоторые эксперты (и поставщики оборудования) подразделяют термины следующим образом:

Дополненная реальность (AR) — проецирование любой цифровой информации (изображения, видео, текст, графика и т.д.) поверх экрана любых устройств. В результате реальный мир дополняется искусственными элементами и новой информацией. Может быть реализована с помощью приложений для обычных смартфонов и планшетов, очков дополненной реальности, стационарных экранов, проекционных устройств и других технологий.

Смешанная реальность (MR) — проецирование трехмерных виртуальных объектов или голограмм на физическое пространство. Позволяет перемещаться вокруг виртуального объекта, осматривать его со всех сторон и, при необходимости, внутри. Требует, как правило, специального оборудования (очков или шлемов).

Именно этими определениями мы и будем руководствоваться в этой статье; речь в ней пойдет в основном о дополненной реальности.

Как работает технология AR

Общая схема создания дополненной реальности во всех случаях такова: камера устройства AR снимает изображение реального объекта; программное обеспечение (ПО) устройства проводит идентификацию полученного изображения, выбирает или вычисляет соответствующее изображению визуальное дополнение, объединяет реальное изображение с его дополнением и выводит итоговое изображение на устройство визуализации.
Несколько подробнее технологию создания дополненной реальности мы рассмотрим на примере использования ее для диагностики промышленного оборудования или управления им.

Для работы с AR на производстве используется смартфон, планшет или смарт-очки с видеокамерой и соответствующим ПО. Если объектив видеокамеры направлен на объект (единицу оборудования), ПО распознает его или по заблаговременно установленному маркеру, или после анализа формы объекта.
Распознав объект, ПО подключается к трехмерному цифровому двойнику объекта, размещенному на сервере предприятия или в облаке.
Затем устройство AR загружает необходимую информацию и накладывает ее на изображение объекта. В результате сотрудник предприятия видит на экране (или через очки) отчасти физическую реальность, отчасти цифровую. При этом оператор, управляющий данной единицей оборудования, и техник-ремонтник, глядя на один объект, будут видеть разную дополненную реальность, в соответствии с выполняемыми функциями. Ремонтник может видеть данные о наработке или, допустим, рабочей температуре того или иного узла обслуживаемого оборудования. Оператору устройство AR может помогать управлять объектом — посредством сенсорного экрана, голосом или жестами. При движении сотрудника размер и ориентация дисплея AR автоматически корректируются, ненужная информация исчезает, а новая появляется.

Трехмерная цифровая модель создается либо при помощи САПР (обычно еще на этапе разработки объекта), либо путем оцифровки данной единицы оборудования. Этот цифровой двойник собирает информацию о состоянии объекта, получаемую от него самого, из информационных систем и из внешних источников. С его помощью ПО дополненной реальности масштабирует и точно размещает на изображении объекта или вокруг него актуальные данные.2

Пример использования AR в решении SmartEAM компании IT-Enterprise на предприятии ИНТЕРПАЙП СТАЛЬ

Устройства, реализующие AR

Устройства, способные создавать дополненную реальность, можно разделить на следующие группы.

Мобильные устройства. К ним относятся планшеты, смартфоны, очки и, в перспективе, линзы дополненной реальности.

На планшеты и смартфоны должно быть установлено специализированное ПО. Например, на смартфоны и планшеты можно устанавливать браузеры дополненной реальности, такие как Wikitude, Layar, Blippar, или специальные приложения (в частности, City Lens для Windows Phone). Эти браузеры могут показывать ближайшие к месту нахождения пользователя достопримечательности, магазины, кафе, пункты проката, пункты обслуживания и т.п., а также выполнять другие полезные функции.3

Очки дополненной реальности — это отдельное полноценное устройство, разработанное непосредственно для работы с AR. Они, в большинстве своем, умеют проецировать голограммы и информацию в реальное пространство, но не привязывают их к физическим объектам. Фактически это просто экран перед глазами. Наиболее известны очки Google Glass (в 2018 г. обычным пользователям были доступны версии 2. 0 и 3.0, компаниям — версия 2017-го года, Google Glass Enterprise Edition). С ними конкурируют Vuzix Blade, Epson Moverio, Sony SmartEyeglass. По сравнению с Google Glass эти и другие очки дополненной реальности дешевле и доступнее — обычные пользователи могут купить их на официальных сайтах.
А вот очки Microsoft HoloLens, Magic Leap One и Meta 2 — это уже очки смешанной реальности, т.е. они позволяют работать с виртуальными объектами, привязанными к реальному миру.4

Линзы для дополненной реальности пока еще остаются технологией будущего. Разработчики стремятся превратить линзы в прозрачный экран, содержащий систему управления, миниатюрную камеру, антенну, светодиоды и другие оптоэлектронные компоненты. В частности, компания Samsung уже подала патент на «умные» контактные линзы, работы в этом направлении ведет и компания Google. Но на рынок подобные устройства выйдут не ранее чем 5–10 лет.5

Стационарные устройства. Это может быть телевизор, экран компьютера, игровой компьютер типа Kinect. На экран телевизора выводится уже дополненное изображение (особенно часто это бывает во время трансляции футбольных и хоккейных матчей), пример для компьютера — карты Google в режиме «Satellite», когда на спутниковый снимок накладываются названия улиц и достопримечательностей. Иногда используются широкоформатные экраны, а также проекционные системы, способные накладывать изображения не только на экраны, но и на любые поверхности.

Специальные средства. К ним относятся, например, специализированные шлемы военных пилотов. На стекло шлема выводится необходимая пилоту важная информация, и он может воспринимать ее, не переводя взгляд на приборную панель, экономя тем самым драгоценные секунды. Многие подобные системы позволяют осуществлять целеуказание путём поворота головы или движением глазных яблок пилота. Шлем пилота истребителя пятого поколения F-35 использует настолько современные технологии, что пилот может видеть даже сквозь непрозрачный корпус самолёта. Это самый дорогой шлем в мире — его стоимость превышает 400 тыс. долл. А британские инженеры разработали для военных пилотов шлем с уже встроенной системой ночного видения.6
На защитном стекле «умного мотошлема» может отображаться скорость мотоцикла, маршрут, текстовые сообщения и многое другое. Похожую технологию используют и для отображения информации на лобовом стекле автомобиля.7

Дополненная реальность в промышленности

Компания Boeing на протяжении последних 20 лет искала систему, способную сократить время на производство кабельных жгутов и устранение ошибок при их изготовлении. Бортовые системы самолетов содержат множество компонентов, связанных между собой проводами и кабелями. Их общая длина в самолёте Боинг-747, например, составляет 250 километров.8 Укладка и соединение проводов производится по специальному шаблону, после чего их скрепляют в жгуты, а на концы кабелей устанавливают разъемы. Такая работа занимает длительное время и чревата ошибками. В начале 2014 г. компания внедрила решение дополненной реальности на платформе очков Google Glass. За счет внедрения технологии AR удалось сократить время производства на 25% и снизить количество ошибок на 50%.9

Компания Lockheed Martin использует технологии дополненной реальности при сборке самолета F-35. В качестве основной платформы используются AR-очки Epson Moverio BT-200, оборудованные датчиками движения и глубины. Когда техник монтирует на шасси деталь тормоза, в очках он видит все данные о том, где и в каком порядке нужно проводить сборку и подсоединять кабели. По данным компании NGRAIN, внедрившей эту систему, программное обеспечение позволяет инженерам работать быстрее на 30% и с точностью до 96%.10 (Стоит отметить, что компания Lockheed Martin с успехом использует также и технологию VR, подробнее об этом говорится в статье «Виртуальная реальность».)

Концерн Fiat Chrysler Automobiles (FCA) применил в своей работе проекционную AR-систему OPS Solutions. Теперь на каждом этапе сборочного процесса рабочие получают наглядную информацию о своем следующем шаге.

Машиностроительное предприятие AGCO (США) в 2015 г. оснастило участки большими дисплеями, на которые выводился трехмерный состав изделий и полный комплект документации, необходимый для быстрой и качественной сборки изделий (тракторов и другой сельскохозяйственной техники). В 2017 г. предприятие перешло на использование очков Google Glass, благодаря чему контроль качества ускорился на 20%.

Портативные виртуальные визуализаторы PVAITV и MibiPV, разработанные специально для инженеров и IT-специалистов, позволяют сканировать оборудование и выявлять ошибки/поломки, которые необходимо устранить. Программа указывает, где находится поврежденный разъем или выдернутый шнур.11

Рабочие General Electric при сборке ветряных турбин на заводе во Флориде связываются с экспертами через очки дополненной реальности, показывают собираемое оборудование в поле зрения и получают ответы на вопросы от специалистов, конструировавших турбины, с помощью тех же очков. Анализ показывает рост производительности на 34% по сравнению с использованием предыдущих технологий сборки оборудования. 12

Помимо все более активного применения в промышленности дополненная реальность используется в компьютерных играх, маркетинге (в частности, в уличном маркетинге, когда большой экран с AR выставляется в людном месте), в моде, социальных сетях, медицине и хирургии, туризме, в прессе, музейном деле — и список примеров применения AR постоянно пополняется.13

Финансовые перспективы (AR как J-технология)

По данным консалтинговой фирмы Digi-Capital, в 2017 году инвесторы в США вложили в VR- и AR-стартапы свыше $3 млрд. В итоге рынок значительно превзошел прогнозы. Но вместе с тем рынок VR/AR весьма нестабилен и «разогревается» разовыми крупными сделками, а инвестируют в него в основном венчурные инвесторы. При этом значительный объем средств инвесторов приходится на долю стартапа Magic Leap. За несколько лет проект суперсекретных очков дополненной реальности получил свыше $2 млрд. от компаний Google, Alibaba, Qualcomm и саудовских фондов. В чем причина такой щедрости? Основатель компании Рони Абовитц после ряда исследований пришел к выводу, что мозг использует далеко не все данные, поступающие в него через зрительную систему. Поэтому для новой технологии можно использовать не всё световое поле, а лишь избранные биты информации, которые будут правильно интерпретироваться зрительной корой. И тогда можно избавиться от дисплеев и полагаться непосредственно на глаза пользователей. Так что инвесторы знали, во что вкладывают деньги. Разработка длилась в течение 7 лет, заказы на первые образцы для разработчиков ценой 2295 долл. начали принимать в августе 2018 г.14

Что касается рынка в целом, то он также пока нестабилен. Так, если в июле 2017 г. аналитики компании IDC полагали, что мировой объем продаж товаров и услуг, связанных с технологиями дополненной и виртуальной реальности (AR/VR), с 11,4 млрд. долл. в 2017 году вырастет почти до 215 млрд. долл. в 2021 году и в среднем объем рынка будет ежегодно расти на 113,2%,15 то в 2018 г. их оценки изменились. По новым прогнозам, с 2017-го по 2022 годы мировой рынок технологий дополненной (AR) и виртуальной (VR) реальности будет расти в среднем на 71,6% в год. Итого — 106 млрд. долл. в 2022 г., а не 215 млрд. долл. в 2021 г.16

Аналитики компании Digi-Capital дают несколько иные оценки: к 2020 году стоимость рынка VR составит $30 миллиардов, а AR — $90 миллиардов. Однако Джесси Шелл, генеральный директор Schell Games и профессор Университета Карнеги-Меллон, считает, что это «крайне неверный прогноз». Он полагает, что рынок будет развиваться очень медленно. А значит, стартапам стоит учесть, что суровые времена затянутся на более длительный период, чем планировалось. Шелл считает, что к 2025 году доля прибыли AR составит 15% от дохода рынка VR, то есть примерно $1,1–$3,3 млрд. Рынок дополненной реальности по-прежнему будет небольшим, и его ждут трудности. По словам Шелла, пройдет еще много лет, прежде чем технологии разовьются настолько, чтобы создать очки дополненной реальности, которые не отличались бы от обычных очков.17

Однако Тим Кук, генеральный директор компании Apple, неоднократно заявлял, что AR на данный момент является самой перспективной технологией. По его словам, дополненная реальность — настолько же грандиозная идея, как и создание смартфона. Периодически в сети появляются сведения о работе Apple над очками дополненной реальности, предполагаемая дата выпуска — конец 2019 г.18

Павел Биленко, основатель инженерного центра ТЕКНЕР, считает, что AR — одна из J-технологий с ускоренной диффузией. Скорость диффузии технологий — это время, за которое технологии начинают активно использоваться большинством потребителей. За последние 110 лет скорость диффузии потребительских технологий стремительно росла, и сейчас кривая развития некоторых из них по форме напоминает букву J, т.е. технология за считанные годы после рождения становится ключевым конкурентным преимуществом компании.
Еще один немаловажный факт, говорящий о безусловной перспективности AR — оздание в 2015 году альянса Augmented Reality for Enterprise Alliance (AREA). В этот альянс входят такие крупные компании, как Bosch и Boeing. Цель альянса — бесплатный (для американского рынка) и открытый обмен лучшими практиками, извлеченными уроками и технологическими ресурсами, которые будут помогать предприятиям эффективно внедрять AR. 19 11-го апреля 2017 года объявлено о разработке участниками этого альянса ключевых отраслевых руководящих документов. Документы разрабатывались при содействии UI Labs, Lockheed Martin, Caterpillar и Procter & Gamble.

Ссылки:

1. https://lenta.ru/articles/2017/07/07/ar/
2. https://hbr-russia.ru/innovatsii/tekhnologii/a24121
3. https://i-look.net/news/augmented-reality-browsers.html
4. https://www.unipage.net/ru/p/google_glass_3
5. http://controlengrussia.com/innovatsii/dopolnennaya-real-nost/ar/
6. https://www.prosoft.ru/cms/f/466284.pdf
7. http://tofar.ru/kak-rabotaet-ar.php
8. http://krasvozduh.ru/zavod-boing/
9. https://gigazine.net/gsc_news/en/20160715-boeing-google-glass
10. https://www.popularmechanics.com/flight/a13967/lockheed-martin-augmented-reality-f-35/
11. https://ar-conf.ru/ru/news/razvitie-dopolnennoy-realnosti-v-aviakosmicheskoy-otrasli-34872
12. http://www.forbes.ru/tehnologii/344377-zhizn-v-forme-j-riski-i-vozmozhnosti-uskoreniya-diffuzii-tehnologiy
13. https://augmentedreality.by/example/
14. https://adindex.ru/publication/opinion/media/2018/07/9/172599.phtml
15. https://www.cio.ru/articles/050917-Kak-podgotovit-predpriyatiya-k-prihodu-virtualnoy-dopolnennoy-i-smeshannoy-realnosti
16. https://www.osp.ru/news/2018/06/13034605/
17. https://rb.ru/story/vr-ar-2025/
18. https://lenta.ru/articles/2017/07/07/ar/
19. http://www.forbes.ru/tehnologii/344377-zhizn-v-forme-j-riski-i-vozmozhnosti-uskoreniya-diffuzii-tehnologiy

AR — Дополненная Реальность (статья плюс ролик) / Хабр

По-настоящему широкая публика столкнулась с ней, когда Гугл захотел повесить нам на нос свои умные очки. После пришла эпоха смешных масок, которые делали из нас котиков, зайчиков и Леонардо Ди Каприо. Затем покемоны захватили обе реальности и заставили наматывать километры. А недавно Эппл показала ARKit, а Гугл — ARCore, и значит нас вот-вот накроет новая волна игр и приложений с применением дополненной реальности, возможности которой гораздо шире и полезнее для общества, чем ловля слоупоков.

Это популяризаторская статья. В ней нет подробного описания технической стороны, зато есть история развития ЭйАр, ссылки на упоминающиеся разработки и множество интересных иллюстраций.

Очень много картинок!

Что такое ЭйАр

Дополненная реальность — это среда, в реальном времени дополняющая физический мир, каким мы его видим, цифровыми данными с помощью каких-либо устройств — планшетов, смартфонов или других, и программной части. Например, Google Glass или шлем Железного Человека. Системы прицеливания в современных боевых самолетах — это тоже дополненная реальность.

Дополненную реальность (augmented reality, AR) надо отличать от виртуальной (virtual reality, VR) и смешанной (mixed reality, MR).

В дополненной реальности виртуальные объекты проецируются на реальное окружение.

Виртуальная реальность — это созданный техническими средствами мир, передаваемый человеку через (пока что) органы чувств.

Смешанная или гибридная реальность объединяет оба подхода.

То есть, виртуальная реальность создает свой мир, куда может погрузиться человек, а дополненная добавляет виртуальные элементы в мир реальный. Выходит, что ВиАр взаимодействует лишь с пользователями, а ЭйАр — со всем внешним миром.

История ЭйАр

Как многие другие интересные исследования, история манипуляций с реальностью начинается в научной фантастике. Автор «Волшебника страны Оз» Лайман Фрэнк Баум в романе «Главный ключ» описал некое устройство, способное помечать в режиме реального времени людей буквами, указывающими на их характер и уровень интеллекта. Примитивные инструменты дополнения реальности были известны задолго до того: это и маски, которые надевали римские лучники, чтобы лучше целиться, и подзорные трубы с нанесенными метками расстояний и так далее.

Но история дополненной реальности, какой мы ее знаем сейчас, берет начало из разработок, касающихся ВиАр. Отцом виртуальной реальности считается Мортон Хейлиг. Он получил это звание за исследования и изобретения, сделанные в 1950-х и 60-х годах. 28 августа 1962 года он запатентовал симулятор Sensorama. Сам Хейлиг еще называл его театром погружения.

Патент описывает виртуальную технологию, в которой визуальные образы дополняются движениями воздуха и вибрацией. Обоснование ее существования давалось такое:

«Сегодня постоянно растет спрос на методы обучения и тренировки людей таким способом, чтобы исключить риски и опасность реальных ситуаций»

Это было устройство ранней версии виртуальной реальности, а не дополненной, но именно оно дало толчок к развитию обоих направлений. Хейлиг даже изобрел специальную 3Д-камеру, чтобы снимать фильмы для Сенсорамы.

А вот в 1968-м году компьютерный специалист и профессор Гарварда Айван Сазерленд со своим студентом Бобом Спрауллом разработали устройство, получившее название «Дамоклов Меч». И это была первая система уже именно дополненной реальности на основе головного дисплея.

Очки были настолько тяжелыми, что их пришлось крепить к потолку. Конструкция угрожающе нависала над испытуемым, отсюда и название. В очки со стереоскопическим дисплеем транслировалась простая картинка с компьютера. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя, поэтому понадобился механизм, позволяющий отслеживать направление взгляда. Для того времени это был фантастический прорыв.

Следующим шагом было создание Майроном Крюгером лаборатории с искусственной реальностью Videoplace в 1974-м году.

Его основной целью было избавить пользователей от необходимости надевать специальные шлемы, очки и прочие приспособления для взаимодействия с искусственной реальностью. В Видеоплейсе использовались проекторы, видеокамеры и другое оборудование. Люди, находясь в разных комнатах, могли взаимодействовать друг с другом. Их движения записывались на видео, анализировались и переводились в силуэты искусственной реальности. Пользователи видели, как их силуэты взаимодействуют с объектами на экране и это создавало впечатление, что они часть искусственной реальности. Хотя правильнее было бы назвать это проектом интерактивного окружения.

Спустя четыре года, в 1978-м, Стив Манн придумал первое приспособление для ЭйАр, которое не было прикручено к потолку. В EyeTap использовалась камера и дисплей, дополняющий среду в режиме реального времени. Это изобретение стало основой для будущих проектов, но массово не использовалось.

Первое массовое использование дополненной реальности стало возможно благодаря Дену Рейтону, который в 1982-м году использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телепрогнозах погоды. Там ЭйАр до сих пор используется таким образом.

В 90-е поиск новых способов использования продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров. Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе.

Дальше развитие происходило стремительно. Скачок, сделанный в производстве микропроцессоров, и, как следствие, во всем технологическим секторе, позволил сильно ускорить работы.

В 1993-м году в университете штата Колумбия Стив Файнер представил систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, переводится примерно как «Интерактивный помощник по обслуживанию»), позволявшую через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

А вот в 95-м Джун Рекимото собрал Navicam — прототип мобильного устройства дополненной реальности, какой ее сейчас знают пользователи смартфонов. Навикам представлял собой переносной дисплей с закрепленной на обратной стороне камерой, чей видеопоток обрабатывался компьютером и, при обнаружении цветной метки, выводил на экран информацию об объекте.

В 96-м году Джуном Рекимото и Южди Аятцука был разработан Матричный Метод (или КиберКод). Он описывает реальные и виртуальные объекты с помощью плоских меток наподобие QR-кодов. Это позволяло вписывать виртуальные вещи в реальный мир, просто перенося метки. Например, положить на пол листок с кодом, навестись на комнату камерой — и вот у вас в комнате стоит динозавр.

В 98-м году НФЛ впервые использовала дополненную реальность, разработанную компанией Sport Vision, в прямой трансляции спортивных игр. Во время матчей на картинку с камеры, обзорно показывающей игровое поле, добавлялись технические линии и информация о счете. О «волшебной желтой линии» есть старый сюжет.

В 99-м НАСА применила систему дополненной реальности в приборной панели космического аппарата Икс-38, который научился отображать объекты на земле вне зависимости от погодных условий и реальной видимости.

И в том же году Хироказу Като создал открытую библиотеку для написания приложений с ЭйАр-функционалом ARToolKit (еще на Гитхабе). В ней использовалась система распознавания положения и ориентации камеры в реальном времени. Это позволяло стыковать картинку реальной и виртуальной камер, что давало возможность ровно накладывать слой компьютерной графики на маркеры реального мира.

Можно сказать, что с релизом первой версии этой библиотеки начался современный этап активного развития дополненной реальности.

Как работает дополненная реальность

Если откинуть совсем уж древние реализации, то ЭйАр — это распознавание образов и отслеживание маркеров.

С распознаванием образов все более-менее понятно. Если приложение должно распознавать стол, то достаточно загрузить на сервер библиотеку фотографий столов, обозначить общую структуру, цвет, произвольные параметры и присвоить этому набору данных определенное действие при обнаружении на картинке.

Вторая часть — это отслеживание маркеров. Маркерами могут выступать как специально напечатанные изображения, так и любые объекты.

Обложку журнала приложение распозна́ет по простой форме с прямыми углами и конкретному рисунку, и будет отслеживать ее положение в пространстве, отмечая смещение относительно фона. В этом случае сама обложка и есть маркер.

Со специальными маркерами все обстоит еще проще. Допустим, мы хотим примерить автомобилю новые диски. Для этого нам достаточно наклеить на диски QR-метки и система автоматически поймет, что именно в этих местах следует вставлять в картинку изображение новых колес. Еще один пример: мы кладем метку на пол и приложение понимает, что эта плоскость и есть пол, и разместит на нем произвольные объекты.

Но маркеры везде не налепишь, а сделать уникальный маркер под каждую ситуацию и унифицировать всю систему слишком сложно.

Здесь на выручку приходит SLAM — метод Одновременной Локализации и Построения Карты, используемый для построения карты в неизвестном пространстве с одновременным контролем текущего местоположения и пройденного пути.

Звучит сложно. В упрощённом виде, Слэм — это способ распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. После чего каждой отдельной форме система присваивает точку (или много-много точек), фиксируя их расположение в пространственных координатах на последовательных кадрах видеопотока. Таким образом, условное здание раскладывается на плоскости стен, окна, грани и прочие выделяющиеся элементы. А условная комната — на плоскости (пол, потолок, стены) и объекты внутри. Благодаря тому, что алгоритм позволяет запоминать положение точек в пространстве, вернувшись в эту же комнату из другой вы увидите точки на тех же местах, где они и находились ранее.

Особенно сильный толчок этот метод получил после того как производители смартфонов начали встраивать дополнительные камеры для расчета глубины резкости в свои аппараты.

Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Он дает приложению понять, где находится пользователь. Но намного хуже подходит для опознания, например, медведя на картинке.

Для максимальной эффективности оба подхода объединяют для конкретной задачи. Что приводит нас к современной ситуации.

Настоящее: от очков к телефонам

В самом начале развития ЭйАр было понятно, что ее успех будет зависеть от того, насколько удобно будет нашим глазам.

Еще в 1984-м году в фильме «Терминатор» Джеймса Кэмерона была визуализирована концепция дополненной реальности и компьютерного зрения. Но Кэмерон сильно опередил время, т.к. встроить ЭйАр прямо в глаз в те годы не представлялось возможным даже в смелых фантазиях. Идеалом виделись форм-факторы контактных линз или очков. Первое и сейчас лишь на стадии концептов, а вот по мере удешевления и появления более тонких производственных процессов форма очков становилась все ближе. С годами к ней окончательно прилип и второй вариант реализации: с помощью ставших вездесущими смартфонов.

Самым громким событием дополненной реальности последних лет стали вышедшие в 2013-м году очки Google Glass, с которыми есть небольшая путаница. Несмотря на то, что именно они многим первыми приходят на ум, когда речь заходит о дополненной реальности, к таковой эти очки отношения почти не имели. Виртуальная среда практически не взаимодействовала с реальной. Разве что навигацию можно причислить к ЭйАр-контенту, но и она была реализована в стиле карт для телефона, а не каких-нибудь висящих над дорогой стрелок.

Зато очки умели делать фото и снимать видео по команде, с автоматической отправкой в облако. Этот не ставший массовым эксперимент все же сделал свое дело: запустил волну, дав понять другим компаниям, что можно всерьез приниматься за разработку устройств дополненной реальности для масс.

Эстафету тут же приняла Майкрософт, через пару лет завуалированно анонсировавшая (а в 2016-м и представившая) очки смешанной реальности Hololens. Правда, только для разработчиков и журналистов. Продукт сложный, его до сих пор разрабатывают. Но в интернете много восторженных обзоров, где люди делятся своим опытом взаимодействия с виртуальной средой.

Хололенс не требуют подключения к другому ПК или телефону. У очков четыре камеры, с помощью которых они анализируют комнату и совмещают виртуальные объекты с реальным миром.

Очки позволяют практически полноценно работать с Windows 10, причем, название «Виндоус» обретает новый смысл: окна системы легко вешаются на стены на манер, собственно, окон. Очки запоминают помещение, поэтому, когда пользователь возвращается в ту же самую комнату, все окна приложений и прочие элементы смешанной реальности ждут его на своих местах.

Сейчас существует около десятка наиболее перспективных разработчиков и продуктов для дополненной реальности в форм-факторе очков: Vuzix, Sony, ODG, Solos.

Но один производитель подобрался наиболее близко к тому, что может быть не только технологично, но и удобно. Это — компания Magic Leap.

Первое концепт-видео

Запустившись в 2010-м году в атмосфере абсолютной секретности, она уже через пару лет собрала инвестиций более чем на полмилллиарда долларов от таких гигантов как Гугл и Куалком. Никто за пределами узкого круга инвесторов не знал, чем эта компания привлекла такое внимание и что у нее за продукт.

Но информация все-таки просочилась. А позднее было официально объявлено: компания работает над продвинутой версией очков дополненной реальности, которые на голову сильнее Гугл Гласс и Хололенс. И, в отличие от других производителей, в Мэджик Лип равное внимание уделяют как железу, так и ПО и интерфейсам. Несмотря на то, что компанию больше интересует индустрия развлечений, чем прикладное применение, на сегодняшний день она является лидером в удобстве пользовательских интерфейсов.

Но пока ЭйАр в основном встречается в телефонах. Это удобство, готовая техническая база, широкая распространенность устройств и простота написания ПО.

Заточенные под фото для соцсетей приложения предлагают примерно одни и те же функции: маски и помещение персонажей в пространство. То есть — развлечения. Но все больше компаний понимают важность этой ниши и представляют более утилитарные приложения:

AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3д-окружении;

Google Translate умеет переводить текст, который видит камера, в реальном времени;

Sun Seeker помогает увидеть траекторию солнца на местности в любой день года;

Google Sky Map помогает узнать, какие звезды сейчас видно на небе.

Именно в мобильном сегменте сейчас сконцентрированы самые интересные ЭйАр-стартапы для массового рынка:

YouAR
6D
Selerio
Ubiquity6 и другие.

А одной из наиболее инвестирующих в технологию компаний является Фейсбук, который обкатывает новые идеи на своей массивной пользовательской базе.

Развлечения

Главная мобильная сфера, где себя нашла Дополненная Реальность — это, конечно же, развлечения.

Вы наверняка играли в шутеры от первого лица. Но вы когда-нибудь задумывались, что отображение количества патронов, здоровья и аптечек — это тоже дополненная реальность, только для вашего персонажа?

В начале 2000-х вышел ЭйАр-порт легендарной игры Квейк. Он так и назывался: ARQuake.

В наше же время можно и самому стать героем шутера. Например, в игре Father.IO. Такие проекты появляются все чаще.

В 2014-м вышла игра Night Terrors, один из первых популярных ужастиков в дополненной реальности. Попробуйте его ночью в каком-нибудь подвале — не забудете.

В 2016-м студия Nyantic выпустила наследницу своей игры Ingress и самую главную ЭйАр-игру, вероятно, на много лет вперед: Pokemon Go. Дополненная реальность, геотрекинг и популярная вселенная — все сложилось настолько удачно, что Покемон Гоу скачали более ста миллионов человек. Игра быстро стала феноменом и начала собирать вокруг себя скандалы, в том числе в России. Покемон Гоу уникальна еще и тем, что заставила миллионы людей гулять на свежем воздухе.

Настольные игры получили новую форму благодаря технологии.

Такие компании как Лего и Дисней активно ведут разработку игр с использованием ЭйАр, а намерения к ним присоединиться выразили практически все крупные производители игрушек. Исследовательские группы уже занялись сбором данных о том, как маленькие дети взаимодействуют с играми и приложениями дополненной реальности, и каким образом это влияет на их восприятие реального мира. Возможно, в будущем самые интересные идеи по развитию технологии будут звучать от тех, для кого эта самая технология была просто частью детства.

Именно развлечения сегодня развивают исследовательскую базу дополненной реальности. А благодаря колоссальным объемам данных, добровольно передаваемых людьми компаниям-разработчикам, технология в связке с машинным обучением делают шаги в сторону более серьезных областей.

От развлечений к реальной жизни

Справочная информация, объявления и виртуальные указатели обязательно войдут в наше виртуальное пространство. Виртуальный экскурсовод проведет нас по развалинам замка, да еще и покажет сценку, как именно этот замок развалили, и каким он был до того. Ну а социальные функции, вроде фильтра по статусу «в активном поиске», помогут найти вторую половинку прямо в толпе.

Ну и реклама. Вот уж какая сфера спит и видит скорейшее внедрение дополненной реальности в повседневную жизнь. А свежесть и новизна формата обеспечат вау-эффект. ЭйАр появилась даже в печатных изданиях. Например, в выпуске Эсквайра 2009-го года нужно было отсканировать обложку, и тогда на ней оживал Роберт Дауни младший.

Еще раньше ЭйАр и печатные издания скрестила БМВ, выпустившая в нескольких немецких журналах рекламу модели MINI, которая на экране становилась трехмерной и позволяла себя рассматривать со всех сторон.

А обложки, к слову, есть не только у журналов и книг. Для того, чтобы с вами начала разговаривать этикетка бутылки, сегодня не нужно даже пить.

Коммерческие возможности дополненной реальности настолько обширны, что сложно очертить границы. Даже граффити не осталось в стороне от ЭйАр-технологий.

ЭйАр может использоваться для быстрой примерки в магазинах: идея зайти в мебельный и тут же на тестовом стенде собрать себе комнату с мебелью и бытовой техникой, пользуясь подсказками по сочетаемости, напрашивается сама собой.

Более интересную и полезную идею воплотил маркетинговый отдел Икеи еще в 2014-м. Примерить мебель из каталога прямо к интерьеру своей комнаты оказалось крайне заманчиво.

Вдохновляют возможности ЭйАр в сфере образования.

Образование

Технология может занять ту нишу, которая в научной фантастике отдана голограммам. Только голограммы будут еще не скоро, а устройства вроде Хололенса технически почти готовы. Перспектива увидеть в вузах, а после и школах, виртуальные интерактивные иллюстрации, которые можно рассмотреть со всех сторон, с которыми можно взаимодействовать и тут же видеть результат своих опытов, представляется прекрасным далёко из светлых фантазий о будущем. Обучение любым инженерным специальностям может стать куда более наглядным и легким для понимания.

Еще одна важная сфера — медицина.

Медицина

Тут прямо глаза разбегаются от возможностей. Кроме максимально наглядного обучения студентов медвузов, сразу представляется визуализация данных прямо на пациенте, вместо расставленных вокруг экранов. УЗИ станет максимально наглядным. Ну и будущая мама будет счастлива получить на телефон трехмерного ребеночка, которого будет с радостью крутить и рассматривать, выискивая сходство того с отцом и собой.

Но одно дело УЗИ, которое не требует оперативного вмешательства, и другое — опасные для жизни пациентов операции, где наглядность может помочь врачу быстрее реагировать и точнее работать.

Наглядную анатомию в дополненном пространстве демонстрирует HoloAnatomy для Хололенса, который как раз и про медицину, и про образование. А заодно — и одна из знаковых демок для майкрософтовского шлема.

Менее драматично, но не менее полезно — помощники для слепых и глухих, сообщающих первым о предметах и событиях вокруг и показывающие субтитры вторым.

Например, стартап Aira одновременно предлагает нейросетевого помощника, распознающего и проговаривающего всё, что видит камера очков, и живого сотрудника стартапа, что поможет сориентироваться по той же камере в особо сложной ситуации. Система привязана к приложению для смартфона. Пользователь по подписке получает очки с камерой и возможность транслировать изображение с них дежурящим сотрудникам поддержки. Но постоянно созваниваться с ними нет нужды: голосовой ассистент Аиры распознает тексты и образы, перекрывая множество повседневных городских задач. Логично, что по мере развития компьютерного зрения надстройка с живыми сотрудниками будет все менее актуальна, но сегодня это хороший компромисс из человеческих и компьютерных ресурсов.

Ну и: у кого бюджеты больше, чем у рекламщиков и игроделов? У военных.

Военные технологии

И если системы наведения в боевых истребителях, дронах и танках для армии — это сегодня дело обычное, т.к. именно из ранних систем дополненной реальности для летчиков и росли другие военные проекты в этой области. Например, продвинутые системы дополненной реальности для пехоты, которые будут внедряться уже через пару лет.

Официальная фантазия армии США

В американской армии уже сегодня используется система HUD 1.0: сильно усовершенствованный прибор ночного видения, который также выполняет функции тепловизора и проецирует в монокль на шлеме целеуказатель, показывающий куда попадет пуля при текущем положении ствола.

Облегченные полуаналоги таких систем уже более пяти лет доступны на рынке. Баллистический калькулятор от компании TrackingPoint, фактически заменяет снайперу, ну или любому желающему, напарника-споттера.

На очереди — HUD 3.0, который должен выйти в следующем году. Он будет иметь возможность накладывать на реальную картинку полностью цифровые слои местности, модели зданий, планы этажей, позиции врагов и даже самих врагов. А это уже заявка на удешевление военных учений. Военные игры обходятся государственным бюджетам в колоссальные суммы каждый год, а с помощью систем дополненной реальности солдаты смогут тренироваться с условным противником не покидая пределов базы.

Российская армия разрабатывает похожие системы для саперов.

Конечно, хотелось бы, чтобы технологии получали развитие не благодаря военным проектам и интересам, но если вспомнить историю, то многие изобретения находили широкое мирное применение, несмотря на военные корни и прошлое. Например, микроволновки, тефлон и интернет.

Будущее

Резюмируя, дополненная реальность — это не только игры и селфи с виртуальными масками. Это гигантское количество возможностей для коммерческого применения, новые горизонты в образовании, промышленности, медицине, строительстве, торговле и даже туризме. И дальше должно быть только интереснее.

Коммерческий рост ЭйАр поразителен. Ей, в отличие от виртуальной реальности, необязательно опираться на специализированное железо и громоздкие устройства. Технология прекрасно работает на самом массовом носимом девайсе — смартфоне.

Дополненная реальность уже меняет наше настоящее: виртуальные маски, охота за покемонами по городам и болотам, дети, стреляющие друг в друга не из деревяшек, а через экран телефона. Сейчас это уже реальность.

Следующий шаг — массовый выход ЭйАр из зоны развлечений и соцсетей в сектор информационной поддержки. Автопроизводители (пока лишь Хендай, БМВ и Ауди, но список растет) начинают выпускать приложения-дополнения к пользовательским инструкциям, помогающие владельцам наглядно изучить свой автомобиль. Все больше производителей техники начинают выпускать приложения для ремонтных мастерских, которые помогают мастерам ориентироваться во внутреннем устройстве сложных приборов. Амазон думает над тем, чтобы облегчить жизнь покупателям: понравились кеды на прохожем — навел на того телефон и тут же заказал себе такие же.

Сегодня мы с вами живем во время бурных исследований в отрасли. Даже у технологических гигантов нет ясной картины дальнейшего развития дополненной реальности. Это время непрерывного рождения идей, нахождения неожиданных способов применения и осознания всей мощи этой фантастической когда-то технологии — дополненной реальности.

Ролик

Эту статью об ЭйАр я подготовил для Хабра, но изначально мы делали ролик. В нем закадровый текст с техническими, историческими и просто красивыми иллюстрациями.

Технологии дополненной реальности в сфере образования

 

Алексей Евгеньевич КИРЬЯНОВ a, b

К.э.н., доцент кафедры «Экономики и организации предпринимательства»; директор Центра, [email protected]

Рабия Мерьем ЙЫЛМАЗ c

PhD, доцент кафедры компьютерных технологий в образовании, [email protected]

Дмитрий Владимирович МАСЛОВ d, b

К.э.н., научный сотрудник кафедры теории управления; методист Центра, [email protected]

Наталья Николаевна МАСЮК e, b

Д.э.н., профессор кафедры экономики и управления; научный руководитель Центра, [email protected]

Борис Алексеевич ВОРОБЬЕВ a, b

Магистрант кафедры «Экономики и организации предпринимательства», руководитель Хай-тек цеха, [email protected]

 

a Ивановский государственный университет, Экономический факультет, 153025, Россия, г. Иваново, ул. Ермака, 39

b Муниципальное автономное учреждения дополнительного образования Центр технического творчества «Новация», 153008, Россия, г. Иваново, ул. Типографская, 25/55

c Университет Ататюрка, Факультет образования Казыма Карабекира, 25240 Turkey, Erzurum, Atatürk Üniversitesi Kazım Karabekir Eğitim Fakültesi

d Российская академия народного хозяйства и государственной службы при президенте РФ (Ивановский филиал), 153002, Россия, г. Иваново, Посадский пер., д. 8, литер А1

e Владивостокский государственный университет экономики и сервиса, 690014, Россия, г. Владивосток, ул. Гоголя, 41

 

Статья опубликована в журнале «Инновации» № 5 / 2020

 

Аннотация

Современная система образования сталкивается с серьезными вызовами, многие из которых являются вызовами технологическими: дистанционные платформы, новые форматы групповой динамики, доступ к большому объему данных и информации и т.д. Методы и инструменты обучения также претерпевают изменения под прессом цифровизации. Одним из перспективных направлений является применение технологий дополненной реальности (AR) в разных сегментах сферы образования. Авторы статьи анализируют имеющиеся исследования по теме и определяют основные тенденции развития AR для разных уровней образования.

Ключевые слова: дополненная реальность, виртуальная реальность, инновационные образовательные технологии, образование, инновации

Кодмеждународнойклассификации JEL:

O 32 – Management of Technological Innovation and R&T

O 32 – Управление технологической инновацией: научно-исследовательская работа и технологии

 

Введение

Дополненная реальность (augmented reality, AR) – это современная технология, которая позволяет связать реальный мир и виртуальную среду, обеспечивая их синхронное взаимодействие. C помощью технологии AR виртуальные объекты могут быть интегрированы в материальный мир: камера дополненной реальности с помощью AR-программ производит съемку реальности и ищет в ней заранее определенные целевые точки – маркеры, к которым привязаны виртуальные объекты. Технология AR может комбинировать виртуальные и материальные объекты, обеспечивать их взаимодействие в реальном времени и использовать трехмерные объекты. AR становится все более популярной технологией, которая может применяться на стационарных компьютерах, ноутбуках, портативных устройствах и в смартфонах. Приложения AR работают с трехмерными объектами, текстами, изображениями, видео и анимацией, сочетают их и применяют одновременно, что дает возможность пользователям свободно взаимодействовать с событиями, информацией и объектами [1]. Современные смартфоны способствуют увеличению числа пользователей приложений подобного типа. Жизнь многих людей находится буквально на ладони – в их мобильном устройстве, и эта жизнь может быть еще более разнообразна с помощью AR.

Очки дополненной реальности существует довольно давно. Несмотря на то, что их стоимость постепенно снижается, это устройство остается недоступно массовому пользователю. По нашим прогнозам, бум AR технологии следует ожидать, когда рынок предложит компактный вариант очков по доступной цене. Мы предлагаем обозначить этот момент как «Революцию очкариков», поскольку очки постепенно вытеснят из обихода привычный смартфон; но и период «очкариков» не продлится долго: на смену очков придут линзы с интегрированными технологиями AR, а затем – биоAR, когда дополненную реальность можно будет встроить в организм человека.

С развитием программного и аппаратного обеспечения технологии AR находят применение во многих сферах: индустрии развлечений, маркетинге, военном деле, медицине, инженерии, психологии, рекламе. Потенциал AR для сферы образования только начинает раскрываться, поскольку возможность взаимодействовать с виртуальными и реальными объектами делает процесс обучения более увлекательным, наглядным и динамичным [2]. Кроме того, интегрированные в образовательный процесс технологии дополненной реальности стимулируют творческое мышление учащихся и развивают навыки решения проблем [3], а также обеспечивают гибкость обучения [4]. Хотя AR имеет большой потенциал, остается масса практических проблем, которые требуют решения перед началом широкого внедрения данной технологии в образовательные практики. Во-первых, разработка и внедрение контента для AR-приложений остается нетривиальной задачей. Многие учителя и ученики не готовы использовать AR из-за нехватки технических знаний, необходимых для разработки 3D-объектов [5]. Во-вторых, на использование AR довольно сильное влияние оказывают факторы состояния внешней среды, например, освещение, недостаток которого может привести к сбою программного приложения. Кроме того, студентам, использующим AR, возможно, придется применять более одного устройства и обладать способностями пространственной ориентации [6].

Следует, однако, отметить, что процессы разработки AR-приложений упрощаются. В частности, решение такой задачи, как программирование двухмерных объектов (обработка картинок, создание кнопок для перехода по ссылкам, интеграция видео контента) не требует глубоких знаний и IT-компетенций. Более сложным и ресурсоемким (как по времени, так и по финансам) является создание приложений с интегрированными 3D-объектами. Тем не менее, все больше производителей контента, в том числе образовательного, готовы платить за не только «вау-эффект», но и за когнитивную составляющую. Существенно дороже в производстве обходится трехмерная геймификация приложения: «квестовые» AR-приложения, как мы их называем, позволяют задержать пользователя намного дольше и «завербовать» его в ряды распространителей приложения, создавая вирусность данного приложения. Для сферы образования разработка таких приложений является краеугольным камнем вовлечения обучающихся в образовательный процесс.

 

Применение AR-технологий в различных сегментах сферы образования

Анализ современных исследований, посвященных AR в образовании, позволил обобщить существующие мнения относительно преимуществ дополненной реальности, совместимости AR с образовательными технологиями, а также получаемых выгодах AR-образования [7].

Табл. 1. Обобщение результатов исследовании применения ARв образовании





































Преимущества АRв образовании

Источник

Дает чувство реальности

[8]

Дает практический опыт

[9,10]

Визуализирует сложные отношения

[6, 11]

Дает опыт, который нельзя получить в реальной жизни

[1, 6]

Конкретизирует абстрактные понятия

[1]

Делает процесс обучения интересным

[12]

Обеспечивает безопасную учебную среду

[1, 13, 14]

Экономит время и пространство

[13, 14]

Повышает вовлеченность учащихся

[1]

Придает гибкость образовательному процессу

[4]

Совместимость с образовательными технологиями

 

Аутентичные учебные среды

[5]

Ситуационная среда обучения

[1, 15]

Конструктивистская среда обучения

[16]

Обучение через практику (Learning by doing)

[1]

Среда обучения на основе запросов

[1, 17]

Научно-исследовательская среда обучения

[5]

Выгоды AR-образования

 

Повышает внимание учащихся

[9, 10, 14]

Делает обучение привлекательным и эффективным

[1, 18, 19, 20, 21]

Обеспечивает мотивацию

[9, 10, 14, 22]

Обеспечивает взаимодействия

[1, 23, 3, 6, 24, 25, 26]

Способствует лучшему пониманию предмета

[3, 27, 28]

Связывает с реальным опытом и проблемами

[29]

Создает контекстную осведомленность

[3]

Повышает вовлеченность

[3, 25]

Обеспечивает непрерывность обучения

[3]

Улучшает коммуникации

[3]

Расширяет совместную работу

[5, 30]

Запускает творческие процессы

[5, 21, 31]

Развивает воображение

[5, 31]

Контролирует самообучение

[5, 25]

Улучшает пространственную ориентацию

[1, 17, 25]

Повышает навыки решения проблем

[4]

Улучшает навыки интерпретации

[4]

 

Далее приводим обзор исследований AR-технологий через призму различных уровней образования.

 

Дополненная реальность в дошкольном образовании

Анализ работ, посвященных использованию AR в дошкольном образовании, позволил обнаружить несколько характерных особенностей. В одном из исследований [32] авторы изучали восприятие дошкольников, уровень осмысления материала и получаемое удовольствие от процесса. В эксперименте были использованы книжки для сторителлинга (способ передачи информации, знаний через рассказывание истории) с картинками дополненной реальности. Исследование показало, что большинство детей чувствовали себя «очень счастливыми» во время этого занятия, находили его интересными и наслаждались им. Дети хорошо понимали рассказанные им истории. Книги с AR-картинками были привлекательны для детей, и они воспринимали их как волшебные и доставляющие удовольствие.

Еще одно научное исследование посвящено эффективности технологий дополненной реальности при обучении детей английскому алфавиту [33]. Авторы разработали мобильное приложение с использованием флэш-карт. Суть метода заключалась в следующем: направляя устройство с установленным приложением на распечатанную флэш-карту, обучающийся видел на экране 3D-объект с интерактивной информацией. Результаты показали, что между контрольной (традиционное обучение) и экспериментальной (обучение с применением AR) группами были значительные различия по характеристикам интерактивности и освоения материала в пользу экспериментальной группы.

В исследовании эффективности обучения детей рисованию в раннем возрасте с помощью технологии AR использовалось мобильное приложение ColAR [34]. Результаты показали, что дети могут свободно управлять приложением, взаимодействовать друг с другом и рисовать с применением AR. Технология рассматривалась в качестве педагогической инновации. Все дети с удовольствием играли с приложением, а учителя отмечали пользу дополненной реальности для развития детей. Следует отметить, что сегодня на рынке появляется типографская продукция для дошкольников с технологией дополненной реальности, например, детские раскраски, где с помощью приложения на смартфоне раскрашенный персонаж оживает и его цвета соответствуют цветам, которые использовал ребенок. Пионером подобных продуктов в России выступает издательство DEVAR (www.devar.ru). Авторы книг этого издательства в своих раскрасках, развивающих книгах, энциклопедиях применяют AR-технологии и задействуют три вида восприятия информации – аудиальное, визуальное и кинестетическое, что в комплексе позволяет детям лучше усваивать новую информацию.

Еще одно исследование касалось взаимодействия детей и родителей при использовании книжек с картинками дополненной реальности [35]. Анализировались четыре группы «родитель – главный», «ребенок – главный», «коммуникативная пара ребенок-родитель» и «слабая коммуникативная пара ребенок-родитель». В группе, где в роли лидеров выступали родители, они предпочитали рассказывать детям историю. В группе, где лидировали дети, они управляли AR-книгой и вовлекали родителей. Родители в коммуникативной группе помогали своим детям находить дополненную реальность в книге. В слабой коммуникативной паре ребенок-родитель родители в меньшей степени обращались к возможностям AR, интегрированным в книгу.

В целом, большинство экспериментов подтверждают гипотезу, что дети воспринимают новые технологии как данность, и применение для категории пользователей прогрессивных технологий не вызывает проблем, однако имеет одно серьезное ограничение – это обучаемость и готовность к инновациям их учителей и родителей.

 

Дополненная реальность в начальном образовании

Исследования, посвященные применению AR в начальном школьном образовании, говорят о позитивном влиянии этой технологии на качество обучения. В частности, к такому выводу приходят южноамериканские исследователи, проводившие эксперимент в рамках реализации образовательной программы по географии [36]. Экспериментальная группа изучала предмет с помощью мобильного навигационного приложения с элементами дополненной реальности и продемонстрировала большую эффективность образовательного процесса, лучшее освоение материала учащимися и более высокий уровень успеваемости. Еще одно исследование касалось уроков математики и развития пространственных способностей детей, которые использовали дидактические материалы с AR-маркерами на бумаге [37]. Обучающиеся продемонстрировали значительный прогресс в своих пространственных способностях и рост успеваемости. Эксперимент по применению технологии AR на уроках биологии [38] заключался в сравнении восприятия учащимися учебника с AR-метками с обычным учебником. Результаты показали, что AR-учебник делал урок более практико-ориентированным, а также более увлекательным для детей. Подобные результаты, а также рост успеваемости, были отмечены другими авторами [39], которые использовали мобильное игровое AR-приложение для изучения биологии.

Педагоги Центра технического творчества «Новация» свои первые уроки с использованием технологии дополненной реальности провели в ряде школ г. Иванова еще в мае 2015 года [40]. Экспериментальные занятия были посвящены архитектуре будущего, на них учащиеся создавали кварталы будущего, которые потом объединились в мегаполис. По результатам эксперимента педагоги отметили, что AR помогает развивать у детей пространственное мышление, позитивно влияет на скорость усвоения материала для большинства детей, улучшает их понимание и восприятие того, как выглядят те или иные объемные фигуры в пространстве.

Основанная на сюжете игра Leometry является примером AR-геймификации обучения и позволяет детям осваивать азы различных наук [41]. Практика применения игры показывает, что использование AR в игре было важным мотиватором получения новых знаний.

Технологии дополненной реальности, в том числе, бумажные учебные материалы с AR-маркерами, помогают и в преподавании иностранных языков, повышая эффективность обучения через большее вовлечение учащихся [42].

 

Дополненная реальность в среднем образовании

Применению AR-технологий в среднем образовании посвящены ряд исследований, где подтверждается перспективность интеграции различных элементов дополненной реальности в образовательный процесс. По данным эксперимента, в рамках которого школьники осваивали программу курса физики с использованием AR-приложения, их понимание предмета по сравнению с контрольной группой было более глубоким, успеваемость выше, так же как заинтересованность и вовлеченность в процесс [43]. К интересным выводам пришли авторы исследования мотивационных и когнитивных аспектов применения технологии AR в учебном процессе [44], которые обнаружили, что инструменты дополненной реальности особенно эффективны для детей, имеющих самую низкую успеваемость в группе, а также для девочек. Кроме того, AR является чрезвычайно перспективным методом для объяснения абстрактных явлений.

Еще одно исследование касалось применения системы дополненной реальности на уроках биологии [45]. Учащиеся были разделены на три группы: дети, применяющие AR-систему самостоятельно; дети, применяющие AR под руководством учителя; группа традиционного обучения. Группы сравнивались по результатам обучения, эмоциональному состоянию и полученному опыту. Эксперимент показал, что группа AR под руководством учителя достигла лучших результатов из трех, а группа, применявшая AR самостоятельно испытала больше положительных эмоций, чем другие.

Исследователи, проводившие сравнение технологии AR с мультимедийными инструментами в контексте образования [46] разработали манипулятивную AR-систему и использовали ее в экспериментальной группе, в то время, как контрольная группа применяла в образовательном процессе средства мультимедиа. Исследование показало, что использование технологии AR позволило учащимся в экспериментальной группе достичь лучших показателей успеваемости и мотивации, чем учащимся, применявшим мультимедийный подход.

 

Дополненная реальность в высшем образовании

При анализе публикаций, связанных с использованием AR в высшем образовании, также отмечается высокий потенциал этой технологии по различным направлениям. Например, результаты применения инструментов дополненной реальности для обучения китайскому языку показывают, что AR помогает студентам гораздо быстрее написать свой первый параграф и освоить китайское письмо [47]. При сравнении учебных AR-материалов и образовательного видео на YouTube в рамках освоения курса по разработке программного обеспечения более эффективным оказался AR-контент, его применение помогло повысить интерес студентов и их вовлеченность [48]. Многие другие исследователи также подтверждают мотивацию и вовлеченность студентов, которым предлагается использовать приложения дополненной реальности в процессе обучения [49].

При сравнении технологии AR и методов интерактивной симуляции значительной разницы с точки зрения обучаемости студентов и их вовлеченности не наблюдалось, однако отмечено значительное преимущество AR с точки зрения восприятии информации [50].

В литературе наиболее часто встречаются исследования, посвященные применению AR в сфере послевузовского образования. Примеры из области архитектурного образования говорят в пользу технологий AR [51], такие же выводы делаются для дисциплин естествознания, где динамический контент позволяет лучше осваивать материал [52] и способствует прогрессу исследовательских проектов аспирантов [53]. В точных науках и инженерии AR-технологии способствуют лучшему пространственному восприятию, это подтверждают исследования в области математического образования [54], машиностроения [55]. Системы AR с технологией Kinect успешно применяются в физико-математическом образовании [56]. В гуманитарной сфере использование AR помогает снизить когнитивную нагрузку, повышая при этом мотивацию и позитивный настрой обучающихся [57]. Существуют исследования в области медицинского образования, когда обучение стоматологов с применением мобильного приложения AR стало простым эффективным инструментом передачи знаний [58]. Изучение истории с помощью приложений дополненной реальности открывает большие перспективы, как с точки зрения возможностей создания контента, так и позиций эмоциональности и вовлеченности в образовательный процесс [59].

Отдельно можно отметить появление статей с элементами дополненной реальности в научных журналах. Одной из первых таких публикаций стала статья «Реальность Кванториума: подготовка молодых кадров для цифровой экономики», опубликованная в начале 2020 года в журнале «Инновации» [60].

 

Дополненная реальность в дополнительном образовании и обучении прочих целевых групп

Технологии дополненной реальности могут использоваться в различных областях дополнительного образования. Например, активно развиваются AR-технологии в обучении музыке [61, 62], подготовке молодых инженеров, дизайнеров, архитекторов [63]. Кроме того, дополненная реальность может быть интегрирована в обучающие программы для лиц с ограниченными возможностями здоровья и особенностями развития, например, детей с аутизмом [64].

Детский технопарк Ивановской области «Кванториум. Новатория» с 2018 года уделяет особое внимание технологиям дополненной реальности. В VR/AR-квантуме занимаются школьники средних и старших классов, которые самостоятельно разрабатывают VR/AR-приложения для нужд образовательного процесса Кванториума, сферы образования г. Иванова, а также других заинтересованных сторон. Например, в 2019 году было разработано приложение для образовательного квеста (городского краеведческого ориентирования) «Mega VR/AR». Приложение дополненной реальности «Ожившие картины», разработанное воспитанниками Кванториума, стало отправной точкой для интеграции AR-технологий в музее Исаака Левитана в г. Плёсе Ивановской области [65]. Дети, обучающиеся в Кванториуме, нередко используют технологию дополненной реальности в своих презентациях, разрабатывая приложения для повышения коммуникации с педагогом и сокурсниками.

Взаимодействие наставника (эксперта) и обучающегося (работника / специалиста) в дополненной реальности помогает быстрее решать задачи, передавая знания в режиме реального времени. Например, используя приложение Microsoft Dynamics 365 Remote Assist [66], технические специалисты могут совместно работать в режиме видеосвязи через Microsoft HoloLens с удаленными экспертами на ПК или мобильных устройствах. В режиме реального времени встроенные в очки камеры позволяют удаленным экспертам видеть то, что видит специалист, и наглядно (используя графические примитивы) указывать на важные данные.

Приложение Dynamics 365 Guides помогает сотрудникам быстрее осваивать новые навыки. Функционал приложения позволяет создавать обучающие курсы без написания кода, что значительно упрощает процесс. Задача приложения повысить профессионализм, стандартизируя процессы с помощью пошаговых инструкций. В обучающий курс возможно встраивать фотографии, видео, 3D модели, что позволяет создавать курсы для массового обучения без привлечения обучающего персонала. После прохождения обучения доступна статистика по каждому этапу, что позволяет определить, где необходим дополнительный инструктаж, и совершенствовать процессы.

Одним из примеров применения дополненной реальности в качестве обучающего инструмента явилась практика дистанционного освоения технологии лазерной резки в Ивановском «Кванториуме. Новатория», где в период пандемии коронавируса COVID-19 был запущен проект по выпуску защитных лицевых экранов для медиков (ЗЛЭМ-1) на собственном оборудовании в момент введения режима повышенной готовности, когда в помещении мог находиться только один сотрудник. Эксперт дистанционно с использованием, в том числе, технологий дополненной реальности, консультировал специалиста по вопросам обслуживания лазерного станка [67].

 

Заключение

Иммерсивные технологии [68] с элементами дополненной реальности расширяют возможности обучения в различных областях образования. Интеграция AR-технологий в образовательные программы может стать эффективным инструментом в руках современных учителей. Для применения AR не требуется крупных затрат на техническое переоснащение и регулярную модернизацию, поскольку главной составляющей становится образовательный контент, который может обновляться и дополняться педагогическим сообществом. Разработка качественных образовательных AR-материалов – это задача, которая будет стоять на повестке дня в ближайшие годы.

 

Списоклитературы

  1. Wojciechowski R, Cellary W. Evaluation of learners’ attitude toward learning in ARIES augmented reality environments. Computers and Education. №68. 2013. P. 570-585
  2. Singhal S, Bagga S, Goyal P, Saxena V. Augmented chemistry: Interactive education system. International Journal of Computer Applications. №49(15) 2012. P. 1-5.
  3. Ivanova M, Ivanov G. Enhancement of learning and teaching in computer graphics through marker augmented reality technology. International Journal on New Computer Architectures and Their Applications. №1. 2011. P. 176-184.
  4. Schrier K. Using augmented reality games to teach 21st century skills. In: ACM SIGGRAPH 2006 Educators program. ACM; 2006. 15 p.
  5. Yuen S, Yaoyuneyong G, Johnson E. Augmented reality: An overview and five directions for AR in education. Journal of Educational Technology Development and Exchange. №4(1). 2011. P. 119-140
  6. Wu HK, Lee SWY, Chang HY, Liang JC. Current status, opportunities and challenges of augmented reality in education. Computers and Education. №62. 2013. P. 41-49
  7. Yilmaz R.M. Augmented Reality Trends in Education between 2016 and 2017 Years / State of the Art Virtual Reality and Augmented Reality Knowhow. IntechOpen. 2018. P. 81-97. https://dx.doi.org/10.5772/intechopen.74943
  8. Lin KC, Wang SC. Situated learning for computer fabrication based on augmented reality. Lecture Notes in Information Technology. 2012. P. 23-249
  9. Sumadio DD, Rambli DRA. Preliminary evaluation on user acceptance of the augmented reality use for education. In: Computer Engineering and Applications (ICCEA), 2010 Second International Conference on. IEEE; 2010. P. 461-465.
  10. O’Brien HL, Toms EG. Engagement as Process in Computer Mediated Environments. Paper presented at ASISveT, Charlotte, North Carolina. Nov. 2005.
  11. Arvanitis TN, Petrou A, Knight JF, Savas S, Sotiriou S, Gargalakos M, vd. Human factors and qualitative pedagogical evaluation of a mobile augmented reality system for science education used by learners with physical disabilities. Personal and Ubiquitous Computing. №13(3). 2007. P. 243-250.
  12. Yoon SA, Elinich K, Wang J, Steinmeier C, Tucker S. Using augmented reality and knowledge-building scaffolds to improve learning in a science museum. International Journal of Computer-Supported Collaborative Learning. №7(4). 2012. P. 519-541.
  13. Li Y. Augmented reality for remote education. In: Advanced Computer Theory and Engineering (ICACTE), 2010 3rd International Conference on. IEEE; 2010. pp. V3-187-V3-191
  14. Aziz NAA, Aziz KA, Paul A, Yusof AM, Noor NSM. Providing augmented reality based education for students with attention deficit hyperactive disorder via cloud computing: Its advantages. In: Advanced Communication Technology (ICACT), 14th International Conference on. IEEE; 2012. P. 577-581
  15. Johnson L, Smith R, Willis H, Levine A, Haywood K. The 2011 Horizon Report. Austin, Texas: The New Media Consortium; 2011.
  16. Kirner TG, Reis FMV, Kirner C. Development of an interactive book with Augmented Reality for teaching and learning geometric shapes. Information Systems and Technologies (CISTI). 7th Iberian Conference on. IEEE; 2012. P. 1-6
  17. Cheng K-H, Tsai C-C. Affordances of augmented reality in science learning: Suggestions for future research. Journal of Science Education and Technology. №22. 2012. P. 449-462.
  18. Dünser A, Hornecker E. An observational study of children interacting with an augmented story book. In: International Conference on Technologies for E-Learning and Digital Entertainment. Heidelberg, Berlin: Springer; 2007. P. 305–315.
  19. Lester JC, Converse SA, Kahler SE, Barlow ST, Stone BA, Bhogal RS. The persona effect: Affective impact of animated pedagogical agents. In: Proceedings of the ACM SIGCHI Conference on Human factors in computing systems. ACM; 1997. P. 359–366.
  20. Oh S., Woo W. ARGarden: Augmented edutainment system with a learning companion. In: Transactions on edutainment I. Heidelberg, Berlin: Springer; 2008. P. 40–50.
  21. Zhou Z, Cheok AD, Pan J. 3D story cube: An interactive tangible user interface for storytelling with 3D graphics and audio. Personal Ubiquitous Computing. №8. 2004. P. 374–376.
  22. Serio ÁD, Ibáñez MB, Kloos CD. Impact of an augmented reality system on students’motivation for a visual art course. Computers and Education. №68. 2013. P. 586–596.
  23. Azuma RT. Overview of augmented reality. In: ACM SIGGRAPH 2004 Course Notes. ACM; 2004. P. 26.
  24. Kerawalla L, Luckin R, Selijefot S, Woolard A. Making it real: Exploring the potential of augmented reality for teaching primary school science. Virtual Reality. №10(3-4) 2006. P. 163-174.
  25. Bujak KR, Radu I, Catrambone R, MacIntyre B, Zheng R, Golubski G. A psychological perspective on augmented reality in the mathematics classroom. Computers and Education. №68. 2013. P. 536-544.
  26. Kesim M, Ozarslan Y. Augmented reality in education: Current technologies and the potential for education. Procedia – Social and Behavioral Sciences. №47. 2012. P. 297-302.
  27. Núñez M, Quiros R, Núñez I, Carda JB, Camahort E Collaborative augmented reality for inorganic chemistry education. In: Proceedings of the 5th WSEAS/IASME International Conference on Engineering Education. 2008. P. 271-277
  28. Zhou Z, Cheok AD, Pan J, Li Y. Magic story cube: An interactive tangible interface for storytelling. In: Proceedings of the 2004 ACM SIGCHI International Conference on Advances in computer entertainment technology. ACM; 2004. P. 364-365.
  29. Ternier S, Klemke R, Kalz M, Ulzen P, Specht M. ARLearn: Augmented reality meets augmented virtuality. Journal of Universal Computer Science. №18(15). 2012. P. 2143-2164.
  30. Billinghurst M. Augmented Reality in Education. New Horizons for Learning. Dec 2002. Available from: http://www.newhorizons.org/strategies/technology/billinghurst.htm
  31. Klopfer E, Yoon S. Developing games and simulations for today and tomorrow’s tech savvy youth. TechTrends. №49(3) 2004. P. 41-49
  32. Yilmaz RM, Kucuk S, Goktas Y. Are augmented reality picture books magic or real for preschool children aged five to six? British Journal of Educational Technology. №48(3). 2017. P. 824-841
  33. Safar AH, Al-Jafar AA, Al-Yousefi ZH. The effectiveness of using augmented reality apps in teaching the english alphabet to kindergarten children: A case study in the State of Kuwait. Eurasia Journal of Mathematics, Science & Technology Education. №13(2). 2017. P. 417-440.
  34. Huang Y, Li H, Fong R. Using augmented reality in early art education: A case study in Hong Kong kindergarten. Early Child Development and Care. №186(6). 2016. P. 879-894.
  35. Cheng KH, Tsai CC. The interaction of child–parent shared reading with an augmented reality (AR) picture book and parents’ conceptions of AR learning. British Journal of Educational Technology. №47(1). 2016. P. 203-222.
  36. Joo-Nagata J, Abad FM, Giner JGB, García-Peñalvo FJ. Augmented reality and pedestrian navigation through its implementation in m-learning and e-learning: Evaluation of an educational program in Chile. Computers & Education. №111. 2017. P. 1-17.
  37. Gün ET, Atasoy B. The effects of augmented reality on elementary school students’ spatial ability and academic achievement. Egitim ve Bilim. №42(191). 2017.
  38. Hung YH, Chen CH, Huang SW. Applying augmented reality to enhance learning: A study of different teaching materials. Journal of Computer Assisted Learning. №33(3). 2017. P. 252-266.
  39. Hwang GJ, Wu PH, Chen CC, Tu NT. Effects of an augmented reality-based educational game on students’ learning achievements and attitudes in real-world observations. Interactive Learning Environments. №24(8). 2016. P. 1895-1906.
  40. Школьники заглянут в дополненную реальность / ЦТТ «Новация» http://новация37.рф/index.php?id=262
  41. Laine TH, Nygren E, Dirin A, Suk HJ. Science spots AR: A platform for science learning games with augmented reality. Educational Technology Research and Development. №64(3). 2016. P, 507-531.
  42. Solak E, Cakır R. Investigating the role of augmented reality Technology in the language classroom. Hrvatski časopis za odgoj i obrazovanje. №18(4). 2016. P. 1067-1085.
  43. Cai S, Chiang FK, Sun Y, Lin C, Lee JJ. Applications of augmented reality-based natural interactive learning in magnetic field instruction. Interactive Learning Environments. №25(6). 2017. P. 778-791.
  44. Salmi H, Thuneberg H, Vainikainen MP. Making the invisible observable by augmented reality in informal science education context. International Journal of Science Education, Part B. №7(3). 2017. P. 253-268.
  45. Huang TC, Chen CC, Chou YW. Animating eco-education: To see, feel, and discover in an augmented reality-based experiential learning environment. Computers & Education. №96. 2016. P. 72-82.
  46. Hsiao HS, Chang CS, Lin CY, Wang YZ. Weather observers: A manipulative augmented reality system for weather simulations at home, in the classroom, and at a museum. Interactive Learning Environments. №24(1). 2016. P. 205-223.
  47. Wang YH. Exploring the Effectiveness of Integrating Augmented Reality-Based Materials to Support Writing Activities. Computers & Education. №113. 2017. P. 162-176.
  48. Wang YH. Using augmented reality to support a software editing course for college students. Journal of Computer Assisted Learning. №33(5). 2017. P. 532-546.
  49. Mumtaz K, Iqbal MM, Khalid S, Rafiq T, Owais SM, Al Achhab M. An E-assessment framework for blended learning with augmented reality to enhance the student learning. Eurasia Journal of Mathematics, Science and Technology Education. №13(8). 2017. P. 4419-4436.
  50. Chang HY, Hsu YS, Wu HK. A comparison study of augmented reality versus interactive simulation technology to support student learning of a socio-scientific issue. Interactive Learning Environments. №24(6). 2016. P. 1148-1161.
  51. Redondo Domínguez E, Fonseca Escudero D, Sánchez Riera A, Navarro Delgado I. Educating urban designers using augmented reality and mobile learning technologies. RIED – Revista Iberoamericana de Educación a Distancia. №20(2). 2017. P. 141-165.
  52. Montoya MH, Díaz CA, Moreno GA. Evaluating the effect on user perception and performance of static and dynamic contents deployed in augmented reality based learning application. Eurasia Journal of Mathematics, Science & Technology Education. №13(2). 2017. P. 301-317.
  53. Bendicho PF, Mora CE, Añorbe-Díaz B, Rivero-Rodríguez P. Effect on academic procrastination after introducing augmented reality. Eurasia Journal of Mathematics, Science & Technology Education. №13(2). 2017. P. 319-330.
  54. Salinas P, Pulido R. Understanding the conics through augmented reality. Eurasia Journal of Mathematics, Science & Technology Education. №13(2). 2017; P. 341-354.
  55. Carbonell Carrera C, Bermejo Asensio LA. Landscape interpretation with augmented reality and maps to improve spatial orientation skill. Journal of Geography in Higher Education. №41(1). 2017. P. 119-133.
  56. Martin-Gonzalez A, Chi-Poot A, Uc-Cetina V. Usability evaluation of an augmented reality system for teaching Euclidean vectors. Innovations in Education and Teaching International. №53(6). 2016. P. 627-696.
  57. Cheng KH. Reading an augmented reality book: An exploration of learners’ cognitive load, motivation, and attitudes. Australasian Journal of Educational Technology. №33(4). 2017. P. 53-69
  58. Juan M. A mobile augmented reality system for the learning of dental morphology. Digital Education Review. №30. 2016; P. 234-247.
  59. Harley JM, Poitras EG, Jarrell A, Duffy MC, Lajoie SP. Comparing virtual and locationbased augmented reality mobile learning: Emotions and learning outcomes. Educational Technology Research and Development. №64(3). 2016. P. 359-388.
  60. Кирьянов А.Е., Маслов Д.В., Масюк Н.Н., Кириллов А.А. Реальность Кванториума: подготовка молодых кадров для цифровой экономики // Инновации. 2020. № 2. С. 2-13.
  61. Карасева М. «Дополненная реальность» в работе педагога-музыканта // Научный вестник московской консерватории. – 2016. №2 (25). С. 140–183.
  62. Красноскулов А.В. Музыка и дополненная реальность: на пути к будущему // Южно-Российский музыкальный альманах. – 2018. №4. С. 80–86.
  63. Pejoska J, Bauters M, Purma J, Leinonen T. Social augmented reality: Enhancing contextdependent communication and informal learning at work. British Journal of Educational Technology. №47(3). 2016. P. 474-483.
  64. McMahon DD, Cihak DF, Wright RE, Bell SM. Augmented reality for teaching science vocabulary to postsecondary education students with intellectual disabilities and autism. Journal of Research on Technology in Education. №48(1). 2016. P. 38-56.
  65. Мобильное приложение дополненной реальности «Ожившие картины» https://www.roskvantorium.ru/news/mobilnoe-prilozhenie-dopolnennoy-realnosti-ozhivshie-kartiny/
  66. Dynamics 365. Работайте вместе отовсюду https://dynamics.microsoft.com/ru-ru/mixed-reality/remote-assist/
  67. Ивановский «Кванториум.Новатория» начал выпуск защитных экранов для медперсонала. 31.03.2020. https://vk.com/@kvantorium37-ivanovskii-kvantoriumnovatoriya-nachal-vypusk-zaschitnyh-ekr
  68. Лукашин С. Куда нас погружают иммерсивные технологии // Хабр. Блог компании ВТБ, Финансы в IT, AR и VR. 15.08.2019 https://habr.com/ru/company/vtb/blog/463707/

Технологии дополненной реальности


Дополненная реальность (augmented reality, AR) — это технология, позволяющая совмещать виртуальный, моделируемый при помощи компьютера, и реальный, окружающий нас, мир.


Из-за связи профиля с разработкой оригинальных визуальных решений, обладающих вау-фактором, появилось мнение, что в данном профиле принимают участие самые модные школьники. Наверное, это так, если «модный» читать как творческий, креативный, способный к постоянной активации незнакомого, неизвестного, несуществующего, обладающий квалификацией, достаточной для того, чтобы генерировать технические решения, обгоняющие время. Поиску именно такого решения и будет посвящен финал профиля «Технологии дополненной реальности» в 2020 году.


В качестве объекта исследований выступит AR-стенд — это конструктор для создания сцен, где физический и цифровой объекты существуют и взаимодействуют в реальном времени. Элементами управляющего интерфейса стенда являются кубики, комбинация и изменение расположения которых на стенде сопровождается звуковым или визуальными  эффектами. Такое сочетание возможностей позволяет использовать AR-Stand для создания инновационных продуктов в области образования, науки, в сфере медиа и развлечений.


Участникам предстоит разработать для AR-стенда игровое приложение, то есть построить систему распознавания позиции объектов на стенде, создать 3D-модели и обеспечить их экспозицию на поверхность стенда, определить (запрограммировать) правила поведения цифровых сущностей на поверхности стенда в зависимости от изменения положения реальных объектов на нём.


Профиль рекомендован для включения в перечень Российского совета олимпиад школьников и может приносить бонусы при поступлении в вузы (какие конкретно — зависит от правил приёма вуза).

На первом этапе участникам предстоит решать задачи по математике и информатике.

На втором этапе участникам будут предложены задачи в рамках следующих пяти модулей, соответствующих их ролям в команде:

  • Компьютерное зрение: алгоритмы и инструменты распознавания изображений.
  • 3D-конструирование: технологии 3D-моделирования и анимации.
  • 3D-маппинг: технологии создания 3D-проекций на физические объекты окружающей среды с учётом их геометрии и местоположения в пространстве.
  • Основы разработки мобильных AR-приложений: SDK Unity, фреймворки ARCore, Vuforia и др.
  • Алгоритмы для компьютерных логических игр.

Основной задачей финала является разработка AR-приложения для ученых, занимающихся исследованием космоса. Приложение получает данные с сервера о состоянии атмосферы Земли и положении космических спутников, привязанные к геокоординатам. 

Данные 4D Space — являют собой информацию, о полном электронном содержании ионосферы. Данная информация и ее анализ помогают регулировать радиоволны для усиления принимаемого радиосигнала на земле от спутников. Основная проблема данных, это сложность визуализации. Данные заданы 4х-мерным пространством, и соответственно для качественного анализа нужно строить несколько плоских графиков. Задача участников разработать инструмент визуализации этих данных с использованием технологии дополненной реальности. 

Мобильное AR-приложение позволит построить трехмерную визуализацию собранных данных, выступит в качестве наиболее удобного интерфейса анализа такого рода информации. Данные меняются динамически во времени и в зависимости от направления взгляда пользователя, при этом построенная AR-визуализация автоматически изменяется

Участникам финала предстоит:

  • получить данные с сервера и подготовить их для построения AR-визуализации;
  • сконструировать 3D-модели спутников и атмосферы;
  • построить проект AR-визуализации;
  • разработать систему привязки виртуальных объектов к модели глобуса;
  • собрать из всех имеющихся элементов мобильное AR-приложение с удобным интерфейсом анализа изучаемой информации.

Состав команды — 5 человек:

  • AR-разработчик — занимается проектированием и разработкой AR-приложения.
  • Специалист по компьютерному зрению — разрабатывает систему распознавания маркеров.
  • Дизайнер — осуществляет конструирование 3D-моделей и обеспечивает их проецирование на объёмные объекты в реальном мире (видеомэппинг).
  • Программист-игропрактик — разрабатывает алгоритмы реализации отдельных фрагментов с игровой механики для задачи финала.


Ключевой партнёр профиля — IT ШКОЛА SAMSUNG

Технология дополненной реальность (augmented reality AR), приложения и программы с дополненной реальностью

Термин дополненной реальности также может скрываться под буквами AR — Augmented reality. Эта технология позволяет существенно расширить область данных воспринимаемых человеком. Такое расширение сознания достигается за счет переноса в реальный мир цифровой информации.

Процесс формирования дополненной реальности происходит за счет камеры смартфона, веб-камеры или прочего устройства, которое может обрабатывать видео-сигнал. Специальная программа дополнит картинку необходимыми виртуальными объектами. В качестве элементов AR-технологии могут выступать видео и аудио материалы, 3D-модели, а так же текстовый контент.

Основным различием между технологией дополненной реальности и виртуальным аналогом является соотношение информации полученной из реального мира и обработанной компьютером. Виртуальная реальность пытается всецело поглотить настоящий мир, а дополненная лишь расширяет понимание о происходящем в нем процессах.

Примеры использования дополненной реальности (AR)

Очки дополненной реальности Google Glass

Если вы интересуетесь гаджетами, то наверняка наслышаны о технологичной новинке компании Google. Речь идет об очках дополненной реальности Google Glass, которые работают на основе голосовых и жестовых команд пользователя. Ожидается, что эти очки могут стать одним из первых устройств, которые предлагают широкому потребительскому кругу использование AR-технологии. Уже сейчас можно назвать сферы, где технологичные очки нашли свою нишу.

К примеру, отель Abadia Retuerta LeDomaine, расположенный в испанском аббатстве. Здание отеля построено в 1146 году и является уникальным архитектурным памятником. Администрация отеля закупила 8 пар очков Google Glass, которые используются для интерактивных экскурсий по отелю и окрестностям. Помимо 3D-экскурсий пользователь сможет получить необходимую информацию о спа-центре и меню в местном ресторане. Очки от Google уже помогают покупать на Ebay, для этого достаточно установить приложение RedLaser и просто посмотреть на штрихкод товара.

Шлем дополненной реальности Skully AR-1

Принцип дополненной реальности заложен и в новом технологичном шлеме для мотоциклистов. В шлеме применяется система расширенной реальности, которая отображает навигационные данные на интегрированный дисплей. Благодаря этому продукт позволяет составлять интерактивный маршрут движения мотоциклиста.

Шлем AR-1 обеспечивает 180-градусную панораму происходящего на заднем плане дороге, эта опция достигается за счет встроенной в затылочную часть шлема камеры. Помимо работы с GPS-навигацией и панорамного обзора шлем позволит выходить в Сеть и слушать музыку с вашего смартфона.

Очки дополненной реальности SpaceGlasses META.01

Также на сегодняшний день активно развиваются очки дополненной реальности SpaceGlasses META.01, которые должны обойти Google Glass. Этот гаджет комплектуется инфракрасными камерами для распознавания движений. Наглядно оценить работу гаджета можно за счет видео ниже:

Дополненная реальность в сфере потребления

Область применения AR-технологии не ограничивается только гаджетами. К примеру, дополненная реальность используется в рекламе. В 2008 году в рамках автошоу в LA компания Nissan представила свой новый концептуальный автомобиль Cube с помощью интерактивных буклетов. Если пользователь поднесет такую брошюру к камере, то сможет ознакомиться с новинкой в 3D-формате.

Актуально использование дополненной реальности в сфере образования и развлечения. Технология может применяться для реализации виртуальных экспозиций в музеях, ее возможности используются в играх для Nintendo 3DS и PS Vita.

Разработчики отметили перспективы взаимодействия AR и средств навигации. К примеру, интегрированные в очки экраны смогут в режиме реального времени демонстрировать маршрут поездки. Такая технология активно применяется пилотами военных самолетов, к примеру, F-35 Lightning I.

Приложения с дополненной реальностью

Технология дополненной реальности позволяет создавать эффективные приложения для мобильных устройств.

Приложение визуализации 3D объектов Augment

Среди таких программ можно отметить Augment — приложение для смартфона на базе iOS и Android, которое позволит визуализировать 3D-модели в расширенной реальности. Визуализация происходит в рамках реального времени в рамках полного масштаба объекта. Augment позволяет расширить объемы продаж вашей продукции, существенно улучшить визуализацию различных принтов. Описание приложения на Play Маркет

Браузер дополнительной реальности Layer

Также стоит выделить приложение Layar — один из наиболее перспективных и качественных браузеров на основе технологии AR. С помощью камеры смартфона или другого гаджета, приложение способно накладывать различные «слои», которые позволят ориентироваться на местности. Layar поможет определить ближайшую остановку, станцию метро, или магазин. Программа с помощью камеры покажет пользователю искомое место, также есть возможность прокладывать путь на виртуальной карте.

Найденную информацию можно отправить друзьям в социальные сети. Очень удобно с помощью Layar пользоваться «Википедией». Программа обнаружит в окружении пользователя объекты, которые описаны в рамках виртуальной библиотеки и выведет данные о них сверху картинки.

Виртуальная примерочная ARTOUCHER

Еще одним важным примером дополненной реальности может стать виртуальная примерочная. С этой технологией можно значительно ускорить и разнообразить скучный шопинг. Камера распознает фигуру и лицо человека, а программа дополненной реальности позаботится о создании 3D-копии вещей на вашем теле. С помощью жестов можно очень быстро примерять сотни вещей и делиться снимками «луков» с друзьями.

С помощью приложения ARTOUCHER пользователи мобильных устройств смогут попробовать новый уровень примерки товаров и шопинга в целом. Таким образом, виртуальная примерочная существенно расширяет функционал интернет-магазина. Описание приложения на Play Маркет

Таким образом, дополненная реальность является перспективной технологией, которая активно развивается и внедряется в инновационные гаджеты и приложения. Сфера применения AR расширяется по мере развития самой технологии. Пользовательский спрос на возможности дополненной реальности очевиден и он будет только расти.

Сравнение виртуальной реальности, дополненной реальности и смешанной…

По мере стирания грани между виртуальным и реальным миром открываются такие невероятные возможности, которые всего несколько лет назад могли родиться только в воображении писателей-фантастов.

В течение последних нескольких лет виртуальная реальность (ВР) считалась очередным новым веянием. Но сейчас ее время наступило окончательно: теперь можно создавать реалистичные изображения, звуки и другие ощущения, способные перенести вас прямо в центр захватывающего вымышленного мира. Дополненная реальность (ДР), которая привносит элемент виртуальности в окружающую реальность, только усиливает уверенность в том, что обе технологии составят огромную часть нашего будущего. Смешанная реальность позволяет, играя в виртуальную видеоигру, взять реальную бутылку с водой и ударить ею воображаемого персонажа из игры. Воображение и реальность никогда не были так переплетены.

Так быстро и так много всего происходит, что на первый взгляд разница между виртуальной, дополненной и смешанной реальностью может показаться немного неясной. Каждая из этих захватывающих технологий доступна почти каждому. Но прежде чем вы потратите с трудом заработанные деньги на последний шлем-дисплей, давайте разберемся, что необходимо, чтобы получить невероятные впечатления от виртуальной, дополненной и смешанной реальности.

История и будущее виртуальной реальности
Понять, что такое виртуальная реальность, мы пытаемся уже давно, не только в последние пять-десять лет. В 1950-х годах были популярны игрушки, через которые можно было смотреть, а в 1960-х появились авиасимуляторы, но идея ВР появилась гораздо ранее.

Еще в 1930-е годы писатели-фантасты, изобретатели и народные умельцы мечтали о создании такой среды, куда можно было бы сбегать от реальности средствами науки и техники. Мы задумывались над вопросами, связанными с виртуальной, дополненной и смешанной реальностью, задолго до того, как технологии претворили из в жизнь.

Технологии вышли на уровень фантастики, и исследователи рынка предсказывают бурный рост индустрии ВР.

На стыке виртуальной, дополненной и смешанной реальности
Обо всем по порядку. Определимся с терминами. Термин «виртуальная реальность» можно использовать как обобщающее понятие для описания других технологий, подобных, но отличающихся от самой виртуальной реальности. В чем разница между дополненной и смешанной реальностью? Вот еще немного информации:

Виртуальная реальность
Их этих технологий виртуальная реальность является самой известной. Она является полностью иммерсивной и создает ощущение, что вы находитесь в другом мире, отдельном от реального. С помощью шлема-дисплея (HMD) или гарнитуры вы почувствуете себя в смоделированном компьютером мире образов и звуков, в котором можно манипулировать объектами и передвигаться с помощью тактильных контроллеров, будучи привязанным к пульту управления или ПК.

Дополненная реальность
Дополненная реальность накладывает цифровую информацию на мир реальных вещей. Одним из самых известных примеров является игра Pokémon GO*. Реальный мир остается в центре дополненной реальности, но усиливается цифровыми деталями, что накладывает новый уровень восприятия и дополняет существующую реальность.

Смешанная реальность
Смешанная реальность сочетает реальный мир и цифровые элементы. В смешанной реальности вы взаимодействуете с физическими и виртуальными предметами и окружением и манипулируете ими с помощью новейших технологий восприятия и визуализации. Смешанная реальность позволяет видеть и погружаться в окружающий мир даже по мере взаимодействия с виртуальной средой с помощью собственных рук, не снимая гарнитуру. С ее помощью одна нога (или рука) может находиться в реальном мире, а другая — в вымышленном, что подрывает базовые отличия между реальностью и вымыслом и позволяет изменить существующую сегодня концепцию игры и работы.

Использование технологий виртуальной реальности
От игр к кинематографу и медицине: использование виртуальной, дополненной и смешанной реальности растет.

  • Здравоохранение — для обучения, например в хирургических симуляциях
  • Кинематограф и телевидение — в фильмах и шоу для создания уникальных впечатлений
  • Виртуальные путешествия — в виртуальных турах, от музеев до других планет, не выходя из дома
  • Профессиональный спорт — в тренировочных программах, например STRIVR для профессиональных спортсменов и любителей
  • Игры — уже предлагается для более 1000 игр, от шутеров от первого лица до стратегических и ролевых игр

Что необходимо: гарнитура
Предлагается невероятное множество видов гарнитуры для виртуальной реальности, отличающихся по техническим характеристикам и цене. Оснащение начального уровня, например Google Cardboard*, использует мобильный телефон в качестве экрана, а устройства на базе ПК, например HTC Vive* и Oculus Rift*, создают эффект погружения и обеспечивают виртуальную среду премиального качества. Недавно корпорация Microsoft анонсировала новую платформу смешанной реальности Windows* 10, которая изначально использует полностью иммерсивную гарнитуру от Acer, Asus, Dell, HP, Lenovo и Samsung.

Некоторые гарнитуры для дополненной реальности уже представлены на рынке, и, по слухам, в ближайшее время появятся еще варианты. Отличными примерами являются гарнитуры Microsoft Hololens*, Google Glass* и Meta 2*.

Для каждого HMD имеются различные требования системы. Поэтому, покупая новую гарнитуру для виртуальной реальности, уточните у поставщика HMD рекомендуемые и минимальные требования к системе.

Что необходимо: компьютеры
Если вам нужен новый компьютер и вы интересуетесь ВР, вам понадобится машина, которая сможет справиться с большими нагрузками. Когда речь идет о высокопроизводительных настольных ПК или ноутбуках для виртуальной реальности и других сложных задач, например игр или видеомонтажа, наиболее важными компонентами являются ЦП, графический процессор и память.

Без этих высокопроизводительных компонентов, работающих синхронно, вы можете получить печальный опыт. Мощная система гарантирует отличные ощущение при выполнении разных действий: наклонов, подъемов и ходьбе. ВР, которая работает медленно, не обеспечит ожидаемого быстродействия виртуального мира, что приведет не только к разочарованию, но и повысит риск укачивания.

Высокопроизводительный процессор помогает в позиционировании и контролирует степень реальности и иммерсивности виртуальной среды, поэтому вы сможете насладиться более глубоким погружением в среду с более четким воспроизведением. Для отличных впечатлений от ВР рассмотрите процессор Intel® Core™ i7 новейшего поколения.

Рекомендуется дискретный графический процессор (GPU), а в случае Oculus Rift*, HTC Vive* и Windows Mixed Reality Ultra* он является обязательным. Графический процессор отвечает за передачу иммерсивных изображений высокого разрешения, необходимых для виртуальной реальности. Oculus, HTC и Microsoft имеют инструменты профилирования, которые можно загрузить с их сайтов и использовать на ПК для определения, соответствует ли он минимальным требованиям для их гарнитуры для ВР.

Выбирайте свою реальность
Новые технологии и продукты для виртуальной и дополненной реальности продолжают поступать на рынок и делают доступной новую реальность для широких масс. Виртуальная, дополненная, смешанная реальность: выбор новой реальности за вами. Пусть ваше воображение и готовность испытать новое снаряжение усилят впечатления!

Система дополненной реальности

— обзор

Системы оптики и дополненной реальности

Системы дополненной реальности накладывают изображения компьютерной графики на реальный мир. Это позволяет визуализировать данные на месте, , чтобы, например, визуализации медицинских данных появлялись в нужном месте у живого человека. Для достижения такого смешения реальных и виртуальных изображений точка обзора наблюдателя должна быть точно известна, а положение и формы объектов в локальной среде также должны храниться в управляющем компьютере.Имея эту информацию, это простое применение стандартных методов компьютерной графики для рисования трехмерных изображений, которые накладываются на изображения реального мира. Получить правильную перспективу легко; К трудным проблемам, требующим решения, относятся точное измерение положения глаз наблюдателя, что важно для точной регистрации, и создание легких, неискаженных и портативных оптических систем.

Рисунок 2.12 иллюстрирует экспериментальную систему дополненной реальности, в которой хирург видит опухоль головного мозга, выделенную в мозгу во время планирования операции или для направления иглы биопсии (Grimson et al., 1999). Учитывая, насколько сложно хирургу выполнить эту задачу, такая разработка принесла бы очень большие преимущества. Другие приложения для расширенных дисплеев включают техническое обслуживание самолетов, когда механик видит инструкции и структурные схемы, наложенные на реальное оборудование; тактические военные дисплеи, на которых пилот или водитель танка видит указатели дружественных или враждебных целей, наложенные на вид местности; и покупки, где рядом с товаром появляется информация о потенциальной покупке.В каждом случае визуальные данные накладываются на реальные объекты, чтобы дополнить информацию, доступную пользователю, и обеспечить лучшее или более быстрое принятие решений. Эти данные могут иметь форму письменных текстовых меток или сложных символов.

Рисунок 2.12. Дополненная реальность была экспериментально использована в медицине. Здесь изображение опухоли накладывается на голову пациента.

Из Grimson et al. (1999). Хирургия под визуальным контролем. Scientific American, 280 (6), 54-61.

Во многих системах дополненной реальности устройство, называемое светоделителем, используется для наложения изображений компьютерной графики на окружающую среду.Разделитель на самом деле используется не для разделения, а для объединения изображений, поступающих из реального мира, с изображениями, представленными на небольшом мониторе компьютера. Результат похож на фотографию с двойной экспозицией. Типичный светоделитель позволяет примерно половине света проходить через него и половине света отражаться. На рисунке 2.13 показаны основные оптические компоненты этого типа дисплея.

Рисунок 2.13. В дисплеях дополненной реальности изображения компьютерной графики накладываются на реальную среду с помощью светоделителя.Эффект похож на прозрачное наложение на окружающую среду. Фокусное расстояние компьютерных изображений зависит от мощности используемых линз.

Поскольку оптика обычно фиксирована, в системах дополненной реальности есть только одна глубина, на которой в фокусе находятся изображения, созданные компьютером, и изображения реального мира. Это может быть как хорошо, так и плохо. Если сцены реального и виртуального мира находятся в фокусе, их будет легче воспринимать одновременно. Если это желательно, следует позаботиться о том, чтобы установить фокальную плоскость виртуального изображения на типичную глубину реального изображения.Однако иногда желательно, чтобы компьютерные образы оставались перцептивно отличными от образа реального мира; например, прозрачный слой текста из инструкции по эксплуатации может быть представлен на прозрачном дисплее (Feiner, Maclntyre, Haupt, & Solomon, 1993). Если фокусные расстояния разные, пользователь может выбрать фокусировку либо на тексте, либо на изображениях и, таким образом, выборочно обратить внимание на одно или другое.

[G2.5] В системах дополненной реальности увеличивающее изображение, связанное с внешним объектом, должно находиться на том же фокусном расстоянии.

[G2.6] В системах дополненной реальности, когда нет необходимости связывать увеличивающие изображения с внешними объектами, фокусное расстояние увеличивающих изображений должно быть ближе, что уменьшит визуальные помехи. Это не сработает для пожилых пользователей, которые практически не имеют возможности изменять фокусировку своих глаз.

Имеются свидетельства того, что фокусировка может вызвать проблемы с оценкой расстояния на лобовых дисплеях (HUD) самолета. На этих дисплеях виртуальное изображение настроено на оптическую бесконечность, потому что через экран кабины обычно видны только далекие объекты.Несмотря на это, эксперименты показали, что наблюдатели имеют тенденцию фокусироваться на расстоянии ближе, чем бесконечность, с помощью HUD, и это может вызвать завышение расстояний до объектов в окружающей среде (Roscoe, 1991). Это может быть серьезной проблемой; По словам Роско, он был, по крайней мере, частично ответственен за большое количество (по одному в месяц) несчастных случаев со смертельным исходом «контролируемый полет на землю» в ВВС США.

Есть ряд других оптических и перцептивных проблем с головными дисплеями (HMD).Сложная оптика прогрессивных линз для очков несовместима с оптикой HMD. В прогрессивных очках оптическая сила изменяется от верха до низа линзы. Кроме того, люди обычно используют скоординированные движения глаз и головы для визуального поиска окружающей среды, а HMD не позволяют перенаправлять взгляд движениями головы. Обычно, когда угловое движение глаз в сторону велико, фактически сначала начинаются движения головы. Пели (1999) предполагает, что смотреть сбоку более чем на 10 градусов от средней линии очень неудобно.При использовании HMD изображение перемещается вместе с головой, поэтому компенсирующие движения головы не смогут устранить дискомфорт.

[G2.7] При использовании наголовного дисплея для чтения текста сделайте ширину текстовой области не более 18 градусов угла обзора.

Другая проблема заключается в том, что прозрачные HMD обычно надевают только на один глаз, а эффект бинокулярного соперничества означает, что части визуального мира и изображения HMD могут спонтанно появляться и исчезать (Laramee & Ware, 2002).Кто-то с таким дисплеем, идя по тротуару, скорее всего, наткнется на фонарные столбы!

Дополненная реальность — Возможности системы — iOS — Руководство по человеческому интерфейсу

Дополненная реальность

Дополненная реальность (или AR) позволяет создавать захватывающие и увлекательные впечатления, в которых виртуальные объекты легко сочетаются с реальным миром. Используя камеру устройства для отображения физического мира на экране в реальном времени, ваше приложение накладывает трехмерные виртуальные объекты, создавая иллюзию того, что эти объекты действительно существуют.В зависимости от возможностей, предлагаемых вашим приложением, люди могут переориентировать устройство, чтобы исследовать объекты под разными углами, взаимодействовать с объектами с помощью жестов и движений и даже присоединяться к другим людям в многопользовательской среде дополненной реальности. Для руководства разработчика см. ARKit.

Предлагайте функции дополненной реальности только на соответствующих устройствах. Если основное назначение вашего приложения — AR, сделайте его доступным только для устройств, поддерживающих ARKit. Если ваше приложение включает функции, требующие определенных возможностей AR, или если функции AR являются дополнительными в вашем приложении, не показывайте людям ошибку, если они попытаются использовать эти функции на устройстве, которое их не поддерживает; вместо этого просто не предлагайте эту функцию на неподдерживаемом устройстве.Руководство для разработчиков см. В разделе Проверка поддержки устройства и разрешений пользователя.

Создание увлекательного и комфортного опыта

Позвольте людям использовать весь дисплей. Посвятите как можно больше экрана отображению физического мира и виртуальных объектов вашего приложения. Избегайте загромождения экрана элементами управления и информацией, которые ухудшают эффект присутствия.

Стремитесь к убедительным иллюзиям при размещении реалистичных объектов. Создавайте подробные 3D-ресурсы с реалистичными текстурами, чтобы создавать объекты, которые кажутся обитающими в физической среде, в которую вы их помещаете.Используя информацию из ARKit, вы можете правильно масштабировать объекты и размещать их на обнаруженных поверхностях реального мира, отражать условия освещения окружающей среды и моделировать зернистость камеры, отбрасывать нисходящие диффузные тени объектов на поверхности реального мира и обновлять визуальные эффекты при изменении положения камеры. . Чтобы не разрушить созданную вами иллюзию, убедитесь, что ваше приложение обновляет сцены 60 раз в секунду, чтобы объекты не прыгали и не мерцали.

Подумайте, как виртуальные объекты с отражающими поверхностями отображают окружающую среду. Отражения в ARKit являются приблизительными, основанными на окружающей среде, снятой камерой. Чтобы поддерживать иллюзию реальности AR-опыта, отдавайте предпочтение небольшим или грубым отражающим поверхностям, которые преуменьшают эффект этих приближений.

Используйте звук и тактильные ощущения, чтобы усилить эффект присутствия. Звуковой эффект или ощущение удара — отличный способ подтвердить, что виртуальный объект вступил в контакт с физической поверхностью или другим виртуальным объектом. Фоновая музыка также может помочь окунуться в виртуальный мир.Для руководства см. Аудио и тактильные ощущения.

Свернуть текст в среде. Отображать только ту информацию, которая нужна людям для работы с вашим приложением.

Если необходима дополнительная информация или элементы управления, рассмотрите возможность их отображения в пространстве экрана. Контент в пространстве экрана отображается в постоянном месте либо в виртуальном мире, либо, что реже, на экране устройства. Обычно людям легко находить и просматривать контент в пространстве экрана, потому что он остается неподвижным, в то время как базовая среда AR перемещается вместе с устройством.

Рассмотрите возможность использования косвенных элементов управления, когда вам необходимо обеспечить постоянные элементы управления. Косвенные элементы управления не являются частью виртуальной среды — вместо этого они представляют собой двухмерные элементы управления, отображаемые в пространстве экрана. Если людям нужен доступ к постоянным элементам управления в вашем приложении, подумайте о размещении элементов управления так, чтобы людям не приходилось настраивать то, как они держат устройство, чтобы добраться до них. Также рассмотрите возможность использования полупрозрачности в косвенном элементе управления, чтобы избежать блокировки основной сцены.Например, приложение «Измерение» использует пространство экрана для отображения смеси полупрозрачных и непрозрачных элементов управления, которые люди используют для измерения объектов в реальном мире.

Ожидайте, что люди будут использовать ваше приложение в самых разных реальных средах. Люди могут открыть ваше приложение в месте, где мало места для передвижения или нет больших плоских поверхностей. Четко сообщите людям о требованиях и ожиданиях вашего приложения, чтобы помочь им понять, как их физическая среда может повлиять на их работу с дополненной реальностью.Вы также можете рассмотреть возможность предложения разных наборов функций для использования в разных средах.

Помните о комфорте людей. Держать устройство на определенном расстоянии или под определенным углом в течение длительного времени может вызывать утомление. Чтобы избежать утомления, рассмотрите возможность размещения предметов на таком расстоянии, которое уменьшает необходимость перемещать устройство ближе к объекту; в игре старайтесь делать уровни короткими и чередовать короткие периоды простоя.

Если ваше приложение побуждает людей двигаться, вводите движение постепенно. Например, вы можете не захотеть заставлять людей уклоняться от виртуального снаряда, как только они входят в вашу AR-игру. Дайте людям время адаптироваться к опыту AR в вашем приложении, а затем постепенно поощряйте движение.

Помните о безопасности людей. Когда люди погружены в среду дополненной реальности, они не обязательно осознают свое физическое окружение, поэтому быстрые, стремительные или расширяющиеся движения могут быть опасными. Обдумайте способы сделать ваше приложение безопасным для работы; например, в игре можно избежать поощрения резких или резких движений.

Использование коучинга для начала работы

Прежде чем люди смогут насладиться дополненной реальностью в вашем приложении, им необходимо переместить свое устройство таким образом, чтобы ARKit мог оценивать окружение и обнаруживать поверхности. В iOS 13 и более поздних версиях вы можете использовать встроенное коучинговое представление, чтобы показать людям, что им делать, и предоставить обратную связь в процессе инициализации. Вы также можете использовать представление коучинга, чтобы помочь людям повторно инициализировать AR — процесс, известный как relocalization — после того, как опыт AR прерывается, например, людьми, которые ненадолго переключаются на другое приложение.Инструкции по перемещению см. В разделе Обработка прерываний; для руководства разработчика см. ARCoachingOverlayView.

Скрыть ненужный пользовательский интерфейс приложения, пока люди используют режим обучения. По умолчанию представление коучинга появляется автоматически при запуске инициализации или перенастройки, поэтому вы должны быть готовы скрыть несвязанный пользовательский интерфейс, чтобы помочь людям сосредоточиться на инструкциях коучингового представления.

При необходимости предложите индивидуальный опыт коучинга. Несмотря на то, что вы можете настроить предоставляемое системой представление коучинга, чтобы помочь людям предоставлять конкретную информацию — например, обнаружение горизонтальной или вертикальной плоскости — вам может потребоваться дополнительная информация или вы захотите использовать другой визуальный стиль. Если вы хотите разработать индивидуальный опыт коучинга, используйте для справки предоставляемое системой представление коучинга.

Помогаем людям размещать предметы

Покажите людям, когда нужно найти поверхность и разместить объект. Вы можете использовать предоставляемый системой режим обучения, чтобы помочь людям найти горизонтальную или вертикальную плоскую поверхность, на которой можно разместить объект.После того, как ARKit обнаружит поверхность, ваше приложение может отображать настраиваемый визуальный индикатор, показывающий, когда размещение объекта возможно. Вы можете помочь людям понять, как размещенный объект будет выглядеть в окружающей среде, совместив индикатор с плоскостью обнаруженной поверхности.

Индикатор, специфичный для приложения

Когда люди помещают объект, немедленно интегрируйте этот объект в среду дополненной реальности. Хотя обнаружение поверхности быстро и постепенно повышает точность, лучше не ждать получения более точных данных перед размещением объекта.Используйте доступную информацию, чтобы мгновенно реагировать, когда люди помещают объект; затем, когда обнаружение поверхности завершится, при необходимости слегка уточните положение объекта. Например, если люди помещают объект за пределы обнаруженной поверхности, осторожно подтолкните объект обратно на поверхность. Руководство разработчика по уточнению положения объекта см. В ARTrackedRaycast.

Подумайте о том, чтобы направлять людей к виртуальным объектам за кадром. Иногда людям бывает сложно найти объект, находящийся за кадром.В этом случае вы можете помочь людям найти такие объекты, предлагая визуальные или звуковые подсказки. Например, если объект находится за кадром слева, вы можете отобразить индикатор вдоль левого края экрана, который поможет людям направить камеру в этом направлении.

Не пытайтесь точно выровнять объекты по краям обнаруженных поверхностей. В AR границы поверхности — это приближения, которые могут изменяться по мере дальнейшего анализа окружения людей.

Включите информацию о классификации плоскости для информирования о размещении объекта. Например, разрешите людям размещать виртуальный предмет мебели только на плоскости, которая классифицируется как «пол», или требуйте, чтобы плоскость была классифицирована как «стол», чтобы разместить виртуальное игровое поле.

Проектирование интуитивно понятных, восхитительных взаимодействий с объектами

Позвольте людям использовать прямые манипуляции для взаимодействия с объектами, когда это возможно. Более захватывающий и интуитивно понятный, когда люди могут взаимодействовать с экранными трехмерными объектами, касаясь их напрямую, чем с помощью косвенных элементов управления в пространстве экрана.Однако в ситуациях, когда люди перемещаются во время использования вашего приложения, косвенные элементы управления могут работать лучше.

Прямая манипуляция

Косвенный контроль

Позвольте людям напрямую взаимодействовать с виртуальными объектами, используя стандартные, знакомые жесты. Например, рассмотрите возможность поддержки жеста перетаскивания одним пальцем для движущихся объектов и жеста вращения двумя пальцами для вращения объектов. Для руководства см. Жесты.

В общем, делайте взаимодействие простым. Сенсорные жесты по своей сути двумерны, но опыт дополненной реальности включает в себя три измерения реального мира. Рассмотрим следующие подходы к упрощению взаимодействия пользователя с виртуальными объектами.

Ограничьте движение двумерной поверхностью, на которой лежит объект.

Ограничьте вращение объекта одной осью.

Реагируйте на жесты в разумной близости от интерактивных виртуальных объектов. Людям может быть трудно быть точным при наведении на определенные точки на небольших, тонких или находящихся на расстоянии объектах. Когда ваше приложение обнаруживает жест рядом с интерактивным объектом, обычно лучше предположить, что люди хотят повлиять на этот объект.

Поддержка масштабирования объекта по инициативе пользователя, если это имеет смысл в вашем приложении. Например, если ваше приложение позволяет людям исследовать воображаемую среду, вероятно, имеет смысл поддерживать масштабирование объекта, потому что ваше приложение не обязательно должно отображать реальный мир.С другой стороны, если ваше приложение помогает покупателям выбрать мебель для покупки, разрешение людям масштабировать стул не поможет им визуализировать, как стул будет выглядеть в комнате.

СОВЕТ Независимо от цели вашего приложения, не используйте масштабирование как способ регулировки расстояния до объекта. Если вы увеличиваете удаленный объект, чтобы он казался ближе, в результате получается более крупный объект, который все еще смотрит вдаль.

Остерегайтесь потенциально конфликтующих жестов. Жест сжатия двумя пальцами, например, аналогичен жесту вращения двумя пальцами. Если вы реализуете два подобных жеста, как этот, обязательно протестируйте свое приложение и убедитесь, что они правильно интерпретируются.

Стремитесь к движению виртуальных объектов в соответствии с физикой среды дополненной реальности вашего приложения. Люди не обязательно ожидают, что объект будет плавно перемещаться по шероховатой или неровной поверхности, но они ожидают, что объекты будут оставаться видимыми во время движения. Старайтесь, чтобы движущиеся объекты оставались прикрепленными к реальным поверхностям, и избегайте того, чтобы объекты прыгали, исчезали и снова появлялись, когда люди изменяют их размер, вращают или перемещают.

Изучите еще более увлекательные методы взаимодействия. Жесты — не единственный способ взаимодействия людей с виртуальными объектами в AR. Ваше приложение может использовать другие факторы, такие как движение и близость, чтобы оживить контент. Например, игровой персонаж может повернуть голову, чтобы посмотреть на идущего к нему человека.

Создание отличной многопользовательской среды

Когда несколько человек делятся опытом вашего приложения с дополненной реальностью, каждый участник самостоятельно отображает среду, а ARKit автоматически объединяет карты.Руководство для разработчиков см. В разделе isCollaborationEnabled.

Рассмотрите возможность включения окклюзии людей. Если ваше приложение поддерживает размещение виртуальных объектов позади людей, которые появляются в кадре камеры устройства, усиливайте иллюзию реальности, позволяя людям закрывать объекты. Руководство для разработчиков см. В разделе «Закрытие виртуального содержимого людьми».

По возможности позвольте новым участникам войти в многопользовательскую среду дополненной реальности. Если ваше приложение не требует, чтобы все участники присоединились до начала опыта, рассмотрите возможность использования неявного слияния карт, чтобы позволить новым людям быстро присоединиться к текущему опыту AR.Руководство для разработчиков см. В разделе isCollaborationEnabled.

Реагирование на объекты реального мира

Вы можете улучшить опыт дополненной реальности, используя известные изображения и объекты в реальной среде, чтобы вызвать появление виртуального контента. Например, приложение, распознающее театральные афиши к научно-фантастическому фильму, может заставить виртуальные космические корабли появляться из плакатов и летать по окружающей среде. Другой пример — приложение для художественного музея, которое представляет виртуального гида, когда он узнает скульптуру.Чтобы обеспечить такие возможности, ваше приложение предоставляет набор эталонных 2D-изображений или эталонных 3D-объектов, а ARKit указывает, когда и где он обнаруживает любой из этих элементов в текущей среде. Руководство для разработчиков см. В разделе Распознавание изображений в среде дополненной реальности.

Когда обнаруженное изображение впервые исчезает, подумайте о том, чтобы отложить удаление виртуальных объектов, которые к нему прикреплены. ARKit не отслеживает изменения положения или ориентации каждого обнаруженного изображения. Чтобы предотвратить мерцание виртуальных объектов, подумайте о том, чтобы подождать до одной секунды, прежде чем они исчезнут или удалятся.

Ограничьте количество одновременно используемых эталонных изображений. Обнаружение изображений работает лучше всего, когда ARKit ищет 100 или меньше отдельных изображений в реальной среде. Если вам нужно более 100 эталонных изображений, вы можете изменить набор активных эталонных изображений в зависимости от контекста. Например, приложение-гид по музею может запросить разрешение на использование служб определения местоположения, чтобы определить, в какой части музея находится человек, а затем искать только изображения, отображаемые в этой области.

Ограничьте количество эталонных изображений, требующих точного положения. Обновление положения эталонного изображения требует больше ресурсов. Используйте отслеживаемое изображение, когда изображение может перемещаться в окружающей среде или когда прикрепленная анимация или виртуальный объект мал по сравнению с размером изображения.

Общение с людьми

Если вам необходимо отобразить учебный текст, используйте понятную терминологию. AR — это продвинутая концепция, которая может напугать некоторых людей.Чтобы сделать его доступным, избегайте использования технических терминов, таких как ARKit, обнаружение мира и отслеживание. Вместо этого используйте дружеские разговорные термины, понятные большинству людей.

До Не надо
Не удалось найти поверхность. Попробуйте отойти в сторону или переставить телефон. Не удалось найти самолет. Отрегулируйте отслеживание.
Коснитесь места, чтобы разместить [название объекта для размещения] . Коснитесь плоскости, чтобы закрепить объект.
Попробуйте включить больше света и передвигаться. Недостаточно функций.
Попробуйте перемещать телефон медленнее. Обнаружено чрезмерное движение.

В трехмерном контексте предпочитайте трехмерные подсказки. Например, размещение индикатора вращения 3D вокруг объекта более интуитивно понятно, чем отображение текстовых инструкций в наложении 2D.Избегайте отображения текстовых подсказок в трехмерном контексте, если люди не реагируют на контекстные подсказки.

Предпочитаю трехмерную подсказку в трехмерном контексте.

При необходимости используйте двумерную подсказку в трехмерном контексте.

Сделайте важный текст читабельным. Используйте пространство экрана для отображения текста, используемого для важных меток, аннотаций и инструкций. Если вам нужно отобразить текст в трехмерном пространстве, убедитесь, что текст обращен к людям, и что вы используете тот же размер шрифта, независимо от расстояния между текстом и помеченным объектом.

При необходимости предоставьте возможность получить дополнительную информацию. Создайте визуальный индикатор, который соответствует опыту вашего приложения, чтобы показать людям, что они могут нажать для получения дополнительной информации.

Обработка прерываний

ARKit не может отслеживать положение и ориентацию устройства во время прерывания, например, когда люди ненадолго переключаются на другое приложение или принимают телефонный звонок. После прекращения прерывания ранее размещенные виртуальные объекты, вероятно, появятся в неправильных положениях в реальном мире.Когда вы включаете перераспределение, ARKit пытается восстановить эти виртуальные объекты в их исходное положение в реальном мире, используя новую информацию. Руководство для разработчиков см. В разделах «Управление жизненным циклом сеанса» и «Качество отслеживания».

Рассмотрите возможность использования предоставляемого системой представления коучинга, чтобы помочь людям переехать в другое место. Во время перемещения ARKit пытается согласовать свое предыдущее состояние с новыми наблюдениями за текущей средой. Чтобы включить эти наблюдения, вы можете использовать режим обучения, чтобы помочь людям вернуть устройство в его предыдущее положение и ориентацию.

Рассмотрите возможность скрытия ранее размещенных виртуальных объектов во время перемещения. Чтобы избежать мерцания или других неприятных визуальных эффектов во время перемещения, лучше всего скрыть виртуальные объекты и снова отобразить их на новых позициях.

Сведите к минимуму прерывания, если ваше приложение поддерживает как дополненную, так и не дополненную реальность. Один из способов избежать перебоев — встраивать опыт, не относящийся к AR, в опыт AR, чтобы люди могли справиться с задачей, не выходя и не входя повторно в AR.Например, если ваше приложение помогает людям выбрать мебель для покупки, разместив ее в комнате, вы можете позволить им сменить обивку, не выходя из режима дополненной реальности.

Разрешить людям отменять перемещение. Если люди не размещают и не ориентируют свое устройство там, где оно было до прерывания, перемещение будет продолжаться бесконечно и безуспешно. Если обучение людей возобновить сеанс не увенчалось успехом, подумайте о том, чтобы предоставить кнопку сброса или другой способ перезапустить AR.

Указывает, что фронтальная камера не может отслеживать лицо более чем на полсекунды. Используйте визуальный индикатор, чтобы указать, что камера больше не может отслеживать лицо человека. Если вам нужно предоставить текстовые инструкции в этой ситуации, сведите их к минимуму.

Предлагая пути решения проблем

Позвольте людям сбросить настройки, если они не соответствуют их ожиданиям. Не заставляйте людей ждать улучшения условий или бороться с размещением объектов.Дайте им возможность начать все сначала и посмотреть, добьются ли они лучших результатов.

Достаточное освещение

Недостаточное освещение

Предложите возможные решения в случае возникновения проблем. Анализ реальной окружающей среды и обнаружение поверхности могут быть неудачными или занять слишком много времени по разным причинам — недостаточное освещение, чрезмерно отражающая поверхность, поверхность с недостаточной детализацией или слишком большое движение камеры. Если ваше приложение получает уведомление об этих проблемах, используйте простой и понятный язык, чтобы предложить предложения по их решению.

Проблема Возможное предложение
Обнаружены недостаточные функции. Попробуйте включить больше света и передвигаться.
Обнаружено чрезмерное движение. Попробуйте переместить телефон медленнее.
Обнаружение поверхности занимает слишком много времени. Попробуйте двигаться, включите больше света и убедитесь, что ваш телефон направлен на достаточно текстурированную поверхность.

AR Глиф

Приложения

могут отображать глиф AR в элементах управления, запускающих возможности ARKit. Вы можете скачать этот глиф в разделе «Ресурсы».

Используйте глиф AR по назначению. Глиф следует использовать строго для запуска опыта на основе ARKit. Никогда не изменяйте глиф (кроме настройки его размера и цвета), не используйте его для других целей и не используйте вместе с возможностями AR, созданными без использования ARKit.

Обеспечьте минимум свободного пространства. Минимальный объем свободного пространства, требуемый вокруг глифа AR, составляет 10% от высоты глифа. Не позволяйте другим элементам вторгаться в это пространство или каким-либо образом закрывать глиф.

Значки AR

Приложения, которые включают коллекции продуктов или других объектов, могут использовать значки для идентификации определенных элементов, которые можно просматривать в AR с помощью ARKit. Например, приложение универмага может использовать значок для обозначения мебели, которую люди могут предварительно просмотреть у себя дома перед покупкой.

Используйте значки дополненной реальности по назначению и не изменяйте их. Вы можете загрузить значки дополненной реальности, доступные в свернутом и развернутом виде, в разделе «Ресурсы». Используйте эти изображения исключительно для идентификации продуктов или других объектов, которые можно просматривать в AR с помощью ARKit. Никогда не изменяйте значки, не меняйте их цвет, не используйте их для других целей или используйте их вместе с возможностями дополненной реальности, не созданными с помощью ARKit.

Значок AR

Значок дополненной реальности только с символами

Предпочитайте значок AR значку, состоящему только из глифов. В общем, используйте значок только с глифом для ограниченных пространств, в которых не может быть значок AR. Оба значка хорошо работают с размером по умолчанию.

Используйте значки только в том случае, если ваше приложение содержит как объекты, которые можно просматривать в AR, так и объекты, которые нельзя. Если все объекты в вашем приложении можно просматривать в AR, значит, бейдж излишне.

Держите размещение значка последовательным и четким. Значок лучше всего смотрится в одном углу фотографии объекта.Всегда помещайте его в один и тот же угол и убедитесь, что он достаточно большой, чтобы его было хорошо видно (но не настолько, чтобы закрывать важные детали на фотографии).

Обеспечьте минимум свободного пространства. Минимальное свободное пространство вокруг значка AR составляет 10% от его высоты. Остальные элементы не должны нарушать это пространство и каким-либо образом закрывать значок.

Дополненная реальность — прошлое, настоящее и будущее

Дополненная реальность прошла долгий путь от научной фантастики до научно обоснованной реальности.До недавнего времени расходы на дополненную реальность были настолько значительными, что дизайнеры могли только мечтать о работе над дизайн-проектами, в которых она была задействована — сегодня все изменилось, и дополненная реальность доступна даже на мобильных телефонах. Это означает, что дизайн для дополненной реальности теперь доступен для дизайнеров UX всех форм и размеров.

Дополненная реальность — это взгляд на реальный, физический мир, в котором элементы улучшаются с помощью компьютерных вводов. Эти входы могут варьироваться от звука до видео, от графики до наложений GPS и т. Д.Первая концепция дополненной реальности возникла в романе Фрэнка Л. Баума, написанном в 1901 году, в котором набор электронных очков отображал данные на людей; это называлось «маркером характера». Сегодня дополненная реальность — это реальность, а не научная фантастика.

Краткая история дополненной реальности (прошлое)

Впервые дополненная реальность была в некоторой степени реализована кинематографистом по имени Мортон Хейлиг в 1957 году. Он изобрел сенсораму, которая доставляла зрителю визуальные эффекты, звуки, вибрацию и запах.Конечно, это не контролировалось компьютером, но это был первый пример попытки добавить дополнительные данные к опыту.

Автор / Правообладатель: Morton Heilig. Условия авторского права и лицензия: Public Domain.

Затем, в 1968 году, Айвен Сазерленд, американский ученый-компьютерщик, оказавший влияние на Интернет, изобрел головной дисплей как своего рода окно в виртуальный мир. Технология, использовавшаяся в то время, сделала изобретение непрактичным для массового использования.

В 1975 году Майрон Крюгер, американский компьютерный художник, разработал первый интерфейс «виртуальной реальности» в форме «Videoplace», который позволил пользователям манипулировать виртуальными объектами и взаимодействовать с ними в режиме реального времени.

Стив Манн, исследователь компьютерной фотографии, дал миру носимые компьютеры в 1980 году.

Конечно, тогда это не была «виртуальная реальность» или «дополненная реальность», потому что виртуальная реальность была изобретена Джароном Лайнером в 1989 году и Томасом П. Коделл из компании Boeing ввел термин «дополненная реальность» в 1990 году.

Первой правильно функционирующей системой AR, вероятно, была система, разработанная Луисом Розенбергом в 1992 году в исследовательской лаборатории USAF Armstrong. Она называлась Virtual Fixture и представляла собой невероятно сложную роботизированную систему, которая была разработана для компенсации отсутствия высокоскоростной трехмерной графики. вычислительная мощность в начале 90-х гг. Это позволило наложить сенсорную информацию на рабочее пространство для повышения продуктивности человека

Между этим и сегодняшним днем ​​было много других достижений в области дополненной реальности; наиболее примечательными из них являются:

  • Брюс Томас, разрабатывающий уличную мобильную AR-игру под названием ARQuake в 2000 г.

  • ARToolkit (инструмент дизайна), доступный в Adobe Flash в 2009 г.

  • Google объявляет об открытии бета-тестирования Google Glass (проект с переменным успехом) в 2013 г.

  • Microsoft объявляет о поддержке дополненной реальности и своей гарнитуре дополненной реальности HoloLens в 2015 г.

Текущее состояние дополненной реальности (Настоящее время)

Дополненная реальность — это достигается за счет различных технологических инноваций; они могут быть реализованы отдельно или в сочетании друг с другом для создания дополненной реальности.К ним относятся:

  • Общие аппаратные компоненты — процессор, дисплей, датчики и устройства ввода. Обычно смартфон содержит процессор, дисплей, акселерометры, GPS, камеру, микрофон и т. Д. И содержит все оборудование, необходимое для того, чтобы быть устройством дополненной реальности.

  • Дисплеи — хотя монитор прекрасно способен отображать данные AR, существуют и другие системы, такие как оптические проекционные системы, дисплеи на голове, очки, контактные линзы, HUD (дисплей на лобовое стекло), виртуальные дисплеи сетчатки EyeTap (устройство, которое изменяет лучи света, захваченные из окружающей среды, и заменяет их сгенерированными компьютером), пространственная дополненная реальность (SAR — которая использует обычные методы проецирования вместо любого дисплея) и портативные дисплеи.

  • Датчики и устройства ввода включают — GPS, гироскопы, акселерометры, компасы, RFID, беспроводные датчики, распознавание касаний, распознавание речи, отслеживание глаз и периферийные устройства.

  • Программное обеспечение — большая часть разработки AR будет заключаться в разработке дополнительного программного обеспечения, чтобы использовать возможности оборудования. Уже существует язык разметки дополненной реальности (ARML), который используется для стандартизации грамматики XML для виртуальной реальности.Существует несколько комплектов разработки программного обеспечения (SDK), которые также предлагают простые среды для разработки дополненной реальности.

Есть приложения, доступные или исследуемые для AR почти в каждом промышленном секторе, включая:

  • Археология, искусство, архитектура

  • Торговля, офис

  • Строительство, промышленный дизайн

  • Образование , Перевод

  • Управление в чрезвычайных ситуациях, восстановление после бедствий, медицина и поисково-спасательные операции

  • Игры, спорт, развлечения, туризм

  • Военные

  • Навигация

Автор Sonk54.Условия авторского права и лицензия: CC BY-SA 3.0

Будущее дополненной реальности

Джессика Лоури, дизайнер UX, пишет для Next Web, что AR — это будущее дизайна, и мы склонны соглашаться. Мобильные телефоны уже стали такой неотъемлемой частью нашей жизни, что они могут быть продолжением нашего тела; поскольку технологии могут быть в дальнейшем интегрированы в нашу жизнь, не будучи навязчивыми (а-ля Google Glass), несомненно, что дополненная реальность предоставляет возможности для неизмеримого улучшения пользовательского опыта.

Это почти наверняка приведет к значительному прогрессу в широко разрекламированных, но пока мало заметных вещах; Интернет вещей. UX-дизайнерам в области AR необходимо будет серьезно подумать о том, как можно улучшить традиционный опыт с помощью AR — просто сделать вашу плиту способной использовать компьютерные улучшения недостаточно; Потребители заботятся о более здоровом питании или более приготовленной пище.

Будущее будет принадлежать AR, когда она повысит эффективность задач или качество результатов взаимодействия для пользователя.Это ключевая проблема UX-профессии 21 века.

Автор / Правообладатель: Остин Бернер. Условия авторского права и лицензия: Public Domain

The Takeaway

AR или дополненная реальность превратилась из несбыточной мечты в реальность чуть более чем за столетие. Однако сегодня существует множество приложений AR, которые используются или находятся в стадии разработки — концепция станет повсеместной только тогда, когда дизайнеры UX подумают о том, как они могут интегрировать AR в повседневную жизнь для повышения производительности, эффективности или качества взаимодействия.У AR неограниченный потенциал, большой вопрос — как его разблокировать?

Ссылки

Чтобы узнать больше о видении Фрэнка Ла Баума дополненной реальности, загляните сюда — Джонсон, Джоэл. «Мастер-ключ»: Л. Франк Баум представляет себе очки дополненной реальности в 1901 году Mote & Beam 10 сентября 2012 года.

Исследование Ивана Сазерленда можно найти здесь: http://90.146.8.18/en/archiv_files/19902/E1990b_123 .pdf

С исследованием Стива Манна можно ознакомиться здесь: «Глаз как камера: наблюдение и наблюдение в стекле» .Techland.time.com

Оригинальная исследовательская статья Розенберга была опубликована как: Л. Б. Розенберг. Использование виртуальных устройств в качестве наложений восприятия для повышения производительности оператора в удаленных средах. Технический отчет AL-TR-0089, Лаборатория Армстронга USAF, AFB Райт-Паттерсон, штат Огайо, 1992.

Узнайте больше об ARQuake в Wiki здесь: https://en.wikipedia.org/wiki/ARQuake

Подробнее о Google Glass в New York Times — http://www.nytimes.com/2013/02/21/technology/google-looks-to-make-its-computer-glasses-stylish.html? pagewanted = all & _r = 0

Статью Джессики Лоури о будущем дизайна можно здесь — http://thenextweb.com/dd/2015/08/31/augmented-reality-is-the-future-of- дизайн /

Изображение героя: Автор / Правообладатель: Маурицио Пеше. Условия авторских прав и лицензия: CC BY 2.0

Иммерсивная система дополненной реальности для обучения управлению классификацией образов с помощью миоэлектрического протеза | Журнал нейроинжиниринга и реабилитации

Архитектура и работа системы

Разработанная система использует бинокулярный дисплей на голове (HMD) для рендеринга в реальном времени виртуальной руки, отображаемой в виде наложения дополненной реальности, простирающейся от остаточной конечности пациента с ампутированной конечностью .В системе реализовано замкнутое управление виртуальным протезом (см. Рис. 1). В контуре управления с прямой связью система непрерывно получает миоэлектрические сигналы от беспроводного датчика ЭМГ на повязке Myo (Thalmic Labs, США). По этим сигналам подсистемой распознавания образов определяется предполагаемое движение и сила сжатия, которые кодируются в команды управления протезом, как описано ниже. В контуре сенсорной обратной связи система считывает данные датчика с виртуальной руки (например,сила, приложенная к виртуальным объектам) и кодирует их в сигнал обратной связи. Система может отображать соответствующую обратную связь для пользователя в виде наложения в среде AR. Важно отметить, что контур управления был реализован таким образом, что он также может вместить настоящий протез руки (рука Микеланджело от Отто Бока).

Рис. 1

Система AR с замкнутым контуром управления. Классификация паттернов применяется к многоканальной ЭМГ, записанной с помощью повязки Myo, для оценки намерения пользователя движения и управления виртуальным (слева) или реальным протезом (справа).Виртуальный протез сенсорируется, и данные с датчиков собираются и представляются субъекту в виде визуальной обратной связи (например, графическая полоса, встроенная в реальную сцену). Функции, показанные пунктирными прямоугольниками, не были реализованы в представленной системе, но они могут быть добавлены впоследствии для соответствующего оборудования через существующие интерфейсы.

Мы использовали стандартную стереокамеру Ovrvision Pro [35] для захвата видеопотока с частотой 60 кадров в секунду и разрешением 960 × 950 пикселей.Угол обзора 100 ° по горизонтали и 98 ° по вертикали аналогичен полю зрения человека и обеспечивает пользователю реалистичный квазиортоскопический обзор. Камеры были установлены на передней стороне HMD, и поэтому они регистрировали окружающую среду с точки зрения пользователя. Видеопоток был обработан, как описано ниже, а затем спроецирован на HMD. Следовательно, пользователь смотрел на реальную сцену перед ним, на которую проецировались виртуальные 3D-объекты (AR).

Два настраиваемых маркера AR, подходящие для стандартных масштабно-инвариантных детекторов признаков (например,грамм. SIFT [36]) в поле зрения пользователя использовались нашей системой: маркер руки, который был помещен на остаточную конечность, мог свободно перемещаться внутри поля зрения, в то время как маркер сцены оставался в фиксированном положении (например, на поверхности стола ). Для достижения оптимального качества обнаружения под разными углами обзора, обусловленными разным положением рук, маркер руки был выбран конической формой. Маркер располагался вокруг предплечья (остаточной конечности), чтобы его можно было обнаружить даже при поворотах предплечья.Для маркера сцены был выбран простой плоский дизайн, потому что он просматривался только с лицевой стороны. Оба маркера были созданы с использованием высококонтрастных многоугольников для обеспечения стабильного распознавания. Позиции, обнаруженные модулем отслеживания маркеров, использовались для интеграции модели виртуальной руки и других виртуальных объектов в стереоскопические видеоданные, проецируемые на шлем Oculus Rift CV1. Для сбора данных ЭМГ использовалась беспроводная повязка Myo для захвата 8 биполярных каналов поверхностной ЭМГ с частотой дискретизации 200 Гц.Субъект контролировал виртуальную руку в режиме реального времени с использованием хорошо зарекомендовавшей себя схемы распознавания образов ЭМГ, как описано ниже.

Подробная схема архитектуры системы показана на рис. 2. Для управления виртуальной моделью руки или реальным протезом наша система использовала хорошо зарекомендовавший себя подход к распознаванию образов ЭМГ, состоящий из извлечения характеристик во временной области (среднее абсолютное значения, длины волны, изменения знака наклона и пересечения нуля) из необработанных сигналов ЭМГ и классификации с использованием линейного дискриминантного анализа (LDA) [37].Кроме того, сила сжатия также определялась огибающей функцией. Эти шаги были выполнены с помощью BioPatRec [38], которая представляет собой среду с открытым исходным кодом для управления распознаванием образов, работающую в MATLAB (MathWorks, США). Решение классификатора и сила сжатия были отправлены по TCP / IP либо в комплект разработчика программного обеспечения (SDK) Отто Бока Микеланджело, либо в модуль контроллера анимации внутри приложения Unity 3D, что описано ниже. Длина окна для извлечения признаков и генерации команд посредством классификации была установлена ​​на 150 мс с перекрытием 50 мс.

Рис. 2

Общая архитектура системы с основными компонентами и потоком данных: BioPatRec использовался для классификации, отслеживания маркеров, расположенных в маркерах руки и сцены, а контроллер анимации отображал модель руки (11 различных движений), а также виртуальную объекты, размещенные в сцене. Виртуальные модели были интегрированы в реальную сцену, записанную стереокамерой, а окончательные изображения проецировались на HMD. Подробности объяснены в тексте

Основным компонентом предлагаемой системы было приложение, разработанное с использованием C # и Unity 3D, современного игрового движка и среды разработки.Каждый кадр видеопотока стереоскопической камеры считывался из драйвера устройства серверным приложением, где он декодировался и обрабатывался. Изображения левой и правой камеры были извлечены и исправлены, чтобы компенсировать бочкообразное искажение от широкоугольных объективов с использованием предварительно вычисленной калибровочной матрицы. Затем полученные прямолинейные стереоизображения записывались в общую область памяти, контролируемую двумя фильтрами DirectShow, которые передавали изображения в Unity 3D в виде двух потоков виртуальных веб-камер.Unity 3D визуализировал изображения в левой и правой плоскости виртуальной сцены, обеспечивая живую реальную фоновую сцену, в которую были помещены виртуальные объекты. По соображениям производительности в качестве входных данных для модуля отслеживания маркеров использовалось только изображение левой камеры. Здесь мы использовали Vuforia, плагин Unity 3D, и SDK, реализующий надежное современное обнаружение маркеров. Когда маркеры AR-руки и сцены были обнаружены, их положения и ориентации были применены к виртуальной модели руки и виртуальной сцене.Модель руки представляла собой реалистичную человеческую руку с костями и оснащением, созданную в Autodesk 3ds Max.

Мы реализовали 11 реалистичных анимаций рук, которые можно применить к модели руки с помощью метода каскадных деревьев наложения в Unity 3D. Доступные анимации: открытый / ладонный захват, пронация / супинация запястья, разгибание / сгибание запястья, локтевое / радиальное отклонение, боковой захват, захват и разгибание указательного пальца. Для фазы вмешательства AR в эксперименте, описанном в следующем разделе, мы использовали пять реализованных анимаций: открытая рука, ладонный захват, боковой захват и пронация / супинация запястья.Эти анимации соответствовали классам движений (командам протезирования), оцененным классификатором LDA. Скорость виртуального движения руки была пропорциональна среднему уровню мышечной активности по каналам ЭМГ, приведенному к максимальной активации. В дополнение к модели виртуальной руки, виртуальные объекты, такие как прищепки, индикаторы силы захвата (обратная связь с пользователем) и ручки для теста прищепки, были динамически созданы и отображены в сцене относительно положения маркера сцены AR (см. Раздел «Экспериментальная оценка»). »).Наконец, анимация была применена к модели виртуальной руки, которая затем была передана вместе с объектами левой и правой плоскости в качестве входных данных в Oculus Rift SDK. Здесь к результирующему изображению было применено определенное искажение линз Oculus Rift, которое отображалось внутри Oculus Rift. На рисунке 3 показана полная система, используемая испытуемой с дисмелией, когда она управляла виртуальной рукой в ​​сцене дополненной реальности. Следует отметить, что во время экспериментов датчик ЭМГ на повязке Myo располагался на остаточной конечности (слева), в то время как маркер руки AR был на другой руке (справа), как показано на рисунке.Следовательно, субъект управлял виртуальной правой рукой с помощью сигналов ЭМГ остаточной конечности (слева). Хотя датчик ЭМГ и маркер руки AR можно было расположить на одной руке, было невозможно разместить датчик ЭМГ под шиной протеза, описанной в разделе «Экспериментальная оценка». Поэтому, чтобы управление виртуальным протезом соответствовало реальному протезу, мы разместили датчик ЭМГ слева, а настоящий или виртуальный протез — справа у всех испытуемых.Это обстоятельство не является внутренним ограничением нашей системы как таковой, поскольку маркер руки AR может быть размещен на обеих руках, а система включает в себя как левую, так и правую виртуальную руку, которыми можно полностью управлять. Все испытуемые сообщили, что после короткого периода ознакомления у них не возникло никаких трудностей с этим техническим ограничением. Пример того, как выглядит система с повязкой Myo и маркером руки AR на одной руке, показан на рис. 11.

Рис. 3

Экспериментальная установка для вмешательства AR, показывающая испытуемого с дисмелией, контролирующего виртуальную рука в сцене AR.Слева a показана сцена, включая компоненты системы, установленные на объекте, и футляр для прищепок, расположенный перед объектом. Испытуемый управлял виртуальной рукой с помощью сигналов ЭМГ, записанных с остаточной конечности. Середина b показывает соединение и поток данных между компонентами и главным компьютером. Панель справа c показывает вид с точки зрения субъекта с виртуальными объектами (рука, прищепка и вертикальная полоса), встроенными в реальную сцену

Экспериментальная оценка

Участники

Тринадцать трудоспособных взрослых добровольно участвовали в эксперимент.Они были разделены на группу AR-вмешательства (IG) (N = 7; 4 женщины; 3 мужчины; 27,9 ± 3,9 года) и контрольную группу (CG) (N = 6 мужчин; 26,2 ± 5,7 лет). Испытуемые были случайным образом разделены на две группы. Участница с дисмелией следовала тому же протоколу, что и испытуемые в группе вмешательства, но ее результаты были отдельно проанализированы как тематическое исследование (женщина, 33 года). Все испытуемые были наивны по отношению к цели эксперимента, который был одобрен этическим комитетом Падерборнского университета.Перед тестированием каждый участник дал свое письменное информированное согласие. Эксперимент проводился в лаборатории группы компьютерной инженерии Падерборнского университета.

Методика эксперимента

Новая система AR использовалась в качестве инструмента для тренировки управления миоэлектрическим протезом. Тренировка была основана на задаче виртуальной прищепки, и эффекты оценивались с использованием плана эксперимента до и после тестирования. Между тестами группа вмешательства провела 6 тренировок в течение 3 дней подряд с использованием описанной системы AR.Контрольная группа прошла до- и посттест без какой-либо промежуточной подготовки. После посттеста все участники ответили на анкету, чтобы получить дополнительную информацию о субъективном опыте обучения с поддержкой AR. Испытуемых попросили оценить (0–10) уровень сложности реальной задачи с реальным протезом, фактор удовольствия и мотивацию при использовании системы AR, а также воспринимаемую полезность обратной связи по визуальной силе, предоставляемой в AR. На рисунке 4 показан график экспериментальной процедуры.

Рис. 4

Хронология эксперимента. Первоначальная оценка проводилась в день 1 (предварительное тестирование) как для контрольной группы, так и для группы вмешательства. Группа интервенции прошла трехдневное обучение. Окончательная оценка была проведена на 5-й день для обеих групп. Каждый прямоугольник на временной шкале соответствует прибл. пара минут. IG и CG обозначают группу вмешательства и контрольную группу, соответственно.

Процедура до и после тестирования: тест прищепкой с реальным протезом

Каждый участник прошел до и после теста, который длился приблизительно 1 час.Для этого теста использовался настоящий протез (рука Микеланджело от Отто Бока). В протезе реализованы два типа захвата (ладонный и боковой) и ротация запястья (пронация / супинация). Повязка Myo была наложена на левую руку, а протез — на правую руку с использованием изготовленной на заказ шины. Положение повязки Myo и протеза было задокументировано, чтобы гарантировать аналогичное крепление устройств в посттесте. Индивидуальная высота испытательного стола также была задокументирована, чтобы обеспечить аналогичную экспериментальную установку для следующих тренировок (IG) и посттеста.Оболочка теста прищепкой была помещена на стол. Важно отметить, что контакты были изменены путем добавления светодиода и переключателя, так что, когда ручки контактов контактировали друг с другом (контакт полностью открыт), переключатель был замкнут. Это активировало светодиод, указывающий, что испытуемый «сломал» булавку (так называемый сенсорный тест прищепкой [39]).

Предварительный тест начался с подхода к распознаванию образов ЭМГ с использованием BioPatRec [38]. Пять различных движений (открытое, боковое, ладонное, пронация и супинация) были записаны 6 раз по 5 с соответственно с отдыхом между ними.После этого был проведен тест на распознавание образов ЭМГ с помощью BioPatRec. Если испытуемым удавалось надежно активировать занятия (субъективная оценка экспериментатора), они переходили к управлению протезом, в противном случае обучение повторялось.

Затем участников ознакомили с экспериментальной задачей. Их попросили схватить и переместить прищепку с помощью протеза, а также намеренно приложить слишком много (светодиод активирован) или слишком мало (булавка выскользнула из рук), чтобы понять все аспекты задачи.Если результаты контроля были неудовлетворительными по субъективной оценке экспериментатора, тренировку повторяли максимум 3 раза.

Перед началом теста два раза были представлены демонстрационные видеоролики для бокового и ладонного захвата с дополнительными инструкциями экспериментатора, объясняющими разницу между двумя типами захвата. После этого началось испытание. Задача испытуемых заключалась в том, чтобы схватить булавку, прикрепленную к горизонтальной перекладине, удалить ее и переместить на вертикальную перекладину (рис.5). Для этого испытуемым нужно было сомкнуть руку и сжать стержень, повернуть запястье, чтобы совместить стержень с вертикальной полосой, и раскрыть руку, чтобы освободить стержень. Поскольку штифты были сенсорными, испытуемым требовалось приложить силу захвата, которая была достаточно высокой, чтобы открыть штифт, но ниже порога «разрушения» штифта. Тест включал штифты различной жесткости, на что указывал цвет штифта (желтый, красный, зеленый и синий). Минимальные и максимальные допустимые силы и отверстия для штифтов приведены в таблице 1.Экспериментатор предоставил инструкции и обратную связь, пока две прищепки не были перемещены правильно. Субъект был проинструктирован чередовать ладонный и боковой захват в ходе испытаний. Для того, чтобы оценить способность испытуемого применять нужную силу захвата, задача в предварительном и последующем тесте требовала строгого контроля этого параметра. Чтобы не допустить, чтобы испытуемый просто использовал максимальную силу для выполнения задачи, мы решили рассматривать каждую «сломанную» булавку как упавшую булавку в обычном тесте на перемещение прищепки без датчиков.Следовательно, если субъект активировал светодиод, используя чрезмерное усилие захвата, или уронил штифт, испытание считалось неудачным, и задача перераспределения была перезапущена. Если булавка «сломалась» во второй раз, испытуемый продолжал использовать следующую булавку. Цель заключалась в том, чтобы переместить как можно больше контактов в течение 20 минут (продолжительность задачи). Было задокументировано количество успешно перемещенных, упавших и «сломанных» штифтов.

Рис. 5

Экспериментальная установка для процедуры до и после тестирования, показывающая субъекта с дисмелией, контролирующего настоящий протез.Футляр прищепки располагался перед субъектом, а настоящий протез был установлен на переходнике на звуковой руке и контролировался с помощью сигналов ЭМГ, которые были записаны с остаточной конечности. Слева a показывает испытуемого в исходном положении в начале испытания, протез руки был открыт и перпендикулярен земле. В середине b изображен субъект, поднимающий штифт, установленный на средней горизонтальной перекладине, с помощью ладонного захвата после пронации протеза.Справа c показано, как субъект отпускает булавку в заданном положении с помощью жеста открытой руки после супинирования протеза

Таблица 1 Сводка минимальных и максимальных допустимых сил и отверстий для используемых сенсорных прищепок

Тренировка в дополненной реальности: виртуальная прищепка задание

Группа вмешательства провела обучение, используя имитацию задания на перемещение прищепки. Настройка была аналогична той, что использовалась в пре- и посттестах. Сначала повязку Myo поместили на левую руку, а маркер руки AR — на правую руку участника.Повязку Myo не меняли между отдельными сеансами в один и тот же день. После этого было проведено такое же обучение распознаванию образов ЭМГ, что и в сеансах до и после тестирования.

Каждый сеанс вмешательства состоял из двух тренировочных блоков AR, каждый из которых длился 10 минут, с перерывом примерно 5 минут между блоками. В начале первого сеанса вмешательства на экране компьютера были показаны обучающие видеоролики для AR-тренинга. После этого к предмету был помещен HMD, и они в течение нескольких минут практиковались в использовании системы, чтобы познакомиться со средой AR.Экспериментатор давал инструкции до тех пор, пока субъект успешно не завершил первые два испытания.

Испытуемый использовал виртуальный протез для перемещения виртуальных штифтов с горизонтальной планки (реальной) на вертикальную (виртуальную). Виртуальные контакты использовали ту же цветовую кодировку и имитировали ту же жесткость, что и настоящие контакты. Кроме того, испытуемые получили виртуальную обратную связь о создаваемой силе захвата. Обратная связь была интегрирована в реальную сцену, показывая горизонтальную полосу силы рядом с виртуальной рукой.Полоса силы отображала созданную силу захвата, а также целевое окно, до которого должен дотянуться субъект, чтобы успешно схватить булавку. Если приложенная сила была выше целевого окна, виртуальный штифт «взорвался». Если сила опускалась ниже окна во время перемещения штифта, штифт выскользнул из захвата и «взорвался». Виртуальная вертикальная полоса, на которую следует переместить штифт, поворачивалась в разные положения во время испытаний. Испытуемый был проинструктирован пронировать или супинировать виртуальную руку, чтобы правильно совместить прищепки с перекладиной.Таким образом, виртуальная тренировка была разработана для того, чтобы мотивировать испытуемого практиковать открытие и закрытие рук, модуляцию силы и вращение запястья.

На рис. 6 показано испытание, в котором субъект успешно переместил виртуальную прищепку с нижней горизонтальной планки в целевое положение на вертикальной планке. На рисунке показана сцена, воспринимаемая испытуемым во время тренировки. Испытуемый приблизился к прищепке виртуальной рукой (рис. 6а). Когда рука была достаточно близко, чтобы схватить виртуальную прищепку, рядом с рукой появилась полоса горизонтальной силы, указывающая целевой диапазон силы, необходимый для успешного захвата булавки (т.е., не нарушая его) (рис. 6б). После того, как испытуемый сомкнул руку, используя выбранный тип захвата, и коснулся булавки, сила, создаваемая рукой, отображалась в виде движущейся полосы. Пока сила была меньше целевого диапазона силы (рис. 6c), полоса была показана белым цветом. Когда созданная сила поступала в целевое окно, цвет планки менялся на цвет прищепки, и прищепка могла быть отделена от горизонтальной планки и перенесена на вертикальную планку (рис.6д и е). Во время транспортировки оставалась обратная связь по силе, чтобы субъект мог контролировать силу, чтобы не сломать или не уронить штифт. Испытуемый повернул виртуальную руку, чтобы совместить штифт с вертикальной полосой (рис. 6g). Наконец, они расслабили мышцы, чтобы освободить прищепку и прикрепить ее к обозначенному сегменту планки (черная область). Чтобы указать на успешное выполнение задачи, была воспроизведена мотивирующая анимация фейерверка (рис. 6h). Видео, демонстрирующее компоненты системы, а также проведенные тесты, доступно на сайте проекта (см. «Дополнительная информация»).

Рис. 6

Снимки успешного испытания, показывающие, что субъект с дисмелией перемещает булавку с горизонтальной полосы на вертикальную, управляя виртуальной рукой с использованием классификации паттернов. Моментальные снимки ( a ) — ( h ) соответствуют тому, что субъект видел, глядя через закрепленный на голове дисплей, и сцена включает как реальные (например, рамка прищепки, горизонтальные полосы), так и виртуальные (например, рука, булавка, вертикальная полоса) объекты, следовательно, дополненная реальность.Обратите внимание, что вертикальная полоса наклонена, а черный сегмент полосы представляет собой целевую область, в которой должен быть прикреплен штифт. b g показывают визуальную обратную связь о силе захвата, отображающую создаваемую силу, а также целевой диапазон для успешного захвата штифта. На последней панели ( h ) изображена анимация фейерверка, указывающая на успешное выполнение задачи

Анализ данных

Статистический анализ был выполнен с использованием MATLAB 2017b.Основным критерием результата было количество булавок, которые испытуемые успешно перенесли в течение фиксированной продолжительности до и после тестирования (20 минут). Также сообщалось о количестве неудачных переводов булавок, когда испытуемые роняли или ломали кегли. Из-за небольшого размера выборки использовались непараметрические тесты. Результаты IG по сеансам сравнивали с помощью теста Фридмана. Постоперационный анализ проводился с использованием критерия достоверно значимой разницы Тьюки для попарного сравнения. Для сравнения результатов до и после тестирования в одной и той же группе (IG и CG) использовался знаковый ранговый тест Вилкоксона.Для сравнения результатов между группами (IG по сравнению с CG) в рамках одной и той же оценки (до или после) использовался тест Манна-Уитни. Результаты пост-анкеты были распределены нормально, и поэтому их сравнивали с использованием t-критерия для независимых выборок. Порог статистической значимости был установлен на уровне p <0,05. Результаты представлены как медиана / межквартильный размах.

Дополненная реальность (AR) Определение

Что такое дополненная реальность?

Дополненная реальность (AR) — это улучшенная версия реального физического мира, которая достигается за счет использования цифровых визуальных элементов, звука или других сенсорных стимулов, доставляемых с помощью технологий.Это растущая тенденция среди компаний, занимающихся мобильными вычислениями и, в частности, бизнес-приложениями.

На фоне роста сбора и анализа данных одной из основных целей дополненной реальности является выявление конкретных особенностей физического мира, улучшение понимания этих функций и получение умных и доступных сведений, которые можно применить к реальным приложениям. Такие большие данные могут помочь в принятии решений компаниями и, в частности, получить представление о потребительских привычках.

Ключевые выводы

  • Дополненная реальность (AR) включает в себя наложение визуальной, слуховой или другой сенсорной информации на мир, чтобы улучшить свой опыт.
  • Розничные торговцы и другие компании могут использовать дополненную реальность для продвижения товаров или услуг, запуска новых маркетинговых кампаний и сбора уникальных данных о пользователях.
  • В отличие от виртуальной реальности, которая создает свою собственную киберсреду, дополненная реальность дополняет существующий мир таким, какой он есть.

Понимание дополненной реальности

Дополненная реальность продолжает развиваться и становится все более распространенной среди широкого спектра приложений.С самого начала маркетологам и технологическим компаниям приходилось бороться с представлением о том, что дополненная реальность — это не более чем маркетинговый инструмент. Однако есть свидетельства того, что потребители начинают извлекать ощутимые выгоды из этой функциональности и ожидают, что она станет частью их процесса покупки.

Например, некоторые ранние пользователи в секторе розничной торговли разработали технологии, призванные повысить качество покупательского опыта потребителей. Внедряя дополненную реальность в приложения-каталоги, магазины позволяют потребителям визуализировать, как разные продукты будут выглядеть в разных средах.Что касается мебели, покупатели направляют камеру на соответствующую комнату, и товар появляется на переднем плане.

В другом месте преимущества дополненной реальности могут распространиться на сектор здравоохранения, где она может сыграть гораздо более важную роль. Один из способов — использовать приложения, которые позволяют пользователям видеть высокодетализированные трехмерные изображения различных систем организма, когда они наводят свое мобильное устройство на целевое изображение. Например, дополненная реальность может стать мощным инструментом обучения для медицинских работников на протяжении всего их обучения.

Некоторые эксперты давно предполагают, что носимые устройства могут стать прорывом в области дополненной реальности. В то время как смартфоны и планшеты показывают крошечную часть ландшафта пользователя, умные очки, например, могут обеспечить более полную связь между реальным и виртуальным миром, если они разовьются достаточно, чтобы стать мейнстримом.

Дополненная реальность и виртуальная реальность

Дополненная реальность использует существующую среду реального мира и помещает поверх нее виртуальную информацию для улучшения восприятия.

Напротив, виртуальная реальность погружает пользователей, позволяя им «жить» в совершенно другой среде, особенно в виртуальной, созданной и отображаемой компьютерами. Пользователи могут быть погружены в анимированную сцену или в реальное место, которое было сфотографировано и встроено в приложение виртуальной реальности. С помощью средства просмотра виртуальной реальности пользователи могут смотреть вверх, вниз или в любую другую сторону, как если бы они действительно находились там.

Что такое дополненная реальность (AR)? Практический обзор

Дополненная реальность (AR) — это технология, которая позволяет людям накладывать цифровой контент (изображения, звуки, текст) на реальную среду.AR привлекла большое внимание в 2016 году, когда игра Pokémon Go позволила взаимодействовать с покемонами, наложенными на мир, через экран смартфона.

С тех пор дополненная реальность становится все более популярной. Apple представила свою платформу ARKit в 2017 году, а позже в том же году Google запустила прототипы веб-API. А еще есть очки AR от Apple, которые, по слухам, появятся в продаже в конце этого года, которые позволят пользователям испытать AR-очки, не глядя в телефон.

Другими словами, AR находится на грани того, чтобы стать частью повседневной жизни.Если вам все еще интересно, что это такое, вы попали в нужное место. В этой статье мы исследуем, что такое AR, с упором на его практическое и коммерческое применение.

Что такое дополненная реальность (AR)?

Дополненная реальность — это то, на что она похожа: реальность, дополненная интерактивными цифровыми компонентами. Наиболее часто используемые приложения AR в наши дни полагаются на смартфоны для демонстрации мира с цифровыми дополнениями: пользователи могут активировать камеру смартфона, просматривать реальный мир вокруг себя на экране и полагаться на приложение AR для улучшения этого мира любым количеством способов. через цифровые оверлеи:

  • Наложение изображений, цифровой информации и / или 3D-моделей
  • Добавление направлений в реальном времени
  • Вставка этикеток
  • Изменение цвета
  • Изменение внешнего вида пользователя или его среды с помощью «фильтров» в Instagram, Snapchat и других приложениях

Различные устройства могут отображать AR, и их список только растет: экраны, очки, карманные и мобильные устройства, а также дисплеи на голове.

Чтобы понять, что такое AR, также важно понимать, чем это не является.

AR — это , а не , полное погружение в виртуальную реальность (VR). В то время как виртуальная реальность требует от пользователей надевания специальной гарнитуры и втягивает их в полностью цифровой мир, AR позволяет им продолжать взаимодействовать с физическим миром вокруг них (см. Рисунок 1).

Рис.1: Не иммерсивный опыт AR (L), полностью иммерсивный опыт VR (R)

Распространенные варианты использования дополненной реальности

Так что же в наши дни используется дополненная реальность? Намного больше, чем просто помогать людям выслеживать карманных монстров.Фактически, в 2020 году почти каждая отрасль нашла способы применить технологию AR для улучшения процессов и результатов. Обычно используется…

  • Обучение и обучение : Динамические инструкции на основе AR позволяют людям выполнять новые задачи легче и быстрее, чем традиционные методы обучения (например, инструкции по эксплуатации). По мере того, как носимые устройства, такие как умные очки с поддержкой AR, контакты AR и гарнитуры AR, становятся все более доступными, потенциал для обучения с помощью дополненной реальности будет огромным.
  • Развлечения : AR уже много лет улучшает развлечения. В 2012 году голограмма Тупака Шакура появилась на сцене со Снуп Доггом на Коачелле. В этом году агентством талантов CAA был подписан аватар с компьютерной графикой, который является влиятельным лицом в Instagram. А чтобы адаптироваться к реалиям пандемии COVID-19, группа Real Estate предложила «Карантур», то есть тур с дополненной реальностью, чтобы заменить живые выступления, которые ей пришлось отменить из-за карантина по всему миру.
  • Игры : Сегодня десятки других игр включают элементы AR.Популярность игр AR не удивительна, поскольку игры были одним из самых очевидных ранних приложений, которые многие люди видели для возможностей AR и VR.
  • Продажа : В наши дни можно виртуально примерить или опробовать различные товары перед покупкой через приложения с дополненной реальностью: приложение Sephora позволяет просматривать косметику в AR на вашем лице; ИКЕА предлагает возможность «увидеть» мебель в вашем доме; марки красок позволяют виртуально просматривать цвета на стенах; Warby Parker позволяет «примерить» оправы для очков, не посещая магазин и не заказывая образцы.До пандемии эти предложения позволили улучшить впечатления от покупки в магазине или немного облегчить жизнь занятым покупателям. Теперь они позволили многим брендам продавать товары покупателям, застрявшим в своих домах. Приложения AR для электронной коммерции скоро станут нормой.

Сегодня большинство возможностей дополненной реальности стало возможным благодаря смартфонам. Однако разработка более совершенных устройств AR (таких как очки Apple AR или Hololens от Microsoft) может открыть дверь для еще большего числа приложений.

Преимущества AR только продолжают распространяться на новые сектора, такие как здравоохранение, производство, коммунальные услуги, телекоммуникации, образование и общественная безопасность.

Назначьте время для разговора со специалистом по дополненной реальности

Представьте, например, что вы просматриваете мебель IKEA в комфортной вашей физической среде через AR, заказываете ее в Интернете, а затем получаете ее с инструкциями по сборке, которые проецируются прямо на предметы в коробке, благодаря вашим очкам с поддержкой AR.Возможности безграничны и бесконечно увлекательны.

Продажа с использованием дополненной реальности: внимательный взгляд

Хотя все вышеупомянутые варианты использования дополненной реальности интригуют, наиболее актуальным для большинства компаний — особенно в то время, когда предприятия по всему миру были вынуждены закрывать свои двери для пешеходов, — являются продажи с использованием дополненной реальности.

Чтобы узнать больше о том, как дополненная реальность может улучшить торговые возможности бренда, ознакомьтесь с этими статьями:

Технология дополненной реальности: что нужно брендам?

Обещание продавать больше с помощью AR является убедительным, но оно также поднимает важный вопрос: какие технологии нужны компании, чтобы внедрить функции дополненной реальности на свой существующий веб-сайт?

Ответ, конечно, будет отличаться в зависимости от бренда, но короткая версия заключается в том, что добавить AR на веб-сайт сегодня намного проще, быстрее и доступнее, чем это было даже пару лет назад, благодаря новому программному обеспечению на рынке. .

Если вас заинтриговал потенциал AR для улучшения вашей прибыли, вот несколько руководящих принципов, о которых следует помнить:

  • Функциональность AR должна присутствовать на вашем веб-сайте, а не в специальном приложении AR . Клиенты не хотят загружать приложение только для того, чтобы использовать функции дополненной реальности. Чтобы насладиться ростом продаж, который могут предложить функции AR, устраните ненужные препятствия для их использования.
  • Программное обеспечение для создания AR может сэкономить ваше время, энергию и деньги .Несколько лет назад любому бренду, который хотел дополненную реальность, приходилось создавать саму функциональность с нуля. Сегодня программное обеспечение, такое как Threekit, позволяет создавать контент AR с помощью модели SaaS. Это делает путь к AR более плавным, быстрым и доступным.
  • Сборка AR для смартфонов . Опять же, если вам нужны преимущества, которые предлагает AR, вы должны максимизировать шансы, что ваши клиенты будут использовать его. Это означает создание возможностей дополненной реальности, которые работают с технологиями, которые есть у большинства людей сегодня, а именно со смартфонами (такими как iPhone и Android).

Чтобы узнать больше о технологиях, поддерживающих дополненную реальность, ознакомьтесь с нашим руководством «Состояние дополненной реальности в Интернете».

Коммерческие возможности AR: только растут

Дополненная реальность может улучшить многие аспекты клиентского опыта, даже если этот опыт происходит в пределах жизненного пространства клиента. Он сочетает в себе реальный и виртуальный мир в реальном времени со всеми возможностями визуализации личных покупок и простотой пребывания дома.

В эпоху все большей зависимости от электронной коммерции это означает, что дополненная реальность является мощным инструментом визуализации, который бренды в различных отраслях могут использовать для улучшения своих отношений с клиентами и, в конечном итоге, повышения своей прибыли.

Но не верьте нам на слово. Ниже приведены лишь некоторые статистические данные, которые показывают, что влияние AR в бизнесе только растет:

  • 61% потребителей говорят, что они предпочитают розничных продавцов, которые предоставляют возможности дополненной реальности.
  • 71% покупателей говорят, что они бы делали покупки чаще, если бы могли использовать AR.
  • Использование технологии AR в электронной коммерции может увеличить коэффициент конверсии на 40% .

Готовы узнать, как дополненная реальность может помочь вашей компании? Запланируйте демонстрацию сегодня.

Новая система дополненной реальности позволяет пользователям смартфонов опробовать виртуальные объекты

PROVIDENCE, RI [Университет Брауна] — новая программная система, разработанная исследователями Университета Брауна, превращает сотовые телефоны в порталы дополненной реальности, позволяя пользователям размещать виртуальные строительные блоки, мебель и другие объекты на фоне реального мира и использовать свои руки. манипулировать этими объектами, как если бы они действительно были там.

Разработчики надеются, что новая система, названная Portal-ble, может стать инструментом для художников, дизайнеров, разработчиков игр и других людей, чтобы экспериментировать с дополненной реальностью (AR). Команда представит свою работу позже в этом месяце на симпозиуме ACM по программному обеспечению и технологиям пользовательского интерфейса (UIST 2019) в Новом Орлеане. Исходный код для Android бесплатно доступен для загрузки на веб-сайте исследователей, а код для iPhone скоро появится.

«AR станет отличным новым способом взаимодействия», — сказал Джефф Хуанг, доцент кафедры информатики в Brown, который разработал систему со своими учениками.«Мы хотели сделать что-то, что сделало бы AR портативным, чтобы люди могли использовать его где угодно без громоздких гарнитур. Мы также хотели, чтобы люди могли взаимодействовать с виртуальным миром естественным образом с помощью рук ».

Хуанг сказал, что идея «практического» взаимодействия Portal-ble возникла из-за некоторого разочарования в приложениях AR, таких как Pokemon GO. Приложения AR используют смартфоны для размещения виртуальных объектов (например, персонажей покемонов) в реальных сценах, но для взаимодействия с этими объектами пользователи должны проводить пальцем по экрану.

«Смахивание пальцем было неудовлетворительным способом взаимодействия», — сказал Хуанг. «В реальном мире мы взаимодействуем с объектами руками. Поворачиваем дверные ручки, поднимаем и бросаем вещи. Поэтому мы подумали, что ручное управление виртуальными объектами будет намного эффективнее, чем смахивание. Вот что отличает Portal-ble.

В платформе используется небольшой инфракрасный датчик, установленный на задней панели телефона. Датчик отслеживает положение рук людей по отношению к виртуальным объектам, позволяя пользователям поднимать объекты, переворачивать их, складывать или бросать.Это также позволяет людям виртуально «рисовать» реальные фоны руками. В качестве демонстрации Хуанг и его ученики использовали систему, чтобы нарисовать виртуальный сад в зеленой зоне кампуса Браунс-Колледж-Хилл.

Хуанг говорит, что основной технический вклад в работу заключался в разработке правильных приспособлений и инструментов обратной связи, позволяющих людям интуитивно взаимодействовать с виртуальными объектами.

«Оказывается, подобрать виртуальный объект очень сложно, если вы попытаетесь применить физику реального мира», — сказал Хуанг.«Люди пытаются схватить не в том месте или просовывают пальцы в предметы. Поэтому нам пришлось наблюдать, как люди пытаются взаимодействовать с этими объектами, а затем заставить нашу систему приспособиться к этим тенденциям ».

Для этого Хуанг привлек студентов в класс, который он преподавал, чтобы они придумывали задачи, которые они могли бы захотеть выполнять в мире AR — например, складывание набора блоков. Затем ученики попросили других людей попробовать выполнить эти задачи с помощью Portal-ble, записав, что люди могли делать, а что нет.Затем они могли настроить физику системы и пользовательский интерфейс, чтобы сделать взаимодействие более успешным.

«Это немного похоже на то, что происходит, когда люди рисуют линии в Photoshop», — сказал Хуанг. «Линии, которые рисуют люди, никогда не бывают идеальными, но программа может сгладить их и сделать идеально прямыми. Это были те приспособления, которые мы пытались создать с помощью этих виртуальных объектов ».

Команда также добавила сенсорную обратную связь — визуальное выделение объектов и вибрацию телефона — чтобы упростить взаимодействие.Хуанг сказал, что он несколько удивлен, что вибрация телефона помогает пользователям взаимодействовать. Пользователи ощущают вибрацию в руке, которой они держат телефон, а не в руке, которая на самом деле хватается за виртуальный объект. Тем не менее, по словам Хуанга, виброотклик по-прежнему помогает пользователям более успешно взаимодействовать с объектами.

В последующих исследованиях пользователи сообщили, что приспособления и обратная связь, используемые системой, значительно упростили задачи, отнимали меньше времени и приносили большее удовлетворение.

Хуанг и его ученики планируют продолжить работу с Portal-ble, расширяя его библиотеку объектов, улучшая взаимодействия и разрабатывая новые виды деятельности. Они также надеются оптимизировать систему, чтобы она работала полностью на телефоне. В настоящее время инфракрасный датчик требует инфракрасного датчика и внешнего вычислительного модуля для дополнительной вычислительной мощности.

Хуанг надеется, что люди загрузят свободно распространяемый исходный код и попробуют его сами.

«Мы действительно просто хотим выложить это и посмотреть, что люди с этим делают», — сказал он.«Код находится на нашем веб-сайте, и люди могут его скачать, отредактировать и создать. Будет интересно посмотреть, что люди с ним сделают ».

Соавторами исследования были Цзин Цянь, Цзяцзю Ма, Сянъю Ли, Бенджамин Аттал, Хаомин Лай, Джеймс Томпкин и Джон Хьюз. Работа поддержана Национальным научным фондом (IIS-1552663) и подарком от Pixar.

.

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *