Дополненная реальность как новый интерфейс взаимодействия человека с компьютером

Коренберг В.М., Щелкунов М.Л., Котюжанский Л.А.

Сегодня можно смело говорить о стремительном устаревании традиционных оконных графических интерфейсов, управляемых клавиатурой и мышью, начало которым было положено еще в 80-е годы прошлого века.

Стремительное развитие интерактивных мультимедийных технологий требует появления новейших интерфейсов человеко-машинного взаимодействия.

Данные интерфейсы не используют привычные графические меню, формы или панели инструментов, они опираются на методы взаимодействия, присущие сугубо человеку, т.е. вместо традиционных средств управления используются обучающие примеры, жесты, человеческая речь.

Одним из примеров новейших интерфейсов взаимодействия человека и компьютера является технология, получившая название «дополненная реальность» (от англ. augmented reality, AR – расширенная реальность).

«Дополненная реальность» в широком смысле – это комплекс технологий, позволяющих вместе с ощущениями, поступающими из реального мира, получать дополнительные ощущения мнимых объектов, обычно вспомогательно-информативного свойства.

В узком смысле, т.е. в парадигме привязки технологии к интерфейсу взаимодействия человека и компьютера, дополненную реальность в большинстве случаев представляют как процесс совмещения объектов реального мира и объектов, сгенерированных компьютером. На сегодняшний день большинство исследований в области дополненной реальности сконцентрировано на использовании живого или интерактивного видео, подвергнутого цифровой обработке, «дополненного» компьютерной графикой.

Более серьёзные исследования включают отслеживание движения реальных объектов, распознавание координатных меток при помощи машинного зрения и конструирование управляемого окружения.

Не следует путать дополненную реальность с виртуальной. Их коренное различие в том, что дополненная реальность вносит отдельные искусственные элементы в восприятие реального наблюдаемого мира, а виртуальная реальность конструирует новый (абсолютно мнимый) искусственный мир.

Несмотря на то, что сама идея получения дополненной реальности возникла достаточно давно (первые упоминания в зарубежных источниках относятся к 1995 году), в настоящее время данные технологии используются достаточно ограниченно, как правило, в отдельных областях техники. Например, цветная линия, показывающая траекторию движения шайбы при трансляции хоккейного матча, наложенная на реальное изображение, есть элемент дополненной реальности. В современных боевых самолетах и вертолетах часто используется нашлемная система индикации. Она позволяет пилоту получать наиболее важную информацию об объектах прямо на фоне наблюдаемой им обстановки, не отвлекаясь на приборную панель. Это позволяет сэкономить драгоценные секунды, например, во время маневренного воздушного боя. В автомобильной промышленности достаточно давно практикуют проецирование показаний приборов на лобовое стекло, так, чтобы они гармонично накладывались на визуально воспринимаемую водителем обстановку. В кинотеатрах воспроизведение объемной звуковой картины совместно с видеорядом также есть элемент дополненной реальности в определенном смысле.

Технологии дополненной реальности позволяют демонстрировать совершенно новые свойства объектов и получать новые ощущения от привычных реальных вещей, используя стандартный персональный компьютер и стандартные периферийные устройства. Поэтому количество областей, где можно (и нужно) применять эти технологии, поистине безгранично.

Особую роль технологий дополненной реальности стоит отметить в области образования. Используя данные технологии, становится возможным изготавливать качественно новые методические материалы, интерактивные учебные пособия, виртуальные лабораторные стенды. С использованием технологий дополненной реальности мы можем визуализировать любое понятие, посмотреть и, что самое существенное, исследовать любой объект реального мира. Использование данных технологий поднимает учебные пособия на совершенно новый качественный уровень. Например, глядя на плоскую (напечатанную) геофизическую карту поверхности, мы можем видеть тот же регион, но уже объемно и текстурированно, с наличием характерных для данной области объектов.

К настоящему времени в мире для широкого применения разработано только несколько пилотных проектов, поскольку реализация технологий дополненной реальности крайне трудоемка и индивидуальна для каждой области применения. Существуют разрозненные библиотеки для производства ограниченного количества эффектов, но массового распространения технологии пока не получили из-за крайней трудоемкости.

Более того, чтобы действительно синтезировать дополненную реальность, необходимо учитывать ряд важных условий. Попробуем сформулировать основные критерии формирования качественной дополненной реальности.

Относительно небольшие затраты для создания приложений для широкого применения. Для того чтобы элементы технологии дополненной реальности можно было использовать в распространенных приложениях, стоимость разработки таких элементов необходимо существенно снижать.

Одним из путей снижения является использование стандартных, серийно выпускаемых устройств, например, стандартных WEB-камер, стандартных компьютеров, стандартных дисплеев невысокого разрешения.

Правдоподобное расположение виртуальных объектов. Виртуальный объект, будучи расположенным в определенной точке реально наблюдаемой сцены, должен так себя вести, чтобы у человека складывалось впечатление, что этот объект действительно является частью реально наблюдаемой сцены.Визуальная информация должна обновляться, по крайней мере, 15 раз в секунду, хотя желательно не менее 30. Любые задержки в позиционировании или реакции объекта будут очень заметны, и будут выделять его на общем фоне.

Правдоподобная передача не только визуального ощущения, но и другого, например, тактильного. Это можно в определенном смысле назвать термином WYSIWYF, или, иначе говоря, “What you see is what you feel” («Что вы видите, то и чувствуете»). Человек должен ощущать наличие или поверхность виртуального объекта в то же время и в том же месте в соответствии с получаемой визуальной информацией.

Виртуальные и реальные объекты визуально должны быть неотличимы. В дополнение к фотореалистичному отображению виртуальных объектов, что само по себе является неотъемлемым требованием дополненной реальности, визуальные перекрытия виртуальных и реальных объектов должны происходить корректно. Это, пожалуй, является одним из наиболее сложно реализуемых условий. Ведь мы совершенно не знаем, куда смотрит человек, какие объекты он видит, какие геометрические характеристики они имеют. Соответственно, не зная геометрических характеристик и расстояний между реальными объектами, мы не можем однозначно и правильно расположить в пространстве реальные и виртуальные объекты. Отметим, что в области виртуальной реальности эта проблема не возникает, поскольку все объекты отрисовываются программой, как раз исходя из их характеристик.

Виртуальные объекты должны обладать физикой реального мира. Это, в первую очередь, связано с ситуациями столкновения (или другого взаимодействия) виртуальных и реальных объектов.

Человек может как угодно перемещаться в дополненном пространстве. Технология должна давать возможность перемещаться в пространстве без каких-либо механических ограничений.

Система дополненной реальности должна быть проста в настройке и запуске. Для того, чтобы определить положение наблюдателя, многие системы дополненной реальности требуют определенной калибровки камеры, наблюдающей реальную сцену. Процесс калибровки достаточно сложен, особенно для камер с фиксированным фокусным расстоянием. Стандартные WEB-камеры, как правило, не имеют возможности изменять фокусное расстояние («зум»), а если и могут, то только путем программной пост-обработки полученного изображения.

Уралмультимедиацентр делает первые уверенные шаги в области исследования алгоритмов формирования дополненной реальности. В качестве универсального шага на текущем этапе исследований рассматривается метод управления виртуальной компонентой дополненной реальности. Для того, чтобы правильно совмещать виртуальные и реальные объекты, необходимо уметь правильно вычислять относительное положение реальных объектов и реальной сцены в целом. На сегодняшний день эта задача является крайне сложной, возможно даже нерешаемой, если реальные объекты заранее не определены. Поэтому для управления используется специальный маркер, представляющий собой высококонтрастное изображение, обычно состоящее из простейших геометрических фигур для облегчения процедуры распознавания. Анализируя получаемую проекцию маркера и его рисунок, система, таким образом, ориентируется в пространстве и дополняет контент виртуальным окружением.

В настоящее время разработан алгоритм определения пространственного (трехмерного) положения маркера с 6 степенями свободы (3 поступательных, 3 вращательных) на основе видеоизображения этого маркера и отслеживание его перемещения в пространстве. Алгоритм определяет смещение маркера в пространстве, изменение углов наклона относительно горизонта и относительно перпендикуляра к плоскости наблюдения.

Алгоритм базируется на стандартных аффинных преобразованиях в трехмерном пространстве. Рисунок маркера системе известен заранее. Сам маркер сконструирован таким образом, чтобы его вычленение не вызывало особых проблем, т.е. использованы высококонтрастные цвета (например, черный и белый), большие однотонные области. Определение проекции маркера на плоскость наблюдения позволяет вычислять углы наклона маркера относительно плоскости наблюдения. Отслеживая изменение углов, мы можем определять вращательные движения, а, отслеживая координаты проекции маркера и изменение его размера, мы можем получать информацию о поступательных движениях.

Но уже на данном этапе мы поставили себе еще более сложную задачу – в качестве маркера использовать человека, а именно исследовать технологию распознавания жестов.

Современный уровень развития технологии Flash позволяет внедрять эти элементы дополненной реальности в Интернет-сайты. Мы планируем разработать сайт, в котором будут использоваться технологии дополненной реальности и технологии распознавания жестов.