Такая технология могла бы, например, позволить хирургу работать на виртуальном мозге, получив необходимый осязательный опыт перед выполнением аналогичной операции в реальном мире. Художники и дизайнеры, работающие с различными физическими материалами, такими как, например, глина, смогут двигать объекты собственными руками и хранить их в своем компьютере. Хорнбэк предполагает, что с помощью такого дисплея вы сможете держать руку вашего близкого человека, даже находясь на другом континенте.

Эсбен Варминг Педерсен, член исследовательской группы Копенгагенского университета, объясняет, чем отличается работа деформируемого дисплея от того, как работают обычные стеклянные сенсорные экраны. «Все, что видит iPad, – это кончик пальца, касающийся стекла. Так, когда iPad пытается определить, где и как мы его касаемся, устройство можно рассматривать как своего рода систему координат». Деформируемый дисплей имеет более сложный принцип работы: когда вы прикладываете палец к экрану, камера считывает информацию в трех изменениях и определяет силу давления пальца на поверхность. Педерсен работает над разработкой алгоритмов компьютерного зрения, которые позволят распознавать эти трехмерные данные и использовать их таким образом, чтобы компьютер мог лучше понять и применить их в своей работе.

Одна из проблем, которую обозначает Педерсен, заключается в том, что мы еще не знаем, как работать с этими новыми экранами. Он говорит о том, что к настоящему моменту уже выработался определенный «словарь» для взаимодействия с двумерными дисплеями, например, если свести пальцы, изображение уменьшится, а если смахнуть пальцем картинку, она сменится другой. Однако если говорить о жестах в трехмерном пространстве, или деформируемых жестах, использование таких экранов уже становится менее очевидным. Педерсен в настоящее время занимается разработкой такого интуитивного словаря новых жестов.

Педерсен и Хорнбэк опубликовали [37] в 2014 году исследование по распознаванию жестов, где респондентов попросили показать жесты, которые они находят подходящими для выполнения различных задач, таких как выбор, навигация и трехмерное моделирование на деформируемом экране. Среди жестов, которые предлагали участники исследования, были движения за дисплеем, толчок ладонью с вытянутыми пальцами, захват и скручивание.

Компания Disney Research Labs использует другой подход к технологии тактильной стимуляции, не делая упор на разработку специальных экранов, но развивая новые способы для взаимодействия с системой. Технология REVEL [38] , разработанная в 2012 году Иваном Пупыревым и Оливье Бо, может обеспечить интеграцию искусственных тактильных ощущений не только в сенсорные экраны, но и в предметы повседневного пользования, такие как мебель, стены, деревянные и пластиковые предметы и даже человеческую кожу.

REVEL использует новый тактильный эффект, которому Disney Research Labs дала название реверсивная электровибрация [39] . Работа устройства заключается в том, что оно выдает слабый электрический сигнал в тело пользователя, создавая колебательное электрическое поле вокруг его пальцев. Когда пользователь проводит пальцами по поверхности объекта, он чувствует соприкосновение с определенной текстурой, что создает дополненную реальность. Различные тактильные ощущения могут быть созданы путем изменения уровня сигнала.

Гладкий пластиковый предмет может показаться на ощупь шершавым и неровным, хотя на самом деле он не такой. REVEL можно применить к AR, чтобы добавить текстуру к виртуальному контенту, проецируемому на стол, стены или отображаемому через AR-очки. REVEL также может использоваться без очков или проекций для создания дополненной реальности к существующим объектам, таким как, например, стеклянные витрины в музеях, что могло бы позволить посетителям ощущать артефакты, которые могут быть хрупкими и единственными в своем роде, а в определенных случаях и вовсе недоступными для прикосновения. Кроме того, REVEL может быть настроен индивидуально под каждого пользователя и может даже использоваться для отображения личного контента, такого как подсказки при восстановлении пароля, которые вы можете почувствовать.

В 2013 году Disney Research Labs также разработала AIREAL [40] . Эта технология обеспечивает тактильные ощущения в воздухе без необходимости носить или касаться какого-либо специального устройства. Такой эффект достигается путем стимуляции кожи пользователя полями давления сжатого воздуха с использованием воздушных завихрений (воздушных колец), позволяющих пользователям одновременно видеть и чувствовать проецируемые изображения.

Датчики глубины изображения, интегрированные в AIREAL, фиксируют в трехмерном режиме изменения положения рук, головы и тела пользователя. Например, спроецированная трехмерная бабочка может отображаться на руке пользователя. Движение руки пользователя отслеживается AIREAL, и направление завихрений регулируется в соответствии с движением крыльев бабочки. Первые отзывы пользователей подтверждают [41] : «физические ощущения от взаимодействия с виртуальной бабочкой соответствуют аналогичным реальным», что, по словам одного из пользователей, «ощущается как реальность – кажется, что бабочка настоящая».