У нас в руках оказывается нетронутый запас аудиовизуального восприятия. Насколько он велик? Как волшебные объекты могут использовать нашу способность видеть что-то, расположенное не прямо у нас под носом? Давайте для начала сфокусируемся на визуальном восприятии, раз оно является ключевым методом считывания информации. Благодаря научным исследованиям мы знаем, что наше поле зрения не делится строго на фовеальное (центральный фокус) и периферийное. Данные окулографии показывают, что наши глаза сканируют окружающий мир весьма примечательным образом. Они находятся в постоянном движении, перебегая с одного на другое, фокусируясь то тут, то там. Работа мозга состоит в том, чтобы собирать эти изображения в единое целое в режиме реального времени.

Поразительно, что при этом мозг постоянно фокусируется на лицах. В отличие от других животных человек в состоянии различить мельчайшие детали в лицах и мимике. Эта способность появилась в глубокой древности, помогая нам узнавать своих издалека, отличать друга от врага и говорящего правду от обманщика. Мы обладаем выдающейся способностью считывать информацию с малейших движений рта, глаз и других участков лицевой мускулатуры, мгновенно распознавать цвет глаз, изменения формы, шрамы, морщины и складки.

Все мы догадываемся об этом, но Герман Чернов, почетный профессор прикладной математики в МТИ и профессор статистики Гарварда, провел в 1973 г. весьма остроумный эксперимент, призванный подкрепить наше интуитивное понимание ситуации научными доказательствами1. Чернов попытался связать некоторую условную информацию с выражениями лица, чтобы выяснить, насколько лучше человек запоминает числовые данные, если они увязаны с мимикой. Для чистоты эксперимента ему была необходима такая информация, с которой испытуемые были бы заведомо незнакомы, поэтому он избрал результаты геологических замеров одной из шахт в Колорадо. Выбор был случайным — ни шахты, ни геология не имели никакого отношения к сути эксперимента. Отобрав несколько десятков замеров, он сгенерировал на компьютере изображения лиц, которые соответствовали каждому из них. Как вы уже, вероятно, догадались, изображения несколько разнились между собой — формой рта, разрезом глаз и т.д. Испытуемые оказались в состоянии различать выражения лиц так же легко и последовательно, как разницу между цифрами, и могли выстраивать связи между различными типами «лицевой информации», группируя их по тому или иному признаку.

Общий вывод, который можно сделать из эксперимента Чернова, состоит в том, что наша способность считывать выражения лица может быть использована для значительно более широкого спектра задач, нежели просто распознавание эмоций. Но каких результатов мог бы добиться Чернов, если бы скомбинировал механические навыки распознавания мимических движений с нашими навыками распознавания, толкования и отклика на эмоции? Например, один замер соответствует золотому самородку и закреплен за лицом с жадной ухмылкой, а другой, напротив, означает пустую породу и прикреплен к равнодушному лицу.

Люди обладают столь же развитым навыком распознавания звука, разных его типов, вариаций громкости и частоты, последовательностей и комбинаций. Что, если мы научимся задействовать эти способности более полно в создаваемых волшебных объектах? В то время как испытуемые Чернова обрабатывали большие массивы данных благодаря способности распознавать небольшие мимические движения, мы могли бы попробовать нечто аналогичное в области слухового восприятия — распределить части информации между большим набором звуков и мелодий. Мы уже задействуем эту способность — пусть весьма грубо и искусственно — в том, что касается именных рингтонов, закрепленных за определенными номерами наших записных книжек в мобильных телефонах. Здесь явно кроется большой нереализованный потенциал.

Использование незадействованных способностей для многозадачных взаимодействий

Сколько дел вы можете делать одновременно, используя разные органы чувств? Если вы сфокусированы на выполнении какой-то визуальной задачи, насколько можно загрузить слуховое восприятие? Можете ли вы слушать новости или спортивный матч, писать e-mail или рисовать и следить за детьми одновременно? Насколько эти способности выражены у разных людей? Зависит ли способность делать много дел одновременно от возраста?

Когда я был ребенком, мой отец брал меня с собой в канадскую глушь летом на неделю, чтобы порыбачить. Дорога от нашего родного Мэдисона была неблизкая, и мы всегда слушали аудиокниги и старые радиопостановки на кассетах из библиотеки. Среди последних моими любимыми были «Одинокий рейнджер» и «Тень». В то время я об этом не задумывался, но на самом деле ни мне, ни моему отцу не было сложно следить за повествованием или слушать музыку, потому что слух практически не задействован в процессе вождения. В то время как осязание и зрение у отца были полностью заняты, канал слухового восприятия оставался совершенно свободен.

Незадействованные или не полностью используемые каналы восприятия подкидывают нам новые возможности для создания волшебных объектов. Многие из тех, кто работает с информацией, совершенно не задействуют слуховое восприятие, так как в основном они заняты чтением и ведением записей, электронной перепиской, составлением финансовых моделей, правкой документов и презентаций. Какую дополнительную информацию они могли бы воспринимать на слух, не отвлекаясь от своей основной задачи?

Профессор Технологического института Джорджии Брюс Уокер разработал систему SoundScapes, которая позволяет использовать незадействованное слуховое восприятие для обработки информации. В основе работы системы лежит тот же принцип «лиц Чернова», однако вместо изображений Уокер использует набор звуков природы, за каждым из которых закреплен определенный тип данных о состоянии фондовой биржи.