Слух помогает нам увидеть, откуда исходят услышанные нами звуки.

Слыша карканье откуда-то с дерева, мы поднимаем глаза и видим то, что и ожидаем увидеть — ворону. Мы увидим её прежде, чем, например, белку, которая сидит на соседней с вороной ветке. Точно так же, услышав гул самолёта, мы в первую очередь видим самолёт, а не пролетающую гораздо ближе к нам ворону. Происходит так потому, что слух помогает зрению быстрее обработать именно ту информацию, которая имеет отношение к источнику звука. Более того, если глазу трудно понять, что именно издаёт звуки, то слух понудит зрение увидеть именно то, что больше всего соответствует звукам, которые мы слышим.

(Фото: Mark Paton / Unsplash.com) 

Сотрудники Федеральной политехнической школы Лозанны и Калифорнийского университета в Сан-Диего поставили несколько экспериментов, в которых добровольцам показывали ряд картинок и давали послушать определённые звуки. На картинках один объект постепенно превращался в другой: самолёт становился птицей, кошка — чайником и т. д. На некоторых изображениях объекты были вполне хорошо различимы, то есть легко было понять, что перед тобой именно кошка, или парящая птица, или чайник, или самолёт. На других картинках характерные черты разных объектов были смешаны, и тут уже трудно было решить, что именно ты видишь, кошку или чайник, самолёт или птицу.

Картинка несколько секунд проступала в зашумлённом изображении, и пока она проступала, человек слышал определённый звук. После нужно было сказать, что именно тебе только что показали. Звуки, как можно догадаться, были кошачьим мяуканьем, свистом закипающего чайника, гулом самолёта, карканьем ворона и т. д. Иногда они совпадали с изображением (то есть на картинке с кошкой было слышно кошку), а иногда нет (и тогда на картинке с кошкой человек слышал, например, карканье ворона). При этом, отвечая на вопрос, что ты видел, нужно было выбрать картинку из всего ряда превращений; то есть тебе одновременно показывали серию слайдов, на которых кошка превращается в чайник, и из этой серии ты выбирал тот, который, как тебе кажется, ты только что видел.

Экспериментальные картинки с превращениями одних объектов в другие: кошки в чайник, самолёта в ворона, молотка в тюленя, козы в мопед. (Иллюстрация: Jamal R. Williams et al, Psychological Science, 2022)

В статье в Psychological Science исследователи пишут, что люди выбирали картинку быстрее, если звук имел отношение к тому, что они видели. Иными словами, если на картинке из ряда «кошка–чайник» звучал самолёт, то человек дольше думал над тем, что он увидел. Если же звучал свисток чайника или кошачье мяуканье, то времени на размышление уходило меньше — и, что важно, человек выбирал ту картинку, которая больше всего соответствовала звуку. Например, когда картинку с «кошкочайником» сопровождал свисток чайника, то потом человек выбирал изображение, где было больше характерных особенностей чайника: ему казалось, что он видел именно чайник. И наоборот, если на картинке с «кошкочайником» звучало мяуканье, то потом человеку казалось, что он видел преимущественно кошку.

Но, может быть, звук влияет не столько на восприятие, сколько на последующее принятие решения? Исследователи повторили эксперимент, только теперь они сравнивали, как отвечают люди, когда они слышат звук одновременно с картинками, и когда они слышат звук после того, как им показали картинку, когда им нужно вспомнить, что они видели, и решить, как отвечать. Оказалось, что звук влияет на ответы только тогда, когда он идёт вместе с изображением.

Тут есть и вероятность того, что звук заранее заставляет сосредоточиться на тех или иных зрительных сигналах. Эксперимент повторили, только теперь звук слышался до того, как перед глазами возникала картинка. Звук «до», как и звук «после», на ответы не влиял. То есть имеет значение только звук «во время» — или, иными словами, слух влияет на зрение при одновременном восприятии слуховой и зрительной информации. Речь идёт именно о непосредственном взаимодействии тех систем, которые отвечают за обработку звуковых и зрительных данных. Можно представить ситуацию, когда мы очень ждём встречи с кем-то, и вот мы замечаем этого человека издалека и слышим голос тоже издалека, несмотря на уличный шум, но тут дело уже в другом — в предвкушении, в эмоциях, во внимании, которые помогают сосредоточиться на конкретных аудиовизуальных сигналах.

Не только слух влияет на зрение, но и зрение на слух. Несколько лет назад мы рассказывали о том, как наши глаза, переходя взглядом с одного на другое, готовят барабанные перепонки к новым звукам. А два года назад в журнале Scientific Reports была опубликована статья о том, что плохое зрение искажает звуковую информацию: люди с расстройствами зрения сильнее ошибаются, когда пытаются определить расстояние до источника звука, а также ошибаются в размерах помещения, когда пробуют оценить их на слух.