Чтение мыслей и возвращение голоса: ученые воссоздали песню Pink Floyd из мозга слушателей

Более 10 лет назад неврологи из Медицинского центра Олбани зарегистрировали активность электродов, введенных в мозг людей, страдающих эпилепсией. Однако процедура также дала исследователям редкую возможность изучить то, как мозг реагирует на музыку. У подавляющего большинства людей структуры, отвечающие за понимание разговорной речи, находятся в левом полушарии мозга. Но многочисленные исследования показали, что восприятие музыки зависит от гораздо более широкой и сложной сети областей, которая может включать оба полушария. И это натолкнуло ученых на дальнейшие размышления о силе музыки.

В 2012 году группа специалистов впервые успешно восстановила аудиозаписи слов, которые участники услышали, когда им вживили электроды. Впоследствии другие эксперты использовали аналогичные методы для воспроизведения недавно просмотренных или воображаемых изображений, полученных в результате сканирования мозга, включая человеческие лица и пейзажные фотографии. Однако недавно опубликованная в журнале PLOS Biology работа — это первый пример того, что ученые могут прослушать мозг для воссоздания музыки.

Когда участники исследования слушали песню группы Pink Floyd «Another Brick in the Wall, Part 1»‎, электроды фиксировали электрическую активность нескольких областей мозга, настроенных на различные музыкальные элементы: тон, ритм, гармония и текст. Используя машинное обучение, ученые восстановили искаженное, но понятное звучание того, что слышали участники. Наиболее подробные записи мозга были получены от тех, кто слушал композицию впервые.

На восстановленной записи гитарные аккорды отдаются странным эхом, словно со дна колодца. Голос певца тоже нечеткий, слова едва различимы. Тем не менее, если знать, о чем пойдет речь, песня вполне узнаваема. Реконструированная мелодия дает новое представление о том, как происходит обработка музыки в мозге. Исследователи обнаружили, что некоторые участки центра обработки звука, расположенные в верхней височной извилине, чуть позади и над ухом, реагируют на начало звучания голоса или синтезатора, в то время как другие — на продолжительное гудение.

Почему исследователи решили поставить участникам именно эту песню? Они заявили, что просто любят Pink Floyd. Научная же причина заключается в том, что эта песня очень многослойна. В ней присутствуют сложные аккорды, различные инструменты и разнообразные ритмы, что делает ее интересной для анализа.

Команду интересовало не только чтение мыслей. Исследователи также пытались определить области мозга, ответственные за восприятие различных музыкальных особенностей. Для этого они подавали в модель нейронные записи, в которых данные с некоторых электродов были удалены, и наблюдали, как это отразится на воссоздаваемой песне. Такой подход позволил выявить новую область мозга, которая участвует в восприятии музыкального ритма, например, в звучании гитары. Работа подтвердила, что в восприятии музыки, в отличие от обычной обработки речи, участвуют обе половины мозга.

Исследователи надеются использовать технологию для помощи пациентам, которые потеряли возможность говорить в результате инсультов, травм или дегенеративных заболеваний. Благодаря достижениям в области вспомогательных технологий многие из этих пациентов уже сейчас общаются с помощью интерфейсов мозг-машина. Однако подобные технологии не способны адекватно воспроизвести музыкальную природу речи, поэтому голоса звучат скованно и роботизированно.

С другой стороны, интерфейсы мозг-машина, основанные на искусственном интеллекте, могли бы учитывать эти музыкальные элементы, позволяя пациентам общаться более естественно. Все-таки, независимо от языка, речь содержит мелодические нюансы, включая темп, ударение, акценты и интонацию. Эти элементы, называемые просодией, несут в себе смысл, который мы не можем передать одними только словами.