Ученые восстановили пение птицы по активности мозга — это поможет немым людям заговорить
Почему птицы?
На пении птиц очень удобно изучать вокальное поведение людей.
Птичья песня местами очень похожа на человеческую речь. Исследуя ее, ученые разобрались во множестве механизмов, которые нужны для приобретения и поддержания вокально-моторных навыков.
Исследователи придумали вокальный синтезатор пения птиц — ученые из Калифорнийского университета в Сан-Диего США воспроизвели песню зебровой амадины.
Взрослым самцам имплантировали кремниевые электроды в мозг и, пока птицы пели, ученые следили за активностью их мозга.
С помощью электродов ученые регистрировали активность нейронов в сенсомоторной части мозга, которая контролирует мышцы, отвечающие за пение.
Работа опубликована в журнале Current Biology.
Как нейронная сеть понимает, о чем поет птица?
Здесь в игру вступило машинное обучение — исследователи загрузили данные в алгоритмы.
Сеть не понимает, как поет птица, а восстанавливает песню по фрагментам.
Алгоритмы воссоздают компьютерные копии реальных песен зебровой амадины на основе записанной нейронной активности, не получая звуковых фрагментов.
Чтобы алгоритмам было проще учиться, ученые разделили песню на паттерны вокализации — изменения давления и напряжения в сиринксе птиц во время пения.
Исследователи обучили алгоритмы сопоставлять нейронную активность с этими паттернами.
Следующий шаг исследования — научить систему реконструировать пение птиц по нейронной активности в реальном времени, а не по записи.
Трудность в том, что пение птиц включает в себя не только воспроизведение звука, но и постоянное наблюдение за тем, что происходит вокруг, а также обратную связь от других птиц. Птицы сами слушают свои песни и изменяют их, исходя из того, что в тот момент услышали и увидели, и хотят спеть дальше.
В итоге разработка должна помочь создать вокальный протез для людей, которые лишись возможности говорить. Он должен работать в режиме реального времени, чтобы человек контролировал то, что говорит.
После того как нейросеть научится воспроизводить песню птицы в реальном времени, технологию нужно будет испытывать на людях. Сложность в том, что птицам имплантировали электроды непосредственно в мозг — на людях такие эксперименты ставить нельзя, поэтому скорее всего придется использовать электроэнцефалографию, которая выглядит как присоски на голову или шапочка с датчиками. Через нее сигнал будет с помехами, поэтому, помимо того, что человеческая речь куда сложнее птичьего пения, разбивать речь на четкие фрагменты будет сложно из-за шумовых помех.
Люди разговаривают на разных языках, с разными интонациями, акцентами — прибор нужно будет калибровать под каждого пользователя индивидуально.
Прибор в первую очередь поможет тем людям, у которых когда-то ранее был навыки речь, и они их потеряли, потому что они помнят, как пользоваться своими связками, и их мозг знает, как разговаривать.
Для тех, кто не разговаривал с рождения, скорее всего, будет разработан другой механизм.
Мы взяли данные исследований за последние 40 лет, чтобы создать речевой протез — устройство, которое не просто преобразует сигналы мозга в рудиментарный набор целых слов, но дает ему возможность издавать любой звук, а значит, и любое слово, которое можно себе представить
一 Тимоти Гентнер, Автор работы