Найти дар речи: ученые смогли поговорить с парализованной женщиной с помощью цифрового аватара
Общение с парализованными людьми до сих пор остается огромной проблемой в мире медицины и технологий. Работать с такими пациентами особенно тяжело: они не могут рассказать о собственном состоянии и их сознание оказывается как бы запертым в ловушку тела. Однако исследователи наконец-то стали на шаг ближе к решению этой проблемы. Рассказываем, как им удалось пообщаться с парализованной женщиной.
Женщина не могла нормально общаться в течение 18 лет
В эксперименте участвовала 47-летняя пациентка по имени Энн. Женщина потеряла возможность двигать практически всем телом более 18 лет назад, после того как перенесла инсульт стволов головного мозга. После этого она не могла говорить или печатать на машинке: пациентке приходилось общаться с помощью технологии отслеживания глаз, которая позволяла ей печатать. Так, Энн могла «произносить» до 14 слов в минуту, что сильно осложняло ее коммуникацию с окружающими. Дело в том, что при естественном живом общении, люди в среднем говорят около 110-150 слов в минуту. Таким образом, пациентка испытывала трудности с социализацией и не чувствовала себя комфортно в повседневной жизни.
К сожалению, удручающе медленными синтезаторами речи, которые генерируют слова с помощью отслеживания взгляда и небольших движений лица, вынуждены пользоваться практически все люди, которые оказались в схожей с Энн ситуации. Так, совсем молодые мужчины и женщины оказываются заложниками собственного тела, а естественный разговор для них становится невозможным. Однако ученые наконец-то приблизились к решению данной проблемы.
Как работает новая технология
В ней используются крошечные электроны, которые имплантируются на поверхность мозга в той его части, которая отвечает за речь и мимику. В результате аппарат фиксирует соответствующую электрическую активность внутри органа и передает данные специальному цифровому аватару. В соответствии с полученной командой изображение принимает то или иное выражение лица, а также говорит те фразы, о которых подумал пациент.
После того как Энн импортировали прямоугольник толщиной с бумагу из 253 электродов, она вместе с исследователями приступила к работе с алгоритмами искусственного интеллекта. Система должна была научиться верно распознавать и считывать уникальные сигналы мозга пациентки, которые соответствовали тому или иному выражению лица и звукам речи. Компьютеру удалось запомнить 39 отличительных звуков, после чего языковая модель, аналогичная чату GPT, перевела их в понятные предложения.
Таким образом Энн получила возможность управлять голосовым аватаром. При этом программа звучала максимально похоже на то, как она разговаривала до травмы: ученые использовали запись ее речи со свадьбы, чтобы сделать звучание максимально похожим на естественный голос.
Что планируют ученые
В тестовом режиме, который включал около 500 фраз, слова расшифровывались с ошибками в 28% случаев. Однако скорость работы прототипа была значительно выше, чем у существующих аналогов, и достигала 78 слов в минуту.
Даже такой результат позволяет назвать разработку для пациентов. Команда экспертов, которая работала над проектом, признается, что существующий образец — значительный скачок по сравнению с предыдущими результатами.
В будущем исследователи планируют создать беспроводную версию программы, которую можно было бы имплантировать под череп. При этом потенциал разработки не заканчивается на узконаправленной медицинской проблеме: обычные люди смогут использовать ее, чтобы удаленно контролировать собственные компьютеры и мобильные телефоны.
