Экспериментальная технология чтения мыслей предназначена для того, чтобы дать искусственный голос людям с тяжелым параличом, которые не могут говорить. Она работает за счет установки электродов на поверхность мозга в рамках имплантата, называемого нейропротезом, который позволяет ученым идентифицировать и интерпретировать речевые сигналы.

Интерфейс мозг-компьютер (BCI) использует искусственный интеллект для декодирования нейронных сигналов и может передавать речь из мозга практически в режиме реального времени, говорится в заявлении Калифорнийского университета (UC), Беркли. Ранее команда представила более раннюю версию технологии в 2023 году, но новая версия более быстрая и менее роботизированная.

«Наш подход к потоковой передаче речи привносит в нейропротезы те же возможности быстрого декодирования речи, что и в таких устройствах, как Alexa и Siri», — сказал в своем заявлении со-главный исследователь исследования Гопала Ануманчипалли, доцент кафедры электротехники и компьютерных наук Калифорнийского университета в Беркли. «Используя аналогичный алгоритм, мы обнаружили, что можем декодировать нейронные данные и впервые обеспечить практически синхронную передачу голоса».

Ануманчипалли и его коллеги поделились своими выводами в исследовании, опубликованном в понедельник (31 марта) в журнале Nature Neuroscience.

Первый человек, на котором была опробована эта технология, по имени Энн, в 2005 году перенес инсульт, в результате которого она была серьезно парализована и не могла говорить. С тех пор она позволила исследователям вживить ей в мозг 253 электрода для мониторинга той части мозга, которая контролирует речь — так называемой моторной коры, — чтобы помочь разработать технологии синтетической речи.

«По сути, мы перехватываем сигналы, когда мысль переводится в артикуляцию и в середине этого моторного контроля», — сказал соавтор исследования Чол Чжун Чо, докторант факультета электротехники и компьютерных наук Калифорнийского университета в Беркли. «То есть мы декодируем данные после того, как мысль уже возникла, после того, как мы решили, что сказать, после того, как мы решили, какие слова использовать и как двигать мышцами голосового тракта».

ИИ декодирует данные, полученные с помощью имплантата, и помогает преобразовать нейронную активность в синтетическую речь. Команда обучала алгоритм искусственного интеллекта, заставляя Энн беззвучно произносить предложения, которые появлялись на экране перед ней, а затем сопоставляя нейронную активность со словами, которые она хотела произнести.

Система отбирала сигналы мозга каждые 80 миллисекунд (0,08 секунды) и могла распознавать слова и преобразовывать их в речь с задержкой примерно до 3 секунд, говорится в исследовании. Это немного медленно по сравнению с обычным разговором, но быстрее, чем предыдущая версия, которая имела задержку около 8 секунд и могла обрабатывать только целые предложения.

Новая система выигрывает от преобразования более коротких окон нейронной активности, чем старая, поэтому она может непрерывно обрабатывать отдельные слова, а не ждать, пока закончится предложение. По словам исследователей, новое исследование — это шаг к созданию более естественно звучащей синтетической речи с помощью BCI.

«Это доказательство концепции — настоящий прорыв», — сказал Чо. «Мы с оптимизмом смотрим на то, что теперь сможем добиться прогресса на всех уровнях. Например, с инженерной стороны мы будем продолжать совершенствовать алгоритм, чтобы понять, как генерировать речь лучше и быстрее».

Дальнейшие улучшения направлены на повышение точности и скорости декодирования, а также на персонализацию системы для каждого пользователя. Команда планирует адаптировать алгоритм ИИ к индивидуальным особенностям нейронной активности каждого пациента, что позволит создать более естественный и интуитивно понятный интерфейс. Кроме того, исследователи работают над уменьшением размера имплантата и повышением его долговечности, чтобы обеспечить долгосрочное использование технологии.

Потенциал этой технологии выходит за рамки восстановления речи. В будущем она может быть использована для управления протезами конечностей, компьютерами и другими устройствами, предоставляя людям с параличом возможность взаимодействовать с окружающим миром.

Несмотря на многообещающие результаты, технология находится на ранней стадии разработки, и предстоит решить ряд проблем, прежде чем она станет доступной для широкого использования. К ним относятся вопросы безопасности, долговечности и стоимости имплантата, а также необходимость обучения и поддержки пользователей.

Тем не менее, это исследование знаменует собой значительный шаг вперед в области нейротехнологий и открывает новые горизонты для улучшения качества жизни людей с ограниченными возможностями.