Основываясь на том, как модель искусственного интеллекта транскрибирует аудио в текст, исследователи смогли составить более точную карту активности мозга, происходящей во время разговора, чем традиционные модели, которые кодируют конкретные особенности структуры языка — такие как фонемы (простые звуки, из которых состоят слова) и части речи (существительные, глаголы и прилагательные).

Модель, использованная в исследовании под названием Whisper, берет аудиофайлы и их текстовые транскрипты, которые используются в качестве обучающих данных для сопоставления аудио с текстом. Затем она использует статистику этого сопоставления, чтобы «научиться» предсказывать текст по новым аудиофайлам, которые она ранее не слышала.

Таким образом, Whisper работает исключительно на основе этой статистики без каких-либо особенностей языковой структуры, закодированных в исходных настройках. Но, тем не менее, в исследовании ученые показали, что эти структуры все же появились в модели после ее обучения.

Исследование проливает свет на то, как работают подобные модели ИИ — так называемые большие языковые модели (БЯМ). Но исследовательская группа больше заинтересована в том, чтобы получить представление о человеческом языке и познании. Выявление сходства между тем, как модель развивает способности к обработке языка, и тем, как люди развивают эти навыки, может быть полезно для разработки устройств, которые помогают людям общаться.

«Речь идет о том, как мы думаем о познании», — говорит ведущий автор исследования Ариэль Голдштейн, доцент Еврейского университета в Иерусалиме. Результаты исследования говорят о том, что «мы должны думать о познании через призму этого [статистического] типа модели», — сказал Гольдштейн в интервью Live Science.

Распаковка познания

В исследовании, опубликованном 7 марта в журнале Nature Human Behaviour, приняли участие четыре человека с эпилепсией, которым по клиническим показаниям уже была проведена операция по вживлению электродов для мониторинга мозга.

Получив согласие, исследователи записывали все разговоры пациентов во время их пребывания в больнице, которое длилось от нескольких дней до недели. В общей сложности они записали более 100 часов аудиозаписей.

У каждого из участников было установлено от 104 до 255 электродов для наблюдения за активностью мозга.

По словам Голдштейна, большинство исследований, в которых используются записи разговоров, проводятся в лаборатории в очень контролируемых условиях в течение часа. Хотя такие контролируемые условия могут быть полезны для определения роли различных переменных, Голдштейн и его соавторы хотели «изучить активность мозга и поведение человека в реальной жизни».

Их исследование показало, как различные участки мозга задействованы во время выполнения задач, необходимых для создания и понимания речи.

Голдштейн пояснил, что в настоящее время ведутся споры о том, включаются ли отдельные участки мозга во время выполнения этих задач или же весь орган реагирует более коллективно. В первом случае можно предположить, что одна часть мозга обрабатывает звуки, из которых состоят слова, другая интерпретирует их значение, а третья обрабатывает движения, необходимые для речи.

Согласно альтернативной теории, эти различные области мозга работают согласованно, применяя «распределенный» подход, сказал Голдштейн.

Исследователи обнаружили, что определенные области мозга действительно коррелируют с некоторыми задачами.

Например, области, участвующие в обработке звука, такие как верхняя височная извилина, проявляли большую активность при работе со слуховой информацией, а области, участвующие в мышлении более высокого уровня, такие как нижняя лобная извилина, были более активны при понимании смысла языка.

Также было видно, что области активизируются последовательно.

Например, область, отвечающая за восприятие слов на слух, активировалась раньше, чем область, отвечающая за их интерпретацию. Однако исследователи также увидели, что области активизируются во время деятельности, для которой они, как известно, не специализируются.

«Я думаю, что это самое полное и тщательное доказательство такого распределенного подхода в реальной жизни», — сказал Голдштейн.

Похожие статьи: Новая модель ИИ преобразует ваши мысли в полноценную письменную речь, используя магнитные сигналы вашего мозга

Связь моделей ИИ с внутренним устройством мозга

Исследователи использовали 80% записанных аудиозаписей и сопровождающих их транскрипций для обучения Whisper, чтобы он мог предсказать транскрипции для оставшихся 20% аудиозаписей.

Затем команда проанализировала, как Whisper воспринимает аудио и транскрипции, и сопоставила эти представления с мозговой активностью, зафиксированной электродами.

После этого анализа они смогли использовать модель для прогнозирования мозговой активности в разговорах, которые не были включены в обучающие данные. Точность модели превзошла точность модели, основанной на особенностях структуры языка.

Хотя исследователи с самого начала не закладывали в свою модель то, что представляет собой фонема или слово, они обнаружили, что эти языковые структуры все равно отражаются в том, как модель работает с транскриптами. Таким образом, она извлекала эти характеристики без каких-либо указаний.

Исследование является «новаторским, поскольку демонстрирует связь между работой вычислительной акустико-речевой языковой модели и функциями мозга», — сообщил Live Science по электронной почте Леонхард Шильбах, руководитель исследовательской группы из Мюнхенского центра нейронаук в Германии, который не принимал участия в работе.

Однако он добавил: «Необходимо провести еще много исследований, чтобы выяснить, действительно ли эта связь подразумевает сходство в механизмах, с помощью которых языковые модели и мозг обрабатывают язык».

«Сравнение мозга с искусственными нейронными сетями — важное направление работы», — сказал Гашпер Бегуш, доцент кафедры лингвистики Калифорнийского университета в Беркли, который не принимал участия в исследовании.

«Если мы поймем внутреннюю работу искусственных и биологических нейронов и их сходство, мы сможем проводить эксперименты и симуляции, которые было бы невозможно провести в нашем биологическом мозге», — сказал он в интервью Live Science по электронной почте.

Исследование показало, что большие языковые модели, такие как Whisper, могут быть использованы для более точного картирования активности мозга во время разговора, чем традиционные модели, кодирующие лингвистические особенности. Ученые из Еврейского университета в Иерусалиме использовали Whisper для анализа мозговой активности пациентов с эпилепсией, которым были вживлены электроды.

Анализ показал, что определенные области мозга активируются последовательно при выполнении задач, связанных с речью. При этом области, отвечающие за обработку звука и мышление более высокого уровня, проявляли активность при работе со слуховой информацией и пониманием смысла языка соответственно.

Исследователи обучили Whisper на большом объеме аудиозаписей и транскрипций, а затем сопоставили представления модели с активностью мозга. Модель смогла предсказывать мозговую активность в разговорах, не включенных в обучающие данные, с большей точностью, чем модели, основанные на особенностях языковой структуры.

Результаты исследования подчеркивают связь между работой вычислительных моделей и функциями мозга, открывая новые перспективы для понимания познания и разработки устройств, помогающих людям с проблемами общения. Дальнейшие исследования необходимы для выявления сходств в механизмах обработки языка между языковыми моделями и мозгом.