В исследовании, опубликованном 2025 февраля в журнале Transactions on Machine Learning Research, изучалось, насколько хорошо большие языковые модели (LLM) могут формировать аналогии.

Они обнаружили, что как в простых буквенно-строчных аналогиях, так и в задачах с цифровыми матрицами, где задача состояла в том, чтобы заполнить матрицу, определив недостающую цифру, люди справлялись хорошо, но производительность ИИ резко снижалась.

При проверке устойчивости людей и моделей ИИ в задачах на основе сюжетных аналогий выяснилось, что модели подвержены эффекту порядка ответов — различиям в ответах, обусловленным порядком процедур в эксперименте, — и, возможно, чаще перефразируют.

В целом, авторы исследования пришли к выводу, что моделям ИИ не хватает способности к обучению «с нуля», когда ученик наблюдает образцы из классов, которые не присутствовали во время обучения, и делает предсказания о том, к какому классу они принадлежат, в соответствии с вопросом.

Соавтор исследования Марта Льюис, доцент кафедры нейросимволического ИИ Амстердамского университета, привела пример того, как ИИ не может проводить аналоговые рассуждения так же хорошо, как люди, в задачах с буквенными строками.

Аналогии с буквенными строками имеют вид «если abcd идет к abce, то к чему идет ijkl?». Большинство людей ответят «ijkm», и [ИИ] тоже склонен давать такой ответ», — рассказал Льюис в интервью Live Science. «Но может возникнуть и другая проблема: «Если abbcd переходит в abcd, то к чему переходит ijkkl? Люди склонны отвечать «ijkl» — шаблон заключается в удалении повторяющегося элемента. Но GPT-4 имеет тенденцию ошибаться в таких проблемах».

Почему важно, что ИИ не может мыслить как человек

По словам Льюиса, в то время как мы можем абстрагироваться от конкретных закономерностей к более общим правилам, LLM не обладают такой способностью. «Они хороши в выявлении и сопоставлении закономерностей, но не в обобщении этих закономерностей».

Большинство приложений ИИ в той или иной степени зависят от объема — чем больше обучающих данных доступно, тем больше закономерностей выявляется. Однако Льюис подчеркивает, что поиск закономерностей и абстрагирование — это не одно и то же. «Речь идет не столько о том, что содержится в данных, сколько о том, как эти данные используются», — добавила она.

Чтобы дать представление о последствиях, можно сказать, что ИИ все чаще используется в юридической сфере для проведения исследований, анализа судебной практики и выработки рекомендаций по вынесению приговора. Однако из-за низкой способности к проведению аналогий он может не распознать, как юридические прецеденты применяются к несколько иным случаям, когда они возникают.

Учитывая, что такой недостаток надежности может повлиять на реальные результаты, авторы исследования отметили, что это служит доказательством того, что необходимо тщательно оценивать системы ИИ не только на предмет точности, но и на предмет надежности их когнитивных возможностей.

Этот недостаток в аналоговом мышлении ИИ имеет далеко идущие последствия. Например, в медицине, где ИИ используется для диагностики и планирования лечения, неспособность провести аналогию между новым случаем и ранее виденным, но слегка отличающимся, может привести к неправильному диагнозу или неэффективному лечению. В финансовой сфере ИИ, используемый для оценки рисков и принятия инвестиционных решений, может не распознать новые шаблоны или аномалии, что приведет к значительным финансовым потерям.

Исследователи подчеркивают, что проблема не в отсутствии данных, а в способе их использования. LLM преуспевают в выявлении закономерностей, но не могут обобщать их, что необходимо для решения задач, требующих аналогового мышления. Это ограничение необходимо учитывать при разработке и внедрении систем ИИ, чтобы гарантировать, что они используются соответствующим образом и не приводят к неверным результатам.

Понимание ограничений ИИ в аналоговом мышлении имеет решающее значение для разработчиков, политиков и конечных пользователей. Необходимо разработать методы для смягчения этих ограничений, такие как включение в системы ИИ возможностей символического мышления или разработка алгоритмов, которые лучше способны обобщать закономерности. Кроме того, необходимо четко понимать, когда и где ИИ следует использовать, а когда следует полагаться на человеческое суждение.

В конечном счете, исследование призывает к более тщательному подходу к разработке и внедрению ИИ. Хотя ИИ обладает огромным потенциалом, важно признавать его ограничения и обеспечивать его использование безопасным, надежным и этичным способом. Тщательная оценка когнитивных возможностей систем ИИ, помимо точности, имеет важное значение для предотвращения непредвиденных и потенциально вредных последствий.