Из 475 исследователей ИИ, опрошенных в рамках исследования, 76 % заявили, что масштабирование больших языковых моделей (LLM) «маловероятно» или «очень маловероятно» для достижения искусственного общего интеллекта (AGI), гипотетического рубежа, когда системы машинного обучения смогут обучаться так же эффективно или лучше, чем человек.

Это примечательное опровержение прогнозов технологической индустрии, которая, начиная с бума генеративного ИИ в 2022 году, утверждала, что современным моделям ИИ нужно лишь больше данных, оборудования, энергии и денег, чтобы превзойти человеческий интеллект.

Теперь, когда выпуск последних моделей , похоже , застопорился, большинство исследователей, опрошенных Ассоциацией по развитию искусственного интеллекта, считают, что технологические компании зашли в тупик — и деньги не помогут им выбраться из него.

«Я думаю, что с момента выхода GPT-4 стало очевидно, что выигрыш от масштабирования был постепенным и дорогим», — сказал Live Science Стюарт Рассел, компьютерный ученый из Калифорнийского университета в Беркли, который помогал в организации отчета. «Компании, занимающиеся разработкой искусственного интеллекта, уже вложили слишком много средств и не могут позволить себе признать, что совершили ошибку, [и] оказаться вне рынка на несколько лет, когда им придется возвращать деньги инвесторам, вложившим сотни миллиардов долларов. Поэтому все, что они могут сделать, — это удвоить инвестиции».

Уменьшающаяся отдача

Поразительное улучшение LLM в последние годы отчасти объясняется лежащей в их основе архитектурой трансформеров. Это тип архитектуры глубокого обучения, впервые созданный в 2017 году учеными Google, который развивается и обучается, поглощая обучающие данные, поступающие от человека.

Это позволяет моделям генерировать вероятностные модели из своих нейронных сетей (наборов алгоритмов машинного обучения, организованных таким образом, чтобы имитировать способ обучения человеческого мозга), подавая их вперед при получении подсказки, причем точность их ответов повышается с увеличением количества данных.

Однако дальнейшее масштабирование этих моделей требует огромных затрат денег и энергии. Только в 2024 году индустрия генеративного ИИ привлекла 56 миллиардов долларов венчурного капитала по всему миру, причем большая часть этих средств пошла на строительство огромных комплексов центров обработки данных, выбросы углекислого газа в которых с 2018 года выросли в три раза.

Прогнозы также показывают, что ограниченный объем данных, генерируемых человеком и необходимых для дальнейшего роста, скорее всего, будет исчерпан к концу этого десятилетия. Как только это произойдет, альтернативой станет сбор частных данных пользователей или подача «синтетических» данных, генерируемых искусственным интеллектом, в модели, что может привести к их краху из-за ошибок, возникших после того, как они проглотят собственные данные.

Но ограничения существующих моделей, скорее всего, связаны не только с их ресурсоемкостью, говорят эксперты исследования, а с фундаментальными ограничениями в их архитектуре.

«Я думаю, что основная проблема существующих подходов заключается в том, что все они связаны с обучением больших цепей с обратной связью», — говорит Рассел. «Схемы имеют фундаментальные ограничения как способ представления концепций. Это означает, что схемы должны быть огромными, чтобы представлять такие понятия даже приблизительно — по сути, как прославленная таблица поиска, — что приводит к огромным требованиям к данным и фрагментарному представлению с пробелами. Именно поэтому, например, обычные человеческие игроки могут легко победить «сверхчеловеческие» программы для игры в Го».

Будущее развития ИИ

По словам некоторых участников опроса, все эти «узкие места» создают серьезные проблемы для компаний, работающих над повышением производительности ИИ, из-за чего оценки в оценочных бенчмарках застопорились, а модель OpenAI GPT-5, о которой ходили слухи, так и не появилась.

Предположения о том, что улучшения всегда можно добиться за счет масштабирования, также были опровергнуты в этом году китайской компанией DeepSeek, которая сравнялась по производительности с дорогими моделями Кремниевой долины при меньшей стоимости и мощности. По этим причинам 79 % участников опроса заявили, что представления о возможностях ИИ не соответствуют реальности.

«Многие эксперты считают, что это пузырь», — говорит Рассел. «Особенно когда достаточно высокопроизводительные модели раздаются бесплатно».

Однако это не означает, что прогресс в области ИИ мертв. Разумные модели — специализированные модели, которые уделяют запросам больше времени и вычислительной мощности, — как показывает практика, дают более точные ответы, чем их традиционные предшественники.

По мнению респондентов, объединение этих моделей с другими системами машинного обучения, особенно после того, как они будут доведены до специализированных масштабов, — это захватывающий путь вперед. А успех DeepSeek указывает на то, что в разработке систем ИИ еще много места для инженерных инноваций. Эксперты также отмечают, что вероятностное программирование имеет потенциал для создания более близких к AGI систем, чем существующие модели схем.

«Промышленность делает большую ставку на то, что генеративный ИИ найдет себе применение», — сказал Live Science Томас Диттерих, заслуженный профессор информатики в Орегонском государственном университете, который участвовал в подготовке доклада. «В прошлом крупным технологическим достижениям требовалось от 10 до 20 лет, чтобы показать большую отдачу».

«Часто первые партии компаний терпят неудачу, поэтому я не удивлюсь, если многие из сегодняшних стартапов GenAI потерпят неудачу», — добавил он. «Но вполне вероятно, что некоторые из них будут дико успешными. Хотел бы я знать, какие именно».

Несмотря на скептицизм в отношении масштабирования LLM, эксперты не отрицают потенциал развития ИИ в других направлениях. Интеграция более «умных» и специализированных моделей с другими системами машинного обучения рассматривается как перспективный путь. Успех DeepSeek демонстрирует, что инновации в проектировании систем ИИ все еще возможны, а вероятностное программирование может привести к созданию систем, более близких к AGI.

Опрос также выявил расхождение между ожиданиями и реальностью в отношении возможностей ИИ. Многие эксперты считают текущую ситуацию «пузырем», особенно учитывая бесплатное распространение высокопроизводительных моделей. Тем не менее, в истории технологических прорывов часто требуется десятилетия, чтобы увидеть значимую отдачу, и не все компании, вовлеченные в первые этапы, достигают успеха.

Участники опроса подчеркнули важность изменения акцента с масштабирования на качественные улучшения и инновационные архитектуры. Специализация моделей и их интеграция с другими системами машинного обучения могут открыть новые возможности для развития ИИ, которые не зависят от экспоненциального увеличения вычислительных ресурсов.

Несмотря на неопределенность в отношении будущего генеративного ИИ, эксперты признают, что некоторые компании смогут достичь выдающихся результатов. Однако предсказать, какие именно, пока невозможно. Опрос подчеркивает необходимость критического подхода к оценке прогресса в области ИИ и переосмысления стратегий развития.