Ученые уверены: современные БЯМ — тупик на пути к ИИ «человеческого» уровня
Прогресс больших языковых моделей (БЯМ) за последние годы во многом связан с архитектурой «трансформер». Это особый тип нейросети, созданный Google в 2017 году, который обучается на большом количестве текстовых данных, предоставленных людьми. Благодаря этой архитектуре модели могут создавать вероятные ответы на запросы, используя свои нейронные сети — наборы алгоритмов, имитирующих работу человеческого мозга. Чем больше информации получает модель, тем точнее становятся её ответы.
Однако, чтобы продолжать увеличивать размеры этих моделей, нужны огромные деньги и энергия. Только в 2024 году компании, занимающиеся генеративным ИИ, привлекли $56 млрд инвестиций по всему миру. Эти деньги в основном идут на строительство дата-центров, из-за которых выбросы углекислого газа выросли в три раза с 2018 года.
По https://hightech.plus/2025/01/09/mask-mi-ischerpali-pochti-v..., к концу этого десятилетия закончатся данные, созданные людьми, которые нужны для обучения ИИ. После этого останется два варианта: либо собирать личные данные пользователей, либо обучать модели на «синтетических» данных, созданных самим ИИ. Но это может привести к «коллапсу» БЯМ, так как она будет учиться на собственных ошибках.
Ограничения текущих моделей, по мнению опрошенных экспертов, обусловлены не только их высокой ресурсоемкостью, но и фундаментальными ограничениями в их архитектуре.
Все эти проблемы мешают компаниям улучшать работу ИИ. Например, обещанная модель GPT-5 от OpenAI так и не появилась. Идея, что ИИ всегда можно усовершенствовать, просто увеличив его размер, тоже оказалась под вопросом. Так, китайская DeepSeek в этом году показала, что можно создать ИИ, который работает так же хорошо, как дорогие модели из Кремниевой долины, но при этом тратит гораздо меньше денег и энергии.
За последний год появилось несколько «рассуждающих» моделей, которые тратят больше времени и ресурсов на анализ запросов, но дают более точные ответы, чем обычные. По мнению экспертов, объединение таких моделей с другими системами машинного обучения, особенно после их оптимизации, — это перспективное направление. Также специалисты считают, что вероятностное программирование может помочь создать ИИ, более похожий на человеческий разум, чем существующие модели.