[Перевод] Миф о бесконечном масштабировании или когда ИИшка упрется в потолок
Сэм Альтман — безусловно, главная звезда ИИ-бума, начавшегося после запуска ChatGPT в 2022 году. Генеральный директор OpenAI стал лицом всей индустрии, и у него есть своя профессиональная страсть: он просто обожает законы масштабирования.
Именно эти эмпирические правила связывают масштаб модели с ее возможностями. Они же объясняют ту лихорадку, что охватила индустрию: в погоне за мощностью компании сметают с рынка чипы, возводят дата-центры и ради энергии готовы даже перезапускать закрытые АЭС.
В своем блоге Альтман сформулировал это так: «интеллект» модели примерно равен логарифму ресурсов, ушедших на ее обучение. Рецепт успеха звучит просто, хоть и дорого: можно бесконечно повышать производительность, если экспоненциально «скармливать» системе все больше данных и вычислительных мощностей…
Но так ли это?