Игрушка нашего времени: LegoGPT создаёт 3D-модели из кубиков LEGO по текстовому описанию

Исследовательская группа из Университета Карнеги — Меллона создала ИИ-модель под названием LegoGPT, которая может стать настоящим подарком для ценителей популярного во всём мире конструктора. Дело в том, что она создаёт трёхмерные модели фигурок из кубиков LEGO на основе простого текстового описания, введённого человеком.

Модель LegoGPT обучена на наборе данных из 47 000 фигурок. Именно это позволяет искусственному интеллекту без труда создавать более чем 28 000 уникальных 3D-объектов, включая мебель, разного рода сооружения, транспортные средства и так далее. Кроме того, ИИ-модель сможет «собирать» и абстрактные формы.

В процессе создания трёхмерного объекта LegoGPT выполняет несколько проверок: валидность элемента, наличие его в библиотеке, а также физическую устойчивость создаваемой фигурки — если искусственный интеллект понимает, что конструкция после добавления очередного кирпичика LEGO оказывается неустойчивой, он возвращается к последнему корректному состоянию.

Также разработчики отметили, что LegoGPT может работать с фотографией. Пользователю достаточно предоставить ИИ-модели изображение какого-либо объекта, и тот предложит варианты исполнения, учитывая имеющиеся в обойме кирпичики.

Исходный код проекта опубликован на платформе GitHub.