Мини сервер flask/fastapi + docker
(мы ее уже протестировали с помощью llama.cpp / CPU)
1. Нужно написать на python сервер на flask/fastapi (файл на 15 строк) который принимает в себя текст (промт) и отдает ответ
2. Далее запаковать все в докер что бы мы могли разворачивать эту всю историю на vds (centos7) одним кликом