Автоматизация ML соревнований
Необходимо погрузиться в текущий процесс и, при содействии команды платформы, разработать и выполнить автоматизацию подготовки такого рода задач.
На текущий момент есть ряд разрозненных сервисов, участвующих в автоматической проверке задач, связанных с machine learning:
- онлайн платформа (веб интерфейс, API)
- gitlab community edition
- микросервис на flask
Подготовка задачи состоит из ряда этапов:
- Подготовка данных (разработка baseline решения, сбор датасета, разработка метрики)
- Валидация данных (локальная проверка работоспособности)
- Загрузка данных в сервисы (создание репозиториев, публичных и приватных данных, создание задач)
- Подготовка инфраструктуры (CI/CD пайплайнов, подготовка раннера согласно заявленным характеристикам, монтирование данных)
- Проверка системы (пробные запуски)
Сейчас каждый этап требует подключения отдельных специалистов, является трудозатратным процессов, особенно в контексте больших данных. Необходимо изучить процесс, изучить предложения и возможности автоматизации и совместно с программистами, выработать план внедрения автоматизации процесса и этот план реализовать с т.з. инфраструктуры и обмена данными между сервисами.