Реализовать систему с CV для обнаружения нарушений в кафе (детекция + сегментация)

Необходимо реализовать MVP версию системы с CV (детекция + сегментация) для обнаружения нарушений на изображениях с камер из кафе и ресторанов.

- Задача системы

Повысить эффективность сотрудников с целью увеличения дохода и сокращения расходов.

- Краткое описание

Для существующего SaaS решения необходима система с CV для автоматизации ручного труда.

В данный момент есть чек-лист с нарушениями, по которому менеджеры выявляют нарушения на поступающих изображениях с камер и фиксируют их сами.

Пример нарушения во вложении задачи.

- Касательно данных для формирования датасета

Данные не структурированы и находятся в том формате, как показано на примере нарушения (изображение + описание нарушения). В общем их около 20т. Разметки как таковой нет.

- Предполагаемый стек

CV на Ultralytics с YOLOv8

Разметку на SAM

Бэк на Python, Django, FAISS

Админка на Django либо JS фреймворке

- Видение реализации

Определяем 10+ нарушений

Собираем по ним датасет (обучающую и проверочную выборки)

Обучаем модельки (например, в Google.collab)

Экспериментируем с настройками для достижения 70%+ успешных определений

Собираем back-end с модельками и админкой для тестирования полученного результата, разворачиваем на сервере

- Будущее системы

Масштабируем на повышение % определения текущих нарушений + добавляем новые (чек-лист достаточно большой). Далее, нужно будет интегрироваться с существующей инфраструктурой SaaS решения: получать на автомате изображения, обрабатывать входящие видео (делить их на кадры по определенной логике), выгружать полученный результат в CRM и т.д. Ну и дальше масштабироваться на другие сферы деятельности.