Парсер сайта знакомств и сервис по распознаванию лиц

Суть сервиса. Позволит узнать зарегистрирован ли пользователь на сайте знакомств. Как работает. Парсит базу пользователей (фото, описание), далее с помощью сервиса распознавания лиц я загружаю фото и сервис выводит наиболее похожие анкеты.


1. Парсер авторизовывается в сайте знакомств. Далее ставит определенные фильтры которые есть (город, возраст, пол).

Есть ограничение что сайт, использует подтверждение звонком по телефону и диктовкой кода авторизации. Так же есть ограничение что показывалась защита от бота (картинка на которой нужно найти велосипеды)


2. Парсеру сайт начинает показывать анкеты. Парсер с этих страниц сохраняет описание и фото, записывает это в базу.

• Сохраняет 3 фото (если есть)
  
• Сохраняет описание
  

Кроме того если будет работать несколько парсеров в одном городе то им могут выпадать одни и те же анкеты и чтобы в базе не хранить дубли при сохранении не нужно копировать фото, нужно только сохранять в базу что найден дубль такой то анкеты


Нужна админка в которой.

Можно добавлять новых ботов и ставить им настройки по которым должны установить на фильтры анкет (город, возраст, пол)

Можно смотреть статистику какие парсеры сколько анкет обработали за сегодня. Смотреть какие ошибки выдал парсер (ошибка авторизации бота, и.т.д.)



Распознавание лиц


Подключается сборка https://github.com/ageitgey/face_recognition


Сборка получает фото которые собрал парсер от одной анкеты. Обрабатывает фото и получает UID код лица. И в базу записывает UID Имя, город, возраст, описание человека.

Поиск проходит так. Бот получил фото от клиента. Так же знает город, пол и возраст. Возраст работает так что +- 20 лет поиск происходит. (так как некоторые пользователи занижают или завышают возраст.