Написать парсер с youtube - собирать емейлы, телефоны, тг
1. Название аккаунта
2. Ссылка на аккаунт в Youtube
3. Платформа
Нужно сделать:
1. Написать парсер, который будет пробегаться по описанию канала и вытягивать из текста
1.1. email
1.2. номер телефона
1.3. ссылку на тг
1.4. в случае неудачи в описании канала есть ссылки на другие соц. сети, если контакты не найдены на странице описания, то стоит открыть ссылки на другие соц. сети и вытянуть мейл от туда
1.4.1. если на странице есть мейл, но он закрыт от ботов, то делать пометку в таблице, что нужен человек
1.5. собирать информацию о других соц. сетях
1.5.1. название
1.5.2. ссылка
1.5.3. количество фолловеров
1.6. имя и фамилию (если эта информация указана)
1.7. считать минимальные и максимальные просмотры видео по следующим условиям (возраст видео>= 1 неделя и <=1 месяц; в этом диапазоне нужно найти минимальный просмотр, максимальный просмотр, среди диапазона, который получился считать медианное минимальных просмотров максимальных просмотров)
2. помочь выбрать дешевый русский микрохостинг для бд
3. развернуть бд для хранения данных на Mysql или Postgresql
Use case
Инфлюэнс менеджер заходит в аналитическую платформу, выкачивает подборку блогеров +- 100 каналов за раз по нужной тематике, загружает файл в базу данных (через какой-то простой интерфейс), база данных проверяет вводные на повторы и для уникальных названий и ссылок бежит собирать информацию по списку, через N минут, менеджер видит, что есть выгрузка для него в csv с мейлами (как новыми, так и уже имеющимися в базе) Во вторую очередь обрабатывается информацию про просмотры и другие соц.сети, это информация нужна только для аккаунтов с контактными данными Пример таблицы https://docs.google.com/spreadsheets/d/14bmSJnsvv9...