Разработать парсер пользователей с серверов Discord
Алгоритм многопоточный с множеством аккаунтов и прокси:
- Заходим на сервер (вступаем по инвайт ссылке).
- Ищем доступные каналы.
- Внутри каналов берём по 30 последних сообщений.
- Выбираем среди всех сообщений только сообщения с реакциями.
- Парсим все реакции (запросы с пагинацией). Сохраняем все данные в БД.
- Проверяем сервер на наличие Welcome канала. Ищем по словам welcome в названиях каналов и внутри последних сообщений.
- Если нашли welcome канал, парсим приветствия в последних сообщениях, сохраняем в БД.
- Если спарсилось успешно, то читаем канал дальше с пагинацией, парсим все приветствия.
- Берём список уникальных юзеров после сбора всех юзеров по реакциям и по welcome.
- С сервера получаем маппинг id и названий ролей, сохраняем в БД.
- Для каждого юзера запрашиваем профиль в рамках сервера. С профиля парсим всё, что есть.
- Переходим к следующему серверу.