Ищу Кодера - Node.js / GO от 3 лет - Парсер по спискам доменов
Описываю краткое ТЗ:
Часть 1
1 – Имеем список доменов .ru сегмента, который нужно "распарсить" и сделать из него тематические группы (Рубрики).
2 – Парсер должен по принципу "паука" пройтись по сайтам и собрать их данные.
3 – Глубину погружения в каталоги нужно ограничить до 1-2 страниц. Все сайты с кол-вом страниц от 100, сортировать в отдельную группу и модерировать руками или же искать у них sitemap. (Гипотеза*)
4 – В итоге мы должны получить данные вида :
Domain / emails / ИНН / ОГРН / Регион / Телефон / Title / Description /
5 – Данные будут группироваться и разделяться на рубрики. (За счет ключевых слов в title/description + нужно заложить в конфиг возможность "Стоп слов".
6 – Конечный результат это таблица данных в excel, с ежемесячным обновлением новых данных.
Часть 2
Вынос конфига парсера в вебинтерфейс.