Скрапер/Парсер на Angel list
Путь к странице на которой будет производится скрапинг (angel.co/"название компании"/source):
1) Заходим на Angel.co и регистрируемся
2) Создаем cвою компанию (monosnap.com/file/QdFRn10...
3) Заходим в Recruit (monosnap.com/file/N7NEe2i...
4) Далее переходим в Resource (monosnap.com/file/3A0RmyR...
5) Попадаем на страницу где будем "скрапить" (monosnap.com/file/yo2A2W0...
Описание функционала:
Часть I (Визуализированный вариант – monosnap.com/file/nxvzZKp...
1. HTML страницы /source должен полностью быть заскраплен с учетом infinite scroll (чтобы весь список людей был доступен в HTML коде).
2. В коде должны идентифицироваться блоки div с инофрмацией пользователей (monosnap.com/file/SV4cM2r... в которых:
2.1 В случае отсутствия facebook_url внутри блока (monosnap.com/file/7AKy6Vd..., скрапер продолжает искать совпадения в следующем блоке. В случае наличия facebook_url – шаг 2.2.
2.2 Когда найдено совпадение с facebook_url в блоке скрапер должен идентифицировать совпадение с именем пользователя (прим. (monosnap.com/file/ulOQ3W5... (которое было указано в GUI extension), если совпадение имеется, скрапер начинает доставать эти данные (шаг 3). В случае несовпадения имени в блоке с найденным facebook-url – блок пропускается.
3. Скрапер берет facebook_url и выводит в GUI или в текстовый файл (подходит любой удобный формат для копи паста) и переходит к следующему блоку до конца кода.
Часть II – monosnap.com/file/nxvzZKp... (цена обговаривается за вторую часть отдельно):
1. Добавить "www.angel.co" в каждый facebook_url (/link/673267/6b6c4610b85b3d79063645b3eb3b7e59/fac ebook_url) -> чтобы получилось -(www.angel.co/link/673267/...
2. Каждая ссылка открывается по очереди в одной вкладке (ваш вариант?)
3. В случае присутствия app_scoped_user_id в ссылке, удалять из списка
4. Копируется конечный адрес и title facebook страницы в GUI или текстовый документ
Уточнения:
* Скрапинг будет проводиться с разными поисковыми фильтрами, но на той же странице c идентичной структурой. (/source) -> (/source?query="data"&refinementList[pri mary_role][0]=Software Engineer&refinementList[locations][0]=Silicon Valley)
* Интересует только качество, арт и удобность не первый приоритет.
Интересует только ФИКСИРОВАННАЯ цена.
Если Вас заинтересовал проект, БОЛЬШАЯ ПРОСЬБА при обращении сразу указать примерную стоимость Ваших услуг и сроки выполнения работы. Благодарим.