Написать парсер для двух сайтов с поиском по ключевым словам
Просьба откликаться разработчиков только с непрерывным опытом и хорошими отзывами!Работаем только по БС.
Написать парсер для двух сайтов с поиском по ключевым словам
РазработкаБоты и парсинг данных
Нужно написать парсер для двух сайтов с возможностью поиска по ключевым словам в найденных данных.
Стек технологий:
1.ЯП Python
2. SQL или SQLite
3. Библиотеки: BeautifulSoup, Requests (или Selenium при необходимости)
4.Web-фреймворк (при необходимости): Flask
5.NLTK или SpaCy - библиотеку Python для обработки естественного языка (Natural Language Processing - NLP) для поиска ключевых слов (возможно обойтись без нее использую регулярные выражения. Этот вопрос обсуждается)
Основная идея:
Мы хотим написать парсер для нескольких сайтов X и XY, который будет собирать данные из резюме об прошлом опыте работы и на другом сайте данные цифрового паспорта компании. Формат данных в основном виде массива текста.
Нас интересуют технологии с которыми сталкивались соискатели.
Конечная задача находить в собранных данных ключевые слова и выводить информацию в которых они встречаются.
Пример ключевых слов: Sap IBP, SAP APO, Anaplan.
Пример полученного текста в котором нужно искать ключевые слова:"Ранее работал директор по информационной безопасности в компании Рога и копыта, чаще всего организовывал работу через SAP, но иного пользовался и другими инструментами такими как .."
Полное ТЗ вышлем заинтересованным исполнителя. Так же мы будем дорабатывать данную систему в случае успеха и готовы на долгосрочное сотрудничество в рамках текущей задачи.
Так же закладываете сразу, что тестирование проекта перед завершением может занять 3-5 дней.
Что мы ждем по окончанию проекта:
1. Код с комментариями
2. Инструкция по запуску и установке на сервер
3. Докер контейнер для удобного развертывания
5. Модульная система кода для дальнейшего масштабирования