Разработать парсер
Парсер должен выполняться парсинг информации с табличных форм с ряда сайтов
Кол-во сайтов больше 100
Техническое задание высылается на почту
Выдержка из ТЗ
- Технические требования
- Язык разработки Python 3.8
- Парсер будет исполняться на сервере AWS t2.micro, при разработки необходимо учитывать его технические характеристики
- Необходимо оценить время затрачиваемое на парсинг всех целевых сайтов. Парсинга должен выполняться не более чем за 3 часа
- Парсинг должен производится один раз в день, в 06:00 по мск
- При слишком продолжительном времени парсинга, по согласованию с заказчиком возможна параллельная реализация через VPN
- Результат записывается и хранится в БД
- 1.6.1.СУБД PostgreSQL
- 1.6.2.Версия PostgreSQL 11.6
- 1.6.3.Структура БД определяется на этапе начала работ
- Код парсера должен быть открыт для чтения и корректировки
- Код парсера должен содержать подробные комментарии
- Код должен содержать формирование подробного лога работы парсера с разными уровнями информативности