Разработать парсре для сайта
Создать парсер модульного типа для сбора данных из одного из перечисленных в ТЗ источников.
Целью является разработка парсеров веб-скрейпинга для одного из перечисленных веб-сайтов, извлечение заданных полей данных и обогащение полученной информации. Проект будет использовать Python для написания сценариев, SQLite или PostgreSQL для хранения данных, Redis для кэширования и Vue.js / Django для пользовательского интерфейса.
1. Требования к стеку технологий
Базы данных: SQLite или PostgreSQL (обсуждается с исполнителем).
Очереди и асинхронность: Redis.
Язык программирования: Python 3.9 - 3.10.
Фреймворк для интерфейса: Vue.js / Django.
Возможность включать или выключать модуль парсинга ( планируется в дальнейшем создать все 4 модуля )
2. Пользовательский агент и прокси-серверы:
Чередование пользовательских агентов.
Ротация прокси-серверов для стабильной производительности.
Обработка ошибок:
Детализировать подход к обработке ошибок.
Хранение данных:
Определить схему базы данных для SQLite или PostgreSQL.
Интерфейс (Vue.js / Django):
Разработать пользовательский интерфейс с панелью мониторинга, параметрами конфигурации, поиском, выгрузкой данных, подключением/отключением модулей и прокси.
P.S. Мы планируем реализовать все модули перечисленные в ТЗ поэтапно, поэтому досчитываем на долгосрочную работу.