Произвести парсинг сайта с продуктами
Требуется произвести скрейпинг/парсинг данных с целевого веб-сайта, содержащего около 15 миллионов позиций. Полученные данные необходимо объединить в один файл формата XLS(X) для последующего анализа. Техническое задание будет предоставлено исполнителю после начальной консультации.
Детали:
Каждая позиция на сайте содержит примерно 5-10 характеристик, включая ссылку на изображение.
Итоговый файл будет иметь примерно 10 колонок с данными для каждой позиции.
Возможно, понадобится разделение данных на несколько файлов XLS(X), если объем информации слишком велик.
Требуется удалить дубликаты данных и объединить полученный файл с существующим документом, также в формате XLS(X).
Дополнительные Условия:
В случае блокировки IP сайтом из-за большого количества запросов, может потребоваться использование VPN.
Пожалуйста, включайте в ваши предложения ссылки на примеры работ из вашего портфолио, указывайте предполагаемые сроки выполнения и цену за выполнение заказа.