Парсинг категорий амазона
Необходимо спарсить все категории на американском амазоне.
Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing
НО, в каждую строчку добавляем:
* id категории/узла (node id),
* ссылку на страницу данной категории
* список фильтров доступных в выдаче (названия фильтров и доступные опции внутри)
* минимальная цена в выдаче данной категории (для этого отдельный запрос с сортировкой) + средняя цена на первой странице с такой сортировкой
* максимальная цена в выдаче данной категории (для этого отдельный запрос с сортировкой) + средняя цена на первой странице с такой сортировкой
* средняя цена на дефолтной выдаче категории
* карточки товаров на трех страницах выдачи, что мы парсим (id, адрес картинки товара, название, цена)
То есть на каждую категорию/узел надо сделать 3 запроса для получения выдачи (для получения дефолтной выдачи категории, а также с двумя вариантами сортировки по цене). Получается, если знать url адреса категорий, то достаточно 75к запросов чтобы решить поставленную задачу.