Автоматический парсинг товаров с facebook marketplace со сбором в файл
Необходимо сделать ежедневный парсинг товаров с facebook marketplace со сбором в CSV/YML файл.
1. Что нужно парсить.
На странице https://www.facebook.com/marketplace/ должен происходить поиск по условиям:
- ключевое слово
- гео (pattaya, Thailand)
Необходимо сделать возможность менять ключевое слово в настройках парсера, гео можно сделать стационарным – pattaya (+5км радиуса от центра), Thailand
Пример:
https://www.facebook.com/marketplace/1123067587862... apartment
Парсить нужно:
- Заголовок (результат в текстово-цифровом формате)
- Фото товара (все фотографии товара)
- Цену (только цифровое значени)
- Инфо о недвижимости (3 параметра: тип недвижимости, кол-во спален, площадь, если есть. Каждый параметр вывести в отдельный столбец)
- Местоположение объекта (координаты на гугл картах)
- Описание объекта (текстово-цифровой формат)
- Информация о продавце – ссылка на коммерческий профиль (ссылка - там в разделе продавца, куда ни нажми: "инфо", аватарка или на имя, открывается одно и тоже. Вот эту ссылку достать)
http://joxi.ru/EA43JboUXdv902
http://joxi.ru/82QxR4Kc8PVg6m
http://joxi.ru/Drl1wM0CKMPEdm
2. Как выводить:
Выводить данные необходимо в файл CSV или YML
3. Частота парсинга и условия обновления данных в файле.
Парсинг должен происходить автоматически 1 раз в сутки.
Должно происходить 2 проверки:
- Проверка и парсинг вновь появившихся объявлений за последние сутки;
- Проверка уже существующих в файле объектов на их актуальность на facebook marketplace. Если продавец закрыл объявление (или отметил как проданное), то это объявление должно удалиться из файла.