Написать скрипт для парсинга объявлений Яндекс Директ
Входные данные:
- Список ключевых запросов в параметре скрипта, например script.php "пластиковые окна" "пластиковые двери" -o results.csv ИЛИ текстовый файл со списком ключевых запросов, гдде каждый запрос указан с новой строки script.php -f keywords.txt -o results.csv
- По каждому ключевому запросу скрипт открывает страницу вида https://direct.yandex.ru/search?text=пластиковы...
- Для каждого из результатов поиска скрипт открывает виртуальную визитку (ссылка "адрес и телефон") и парсит от туда заголовок объявления, текст объявления, отображаемую ссылку, название компании, телефон, адрес, e-mail, описание компании (некоторые поля могут быть не заполнены). Из всех полей на всякий случай убираем символы перевода на новую строку.
- Если результаты не помещаются на одной странице и присутствует пэйджинация, скрипт обрабатывает все страницы с результатами поиска.
- Между открытиями страниц должна быть предусмотрена настраиваемая внутри скрипта задержка, по умолчанию 5 секунд. После открытия каждой страницы должен выводиться прогресс на экран отрисовкой символа "."
- Скрипт должен формировать *.csv файл с результатами парсинга. Файл желательно открывать на запись и закрывать (fopen/fclose) перед каждым веб-запросом, чтобы его можно было в любой момент просмотреть.