Скрипт для парсинга страниц яндекс форм
Нужно сделать скрипт, который будет гулять по ссылкам по простому алгоритму и искать страницы, где кодовое слово (к примеру "промокод", "акция", "промо-код", "промо код" и тд) должно быть в Title страницы
Подробное видео объяснение задания -> youtu.be/kaBWkXACdxc
шаблон ссылки следующий
https://forms.yandex.ru/surveys/"N", где N просто число.
Для примера вот рабочая ссылка – https://forms.yandex.ru/surveys/10011455/ (где как раз таки в тайле есть пример слова "промокод")
Скрипт должен пройтись по алгоритму N + 1 (то бишь идти по одной странице вверх), изучая тайтл и создавая отчет со страницами, где он нашел кодовое слово. Остальной текст на странице робот должен игнорировать. Только "тайтл".
Нужна страница, где можно будет нажать "старт"/"стоп" и задавать параметры работы робота:
1) Задать значение "Nнач" с которого робот "скрипт" начинает работать
2) Задать значение "Nmax", на котором робот остановится
3) Задать кодовые слова списком (по одному в строке), по которым ищет робот.
4) Увидеть текущее число страницы "Nтек", на котором находиться робот (если он запущен)
5) Выводить результаты найденных страниц, которые робот нашел в процессе работы (прям в процессе работы выводить страницы, которые он нашел в таком виде, чтобы их можно было скопировать)
5) Тумблер поиска "строгого соответствия и не строгого" Допустим искать именно слово "промокод" и искать только те страницы, где так и написано. Либо искать в варианте "промокод" и находить его в слове "промокодЫ"
У робота должны быть сделана обработка ошибок, потому что периодически попадаются совсем пустые страницы (от слова совсем), а также страницы без титла или с пустым. Поэтому будет крайне печально, если он "вылетит" на какой-то фигне ))) и мы потеряем его результаты.
P.S. Конечно же он должен работать в бэкграунде