Проверка урла на пинг, статус, а так же поиск по контенту
надо сделать проверку каждого урла на пинг, статус, а так же поиск по контенту.
в скрипте должна быть настройка сколько урлов можно проверять в одном потоке.
сколько секунд считать таймаутом.
Алгоритм:
1. берем урл, проверяем статус сервера по урлу, записываем результат ответа, время ответа или таймаут.
2. берем урл, достаем список прокси из нашей базы, проверяем статус прокси сервера по урлу, делаем пинг, записываем результат ответа, время ответа или таймаут (все это и урла и прокси).
3. берем урл и искомые слова из нашей бд для данного урла (у каждого урла свои, должно быть обязательным наличие или отсутствие), делаем запрос, получаем ответ, записываем результат.
скрипты должны отрабатывать все урлы (20 тыс урлов) менее чем за 5 минут - это самый важный параметр, после точности проверки.
на чем писать, не важно, например pynton, самое главное минимальные ресурсы и максимальная скорость ответа и записи в бд.
у скрипта должен быть вебинтерфейс в виде страниц с пагинацией, на любом шаблоне например бутстрап, с возможностью поиска по полям и сортировкой. также нужна любая авторизация (чтобы скрыть от лишних глаз).
цена и срок?