Консультация парсинга на python
Нужен консультант который разбирается в многопоточности, многопроцессорности и асинхронности. Суть в чем, мы делаем проект в котором нужно парсить примерно 17 млн данных 2 раза в день(в принципе, мы написали сам парсер, но он очень долгий(с использованием асинхронности)) , после чего записывать в БД, а так же эти данные нужно обрабатывать. Задачей консультанта будет объяснить, что использовать мультипроцессинг или многопоточность, а может что то другое, что бы парсить данные два раза в день. Так же рассказать примерную структуру, то есть рассказать какие нужно написать функциии/методы и тд.