Парсинг научных статей
Есть два микросервсиса - Core и Parser
Core:
- хранит RSS ссылки журналов.
- принимает распарсенную информацию от Parser и сохраняет в БД.
- Содержит статус (success, error) парсинга каждой RSS ссылки
Parser:
- Получает от Core RSS ссылку и переходит на веб страницы указанные в этой ссылке. С веб страниц из head Мета-Тэгов получает необходимую информацию и дообогащает информацию из body страницы.
- Передает данные статьи в Core.
Проблема:
-При обработки rss журнала Parser может вернуть статус 'error' что означает, что парсер не смог получить данные в нужном объеме из этой ссылки.
Что нужно сделать:
Доделать парсер, под каждый журнал, который получил статус error.
Для полного понимания задачи предлагаю скачать приложение для которого реализуется эта задача
https://allpapers.online
В приложении BMPN схема для понимания взаимодействия parser и core
В отклике укажите телеграм
Бюджет обсуждаем