Доработать скрапер на node.js для GIS ресурса
В сетапе используется 3 ноды Elasticsearch
Скрейпер работает как "сканер", который окнами в 256х256 проходит по области карты, с шагом в 128, с отсевом дубликатов, и записывает ИЛИ обновляет старые данные если они есть по ID
Необходимо:
Обновить базу полигонов + boundary координаты каждого полигона, что бы мы смогли воссоздать обновленную карту на своем ресурсе
- проверить формат импортируемых данных полигонов датасета BidangTanah. Доработать/обновить скрапер если формат/api на ресурсе были изменены;
- реализовать автоматизацию/потоковый сбор данных;
- доработать скрапер на предмет не сканирования пустот;
- доработать склейку получаемых полигонов (так как сканирование производится в областях квадратов, участки попадающие на границы режутся. их необходимо склеивать обратно);
- доработать методы сверки и замены данных в бд;
Дедлайн: 30.03.22