Доработать скрапер на node.js для GIS ресурса
Необходимо проверить работоспособность скрапера для сбора актуальных данных и подготовить получаемые данные для дальнейшего использования на серверах компании.
Реализован скрапер данных с GIS ресурса на node.js. для сбора более 100 млн записей.
Скрапер работает как "сканер", который окнами в 256х256 проходит по области карты, с шагом в 128, с отсевом дубликатов, и записывает ИЛИ обновляет старые данные если они есть по ID
Цель задачи: Обновить базу полигонов + boundary координаты каждого полигона, что бы мы смогли воссоздать обновленную карту на своем ресурсе
Для ее достижения необходимо:
- проверить и при необходимости доработать реализацию потокового сбора данных;
- проверить и при необходимости доработать метод склейки получаемых полигонов (так как сканирование производится в областях квадратов, участки попадающие на границы могу обрезаться. их необходимо склеивать обратно);
- проверить и при необходимости доработать методы сверки и замены данных в бд;