Написать скрипт на Scrapy для получения данных
Требуется разработать скрипт на Scrapy для загрузки данных по объявлениям о продаже авто.
Требования:
-загрузка новых объявлений по продаже авто
-настройки:
--регион: "Вся Россия" или заданный
--глубина просмотра (кол-во новых объявлений за итерацию)
--интервал запуска
-собранные объявления сохраняются через внешний rest api. Формат запроса предоставляется.
Будет плюсом:
-успешный опыт написание подобных скриптов
-подключение dashboard and monitoring tool for Scrapy
-загрузка данных через API сайта (не через html)
-работа в несколько потоков
Ожидаемый результат:
Исходные код скрипта для сборки автообъявлений, по возможности без пропусков. Скрипт должен проработать неделю без блокировки. Собранные объявления должны сохранятся через внешний api