Модульный парсер

Целью является разработка парсеров веб-скрейпинга для нескольких веб-сайтов, извлечение заданных полей данных и обогащение полученной информации. Проект будет использовать Python для написания сценариев, SQLite или PostgreSQL для хранения данных, Redis для кэширования и Vue.js / Django для пользовательского интерфейса.

1. Требования к стеку технологий

Базы данных: SQLite или PostgreSQL (обсуждается с исполнителем).

Очереди и асинхронность: Redis.

Язык программирования: Python 3.9 - 3.10.

Фреймворк для интерфейса: Vue.js / Django.

2. Пользовательский агент и прокси-серверы:

Чередование пользовательских агентов.

Ротация прокси-серверов для стабильной производительности.

Обработка ошибок:

Детализировать подход к обработке ошибок.

Хранение данных:

Определить схему базы данных для SQLite или PostgreSQL.

Интерфейс (Vue.js / Django):

Разработать пользовательский интерфейс с панелью мониторинга, параметрами конфигурации, поиском, выгрузкой данных, подключением/отключением модулей и прокси.

Этапы работы:

1. Создание 1-ого парсера ( модуль) - цена 5 тыс.

2. Создание второго парсера (модуль) - цена 5 тыс.

3. Создание третьего парсера ( модуль) - цена 5 тыс.

4. Создание четвертого парсера ( модуль) - цена 5 тыс.

5. Создание интегрированной системы - 10 тыс.