Консультация по оптимизации настроек и запросов БД ClickHouse
Есть прототип сервиса аналитики маркетплейсов (аналог mpstats.io). Сервис выводит различные аналитические данные по категориям товаров, брендам, карточкам товаров за различные периоды. Сервис почти готов (бекенд, фронтенд, парсеры).
~ 65 млн. товаров и дальше будет больше
~ 1800 категорий товаров и дальше будет больше
~ 2 млн. товаров имеют хотя бы 1 продажу за каждый день и дальше будет больше
10+ довольно мощных серверов:
2x Xeon 2696 v4, 128 - 512 Gb DDR4, Nvme 3.2 TB Samsung PM1735, 256gb ssd (под ОС)
Сеть между серверами 40 Гбит/с.
Пока сервис при любых запросах к ClickHouse (например выгрузка товаров с продажами из категории "Женщинам" за последний месяц) очень сильно грузит сервер БД - сразу 50% ядер процессора (22 ядра, 44 потока Hyper Threading). При открытии нескольких вкладок аналитики разных категорий одним пользователем (например вкладок открыл в одном браузере) - БД совсем плохеет. 1 запрос явно не должен кушать столько ресурсов, известный мпстатс первые 2 года вообще на более слабых серверах работал.
Коротко используемые технологии в сервисе аналитики: Python, VueJS (Quasar), Ag Grid, PostgreSQL, ClickHouse, Hyper-V Server, Highload, parsing, FrontEnd, BackEnd.
Требования к исполнителю
Опыт работы с ClickHouse.
Желателен опыт работы непосредственно с подобными сервисами аналитики и БД ClickHouse и PostgreSQL.
Желательно, если дадите ссылку на Ваш GitHub или какие то работы из портфолио.
Порядок работы и оплаты
Сперва нужна консультация или серия консультаций. Цена указана за час консультации.
Согласовываем с исполнителем цену (строго в рублях) и сроки. Если условия устраивают и меня и вас - работаем!
Работаю строго без предоплат! Можем договориться о поэтапных постоплатах, но только постоплатах по факту выполненных работ!