Сделать парсер на NodeJS / Puppeteer для сайта Crocs
https://www.crocs.co.uk/p/classic-clog/10001.html?cgid=men-footwear&cid=4JL#start=1
Сайт имеет защиту от ботов Kasada. Ее можно увидеть, если запросить ссылку выше через Curl: там будет iframe + JS challenge. Он ставит куку, с которой потом открывается уже нормальная страница.
Статья как это можно обойти вот здесь:
https://www.nullpt.rs/devirtualizing-nike-vm-1
Что должен делать парсер:
- запрашивать урл — если есть JS challenge, решать его
- на итоговой странице получать содержимое JS переменной window.app.product.data.cache (она есть в коде HTML страницы)
В случае удачного выполнения задания есть схожие задачи для других сайтов.