Софт для обхода сайта (Adsense Crawler)
Думаю многим пригодиться. :beer:
Что софт делает?
Софт работает в многопотоке и может обходить сайты очень быстро.
Кол-во поддерживаемых потоков будет зависеть от вашего железа.
Работает в двух режимах:
1. Может за несколько секунд спарсить ваш Sitemap.xml и положить урлы в файл для дальнейшего обхода.
Для этого укажите софту txt список с вашими сайтмапами, например:
https://domain.ru/sitemap-1.xml
https://domain.ru/sitemap-2.xml
и т.д.
2. Обходит сайт по списку урлов
2.1 Меняет User-Agent
2.2 Задается интервал прибывания на сайте
2.3 Для хардкорщиков есть возможность подключать прокси
Скачать можно по этой ссылке
P.S. софт может блокироваться 10 виндой, по этому вопросу лучше писать сразу разработчику движка.
Недавнее сканирование на Virustotal
Если надо будет чего добавить пишите тут, будет время я обновлю софт.