SCJ_VISITOR -> spider
Posted: Tue Apr 13, 2021 7:54 am
Насколько надежно дефолтный массив 'Spiders UA' определяет всех пауков?
у меня сейчас так:
bot
crawl
spider
proxy
yahoo
google
SmartCJ
SCJ
yandex
Baiduspider
FTT2 Ping Bot
baiduboxapp
mediapartners
slurp
baidu
интуиция подсказывает что тот же гугл может 'хитро' заходить на сайты и массив 'Spiders UA' далеко не все отлавливает. Подскажите что допилить, где взять полный список 'Spiders UA' и диапазоны ip-адресов?
у меня сейчас так:
bot
crawl
spider
proxy
yahoo
SmartCJ
SCJ
yandex
Baiduspider
FTT2 Ping Bot
baiduboxapp
mediapartners
slurp
baidu
интуиция подсказывает что тот же гугл может 'хитро' заходить на сайты и массив 'Spiders UA' далеко не все отлавливает. Подскажите что допилить, где взять полный список 'Spiders UA' и диапазоны ip-адресов?