Page 1 of 1

SCJ_VISITOR -> spider

Posted: Tue Apr 13, 2021 7:54 am
by Include
Насколько надежно дефолтный массив 'Spiders UA' определяет всех пауков?

у меня сейчас так:
bot
crawl
spider
proxy
yahoo
google
SmartCJ
SCJ
yandex
Baiduspider
FTT2 Ping Bot
baiduboxapp
mediapartners
slurp
baidu

интуиция подсказывает что тот же гугл может 'хитро' заходить на сайты и массив 'Spiders UA' далеко не все отлавливает. Подскажите что допилить, где взять полный список 'Spiders UA' и диапазоны ip-адресов?

Re: SCJ_VISITOR -> spider

Posted: Tue Apr 13, 2021 8:03 am
by admin
скрипт определяет спайдеров ровно по вашим настройкам в сетингах

как в этом случае ответить на вопрос "Насколько надежно дефолтный массив 'Spiders UA' определяет всех пауков? " ...
по тому что в сетингах - на 100%

если вам надо вот прям все точно как хитро ходит гугл - это надо обратиться на гугл )
в остальных случаях каждый набивает сам что найдет, у меня никакого тейного входа на гугл нет )

Re: SCJ_VISITOR -> spider

Posted: Tue Apr 13, 2021 8:40 am
by Include
вопрос не к обработчику а к самому массиву исходных данных - 'Spiders UA'

может кто поделится?

Re: SCJ_VISITOR -> spider

Posted: Tue Apr 13, 2021 3:44 pm
by admin
я думюа на сеошных форумах могут быть списки