Боты попадают в стату

darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Боты попадают в стату

Post by darkover »

Привет!
Ины от ботов клики стали попадать в notrade и букмарки.
В Spiders UA признаки ботов прописаны blexbot и dotbot

Ап последний
bots.jpg
bots.jpg (85.66 KiB) Viewed 219 times
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Боты попадают в стату

Post by admin »

Ины от ботов клики стали попадать в notrade и букмарки.
ины или клики?
В Spiders UA признаки ботов прописаны blexbot и dotbot
как это видно по скрину?

как именно что протестировать провеорить что б понять проблему?
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Боты попадают в стату

Post by darkover »

Вроде только ины попадают.
По скрину никак особо не видно, что spaiders UA прописаны в настройках смарта
admin/?operation=settings&sub=cj_settings&
Spiders UA
Hits with the following keywords in User Agent will be counted as Spiders
PS you can use other variables here, format: $variable_name:variable_value
for example: $MM_ASN:15169, ie in server variable MM_ASN equal 15169 then it's a spider
You can also use ip ranges like 127.0.0.1-127.0.0.255
вот тут есть строки:
dotbot
blexbot
они регистр зависимые или нет ? Т.к. в логах сервера DotBot и BLEXBot отсвечивает
Я не могу понять, почему они попадают в ноутрейд, если они прилетели как боты
Как это повторить я не знаю ) И дело не в апе, это однозначно, на ресурсах где давно ничего не апалось - один в один ситуация. Куча инов от ноутрейда, а по логам сервера - боты эти
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Боты попадают в стату

Post by admin »

"они регистр зависимые или нет ? Т.к. в логах сервера DotBot и BLEXBot отсвечивает"
логах сервера или скрипта?

"Я не могу понять, почему они попадают в ноутрейд, если они прилетели как боты"
как видно что попадают в нотрейд?
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Боты попадают в стату

Post by darkover »

admin wrote: Sun Jan 15, 2023 3:07 pm "они регистр зависимые или нет ? Т.к. в логах сервера DotBot и BLEXBot отсвечивает"
логах сервера или скрипта?
https://my.jetscreenshot.com/demo/20230115-jxz8-23kb
Вот тут если вносить признаки ботов. В самом скрипте.
admin wrote: Sun Jan 15, 2023 3:07 pm "Я не могу понять, почему они попадают в ноутрейд, если они прилетели как боты"
как видно что попадают в нотрейд?
Вот тут, букмарки, ноутрейд - боты
https://my.jetscreenshot.com/demo/20230115-3rv4-34kb

Если смотреть рефы по ноутрейду - то там 80% - вообще без рефа а остальное - мой домен
https://my.jetscreenshot.com/demo/20230115-wkcb-12kb

Ну и по ипишникам ноутрейда
https://my.jetscreenshot.com/demo/20230115-kx5u-96kb
Берем любой ипишник и смотрим по логам сервера, там будет либо блексбот либо дотбот

Какую еще информацию предоставить, что бы понять, что происходит ?
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Боты попадают в стату

Post by darkover »

На вот другом сайте
https://my.jetscreenshot.com/demo/20230115-r3y4-29kb
букмарки - боты, тоже по ипишникам видно
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Боты попадают в стату

Post by admin »

Итого мы узнали что вы открыли стат по ИП нотрейда
взяли оттуда ип
проверили его по логу апача (?) и там написано это это dotbot

что конкретно написано в логе на самый распространенный ип на вашем скрине?

я взял поменял чистый инсталл
поменял ЮА браузера на dotbot
зашел на сайт и меня только в боты посчитало


скрины выглядт странно

https://my.jetscreenshot.com/demo/20230115-3rv4-34kb

тут у нотерйда 118 кликов


а тут

https://my.jetscreenshot.com/demo/20230115-kx5u-96kb

как минимум 3000


что я не так понимаю?
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Боты попадают в стату

Post by darkover »

admin wrote: Sun Jan 15, 2023 3:31 pm Итого мы узнали что вы открыли стат по ИП нотрейда
взяли оттуда ип
проверили его по логу апача (?) и там написано это это dotbot

что конкретно написано в логе на самый распространенный ип на вашем скрине?
Конечно ) Это нужно было писать сразу, что бы понятно было? ) Я не с потолка же взял ипишники )
ответы сервера 2xx/3xx выключены в логах, не пишутся по дефолту у меня, что бы логи не пухли. Сейчас включил если что.
Пишутся только ошибки

Code: Select all

[15/Jan/2023:10:10:41 +0000] "GET /sitemap HTTP/2.0" 404 591 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" "162.55.85.222"
[15/Jan/2023:10:10:55 +0000] "GET /sitemap HTTP/2.0" 404 591 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" "162.55.85.222"
[15/Jan/2023:10:11:10 +0000] "GET /sitemap HTTP/2.0" 404 591 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" "162.55.85.222"
 [15/Jan/2023:10:11:36 +0000] "GET /sitemap.txt HTTP/2.0" 404 591 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" "162.55.85.222"

admin wrote: Sun Jan 15, 2023 3:31 pm
я взял поменял чистый инсталл
поменял ЮА браузера на dotbot
зашел на сайт и меня только в боты посчитало


скрины выглядт странно

https://my.jetscreenshot.com/demo/20230115-3rv4-34kb

тут у нотерйда 118 кликов


а тут

https://my.jetscreenshot.com/demo/20230115-kx5u-96kb

как минимум 3000


что я не так понимаю?
Вот из-за того, что странно я создал топик, т.к. не могу понять в чем дело. Может это какой-то новый залетный бот появился, т.к. сразу и по всем сайтам. Но по логам там блекс и дот боты.
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Боты попадают в стату

Post by admin »

[15/Jan/2023:10:10:41 +0000] "GET /sitemap HTTP/2.0" 404 591 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" "162.55.85.222"

тут выдало 404 ему - те это хит скрипт не залогил

есть хит на скрипт?

пс скиньте админку что б было проще
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Боты попадают в стату

Post by darkover »

admin wrote: Sun Jan 15, 2023 4:23 pm [15/Jan/2023:10:10:41 +0000] "GET /sitemap HTTP/2.0" 404 591 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" "162.55.85.222"

тут выдало 404 ему - те это хит скрипт не залогил
Да, не залогил. Я же выше написал, что 2хх/3хх ответы не писал в логи сервера.
admin wrote: Sun Jan 15, 2023 4:23 pm
есть хит на скрипт?

пс скиньте админку что б было проще
Сейчас логи пишут все. Там можно найти будет.
На какой сайт, на любой с этой проблемой ?
Post Reply