Всем высокой проды!
====================================================================================
! Мужики, давайте поможем нашему многоуважаемому Админу, обновить список спайдеров и ботов прочих UA.
! Выкладывайте сюда название и ИПшники новых ботов.
Может кто поделится своими настройками Config lists
====================================================================================
Итак, вот первые вычисленные:
WebIndex
seznam.cz
coccoc.com
З.Ы.
Очень большая разница между униками и равами.
Полезные и неполезные боты в основном они идут в нореф. Соотв. их смарт шлет трейдерам, где они уничтожают нашу внешнюю проду.
Смартовцы против Ботов
Re: Смартовцы против Ботов
В админке Смарта в колонке No ref наблюдаю большое кол-во Равов.
No Ref R.In 8302 U.In 1532
http://ooo-maturesex.com на закладке Rep. Ips
24.59.57.116 (United States) (W) 730 10%
123.30.175.225 (Vietnam) (W) 481 6%
123.30.175.226 (Vietnam) (W) 452 6%
123.30.175.224 (Vietnam) (W) 446 6%
123.30.175.229 (Vietnam) (W) 446 6%
123.30.175.227 (Vietnam) (W) 436 6%
123.30.175.223 (Vietnam) (W) 433 6%
123.30.175.230 (Vietnam) (W) 424 6%
123.30.175.228 (Vietnam) (W) 416 5%
No Ref R. In 4748 U.in 585
oh-xxxmature.com на закладке Rep. Ips
123.30.175.159 (Vietnam) (W) 527 9%
123.30.175.160 (Vietnam) (W) 514 9%
123.30.175.164 (Vietnam) (W) 495 8%
123.30.175.162 (Vietnam) (W) 486 8%
123.30.175.161 (Vietnam) (W) 472 8%
123.30.175.158 (Vietnam) (W) 461 8%
123.30.175.165 (Vietnam) (W) 453 8%
123.30.175.163 (Vietnam) (W) 448 8%
http://agedxxxtube.com на закладке Rep. Ips
123.30.175.225 (Vietnam) (W) 444 11%
123.30.175.223 (Vietnam) (W) 405 10%
123.30.175.224 (Vietnam) (W) 404 10%
123.30.175.229 (Vietnam) (W) 383 10%
123.30.175.227 (Vietnam) (W) 380 10%
123.30.175.226 (Vietnam) (W) 372 9%
123.30.175.230 (Vietnam) (W) 358 9%
123.30.175.228 (Vietnam) (W) 323 8%
http://home-porn-video.com на закладке Rep. Ips
109.206.180.46 (Europe) (W) 508 32%
216.172.61.89 (United States) (W) 327 21%
216.172.57.38 (United States) (W) 68 4%
216.172.54.101 (United States) (W) 29 2%
2-й день
109.206.180.46 (Europe) (W) 612 14%
123.30.175.215 (Vietnam) (W) 386 9%
123.30.175.217 (Vietnam) (W) 355 8%
123.30.175.222 (Vietnam) (W) 348 8%
123.30.175.219 (Vietnam) (W) 345 8%
3-й день
216.172.61.89 (United States) (W) 339 8%
123.30.175.221 (Vietnam) (W) 331 7%
123.30.175.218 (Vietnam) (W) 322 7%
123.30.175.220 (Vietnam) (W) 316 7%
123.30.175.216 (Vietnam) (W) 311 7%
Уважаемый Админ приведите пример куда и что нужно прописать, чтобы избавится от этого в No Ref?
No Ref R.In 8302 U.In 1532
http://ooo-maturesex.com на закладке Rep. Ips
24.59.57.116 (United States) (W) 730 10%
123.30.175.225 (Vietnam) (W) 481 6%
123.30.175.226 (Vietnam) (W) 452 6%
123.30.175.224 (Vietnam) (W) 446 6%
123.30.175.229 (Vietnam) (W) 446 6%
123.30.175.227 (Vietnam) (W) 436 6%
123.30.175.223 (Vietnam) (W) 433 6%
123.30.175.230 (Vietnam) (W) 424 6%
123.30.175.228 (Vietnam) (W) 416 5%
No Ref R. In 4748 U.in 585
oh-xxxmature.com на закладке Rep. Ips
123.30.175.159 (Vietnam) (W) 527 9%
123.30.175.160 (Vietnam) (W) 514 9%
123.30.175.164 (Vietnam) (W) 495 8%
123.30.175.162 (Vietnam) (W) 486 8%
123.30.175.161 (Vietnam) (W) 472 8%
123.30.175.158 (Vietnam) (W) 461 8%
123.30.175.165 (Vietnam) (W) 453 8%
123.30.175.163 (Vietnam) (W) 448 8%
http://agedxxxtube.com на закладке Rep. Ips
123.30.175.225 (Vietnam) (W) 444 11%
123.30.175.223 (Vietnam) (W) 405 10%
123.30.175.224 (Vietnam) (W) 404 10%
123.30.175.229 (Vietnam) (W) 383 10%
123.30.175.227 (Vietnam) (W) 380 10%
123.30.175.226 (Vietnam) (W) 372 9%
123.30.175.230 (Vietnam) (W) 358 9%
123.30.175.228 (Vietnam) (W) 323 8%
http://home-porn-video.com на закладке Rep. Ips
109.206.180.46 (Europe) (W) 508 32%
216.172.61.89 (United States) (W) 327 21%
216.172.57.38 (United States) (W) 68 4%
216.172.54.101 (United States) (W) 29 2%
2-й день
109.206.180.46 (Europe) (W) 612 14%
123.30.175.215 (Vietnam) (W) 386 9%
123.30.175.217 (Vietnam) (W) 355 8%
123.30.175.222 (Vietnam) (W) 348 8%
123.30.175.219 (Vietnam) (W) 345 8%
3-й день
216.172.61.89 (United States) (W) 339 8%
123.30.175.221 (Vietnam) (W) 331 7%
123.30.175.218 (Vietnam) (W) 322 7%
123.30.175.220 (Vietnam) (W) 316 7%
123.30.175.216 (Vietnam) (W) 311 7%
Уважаемый Админ приведите пример куда и что нужно прописать, чтобы избавится от этого в No Ref?
Re: Смартовцы против Ботов
No Ref R.In 8302 U.In 1532
http://ooo-maturesex.com на закладке Rep. Ips
Те в нореф виды рефы все же , я верно понял ?
http://ooo-maturesex.com на закладке Rep. Ips
Те в нореф виды рефы все же , я верно понял ?
Don't forget to run script update
Re: Смартовцы против Ботов
Нет. В нореф - рефы не видны.admin wrote:No Ref R.In 8302 U.In 1532
http://ooo-maturesex.com на закладке Rep. Ips
Те в нореф виды рефы все же , я верно понял ?
Я скопировал Ипшники из закладки Rep. Ips.
Re: Смартовцы против Ботов
Те в целом вопрос как сделать что б у норефа не было равов?
хм..
например я взял и рефрешу вашу индексную страницу периодически. те я 1 уник и много равов.
Каким образом от этого можно избавится?
хм..
например я взял и рефрешу вашу индексную страницу периодически. те я 1 уник и много равов.
Каким образом от этого можно избавится?
Don't forget to run script update
Re: Смартовцы против Ботов
По сути, да.admin wrote:Те в целом вопрос как сделать что б у норефа не было равов?
хм..
например я взял и рефрешу вашу индексную страницу периодически. те я 1 уник и много равов.
Каким образом от этого можно избавится?
1. Избавится от равов в норефе.
2. Для каждого сайта в моей сетке внести ниже приведенные Ипшники в
категорию spiders (как это сделать через Глобал Админ)
123.30.175.211 (Vietnam) (W) 474 9
123.30.175.214 (Vietnam) (W) 423 8
123.30.175.210 (Vietnam) (W) 409 8
123.30.175.207 (Vietnam) (W) 400 8
123.30.175.213 (Vietnam) (W) 400 8
123.30.175.208 (Vietnam) (W) 394 7
Re: Смартовцы против Ботов
Возможно я не совсем понял ваше предложение.
Что делать в случае если я зашел к вам на сайт и обновляю его создавая кучу равов?
Что делать в случае если я зашел к вам на сайт и обновляю его создавая кучу равов?
Don't forget to run script update
Re: Смартовцы против Ботов
С первым пунктом мне стало понятно. Равы будут всегда и от это логично и нормально, если они от действительно "человки")).admin wrote:Возможно я не совсем понял ваше предложение.
Что делать в случае если я зашел к вам на сайт и обновляю его создавая кучу равов?
Снимаю вопрос.
Второй пункт. Я выяснил, что конкретные равы с ИП зафиксированные в норефе, являются ботами, как мне указать это смарту. Чтобы впредь смарт считал их в spiders
Re: Смартовцы против Ботов
Для этого надо выяснить какой у них ЮА и добавить в список спайдеров.Узнать это думаю проще всего если проверить по логу вебсервака с какими ЮА ходят с этих ИП.
Don't forget to run script update
Re: Смартовцы против Ботов
Получил от админов выдержку из лога сервака:
fapxxxtube.com 123.30.175.211 - - [25/Jan/2015:08:43:37 +0000] "GET /Girlfriend%20Share/ctr/1/ HTTP/1.1" 200 15104 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
coolxnxx.com 123.30.175.214 - - [25/Jan/2015:08:41:03 +0000] "GET /Masturbating%20Amateur/duration/1/ HTTP/1.1" 200 38001 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
coolxnxx.com 123.30.175.214 - - [25/Jan/2015:08:41:06 +0000] "GET /Big%20Tits%20Indian/ctr/2/ HTTP/1.1" 200 30923 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
fapxxxtube.com 123.30.175.210 - - [25/Jan/2015:08:31:57 +0000] "GET /Tits%20Bouncing/ctr/1/ HTTP/1.1" 200 19181 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
fapxxxtube.com 123.30.175.210 - - [25/Jan/2015:08:32:01 +0000] "GET /Latina%20MILF/ctr/1/ HTTP/1.1" 200 33866 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
fapxxxtube.com 123.30.175.207 - - [25/Jan/2015:08:42:00 +0000] "GET /Retro%20Busty/ctr/1/ HTTP/1.1" 200 14387 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
что добавлять в config list?
fapxxxtube.com 123.30.175.211 - - [25/Jan/2015:08:43:37 +0000] "GET /Girlfriend%20Share/ctr/1/ HTTP/1.1" 200 15104 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
coolxnxx.com 123.30.175.214 - - [25/Jan/2015:08:41:03 +0000] "GET /Masturbating%20Amateur/duration/1/ HTTP/1.1" 200 38001 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
coolxnxx.com 123.30.175.214 - - [25/Jan/2015:08:41:06 +0000] "GET /Big%20Tits%20Indian/ctr/2/ HTTP/1.1" 200 30923 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
fapxxxtube.com 123.30.175.210 - - [25/Jan/2015:08:31:57 +0000] "GET /Tits%20Bouncing/ctr/1/ HTTP/1.1" 200 19181 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
fapxxxtube.com 123.30.175.210 - - [25/Jan/2015:08:32:01 +0000] "GET /Latina%20MILF/ctr/1/ HTTP/1.1" 200 33866 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
fapxxxtube.com 123.30.175.207 - - [25/Jan/2015:08:42:00 +0000] "GET /Retro%20Busty/ctr/1/ HTTP/1.1" 200 14387 "-" "Mozilla/5.0 (compatible; coccoc/1.0; +http://help.coccoc.com/)"
что добавлять в config list?