Spiders UA в текущих реалиях (привет, ИИ!)

[moteam]

Есть у кого актуальный список того что вписывать в Spiders UA ?
И вообще определяет/отфильтровывает ли смарт AI ботов?

[admin]

ai боты умеют мимикрировать под обычные браузеры
но сомневаюсь что они делают погоду на сайта где основное - это фото\видео конктент

[moteam]

Ну меня больше волнует то, что такие хиты считаются в ротацию. Пришел бот - и давай грузить базу ротации за зря.

[admin]

в плане нагрузки на железо?

[moteam]

ну вот для сравнения два скриншота - один с гугл-аналитикса, другой с админки смарта:

Screenshot 2025-09-23 at 10.38.42.png (240.89 KiB) Viewed 14254 times

Screenshot 2025-09-23 at 10.38.51.png (89.42 KiB) Viewed 14254 times

Боты сплошные, но смарт их считает.

Что я сделал:
Spiders UA добавил списки:

Code: Select all

$HTTP_MM_ASN:15169
$HTTP_MM_ASN:8075
$HTTP_MM_ASN:136907
$HTTP_MM_ASN:210743
$HTTP_MM_ASN:396982
$HTTP_MM_ASN:23033
$HTTP_MM_ASN:16276
$HTTP_MM_ASN:209366
$HTTP_MM_ASN:24940
$HTTP_MM_ASN:32934
$HTTP_MM_ASN:16509
$HTTP_MM_ASN:13238
$HTTP_MM_ASN:55967
$HTTP_MM_ASN:399358
$HTTP_MM_ASN:14618
$HTTP_MM_ASN:13335
$HTTP_MM_ASN:51167
$HTTP_MM_ASN:45102
$HTTP_MM_ASN:141723
$HTTP_MM_ASN:212238
$HTTP_MM_ASN:132203
bot
crawl
spider
proxy
yahoo
google
SmartCJ
SCJ
yandex
Baiduspider
FTT2 Ping Bot
YandexBot
Slurp
BingPreview
bingbot
BingBot
Googlebot
XoviBot
HTMLParser
Aboundex
MegaIndex
Seznam
coccoc
musobot
MJ12bot
majestic
curl
Sogou
Ahrefs
Baiduspider
baiduboxapp
googleweblight
GPTBot
Amazonbot
ClaudeBot
PetalBot
Bytespider
Anchor Browser
CCBot
babbar.tech
BLEXBot
Barkrowler
SemrushBot
ClaudeBot
TikTokSpider
meta-webindexer
AwarioBot
5.45.75.84
136.243.228.198
144.217.72.122
5.45.70.137
15.204.64.31
167.114.64.183
88.214.203.177
34.174.*.*

SE domains:

Code: Select all

excite.*
alltheweb.*
msn.*
aol.*
aolsearch.*
ask.com
hotbot.com
yupimsn.*
dogpile.com
webcrawler.com
crawler.com
eniro.se
mywebsearch.com
comcast.net
toile.com
conduit.com
t-online.de
searchlock.com
googleweblight.com
rambler.ru
google.*
bing.*
yahoo.*
baidu.com
yandex.*
duckduckgo.com
ask.com
aol.com
naver.com
seznam.cz
sogou.com
so.com
ecosia.org
qwant.com
startpage.com
mail.ru
gizmodo.com
twitter.com
paypal.com
sfu.ca
usc.edu
weibo.com
uci.edu
cam.ac.uk
openai.com
imgur.com
pizzahut.com
zenithbank.com
netflix.com
xbox.com
nationalweather.org
wise.com
engadget.com
wsj.com
khanacademy.org
oppo.com
sony.com
ntu.edu.sg
capitalone.com
nbcnews.com
craigslist.org
apple.com
pexels.com
kohls.com
bbc.com
time.com
ubc.ca
target.com
microsoft.com
aldi.com.au
paytm.com
cloudflare.com
mercadopago.com
foxnews.com
berkeley.edu
coursera.org
asus.com
quora.com
snapdeal.com
blizzard.com
tokopedia.com
chase.com
github.com
glassdoor.com
afip.gob.ar
mcgill.ca
cnn.com
bunnings.com.au
gamespot.com
oracle.com
ucla.edu
busuu.com
moneygram.com
uchicago.edu
huawei.com
xiaomi.com
developers.google.com
brown.edu
caltech.edu
nyu.edu
jd.com
delta.com
lenovo.com
sciencedaily.com
notion.so
linio.com
facebook.com
canva.com
rosettastone.com
cbsnews.com
travelocity.com
springer.com
uottawa.ca
freyalist.com
udemy.com
zynga.com
healthline.com
activision.com
duolingo.com
banamex.com
forbes.com
kfc.com
dribbble.com
stackoverflow.com
yandex.com
ya.ru

Blocked IP action = Don't count and send 100% to url

Blocked IPs:

Code: Select all

$HTTP_MM_ASN:15169
$HTTP_MM_ASN:8075
$HTTP_MM_ASN:136907
$HTTP_MM_ASN:210743
$HTTP_MM_ASN:396982
$HTTP_MM_ASN:23033
$HTTP_MM_ASN:16276
$HTTP_MM_ASN:209366
$HTTP_MM_ASN:24940
$HTTP_MM_ASN:32934
$HTTP_MM_ASN:16509
$HTTP_MM_ASN:13238
$HTTP_MM_ASN:55967
$HTTP_MM_ASN:399358
$HTTP_MM_ASN:14618
$HTTP_MM_ASN:13335
$HTTP_MM_ASN:51167
$HTTP_MM_ASN:45102
$HTTP_MM_ASN:141723
$HTTP_MM_ASN:212238
$HTTP_MM_ASN:132203
5.45.75.84
136.243.228.198
144.217.72.122
5.45.70.137
15.204.64.31
167.114.64.183
88.214.203.177
34.174.*.*

в /admin/test.php в пехепе прокинуты переменные:
$_SERVER['HTTP_MM_ASN']
$_ENV['HTTP_MM_ASN']


Я что-то неправильно настраиваю?

[admin]

в вопросе не хватает что именно не так.

вы добавили какого-то бота в список ботов а смарт продолжает считать хиты от него?

[moteam]

я добавил пачку ботов (гугл-бот/амазон/бинг/опенай)
все они в клаудфлере видны, и у всех них есть и ASN и в юзерагентах точно стоят сторки типа GoogleBot, BingBot и прочее.

Я хочу чтобы эти боты уходили в spiders - так чтобы еще и, условно, skip_test_thumbs для такого трафика было включено, и ротация не срабатывала/считалась/запускалась для таких ботов, и чтобы клики не считались для таких ботов.

Но такой трафик продолжает считаться или в SE, или в bookmark, или в noref.

Я просто уверен, что это какое-то не нормальное поведение:

Screenshot 2025-09-23 at 12.25.26.png (224.12 KiB) Viewed 14247 times

Screenshot 2025-09-23 at 12.26.28.png (203.26 KiB) Viewed 14247 times

Тыкаю в SE статы:

Screenshot 2025-09-23 at 12.28.32.png (163.67 KiB) Viewed 14247 times

там куча айпи, иду смотреть:

The ASN for the IP address 47.79.219.175 is AS45102, which belongs to Alibaba (US) Technology Co., Ltd..

в настройках Spiders UA
Есть строка
$HTTP_MM_ASN:45102

В настройках Blocked IPs
Есть строка
$HTTP_MM_ASN:45102

в /admin/test.php есть хедер
$_SERVER['HTTP_MM_ASN'] 133481 - мой текущий

Но трафик с IP address 47.79.219.175 is AS45102 все-равно считается как SE. Судя по скриншотам выше.

В теории - все настройки верны, и оно должно работать как я предположил выше?
Или Spiders UA / Blocked IPs я использую неправильно?

[moteam]

Screenshot 2025-09-23 at 12.39.54.png (133.14 KiB) Viewed 14245 times

Это подсетка гугла, явно какая-то LLM ходит с их прощадок.

The IP address 34.174.145.85 is part of an autonomous system (AS) operated by Google Cloud. The autonomous system number (ASN) associated with Google Cloud is AS396982.
An autonomous system is a collection of IP networks run by one or more operators under a single routing policy. They are identified by a unique ASN.
Key details for this IP address:
Provider: Google Cloud, indicated by the domain bc.googleusercontent.com associated with the IP range.
ASN: AS396982.
Function: Google Cloud is a major cloud service provider, and the IP address belongs to its extensive network infrastructure.

Оно тоже засунуто и в Blocked IPs и в Spiders UA как $HTTP_MM_ASN:396982
А считается все-равно в bookmarks почему-то.

[admin]

"Оно тоже засунуто и в Blocked IPs и в Spiders UA как $HTTP_MM_ASN:396982
А считается все-равно в bookmarks почему-то."

открыл сеттниги Spiders UA

написано

"Spiders UA
Hits with the following keywords in User Agent will be counted as Spiders
PS you can use other variables here, format: $variable_name:variable_value
for example: $MM_ASN:15169, ie in server variable MM_ASN equal 15169 then it's a spider
You can also use ip ranges like 127.0.0.1-127.0.0.255 "

может в этом проблема ?

[moteam]

Ну что такое server variable MM_ASN? Откуда она берется-то?
Как узнать? понять? в мануалах ничего про это.

>ie in server variable MM_ASN equal 15169 then it's a spider

Я читаю такое описание как $_SERVER["MM_ASN"] == 15169 ? spider : not_spider
То есть сюда можно писать любые вары из $_SERVER

в /admin/test.php в пехепе прокинуты переменные:
$_SERVER['HTTP_MM_ASN']
$_ENV['HTTP_MM_ASN']

вон выше уточнял же - все правильно я настроил, или нет?
А вы отвечаете вопросом на вопрос.