Парни, если у кого подобные проблемы, вот как я решил вопрос.
Мой сетап: пхп + нгинкс + домен проксируется клаудфлером.
1) Идем в клаудфлер, в домен. Выбираем Rules > Overview > [+ Create rule]
создаем новый Request Header Transform Rule с настройками:
If incoming requests match… All incoming requests
Then...
set dynamic
header name: MM-ASN
value: to_string(ip.src.asnum)

- Screenshot 2025-09-24 at 15.17.00.png (166.38 KiB) Viewed 14030 times
Теперь в вашем пехепе без танцев появится $_SERVER["HTTP_MM_ASN"], клаудфлер автоматом добавляет HTTP_ префикс и заменяет тире на прочерки.
2) Если у вас, как у меня, весь смарт завернут на кастомный index.php, внутри которого уже инклюдится include("./path/to/smart/cgi/index.php"):
Code: Select all
// list of manually checked bot ASNs:
$asns = [15169, 8075, 136907, 210743, 396982, 23033, 16276, 209366, 24940, 32934, 16509, 13238, 55967, 399358, 14618, 13335, 51167, 45102, 141723, 212238, 132203];
if (in_array(@$_SERVER["HTTP_MM_ASN"], $asns)) {
$_GET["skip_test_thumbs"] = true;
$_GET["dont_count_in_trade"] = true;
$_GET["skip_sell"] = true;
$_GET["p"] = 100;
$_SERVER['HTTP_USER_AGENT'] = "+CustomBotIAm " . $_SERVER['HTTP_USER_AGENT'];
}
// include smart afterwards:
include("./path/to/smart/cgi/index.php")
таким образом, к рекущему HTTP_USER_AGENT от такого запроса добавляется текст "+CustomBotIAm"
3) Идем в смарт: Settings > Config lists > Spiders UA
добавляем строку CustomBotIAm
И радуемся тому что боты теперь считаются как spiders наконец. А не как SE/bookmarks и прочее что убивает ротацию.

- Screenshot 2025-09-24 at 15.23.13.png (197.22 KiB) Viewed 14030 times

- Screenshot 2025-09-24 at 15.23.28.png (205.13 KiB) Viewed 14030 times
Ради инфы - вот что за ASN-ы отобрал себе, можете выбирать нужное.
8075 - MICROSOFT-CORP-MSN-AS-BLOCK GPTBot/1.2; +https: //openai.com/gptbot)
8075 - MICROSOFT-CORP-MSN-AS-BLOCK bingbot/2.0; +http: //
www.bing.com/bingbot.htm / Chatgpt OpenAI
136907 - HWCLOUDS-AS-AP HUAWEI CLOUDS PetalBot;+https: //webmaster.petalsearch.com/site/petalbot
396982 - GOOGLE-CLOUD-PLATFORM / VPN ? bot? LLM-s?
16276 - Ahrefs
209366 - SEMRUSH-AS
24940 - HETZNER-AS BLEXBot/1.0; +https: //help.seranking.com/en/blex-crawler AwarioBot/1.0; +
https://awario.com/bots.html
15169 - GOOGLE Googlebot/2.1; +http: //
www.google.com/bot.html
32934 - FACEBOOK meta-webindexer/1.1 (+https: //developers.facebook.com/docs/sharing/webmasters/crawler)
16509 - AMAZON-02 TikTokSpider;
[email protected]
13238 - YANDEX YandexBot/3.0; +http: //yandex.com/bots
210743 - BABBAR-AS Barkrowler/0.9; +https: //babbar.tech/crawler
55967 - BAIDU
399358 - (Claude Anthropic, PBC) and advertises 160.79.104.0/23 (and IPv6) for its services.
14618 - Common Crawl (CCBot / CC data)
13335 - Cloudflare
51167 - also registered to Contabo GmbH.
212238 - Datacamp Limited and is associated with malicious and suspicious activity. Its hostname is unn-154-47-24-95.datapacket.com, indicating it is part of the Datapacket network
45102 - ALIBABA-CN-NET Alibaba US Technology Co., Ltd.
132203 - TENCENT-NET-AP-CN Tencent Building, Kejizhongyi Avenue
23033 - This is the primary ASN associated with Wowrack.com in the United States.