Gallery Checker

[atrides]

1.Gallery Checker не отлавливает галеру с удаленным видео
https://xh.video/x/xhEbe9e

Gallery Deletion Rules:
xhamster.com|Video was deleted
xhamster.com|Video not found
xhamster.com|The requested content is no longer available
xh.video|Video was deleted
xh.video|Video not found
xh.video|The requested content is no longer available

2. при работе чекера, через некоторое время выдается code 429
2025-06-19 13:38:50: Speed 215113, slowing down (5) (2190.7339701653, 0.016376972198486)
2025-06-19 13:38:55: Got https://xh.video/x/xhpQPvq gallery_id 2191, code 200, Speed 215113 b/sec (2195.7348191738, 5.0008480548859)
2025-06-19 13:38:55: Got https://xh.video/x/xhpPMv6 gallery_id 2186, code 429, Speed 214624 b/sec (2195.7423000336, 0.0074810981750488)
что можно сделать?
Max bandwidth 200

build: 202506170746 PHP version 8.2.28 Mysql Version: 10.11.11-MariaDB-0+deb12u1

[admin]

1. что конкретно в логе про галеру которую должно но не деактивировало?

2. надо уменьшить, скорость чекера
на сколько конкретно я конечно не знаю, зависит от настроек хамстера

[atrides]

1.
Got https://xh.video/x/xhEbe9e gallery_id 1035, code 200, Speed 107430 b/sec (2121.0900650024, 0.0023648738861084)

[admin]

code 200
значит проверяло и в тот момент вернуло все ок для этой галеры
сейчас уже 403

или по логу видно что вообще ни одной галеры с хамстера не деактивирует?

[atrides]

по логу видно, что вообще ни одной галеры с хамстера не деактивирует
вот в ручную нашел, все 200 и не деактивированы
https://xh.video/x/xhL8rsw
https://xh.video/x/xhEbe9e
https://xh.video/x/xhOmB4K

[atrides]

up

[admin]

так 200 это значит нормально вернуло код
200 и должно быть когда все ок с галерой, или я что-то не так понял?

[atrides]

Из выше приведенного списка, берем урл
https://xh.video/x/xhOmB4K
в теле страницы
<title>Video was deleted</title>

<div class="width-wrap">
<div class="error404 clearfix-after">
<div class="error404-container">
<div class="error404-title">Video not found</div>
<div class="error404-info">The requested content is no longer available.<br/>
<a href="https://xhamster.com/">Return to Home Page</a>.
</div>
</div>
</div>
чекер смарта возвращает code 200, галера не деактивируется
так и должно быть?
тогда чем мне деактивировать галеры без видео?

P.S. урл https://xh.video/x/xhOmB4K
разворачивается в https://xhamster.com/videos/amateur-you ... ie-xhOmB4K

Gallery Deletion Rules:
xhamster.com|Video was deleted
xhamster.com|Video not found
xhamster.com|The requested content is no longer available
xh.video|Video was deleted
xh.video|Video not found
xh.video|The requested content is no longer available

[admin]

вероятно в тот момент когда проверялось еще было 200 и без этой надписи

сейчас можно сделать так в шеле

php gallery_checker.php gallery_id=... ид нужной галеры и проверить что напишет в логе

я конкретно эту проверил - правило срабатывает

[atrides]

2025-06-28 05:26:25: Loading Galery Deletion Rules (0.0003819465637207, 0.00038290023803711)
2025-06-28 05:26:25: Loading Galery Deletion Rules (0.0036609172821045, 0.0032799243927002)
2025-06-28 05:26:25: Adding galleries from position 2206 Speed 0 b\s, 0 urls\min (0.0041990280151367, 0.00053501129150391)
2025-06-28 05:26:25: last id 0 (total items 1) (0.0047199726104736, 0.00052094459533691)
2025-06-28 05:26:25: Loading Galery Deletion Rules (0.0055360794067383, 0.00081706047058105)
2025-06-28 05:26:25: Adding galleries from position 0 Speed 0 b\s, 0 urls\min (0.0060760974884033, 0.00053811073303223)
2025-06-28 05:26:25: last id 0 (total items 1) (0.0063719749450684, 0.00029492378234863)
2025-06-28 05:26:26: Speed 505023, slowing down (5) (0.47230505943298, 0.46593308448792)
2025-06-28 05:26:31: Got https://xh.video/x/xhEbe9e gallery_id 1035, code 200, Speed 505023 b/sec (5.4734330177307, 5.0011279582977)
2025-06-28 05:26:31: Gallery id 1035 checked. Exit. (5.4759910106659, 0.0025558471679688)

так же другая галера
2025-06-28 05:31:50: Loading Galery Deletion Rules (0.00026798248291016, 0.00026893615722656)
2025-06-28 05:31:50: Loading Galery Deletion Rules (0.0034770965576172, 0.0032098293304443)
2025-06-28 05:31:50: Adding galleries from position 0 Speed 0 b\s, 0 urls\min (0.0039310455322266, 0.00045084953308105)
2025-06-28 05:31:50: last id 0 (total items 1) (0.0046210289001465, 0.00068998336791992)
2025-06-28 05:31:50: Loading Galery Deletion Rules (0.0054330825805664, 0.00081300735473633)
2025-06-28 05:31:50: Adding galleries from position 0 Speed 0 b\s, 0 urls\min (0.0058720111846924, 0.00043582916259766)
2025-06-28 05:31:50: last id 0 (total items 1) (0.0060820579528809, 0.00021004676818848)
2025-06-28 05:31:51: Speed 536648, slowing down (5) (0.4441499710083, 0.438068151474)
2025-06-28 05:31:56: Got https://xh.video/x/xhOmB4K gallery_id 2045, code 200, Speed 536648 b/sec (5.4452209472656, 5.0010690689087)
2025-06-28 05:31:56: Gallery id 2045 checked. Exit. (5.4473190307617, 0.0020959377288818)

Если я меняю урл в базе
с https://xh.video/x/xhL8rsw
на https://xhamster.com/videos/teen-sex-al ... ck-xhL8rsw
то смарт срабатывает как надо
2025-06-28 05:37:09: Got https://xhamster.com/videos/teen-sex-al ... ck-xhL8rsw gallery_id 1678, code 423, Speed 450888 b/sec (5.329118013382, 5.0031189918518)
2025-06-28 05:37:09: Found 'Video only shown to uploader' at https://xhamster.com/videos/teen-sex-al ... ck-xhL8rsw (5.3303830623627, 0.0012650489807129)
2025-06-28 05:37:09: Set https://xhamster.com/videos/teen-sex-al ... ck-xhL8rsw to inactive (5.3308889865875, 0.0005030632019043)
2025-06-28 05:37:09: Gallery id 1678 checked. Exit. (5.3348550796509, 0.003964900970459)

т.е. получается, что не обрабатывается редирект хомяка