Галеры попадают в inactive

[WorldTraffic]

Если в этот же момнет по логу видно что деактивирует галеры - тогда не знаю
скидывайте шел и админку, будем смотреть

отписал ЛС

[admin]

Если посмотреть на лог то он выгядит так


2017-11-28 02:27:57: Got https://xhamster.com/videos/black-milf- ... ng-8358737 Speed 103431 (10140.99819994, 1.0061950683594)
2017-11-28 02:27:58: Got https://xhamster.com/videos/german-milf ... ck-8365788 Speed 103432 (10142.00472188, 1.0065188407898)
2017-11-28 02:27:59: Got https://xhamster.com/videos/3-fun-bags- ... ks-8360080 Speed 103424 (10143.011259079, 1.0065281391144)
2017-11-28 02:27:59: Got https://xhamster.com/videos/soccer-mom- ... 17-8367858 Speed 103433 (10143.018583059, 0.0073189735412598)
2017-11-28 02:28:00: Got https://xhamster.com/videos/mom-brags-her-tits-8360042 Speed 103432 (10144.03467989, 1.0160980224609)
2017-11-28 02:28:01: Got https://xhamster.com/videos/british-mil ... ts-8370259 Speed 103431 (10145.037101984, 1.0024161338806)
2017-11-28 02:28:02: Got https://xhamster.com/videos/gorgeous-st ... ty-8367852 Speed 103429 (10146.065496922, 1.0283949375153)
2017-11-28 02:28:03: Got https://xhamster.com/videos/talk-about- ... 17-8367815 Speed 103428 (10147.067730904, 1.00221991539)
2017-11-28 02:28:04: Got https://xhamster.com/videos/upskirted-a ... nd-8367614 Speed 103427 (10148.071996927, 1.0042610168457)
2017-11-28 02:28:05: Got https://xhamster.com/movies/8367325/milf_in_rosa.html Speed 103416 (10149.078487873, 1.0064880847931)
2017-11-28 02:28:05: https://xhamster.com/movies/8367325/milf_in_rosa.html :: got status 0 (10149.078756094, 0.00026082992553711)
2017-11-28 02:28:05: Deactivating https://xhamster.com/movies/8367325/milf_in_rosa.html (10149.093018055, 0.014256954193115)
2017-11-28 02:28:05: Got https://xhamster.com/videos/busted-upskirt-8368048 Speed 103425 (10149.101643085, 0.0086188316345215)
2017-11-28 02:28:06: Got https://xhamster.com/videos/tattooed-mi ... gs-8368424 Speed 103424 (10150.110416889, 1.0087749958038)
2017-11-28 02:28:06: Got https://xhamster.com/videos/thick-ebony-granny-8367448 Speed 103433 (10150.116631985, 0.0062029361724854)
2017-11-28 02:28:07: Got https://xhamster.com/videos/upskirt-in- ... om-8367307 Speed 103432 (10151.137172937, 1.0205280780792)
2017-11-28 02:28:08: Got https://xhamster.com/videos/big-butt-bb ... rd-8368859 Speed 103428 (10152.147703886, 1.0105278491974)



те в среднем все ок, но в какой-то момент

2017-11-28 02:28:05: https://xhamster.com/movies/8367325/milf_in_rosa.html :: got status 0

те вопрос не в том что глобально не работает, а в том что в какой-то момент недоступен сервак

и тут вопрос в том, что это раз в секунду недоустпен хомяк, он периодически скидывает ваши конекты или это у вас раз в какое-то время ложится канал.

Или если есть все еще предположения что это глючит скрипт и пишет что хост недоступен то что я могу сделать что б показать что вопрос не на стороне скрипта?

[admin]

Кстати зачем вы проверяете хамстер вообще если у них есть deletion feed ?

[dude21]

У меня другой вопрос. Если по галере чекер получил ответ got status 0 , то почему такая галера отправляется в inactive вместе с другими проверенными и реально неработающими галерами?
При этом статусе ведь понятно, что это не вина галеры, она может быть и живой, а есть проблемы с соединением.
Может быть лучше при таком ответе галеру оставлять в прежнем статусе?

А если в настройках чекера вместо дефолтного Set inactive поставить Delete Gallery, то получается галеры с оветом got status 0 тоже бы удалялись автоматически...

Сейчас вот есть вывод в Write to Script Messages есть пункт Gallery Checher Deletions. И, думаю также в Write to Script Messages можно писать об ошибках got status 0 при проверках галер, при этом статус самих галер оставлять прежним.

[admin]

те в общем случае у нас недоступен хост галеры и мы отправляем туда серфера?
Те он у нас кликнул, открылось окно и там минуту крутиться загрузка и потом ему выдает что сервер недоступен.

В чем смысл?

[WorldTraffic]

....

спасибо, пойду спрошу хостера, что не так

[dude21]

те в общем случае у нас недоступен хост галеры и мы отправляем туда серфера?
Те он у нас кликнул, открылось окно и там минуту крутиться загрузка и потом ему выдает что сервер недоступен.

В чем смысл?

Тут еще не совсем понятно, что считать общим случаем... На мой взгляд, это могут быть проблемы с каналом от своего сервера до сервера-владельца галер; какие-то временные проблемы, когда не все а только некоторые галеры получают got status 0 , как вот в этом случае; или же например, на сервере-владельца галер забанили ip сервера с которого идут запросы на проверку из-за высокой частоты таких запросов. Во всех этих случаях, при проверке галер будет ошибка got status 0 , а у пользователя они возможно будут открываться нормально. Да и при проблеме, когда хост галеры недоступен, это как правило временные проблемы, особенно для крупных сайтов, которые следят за своими серверами.

Опять же, о том, что много галер получают got status 0 можно писать в Script Messages, чтобы обратить на это внимание владельца сайта.

И вот, у нас насыпалось куча галер в inactive, как потом отделить какие из них получили got status 0 от тех, которые уже реально не доступны на сервере-владельца галер?

По крайней мере, думаю, при настройке чекера Checker action на Delete Gallery, при получении ответа got status 0 нужно не удалять галеру, а хотя бы переводить в inactive.

[WorldTraffic]

не уверен я что проблема с каналом, но его вроде как проверяют

я вот сейчас смотрю другие сайты и есть сайты на которых got status 0 нету(по логам за два дня) и там билд Build 201711020940
на другом сайте от xamstera 130к галер не одной в инактиве билд Build 201707180948
вот еще на таком билде Build 201711231927 все нормально

дальше изучаю

те в общем случае у нас недоступен хост галеры и мы отправляем туда серфера?
Те он у нас кликнул, открылось окно и там минуту крутиться загрузка и потом ему выдает что сервер недоступен.

В чем смысл?

если хамстер и т.д. удаляет галеру то она имете статус делейт и в грабере есть правило по этому делу

xhamster.com|This video was deleted
xhamster.com|This movie has been removed

получается нужно что бы если статус отличается то как минимум на перечек отправлять

[admin]

Тогда достаточно убрать из конфига

default|http_code_0

который у вас есть и галеры куда не законектился

От билда никак не зависит, как я могу показать это ? что надо вывести в лог?

[WorldTraffic]

посмотрели админы и определили следующее
проблема с галерами у которых в урле есть /movies/ собственно чуть выше вы лог скидывали как раз видно такую галеру
цитирую

Обнаружили тенденцию,
что галеры, где фигурирует /movies/ идут через 301й редирект на другой локейшн, который /videos/
вот наглядный пример:
- идет все нормально
2017-11-28 02:28:02: Got https://xhamster.com/videos/gorgeous-st ... ty-8367852 Speed 103429 (10146.065496922, 1.0283949375153)
2017-11-28 02:28:03: Got https://xhamster.com/videos/talk-about- ... 17-8367815 Speed 103428 (10147.067730904, 1.00221991539)
2017-11-28 02:28:04: Got https://xhamster.com/videos/upskirted-a ... nd-8367614 Speed 103427 (10148.071996927, 1.0042610168457)
- запросился очередной урл
2017-11-28 02:28:05: Got https://xhamster.com/movies/8367325/milf_in_rosa.html Speed 103416 (10149.078487873, 1.0064880847931)
- получает статус код 0 так как пошел по 301у редиректу на https://xhamster.com/videos/milf-in-rosa-8367325
2017-11-28 02:28:05: https://xhamster.com/movies/8367325/milf_in_rosa.html :: got status 0 (10149.078756094, 0.00026082992553711)
- далее он сразу деактивировался, так как 301й редирект
2017-11-28 02:28:05: Deactivating https://xhamster.com/movies/8367325/milf_in_rosa.html (10149.093018055, 0.014256954193115)
- идалее уже все нормально
2017-11-28 02:28:05: Got https://xhamster.com/videos/busted-upskirt-8368048 Speed 103425 (10149.101643085, 0.0086188316345215)
2017-11-28 02:28:06: Got https://xhamster.com/videos/tattooed-mi ... gs-8368424 Speed 103424 (10150.110416889,
потом опять проблемы, которые связаны с /movies/

может чекер можно подкрутить?