Грабинг в 1 поток

Постим сюда все найденые ошибки
proffitraff
Posts: 91
Joined: Tue Nov 28, 2017 7:37 pm

Грабинг в 1 поток

Post by proffitraff »

Здравствуйте, похоже на баг. Если поставить грабинг в один поток, то он перестаёт работать. Ставлю >1 и всё начинает работать. Не знаю, как точно проверить (в логах вроде как ничего нет по-этому поводу)... Возможно вы сможете как-то проверить.
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Грабинг в 1 поток

Post by admin »

А если подождать при одном потоке? например через час не начинает грабить ?
Don't forget to run script update
proffitraff
Posts: 91
Joined: Tue Nov 28, 2017 7:37 pm

Re: Грабинг в 1 поток

Post by proffitraff »

Неа, не начинает... И кажется тут не просто в потоках дело.
История такая, что изначально стояло 5-10 потоков (все прекрасно грабилось), но чтобы снизить нагрузку, поставил 1. Со временем заметил, что грабится вообще перестало. Поставил 3, вроде дело пошло. Но сейчас опять заметил, что всё остановилось. Т.е. стояло по-несколько дней и ничего не происходило. Начал экспериментировать, поставил сначала 5 потоков (не помогло), а затем 10 (помогло). Если вернуть на 1-2 потоков, то оно работает какое-то время и потом останавливается. Вот как раз сегодня на одном сайте именно такие действия и проделывал. Сейчас стоит 2 потока, посмотрим как будет идти.

Зависимость я не уловил, в логах тоже ничего (видно, что грабится и потом просто останавливается). Что это может быть и как отловить от чего зависит?
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Грабинг в 1 поток

Post by admin »

Смысл такой: граббер когда начинает процесить галеру то ставит ей статус processing
так же смотрит если условно 1 галера в процесинге и стоит 1 поток - то больше не запускает
гадеры в этом статусе можно видеть в list thumbs

граббер может по каким-то причинам недограбить галеру, или там тянется долго мувик и тп
но он проверяет - если за час не смог сграбить - то ставит галере grab error и берет другую

вот и можете проверить есть ли галеры в этом статусе, можете ее удалить для теста и смотреть будет ли грабить дальше
Don't forget to run script update
proffitraff
Posts: 91
Joined: Tue Nov 28, 2017 7:37 pm

Re: Грабинг в 1 поток

Post by proffitraff »

А grab error в лог не пишется? В list thumbs нет ни одной галеры с таким статусом.
Т.е. когда грабинг стопорнулся, я просто поменял кол-во потоков, ничего больше не трогал. В любом случае, понаблюдаю ещё за ситуацией.
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Грабинг в 1 поток

Post by admin »

если нет ни одной в этом статусе а ничего не грабит - тогда не знаю, скидывайте админку
Don't forget to run script update
proffitraff
Posts: 91
Joined: Tue Nov 28, 2017 7:37 pm

Re: Грабинг в 1 поток

Post by proffitraff »

По-поводу grab error разобрался - в настройках стоит Grab error action=Delete gallery, поэтому по-всей видимости нет ни одной с таким статусом, они просто удалялись :) Поменял на Mark as grab error.
На данный момент ситуация такая: спустя примерно час опять всё остановилось. Через list thumbs выяснилось, что две галеры повисли со статусом processing. И висели так уже примерно два часа. Соответственно, больше ничего не грабилось (стояло два потока). Увеличил до 5 - процесс пошел, но те галеры так и висят, как processing. Ещё через часик-полтора опять остановилось - теперь уже 5 галер висят со статусом processing. Т.е. получается в grab error они не упали и тормозят все остальные.
В логах пару раз встречается "Mysql error 2006: MySQL server has gone away (WARNING:: Mysql is overloaded, take a look at your server perfomance)", но по-времени остановки грабинга вроде как не совпадает... Но возможно таки как-то повлияло. Ещё есть мысли, почему может подвисать processing и галеры не отваливаются и тормозят весь остальной процесс?
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Грабинг в 1 поток

Post by admin »

Те надпись (WARNING:: Mysql is overloaded, take a look at your server perfomance - вас в целом не волнует ? )
Don't forget to run script update
proffitraff
Posts: 91
Joined: Tue Nov 28, 2017 7:37 pm

Re: Грабинг в 1 поток

Post by proffitraff »

Волнует, я собственно и поставил 1-2 потока, чтобы нагрузку не создавать. Вопрос в другом - почему галеры зависают на processing и не отваливаются через час (насколько я понял - должны)?
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Грабинг в 1 поток

Post by admin »

Если все апдейты сделаны и через час их не прибивает - тогда не знаю, скидывайте шел, я проверю
Don't forget to run script update
Post Reply