Граббер вдруг замерз

magicum
Posts: 351
Joined: Mon Nov 18, 2013 11:27 am

Граббер вдруг замерз

Post by magicum »

Вдруг неожиданно замерз граббер.

Добавил 800 галер резаться в прелоад, они попали в группу "To Grab" и уж висят там поди целый час.

В прелоаде самом пусто.

Стоял ап 50. Попробовал 51 - то же самое.

Помогите.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Граббер вдруг замерз

Post by admin »

Ок, какие у меня есть данные что б догадаться что не так вроме "замер граббер" ?
Don't forget to run script update
magicum
Posts: 351
Joined: Mon Nov 18, 2013 11:27 am

Re: Граббер вдруг замерз

Post by magicum »

Пардон, поторопился.

Причина - разросшиеся логи смартсж, по 100-130Мб.
Грохнул их - граббер побежал шустро.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Граббер вдруг замерз

Post by admin »

Скрипту технически без разницы к файлу каокго размера делать append, поэтому сомневаюсь что в этом причина была, но работает и хорошо.
Don't forget to run script update
magicum
Posts: 351
Joined: Mon Nov 18, 2013 11:27 am

Re: Граббер вдруг замерз

Post by magicum »

В логах смарта были ошибки по поводу max allocated что-то там, и цифра рядом - 130 миллионов чего-то там. И граббер не запускался.

После удаления логов граббер запустился.

Но на поверку оказалось, что работает этот граббер весьма медленно. Я пробовал уменьшать-увеличивать количество одновременных процессов для граба в пределах 1-7, но эффекта никакого не было. Днем ранее, например, граббер при дефолтных настройках в 3 процесса одновременно весьма шустро грабил тумбы. Из тех же источников.

Сервер ничем не нагружен, он практически пустой.

Уж не знаю, что там и как, но вот: работает, но крайне медленно.

Какие данные нужно предоставить, чтобы вы посмотрели?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Граббер вдруг замерз

Post by admin »

Шел когда замрет.
Оно грабит максимум в 3 потока, потому что были люди которые выставлляли 100 в минуту и потом писали на фоурмах "смарт убивает сервак!!!", пришлось поставить ограничение.

Соот если стоит больше - то по окончании потока запускается еще один в пределах минуты. Но если галера большая, или плохой канал с ней, или тумбы медленно делаются, то будет делать не больше 3х.
Don't forget to run script update
magicum
Posts: 351
Joined: Mon Nov 18, 2013 11:27 am

Re: Граббер вдруг замерз

Post by magicum »

Мда. Весьма странное ограничение, интересно, есть ли еще ограничения, о которых мы узнаем как-нибудь "вдруг".

Считаем вопрос решенным.
xawm
Posts: 542
Joined: Tue Dec 25, 2012 6:37 pm

Re: Граббер вдруг замерз

Post by xawm »

А чем плохое ограничение? обыкновенная защита от дурака, и это правильно!
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Граббер вдруг замерз

Post by admin »

xawm, потому что "Почему без шапки !" (с) ))
Don't forget to run script update
magicum
Posts: 351
Joined: Mon Nov 18, 2013 11:27 am

Re: Граббер вдруг замерз

Post by magicum »

Я не знаю как дураки, а я предпочитаю контролировать систему сам.

Но дуракам, разумеется, виднее.
Post Reply