Как лучше сделать?
Posted: Wed Dec 25, 2013 7:37 pm
Ну вопервых всех с рождеством!
Есть проблема - при автоматическом грабинге с тубов - очень много нерабочих линков ;-(
Идея такая - награбить кучу - потом запустить чекер
Но так как на сервере уже кучка чекеров запущена по 3 за проход (и 500 топовых в первую очередь)
Итак вопрос - 1. желательно временно отключить чекеры на всех сиджах (дабы не положить сервак)
И после этого запустить чекер (дабы перед стартом удалить сразу все нерабочие)
Вопрос - сколько указать можно чекать за 1 проход? ну скажем там по 500 ? или меньше?
При условии что в базе к примеру 50.000 урлов
ЗАранее спасибо (как то субмурно объяснил)
Есть проблема - при автоматическом грабинге с тубов - очень много нерабочих линков ;-(
Идея такая - награбить кучу - потом запустить чекер
Но так как на сервере уже кучка чекеров запущена по 3 за проход (и 500 топовых в первую очередь)
Итак вопрос - 1. желательно временно отключить чекеры на всех сиджах (дабы не положить сервак)
И после этого запустить чекер (дабы перед стартом удалить сразу все нерабочие)
Вопрос - сколько указать можно чекать за 1 проход? ну скажем там по 500 ? или меньше?
При условии что в базе к примеру 50.000 урлов
ЗАранее спасибо (как то субмурно объяснил)