Ускорить грабинг галер

[burn]

День добрый.
Нужно как можно быстро грабить добавленные через импорт галеры.
Тумбы у них через хотЛинки, т.ч. нагрузки не должно быть много.

Хотелось бы делать это через консоль, на подобии как для удаления:

Code: Select all

cd /PATH_TO_/scj/bin/; env HTTP_HOST=yourdomain.com php rot.php process_deleted=true 

[admin]

А какая сейчас скорость ?
Можете проверить gallery_grabber log - там видно какая операция сколько времени занимает.

[burn]

Занимает доли секунд, но есть же ограничение грабинга в минуту, а нам надо что бы грабились сразу все без пауз и без выставления настроек через админку.

Code: Select all

2017-10-14 21:25:35: Processing http://www.xvideos.com/video69293/3d_shemale_ninjas_ (491) (0.032088994979858, 0.0035970211029053)
2017-10-14 21:25:35: Gallery description is empty: Update  with 'admin added'  (0.038087129592896, 0.0059959888458252)
2017-10-14 21:25:35: Content type: 4 (0.040142059326172, 0.0020511150360107)
2017-10-14 21:25:35: Creating thumb  (320x240) (Crop profile: 1)  (0.040719985961914, 0.00057601928710938)
2017-10-14 21:25:35: Downloading img http://domain.com/images/80/38/57/8038576115c34ad33e37be0d292fdd44.jpg (../tmp/491/tmp//832441.jpg) (0.040842056274414, 0.00016021728515625)
2017-10-14 21:25:35: Cleanup tmp folder ../tmp/491 (0.05437707901001, 0.013489007949829)

Судя по логам, хотЛинки скрипт тоже зачем то сперва закачивает и кропает, а в базе указывает хотЛинк.
Зачем он их качает ? )

[admin]

Выставляет размеры картинок в базе
А в чем проблема в админке поменять скорость?

[burn]

Требуется добавлять галеры из консоли (ssh), и менять "скорость" правкой базы не хотелось бы.

[admin]

Вообще не понял как это связано ..

[burn]

Основная задумка, делать первоначальные настройки сиджа скриптами, а для увеличения "скорости" грабинга приходится либо править базу, либо делать POST запрос в админку. Причем делать это приходится дважды - до грабинга и после, чтобы вернуть все как было.
Если будет "команда" аналогичная удалению - настройка намного упростится.

Code: Select all

cd /PATH_TO_/scj/bin/; env HTTP_HOST=yourdomain.com php rot.php process_deleted=true

[admin]

1. а с какой целью надо менять скорость грабинга до и после ? какая разница какая скорость после ?
2. менять базу - это 1 строка в шеле - в чем именно сложность?

[burn]

1. скрипты производят первоначальную настройка, а дальше работа идет т.с. в штатном режиме
2. менять базу не сложно, но хотелось бы избавиться от "костылей" )

[admin]

Можете заускать руками gallery_grabber.php но я не вижу в этом смысла и тем более преимуществ перед изменением в базе. Более того - я все равно не понял чем отличается начальная настройка от штатного режами в разрезе скорости граба...