Page 1 of 2
Ускорить грабинг галер
Posted: Sat Oct 14, 2017 5:58 am
by burn
День добрый.
Нужно как можно быстро грабить добавленные через импорт галеры.
Тумбы у них через хотЛинки, т.ч. нагрузки не должно быть много.
Хотелось бы делать это через консоль, на подобии как для удаления:
Code: Select all
cd /PATH_TO_/scj/bin/; env HTTP_HOST=yourdomain.com php rot.php process_deleted=true
Re: Ускорить грабинг галер
Posted: Sat Oct 14, 2017 11:59 am
by admin
А какая сейчас скорость ?
Можете проверить gallery_grabber log - там видно какая операция сколько времени занимает.
Re: Ускорить грабинг галер
Posted: Sat Oct 14, 2017 2:39 pm
by burn
Занимает доли секунд, но есть же ограничение грабинга в минуту, а нам надо что бы грабились сразу все без пауз и без выставления настроек через админку.
Code: Select all
2017-10-14 21:25:35: Processing http://www.xvideos.com/video69293/3d_shemale_ninjas_ (491) (0.032088994979858, 0.0035970211029053)
2017-10-14 21:25:35: Gallery description is empty: Update with 'admin added' (0.038087129592896, 0.0059959888458252)
2017-10-14 21:25:35: Content type: 4 (0.040142059326172, 0.0020511150360107)
2017-10-14 21:25:35: Creating thumb (320x240) (Crop profile: 1) (0.040719985961914, 0.00057601928710938)
2017-10-14 21:25:35: Downloading img http://domain.com/images/80/38/57/8038576115c34ad33e37be0d292fdd44.jpg (../tmp/491/tmp//832441.jpg) (0.040842056274414, 0.00016021728515625)
2017-10-14 21:25:35: Cleanup tmp folder ../tmp/491 (0.05437707901001, 0.013489007949829)
Судя по логам, хотЛинки скрипт тоже зачем то сперва закачивает и кропает, а в базе указывает хотЛинк.
Зачем он их качает ? )
Re: Ускорить грабинг галер
Posted: Sun Oct 15, 2017 3:42 pm
by admin
Выставляет размеры картинок в базе
А в чем проблема в админке поменять скорость?
Re: Ускорить грабинг галер
Posted: Mon Oct 16, 2017 9:02 am
by burn
Требуется добавлять галеры из консоли (ssh), и менять "скорость" правкой базы не хотелось бы.
Re: Ускорить грабинг галер
Posted: Mon Oct 16, 2017 11:17 am
by admin
Вообще не понял как это связано ..
Re: Ускорить грабинг галер
Posted: Tue Oct 17, 2017 2:13 am
by burn
Основная задумка, делать первоначальные настройки сиджа скриптами, а для увеличения "скорости" грабинга приходится либо править базу, либо делать POST запрос в админку. Причем делать это приходится дважды - до грабинга и после, чтобы вернуть все как было.
Если будет "команда" аналогичная удалению - настройка намного упростится.
Code: Select all
cd /PATH_TO_/scj/bin/; env HTTP_HOST=yourdomain.com php rot.php process_deleted=true
Re: Ускорить грабинг галер
Posted: Tue Oct 17, 2017 2:49 am
by admin
1. а с какой целью надо менять скорость грабинга до и после ? какая разница какая скорость после ?
2. менять базу - это 1 строка в шеле - в чем именно сложность?
Re: Ускорить грабинг галер
Posted: Wed Oct 18, 2017 6:40 am
by burn
1. скрипты производят первоначальную настройка, а дальше работа идет т.с. в штатном режиме
2. менять базу не сложно, но хотелось бы избавиться от "костылей" )
Re: Ускорить грабинг галер
Posted: Wed Oct 18, 2017 6:59 am
by admin
Можете заускать руками gallery_grabber.php но я не вижу в этом смысла и тем более преимуществ перед изменением в базе. Более того - я все равно не понял чем отличается начальная настройка от штатного режами в разрезе скорости граба...