Застряла очередь

Kittenus
Posts: 183
Joined: Mon Aug 21, 2017 4:56 pm

Застряла очередь

Post by Kittenus »

Вчера добавил добавление галерей/тумбинашек, скрипт обработал около 1000 галёрок а потом стопорнулся.
Сейчас висит в очереди Add galleries\thumbs (2306 already in queue) и не двигается.

Посмотрел логи крона:
2018-06-19 17:31:00: Cron job :: finished (0.078563928604126, 0.0049240589141846)
Свежее срабатывание.
Лог gallery_grabber.log:

Code: Select all

2018-06-18 22:25:41: Processing https://www.sexlikereal.com/virtualreality/scene/id/4756-stacy_cruz_plays_with_her_firm_tits_vr?a=5ad3d574054afe4ba51484f4  (688) (330.69213294983, 0.0088551044464111)
2018-06-18 22:25:41: Processing https://www.sexlikereal.com/virtualreality/scene/id/4756-stacy_cruz_plays_with_her_firm_tits_vr?a=5ad3d574054afe4ba51484f4  (688) (330.69285011292, 0.00071215629577637)
2018-06-18 22:25:41: Gallery description is empty: Update  with 'admin added'  (330.69535112381, 0.0024988651275635)
2018-06-18 22:25:41: Downloading files for a custom gallery (330.70014190674, 0.0047750473022461)
2018-06-18 22:25:41: Downloading img https://s3.sexlikereal.com/images/4756/31525_web.jpg (../tmp/688/tmp//542884.jpg) (330.70050501823, 0.00035905838012695)
2018-06-18 22:25:41: Downloaded 40% (331.23932600021, 0.53882217407227)
2018-06-18 22:25:41: Downloaded 70% (331.2398879528, 0.00055193901062012)
2018-06-18 22:25:41: Downloaded 100% (331.33121705055, 0.091336011886597)
2018-06-18 22:25:41: Source Size 43936 (331.33181500435, 0.0005791187286377)
2018-06-18 22:25:41: Make thumb ../tmp/688/tmp//542884.jpg (331.33198595047, 0.00016498565673828)
2018-06-18 22:25:41: Creating thumb ../tmp/688/tmp//45015.jpg.tmp.jpg -> ../tmp/688/tmp//45015.jpg  (331.33234095573, 0.0003509521484375)
2018-06-18 22:25:41: Identify /usr/local/bin//identify -verbose ../tmp/688/tmp//45015.jpg.tmp.jpg (331.33247494698, 0.00012803077697754)
2018-06-18 22:25:42: Size: 786x830 (../tmp/688/tmp//45015.jpg.tmp.jpg) thumb: 480x380
			thumb_ratio: 1.2631578947368 img_ratio: 0.94698795180723 to ../tmp/688/tmp//45015.jpg (331.69466805458, 0.3621940612793)
2018-06-18 22:25:42: Cut image (331.69494605064, 0.00027298927307129)
2018-06-18 22:25:42: Face detect Cmd : /home/domains//face --input=../tmp/688/tmp//45015.jpg.tmp.jpg --cascade=/home/domains/1.xml (331.69514203072, 0.00018119812011719)
2018-06-18 22:25:42: Output : /home/domains//face: not found
 (331.72340106964, 0.02827000617981)
2018-06-18 22:25:42: IM Cmd custom : /usr/local/bin//convert  -crop +0+104 +repage  -crop -0-104 +repage   -resize 480x380^ -gravity Center -crop 480x380+0+0 -filter Blackman -normalize -modulate 110,102,100 -enhance -sharpen 1 -quality 90 -strip ../tmp/688/tmp//45015.jpg.tmp.jpg[1] ../tmp/688/tmp//45015.jpg  (331.72365808487, 0.00022101402282715)
2018-06-18 22:25:43: Identify /usr/local/bin//identify -verbose ../tmp/688/tmp//45015.jpg (332.44154310226, 0.71789717674255)
2018-06-18 22:25:43: DL big content https://s3.sexlikereal.com/images/4756/31525_web.jpg => 0_730.jpg (332.68896508217, 0.24740290641785)
2018-06-18 22:25:43: Downloading file https://s3.sexlikereal.com/images/4756/31525_web.jpg to ../tmp/688/0/688/0_730.jpg (332.68917489052, 0.00020003318786621)
2018-06-18 22:25:43: Downloaded 40% (333.22522211075, 0.53605604171753)
2018-06-18 22:25:43: Downloaded 70% (333.22753000259, 0.0022890567779541)
2018-06-18 22:25:43: Downloaded 100% (333.31762504578, 0.090179920196533)
2018-06-18 22:25:43: Downloaded ok, size 43936 (333.31838798523, 0.00066590309143066)
2018-06-18 22:25:43: Content type: 1 (333.32001709938, 0.0018320083618164)
2018-06-18 22:25:43: Creating thumb  (480x380) (Crop profile: 1)  (333.32226490974, 0.0020270347595215)
2018-06-18 22:25:43: Downloading img https://s3.sexlikereal.com/images/4756/31525_web.jpg (../tmp/688/tmp//523935.jpg) (333.32242202759, 0.0001671314239502)
2018-06-18 22:25:44: Downloaded 40% (333.85364699364, 0.53121590614319)
2018-06-18 22:25:44: Downloaded 70% (333.85423994064, 0.00057387351989746)
2018-06-18 22:25:44: Downloaded 100% (333.94546604156, 0.091233015060425)
2018-06-18 22:25:44: Source Size 43936 (333.94604206085, 0.00055813789367676)
2018-06-18 22:25:44: Make thumb ../tmp/688/tmp//523935.jpg (333.9462211132, 0.00017404556274414)
2018-06-18 22:25:44: Creating thumb ../tmp/688/tmp//50112.jpg.tmp.jpg -> ../tmp/688/tmp//50112.jpg  (333.94662094116, 0.0003960132598877)
2018-06-18 22:25:44: Identify /usr/local/bin//identify -verbose ../tmp/688/tmp//50112.jpg.tmp.jpg (333.94674801826, 0.00011920928955078)
2018-06-18 22:25:44: Size: 786x830 (../tmp/688/tmp//50112.jpg.tmp.jpg) thumb: 480x380
			thumb_ratio: 1.2631578947368 img_ratio: 0.94698795180723 to ../tmp/688/tmp//50112.jpg (334.12105298042, 0.1743049621582)
2018-06-18 22:25:44: Cut image (334.12134599686, 0.00028395652770996)
2018-06-18 22:25:44: Face detect Cmd : /home/domains//face --input=../tmp/688/tmp//50112.jpg.tmp.jpg --cascade=/home/domains/1.xml (334.12163305283, 0.0003049373626709)
2018-06-18 22:25:44: Output : /home/domains//face: not found
 (334.12363195419, 0.0019679069519043)
2018-06-18 22:25:44: IM Cmd custom : /usr/local/bin//convert  -crop +0+104 +repage  -crop -0-104 +repage   -resize 480x380^ -gravity Center -crop 480x380+0+0 -filter Blackman -normalize -modulate 110,102,100 -enhance -sharpen 1 -quality 90 -strip ../tmp/688/tmp//50112.jpg.tmp.jpg[1] ../tmp/688/tmp//50112.jpg  (334.12381291389, 0.00017189979553223)
2018-06-18 22:25:45: Identify /usr/local/bin//identify -verbose ../tmp/688/tmp//50112.jpg (334.50592899323, 0.38212895393372)
2018-06-18 22:25:45: Detect img size for ../tmp/688/tmp//50112.jpg (480 x 380) (334.59889411926, 0.092955112457275)
2018-06-18 22:25:45: Saving thumb (1132): title:Stacy Cruz Plays With Her Firm Tits VR, desc:()  (334.60804700851, 0.0091290473937988)
2018-06-18 22:25:45: Saving thumb:  local  to ../thumbs/  (334.60835909843, 0.00030994415283203)
2018-06-18 22:25:45: Saving ../thumbs/1//132_Cruz.jpg (source ../tmp/688/tmp//50112.jpg) (334.6086769104, 0.00030994415283203)
2018-06-18 22:25:45: Cleanup tmp folder ../tmp/688 (334.61314511299, 0.0044620037078857)
Сграбило вчера галёрку, без всяких ошибок, и больше молчит.

error.log пустой.

Что делать и куда смотреть?
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Застряла очередь

Post by admin »

крон запускается? никаких варнингов нет на home ?
если руками запустить gallery_grabber.php то работает ?
Don't forget to run script update
Kittenus
Posts: 183
Joined: Mon Aug 21, 2017 4:56 pm

Re: Застряла очередь

Post by Kittenus »

admin wrote: Tue Jun 19, 2018 6:06 pm крон запускается? никаких варнингов нет на home ?
если руками запустить gallery_grabber.php то работает ?
Варнинги на Хоме:
Note! Template Developer Mode is ON.
You do not use any modern cache engine
Quick scj folder check returns following warnings
Воде как все к данному моменту не относятся.

Вот запустил руками:
php gallery_grabber.php
3 threads already running
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Застряла очередь

Post by admin »

про апдейт писать?
в остальном можно поодождать оно удалит застрявшие и пойдет снова.
Don't forget to run script update
Kittenus
Posts: 183
Joined: Mon Aug 21, 2017 4:56 pm

Re: Застряла очередь

Post by Kittenus »

Обновился, жду чтобы процесс продолжился, результат сообщу! Спасибо!
Kittenus
Posts: 183
Joined: Mon Aug 21, 2017 4:56 pm

Re: Застряла очередь

Post by Kittenus »

Прошло 25 минут:
Add galleries\thumbs (2306 already in queue)

Данные версии скрипта:
Current build: 201806181911

Крон прописан:

Code: Select all

*/1 * * * * cd /home/userkittenus/vrxmovies.com/tes3/bin; env HTTP_HOST=vrxmovies.com /usr/local/bin/php -q cron.php
*/1 * * * * cd /home/userkittenus/vrxmovies.com/tes3/bin; env HTTP_HOST=vrxmovies.com /usr/local/bin/php -q rotation.php
Последняя строка cron.log:
2018-06-19 20:24:00: Cron job :: finished (0.073464870452881, 0.014224052429199)
Только что сработал.

Запуск php gallery_grabber.php, результат:
3 threads already running

Всё тоже.
Kittenus
Posts: 183
Joined: Mon Aug 21, 2017 4:56 pm

Re: Застряла очередь

Post by Kittenus »

Из того что могло както повлиять то у меня недавно был "баг", в имени категории была кавычка. В темплейте я это обошол, вожет при грабинге гдето затык произошол в связи с этим.

п.с. Кавычку я уже убрал с имени категории, это не помогло сдвинуть грабинг.
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Застряла очередь

Post by admin »

Никак с ковычкой не связано
Что сейчас в логе грабера?
Don't forget to run script update
Kittenus
Posts: 183
Joined: Mon Aug 21, 2017 4:56 pm

Re: Застряла очередь

Post by Kittenus »

Воочем причину выяснить не удалось. Лечилось удалением галерей у которых статус "процессинг". Раза 4-ре затыкалось пока все галёрки порезало. Благо галёр много и не жалко было удалить немножко :)
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Застряла очередь

Post by admin »

Без деталей что было в логе мне тоже сложно сказать что то...
Don't forget to run script update
Post Reply