Что то с CURLом или почему не грабятся галеры
Posted: Wed Sep 16, 2020 10:40 am
Помогите плиз разобраться в проблеме.
Я понимаю что проблема не в скрипте, а, скорее всего с CURL, но решить её сам не могу. CURL обновлял, SCJ тоже.
Проблема возникает при импорте 50+ галерей. Если импортить меньше - всё ОК.
Импорчу я к примеру 50 строк - фактически импортиться штук 35-40. Это видно в gallery_grabber.log . Далее в логе видно такое:
Если эту же строку (ОДНУ) заимпортить повторно - всё будет ОК.
Если с сервера посмотреть хедеры этой картинки (на которую ругнулся CURL при импорте) - всё будет ОК.
Еще раз подитожу: Маленькими порциями всё импортиться, если более (примерно) 50 строк - импортит не всё - потом сыпит ошибками Can not download.... (Not 200 answer (0) )
В какую сторону смотреть/копать, подскажите плиз.
Спасибо!
Я понимаю что проблема не в скрипте, а, скорее всего с CURL, но решить её сам не могу. CURL обновлял, SCJ тоже.
Проблема возникает при импорте 50+ галерей. Если импортить меньше - всё ОК.
Импорчу я к примеру 50 строк - фактически импортиться штук 35-40. Это видно в gallery_grabber.log . Далее в логе видно такое:
Code: Select all
2020-09-15 12:34:21: Processing http://e7aec21edc8b39b039740978d1e4bdb3/ (1154) (79.105555057526, 0.0045239925384521)
2020-09-15 12:34:21: Content type: 4 (79.107492923737, 0.0019369125366211)
2020-09-15 12:34:21: Creating thumb from https://domain.com/pics/763.jpg (320x180) (Crop profile: 4) (79.11155295372, 0.0040578842163086)
2020-09-15 12:34:21: Downloading img https://domain.com/pics/763.jpg to ../tmp/1154/tmp//18168.jpg, ref http://e7aec21edc8b39b039740978d1e4bdb3/ (79.111680030823, 0.00012397766113281)
2020-09-15 12:34:21: Curl error: getaddrinfo() thread failed to start
(79.112015008926, 0.0003352165222168)
2020-09-15 12:34:21: unset ref (79.112093925476, 7.2002410888672E-5)
2020-09-15 12:34:21: Curl error: getaddrinfo() thread failed to start
(79.112296104431, 0.00020313262939453)
2020-09-15 12:34:21: Source Size: 0 (79.112375974655, 7.7009201049805E-5)
2020-09-15 12:34:21: Can not download https://domain.com/pics/763.jpg (Not 200 answer (0) ) (79.112441062927, 5.8889389038086E-5)
2020-09-15 12:34:21: Can not create thumb from https://domain.com/pics/763.jpg (Not 200 answer (0) ) (79.112461090088, 1.5974044799805E-5)
2020-09-15 12:34:21: No thumbs were created (79.112512111664, 5.0067901611328E-5)
2020-09-15 12:34:21: Cleanup tmp folder ../tmp/1154 (79.112562894821, 5.0783157348633E-5)
2020-09-15 12:34:21: Deleting gallery (79.112731933594, 0.00016498565673828)
2020-09-15 12:34:21: Delete gallery 1154 from /home/domain.com/html/scj/bin/gallery_grabber.php (79.112765073776, 2.7894973754883E-5)
2020-09-15 12:34:21: Thumb deleted (79.115693092346, 0.0029268264770508)
2020-09-15 12:34:21: Delete thumb 1532 (79.117474079132, 0.0017800331115723)
2020-09-15 12:34:21: Delete gallery content 1/154 (79.158312082291, 0.040834903717041)2020-09-15 12:34:21: processed_galleries = 640, memory = 27.8 Mb limit -1 (79.159090042114, 0.00077700614929199)
Если с сервера посмотреть хедеры этой картинки (на которую ругнулся CURL при импорте) - всё будет ОК.
Code: Select all
$ curl -I https://domain.com/pics/763.jpg
HTTP/2 200
server: nginx/1.18.0
date: Wed, 16 Sep 2020 10:33:22 GMT
content-type: image/jpeg
content-length: 22840
last-modified: Fri, 15 May 2020 09:37:08 GMT
etag: "5ebe62c4-5938"
expires: Wed, 14 Oct 2020 10:33:22 GMT
cache-control: max-age=2419200
accept-ranges: bytes
В какую сторону смотреть/копать, подскажите плиз.
Спасибо!