Что то с CURLом или почему не грабятся галеры

Post Reply
richmantrade
Posts: 1036
Joined: Tue Dec 04, 2012 8:46 am

Что то с CURLом или почему не грабятся галеры

Post by richmantrade »

Помогите плиз разобраться в проблеме.
Я понимаю что проблема не в скрипте, а, скорее всего с CURL, но решить её сам не могу. CURL обновлял, SCJ тоже.
Проблема возникает при импорте 50+ галерей. Если импортить меньше - всё ОК.
Импорчу я к примеру 50 строк - фактически импортиться штук 35-40. Это видно в gallery_grabber.log . Далее в логе видно такое:

Code: Select all

2020-09-15 12:34:21: Processing http://e7aec21edc8b39b039740978d1e4bdb3/ (1154) (79.105555057526, 0.0045239925384521)
2020-09-15 12:34:21: Content type: 4 (79.107492923737, 0.0019369125366211)
2020-09-15 12:34:21: Creating thumb from https://domain.com/pics/763.jpg  (320x180) (Crop profile: 4)  (79.11155295372, 0.0040578842163086)
2020-09-15 12:34:21: Downloading img https://domain.com/pics/763.jpg to ../tmp/1154/tmp//18168.jpg, ref http://e7aec21edc8b39b039740978d1e4bdb3/  (79.111680030823, 0.00012397766113281)
2020-09-15 12:34:21: Curl error: getaddrinfo() thread failed to start
 (79.112015008926, 0.0003352165222168)
2020-09-15 12:34:21: unset ref (79.112093925476, 7.2002410888672E-5)
2020-09-15 12:34:21: Curl error: getaddrinfo() thread failed to start
 (79.112296104431, 0.00020313262939453)
2020-09-15 12:34:21: Source Size: 0 (79.112375974655, 7.7009201049805E-5)
2020-09-15 12:34:21: Can not download https://domain.com/pics/763.jpg (Not 200 answer (0) ) (79.112441062927, 5.8889389038086E-5)
2020-09-15 12:34:21: Can not create thumb from https://domain.com/pics/763.jpg (Not 200 answer (0) ) (79.112461090088, 1.5974044799805E-5)
2020-09-15 12:34:21: No thumbs were created (79.112512111664, 5.0067901611328E-5)
2020-09-15 12:34:21: Cleanup tmp folder ../tmp/1154 (79.112562894821, 5.0783157348633E-5)
2020-09-15 12:34:21: Deleting gallery (79.112731933594, 0.00016498565673828)
2020-09-15 12:34:21: Delete gallery 1154   from /home/domain.com/html/scj/bin/gallery_grabber.php (79.112765073776, 2.7894973754883E-5)
2020-09-15 12:34:21: Thumb deleted (79.115693092346, 0.0029268264770508)
2020-09-15 12:34:21: Delete thumb 1532  (79.117474079132, 0.0017800331115723)
2020-09-15 12:34:21: Delete gallery content 1/154 (79.158312082291, 0.040834903717041)2020-09-15 12:34:21: processed_galleries = 640, memory = 27.8 Mb limit -1 (79.159090042114, 0.00077700614929199)
Если эту же строку (ОДНУ) заимпортить повторно - всё будет ОК.
Если с сервера посмотреть хедеры этой картинки (на которую ругнулся CURL при импорте) - всё будет ОК.

Code: Select all

$ curl -I https://domain.com/pics/763.jpg
HTTP/2 200
server: nginx/1.18.0
date: Wed, 16 Sep 2020 10:33:22 GMT
content-type: image/jpeg
content-length: 22840
last-modified: Fri, 15 May 2020 09:37:08 GMT
etag: "5ebe62c4-5938"
expires: Wed, 14 Oct 2020 10:33:22 GMT
cache-control: max-age=2419200
accept-ranges: bytes
Еще раз подитожу: Маленькими порциями всё импортиться, если более (примерно) 50 строк - импортит не всё - потом сыпит ошибками Can not download.... (Not 200 answer (0) )

В какую сторону смотреть/копать, подскажите плиз.
Спасибо!
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Что то с CURLом или почему не грабятся галеры

Post by admin »

Я такие ошибки обычно ищу прямо копируя ошибку в гугл

вот например )

https://lmgtfy.com/?q=Curl+error%3A+get ... d+to+start


первое что мне кажется в чем причина
https://github.com/curl/curl/issues/2697

но это надо сомтерть сервак и сравнивать с тем что там пишут, поэтому не факт что именно это
Don't forget to run script update
Post Reply