Проблема с грабингом

[Nikso]

Закидываем дамп 1360 галер. Грабится всего 674
В логе смотрю, грабинг идет порциями по 1000 галер.
Первые 337 галер грабятся нормально. Остальные начинают выдавать ошибку Curl error: getaddrinfo() thread failed to start
Can not DL https://cdn77-pic.xvideos-cdn.com/video ... 07a.16.jpg Not 200 answer (0 , request domain: cdn77-pic.xvideos-cdn.com (143.244.42.2) ) (98.077404022217, 0.00054693222045898)
и летят в отбой..

затем через 4 минуты, запускается граб следующих галер. И опять, грабится только первые 337, и оставшиеся 23 опять улетают в отбой с тойже ошибкой

Если снова этот дамп закинуть в импорт. Смарт отфильтрует те что уже в базе, и со следующими галерам снова таже песня 337 сграбилось, дальше всё...

Все галеры в дампе активны, скачал отдельно тумбы на свой сервер. Все присутствуют, 404 ошибок нет.
Попробовал в дампе переписать урлы к картинкам на свой сервер. Закинул в импорт, т.е. граб тумб идет уже со своего сервера. И также грабятся только первые 337.

Админы ничего не могут понять почему это происходит и отсылают к автору скрипта.

Code: Select all

2022-09-14 11:36:39: Processing https://www.xvideos.com/video71621079/_it_cung_em_gai_moi_quen_tren_chuyen_i_a_lat (792318) (98.07426905632, 0.0011899471282959)
2022-09-14 11:36:39: Gallery description is empty: Update  with 'admin added'  (98.074801921844, 0.00053095817565918)
2022-09-14 11:36:39: Content type: 4 (98.076091051102, 0.0012879371643066)
2022-09-14 11:36:39: Creating thumb from https://cdn77-pic.xvideos-cdn.com/videos/thumbs169lll/50/32/bf/5032bf0f17cf25de8b2adfb84da4c07a/5032bf0f17cf25de8b2adfb84da4c07a.16.jpg  (300x170) (Crop profile: 4)  (98.076407909393, 0.00031614303588867)
2022-09-14 11:36:39: File ext jpg (98.076457977295, 4.887580871582E-5)
2022-09-14 11:36:39: Downloading img https://cdn77-pic.xvideos-cdn.com/videos/thumbs169lll/50/32/bf/5032bf0f17cf25de8b2adfb84da4c07a/5032bf0f17cf25de8b2adfb84da4c07a.16.jpg to ../tmp/792318/tmp//550147.jpg, ref https://www.xvideos.com/video71621079/_it_cung_em_gai_moi_quen_tren_chuyen_i_a_lat  (98.07648897171, 2.8848648071289E-5)
2022-09-14 11:36:39: Downloading file https://cdn77-pic.xvideos-cdn.com/videos/thumbs169lll/50/32/bf/5032bf0f17cf25de8b2adfb84da4c07a/5032bf0f17cf25de8b2adfb84da4c07a.16.jpg to ../tmp/792318/tmp//550147.jpg (98.076523065567, 3.1948089599609E-5)
2022-09-14 11:36:39: Curl error: getaddrinfo() thread failed to start
 (98.076704978943, 0.00018119812011719)
2022-09-14 11:36:39: unset ref (98.076741933823, 3.2901763916016E-5)
2022-09-14 11:36:39: Curl error: getaddrinfo() thread failed to start
 (98.076855897903, 0.00011301040649414)
2022-09-14 11:36:39: Can not DL https://cdn77-pic.xvideos-cdn.com/videos/thumbs169lll/50/32/bf/5032bf0f17cf25de8b2adfb84da4c07a/5032bf0f17cf25de8b2adfb84da4c07a.16.jpg Not 200 answer (0 , request domain: cdn77-pic.xvideos-cdn.com (143.244.42.2) )  (98.077404022217, 0.00054693222045898)
2022-09-14 11:36:39: Source Size: 0 (98.077452898026, 4.6014785766602E-5)
2022-09-14 11:36:39: Can not download https://cdn77-pic.xvideos-cdn.com/videos/thumbs169lll/50/32/bf/5032bf0f17cf25de8b2adfb84da4c07a/5032bf0f17cf25de8b2adfb84da4c07a.16.jpg (Not 200 answer (0 , request domain: cdn77-pic.xvideos-cdn.com (143.244.42.2) ) ) (98.077481031418, 2.6941299438477E-5)
2022-09-14 11:36:39: Can not create thumb from https://cdn77-pic.xvideos-cdn.com/videos/thumbs169lll/50/32/bf/5032bf0f17cf25de8b2adfb84da4c07a/5032bf0f17cf25de8b2adfb84da4c07a.16.jpg (Not 200 answer (0 , request domain: cdn77-pic.xvideos-cdn.com (143.244.42.2) ) ) (98.077492952347, 1.1205673217773E-5)
2022-09-14 11:36:39: No thumbs were created (98.077518939972, 2.5033950805664E-5)
2022-09-14 11:36:39: Cleanup tmp folder: ../tmp/792318 (98.077544927597, 2.3841857910156E-5)
2022-09-14 11:36:39: Deleting gallery (98.077630996704, 8.4877014160156E-5)
2022-09-14 11:36:39: Delete gallery id: 792318   from /home/sites/sites/domain.com/croper/bin/gallery_grabber.php (98.077646017075, 1.1920928955078E-5)
2022-09-14 11:36:39: Thumb deleted (98.078197956085, 0.00055217742919922)
2022-09-14 11:36:39: Delete thumb 1446389  (98.07831788063, 0.00011801719665527)
2022-09-14 11:36:39: FS delete folder:  /home/sites/sites/domain.com/preview///user_thumbs/792/318  (98.07932305336, 0.0010039806365967)
2022-09-14 11:36:39: FS_delete_folder: /home/sites/sites/domain.com/preview///user_thumbs/792/318 doesnt exists (98.079361915588, 3.6954879760742E-5)
2022-09-14 11:36:39: FS delete file:  /home/sites/sites/domain.com/preview///video_preview/792/318.mp4  (98.079399108887, 3.504753112793E-5)
2022-09-14 11:36:39: FS_delete_file: /home/sites/sites/domain.com/preview///video_preview/792/318.mp4 doesnt exists (98.079428911209, 2.9087066650391E-5)
2022-09-14 11:36:39: Delete gallery content 792/318 (98.079541921616, 0.00011110305786133)2022-09-14 11:36:39: processed_galleries = 1000, memory = 12.3 Mb limit 1024M (98.079772949219, 0.00023007392883301)

[admin]

Думаю все галеры с одного цдн который через какое-то время банит ИП сервака
пока вы добавляете по новой и разбираетесь - там проходит таймаут и он не считает ИП сервака ботом и снова разбанивает

вывод - заметно уменьшить скорость граба

[juliacold888]

Здравствуйте!
в rotation - grabber settings
в Gallery Grabber Threads, count заменили 3 на 1
Итого: 1360 строк добавилось только 306
"заметно уменьшить скорость граба" - может мы не там уменьшили

[juliacold888]

У знакомых была такая же ситуация, их админы решили вопрос якобы "Подняли системные файловые лимиты"
Наши админы не понимаю о чем речь и отправляют к автору скрипта, чтобы дали инструкцию как решить данную проблему...

[admin]

у нас варианты действий

1. пробовать что-то менять наугад пытаясь понять в какой момент сервак перестает конектить
2. обратиться к знакомым и выяснить конкретно какие лимиты были изменены что б они рассказали словами которые понятны админам, как обычно админ админа должен понимать

мне кажется 2й вариант намного более прогнозируемый в плане потраченного времени и результата

[Nikso]

Думаю все галеры с одного цдн который через какое-то время банит ИП сервака
пока вы добавляете по новой и разбираетесь - там проходит таймаут и он не считает ИП сервака ботом и снова разбанивает

вывод - заметно уменьшить скорость граба

Это не объясняет точно такую же проблему при грабинге тумб со своего сервера.
На свой сервер я все картинки выкачал в консоли через wget за секунд 15 гдето все 1300+. Никакой таймаут не словил.


С тем админом который смог, связь потеряна.

[admin]

ok
начнем с увеличения кол-ва дескипторов
например ulimit 4096

[Nikso]

Code: Select all

sites@s:~$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 514057
max locked memory       (kbytes, -l) 65536
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 514057
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Skype_Picture_2022_09_16T11_31_12_934Z.jpeg (152.37 KiB) Viewed 336 times

[admin]

open files (-n) 1024

надо 4096

[juliacold888]

увеличили до 4096.
Из 1363 строк добавилось 711 строк