Грабит, к примеру загружено 50 галер(пиксы), в активе увидел 27, через 3-5 минут остается 9-14
Грабим опять тот же источник +9-10 галлер и так по кругу пока не запомнит эти 50
Есть другой серв, там разворачивал дамп - грабит без проблем тысячами.
Your Build 202107191203 (Current build: 202107191203 ) PHP version 7.4.11 Mysql Version: 10.4.14-MariaDB - тот что грабит
Your Build 202107191203 (Current build: 202107191203 ) PHP version 7.4.3 Mysql Version: 10.3.29-MariaDB-0ubuntu0.20.04.1 - тот что делает нервы
Кусочек лога:
Но оооо Великий и Могучий сказал мне:2021-07-19 10:07:21: Downloading img https://example.com/169d.jpg to ../tmp/17592/tmp//277403.jpg, ref https://www.gallery.com/galleries/bla-bla/ (139.9373550415, 8.9883804321289E-5)
2021-07-19 10:07:21: Curl error: getaddrinfo() thread failed to start
(139.93766403198, 0.00031018257141113)
2021-07-19 10:07:21: unset ref (139.93777298927, 0.00010395050048828)
2021-07-19 10:07:21: Curl error: getaddrinfo() thread failed to start
(139.93802404404, 0.00025105476379395)
2021-07-19 10:07:21: Source Size: 0 (139.93811821938, 8.893013
Что делали:инет говорит что может быть ограничение на кол-во открытых конектов на серваке
1. Сравнил все вкладки и настройки где работает
2. Разворачивал дамп на случай если не увидел настроек которые включены
3. Хостер поднял "некоторые параметры php" (просто цитирую)
4. Кинул кроны просто в crontab -e без всяких файлов и sleep
5. В логе граббера хостер нашёл ошибки днс-резолвинга, 2021-07-19 12:52:14: Curl error: Could not resolve host: example.com заменил системный днс, там был прописан по дефолту днс-сервер датацентра, видимо он режет если быстро много обращений. Поднял локальный днс
6. Отключил с перепугу cloudflare с проксированием трафика
7. Еще раз грабил на новом и старом и в сетингах обратил внимание на
новый который - пропускает галлеры
Gallery Grabber Threads, count
ie how gallery grabber instances should we launch
default is 3
more instances = more processed galleries per minute = more load on server
Current average speed: 104 galleries per minute
старый - делает все как надо
Gallery Grabber Threads, count
ie how gallery grabber instances should we launch
default is 3
more instances = more processed galleries per minute = more load on server
Current average speed: 2 galleries per minute
8. Тут вернулись к тому что основная ошибка в том что curl не может скачать галеры
Хостер думал что дело может быть в днс, но не помогло.2021-07-19 14:46:49: Curl error: getaddrinfo() thread failed to start
(168.53213500977, 5.5074691772461E-5)
2021-07-19 14:46:49: Source Size: 0 (168.53215789795, 2.1934509277344E-5)
2021-07-19 14:46:49: Can not download https://example.com/7ae8.jpg (Not 200 answer (0) ) (168.53217387199, 1.4781951904297E-5)
2021-07-19 14:46:49: Looks like this is a custom gallery, trying to download source from a saved gallery (168.53219199181, 1.6927719116211E-5)
2021-07-19 14:46:49: Custom gallery not an array, skipping (168.53221201897, 1.9073486328125E-5)
2021-07-19 14:46:49: Can not make thumb for this item, skipping ... (168.53222799301, 1.5974044799805E-5)
Какого-то лимита исходящих коннектов на сервере нет.
9. Отключили IPV6
10. Сменил домен, скрипт, формат WEBp в JPG, сменил дамп импорта.
help me(
Более подробно кину телегу