SmartCJ Support Forum

Добрый день!
Добавляю контент вручную. Дампы с эмбедами до 1,5 к тумб. Скорость "грабанья" ооочень низкая.
Подскажите, плз., в какой опции скрипта можно регулировать (увеличить) скорость, или что подкрутить на сервере, чтобы импорт происходил быстрее?

Приветствую!

грабания я полагаю тут это скорость создания тумб?
или добавления в базу?
как вычисляется скорость одним словом?

После выполнения процедуры во вкладке IMPORT по добавлению контента, во вкладке SPONSORS в столбце "To grab" появляются цифры (количество добавляемых тумб из дампа спонсора) после эти цифры переходят в столбец "Active". Промежуток времени по переходу из статуса "To grab" в "Active" очень велик. В "To grab" быстрее, но тоже долго. Объясните, плз., что есть "скорость создания тумб", а что "добавления в базу", и как можно уменьшить вышеназванные промежутки времени?

ясно
тут то насколько быстро создает тумбы
на 99% зависит от нагрузки сервака, канала и откуда качается контент
понятно что сделать тумбы из видео это одно, сделать 15 тумб из картинок другое, сделать 1 тумбу еще быстрее, а хотлинк совсем быстро

можете открыть gallery_grabber.log и посмотреть какое действие сколько времени занимает

надо
1. скачать картинку (зависит от канала и удаленного сервака)
2. сделать тумбы из картинки - зависит от ИМ, от нагрузки сервака
3. записать в базу - зависит от нагрузки мускла\сервака

Я понимаю, что скрипт не влияет на выполнение названных процессов?
А может ли на сервере быть настроено какое-то ограничение, чтобы обработка всего массива дампа не нагрузила (положила) сервер одномоментно? Тогда напрячь админа, чтобы ослабил ограничение

загляните плз в лог, посмотрите что сколько занимает времени
там может по 150 тумб на галеру делается, а вы считаете что все идет очень медленно потмоу что считаете в галерах а по факту там может делат тумбу каждую секунду

Частично разобрались в проблеме и выяснили, что у нас медленно обрабатываются запросы БД. При этом хостер уверяет, что никаких дополнительных ограничений нет и нагрузки на сервер тоже нет. При этом сам сервер у нас тоже нормальный по конфигурации и стоит не 2 копейки. Есть ощущение, что нагрузка на MySQL каким-то образом целенаправленно лимитирована. Подскажите, пожалуйста, где именно может быть эта настройка? Например, в смарте есть ограничение на скорость проверки галерей в Gallery checker. Может быть есть опция, которая лимитирует процесс обработки контента, чтобы не грузить БД? Если есть, то как ее подкрутить?

у вас виртуалка
что вы имете ввиду говоря "сервер у нас тоже нормальный по конфигурации" ?

Виртуалка, 4 Core x2.60 GHz, RAM= 8 GB, SSD
и на меньшем конфиге раньше все играло без проблем

ситуация такая:

1. тормозит добавление в базу. вообще весь граб это 30% скачивание файлов, 30% создание тумбы ИМ, 30% добавление в базу и 10% работа скрипта.

2. что у вас в мускле не так - я не знаю, вам надо говорить с админом, из виртуалки все равно не видны настройки ОС а видно только то что доступно виртуалке. проще говоря: у вас из крана вода идет со скорстью 1 литр в час, вы сантехнику говорите что судя по размеру трубы должно идти 10 литров в час, но от вас ничего не зависит если на насосной станции просто не дают больше воды.

так что то что у вас ssd ничего не говорит о нагрузке, вы его не нагружаете, зато нагружают все остальные кто физически на том же серваке, а у вас будет показывать что нагрузки нет

3. я не знаю сколько стоит ваш впс, но проверил сколько стоит минимальный дедик
https://us.ovhcloud.com/bare-metal/rise/prices/
и за 60 баксов уже идет 32 гига , ssd и тп
за дедик
те ваша виртуалка стоит допустим 20 баксов


вывод: я со стороны скрипта сделать ничего не могу, вам надо разбираться с хостингом, админом и тп.
если перевести часы работы по разборкам с админом, серваком и тп в деньги, то окажется что заплатить на 40 баксов больше за дедик чем за ВПС - очень выгодный вариант