SmartCJ Support Forum

Здравствуйте. Как и где увеличить значение для файла импорта свыше 10мб - This source is too big (bigger then 10Mb) to be parsed at a regular pace. You can add it, BUT it will be parsed ONE TIME ONLY. Ie it will NOT be parsed every X hours.
И как сделать чтобы после граба файла больше 10мб импрот сет не ставал на паузу (Large file has been processed. Importset paused.) - очень не удобно (не всегда можно проконтролировать)
Думаю лучше отключить такую функцию.
Спасибо.

а что за импортсет который каждый час больше 10 метров?

Просто с большим количеством кустом_вар и дело не в 10мб в час, а в автоматической паузе импортсета. Не могу проконтролировать.
Если спарсил одну категорию и получилось 7мб все ОК, но может попастся категория с 11мб и все стает на паузу вне зависимости от того или каждый час или каждых пять часов. Получается надо после каждого импорта смотреть не стоит ли импорт сет на паузе.
https://clip2net.com/s/4c5Lxeo вот раз в 24 часа и тоже на паузе.
Если сайтов много так можно загужать каждый день обновления на сервер, но сайты обновлятся не будут, потому что попал дамп свыше 10мб и поставил на паузу импортсет.

Лучше пока импортсет не загрузится полностью игнорировать настройку Next grab и без всяких автоматических пауз.

мне кажется проблема из разряда "вы просто не умеете их готовить"

по сути 2 варианта юзания импорсета

1. раз в Х часов добавлять новые галеры
2. доабвлять большой дамп один раз при наполнении сайта

у вас какой вариант?

Вариант 1, НО я не юзаю ваш движок по адалту, а по а-ля агрегатор товаров. Наполнение товарами и обновление цен и удаление товаров, которые удалены с сайтов спонсоров.
Так что импорт сеты работают постоянно и что плохо что мне не извесно дамп будет или 5мб или 25 мб, но даже если 25мб это может быть 20к товаров с большими описаниями и кустом вар характеристиками.
https://clip2net.com/s/4c5Lxeo вот раз в 24 часа и тоже на паузе а я паршу контент и думаю что добавляю галеры а импортсет неделю висит на паузе.
Это неудобно при множестве сайтов все время сидеть и следить или импортсет не попал на паузу

вы 3 раза уже написали что импортсет ставит в паузу, я понел, этот момент я в курсе и можно не повторять

перейдем к конкретике

откуда конкретно как конкретно берется дамп что б он получается то 1 то 25мб? я ж не думаю что магазин добавляет внезапно 25м товаров

В даном примере - я паршу агрегатор e-katalog, но 25мб - это не означает огромное количество товаров, а то что в этих товарах есть большое количество инфы (описание и характеристики). Характеристики идут в кустом вар (их 15 штук)
И получается что 10к товаров может дамб иметь и 5 (если мало описания) и 50 мб если много.
Потом парсер с компа загружает через FTP на сервер и отдаю смарту.
Не хочу 4 раз писать - но проблема как раз в автоматической паузу.
На компютере ночью запускается парсинг e-katalog одни товары добаляются, другие цены обновляются а третьи удалятся (нет в продаже).
И я хотел чтобы было - сделал и забыл. Но нет, прилетел дамп больше 10мб и остановил наполнение сайта, поставил на паузу импорт сет.

не хотел, но 4й раз написал про то что становится в паузу ))
ок, я напишуу еще раз - да, я понял что становится в паузу, можно не повторять п
продолжаем уникать откуда такой размер


те каждый час добавляется 10к товаров?

те каждый час генерится новый список с 10к товаров и поэтому размер файла больше 10 мег, верно?

каждый час - 10к новых товаров, точно?