This source is too big (bigger then 10Mb)

[rembo1978]

Во первых - не обязательно каждый час (в скрине видно что выставлено 24 часа, но как дамп больше 10мб тоже ставится на паузу (бесстрочную))
Во вторых - парсер на компе не знает, какие товары уже есть на сайте, а которых нет и потому я паршу первую страницу (order=date) каждой категории, допустим раз в 24 часа. Смарт добавляет из этого дампа новые товары и пропускает уже существующие.
И таким макаром я пролетаю с 10мб, так как дамп всегда больше (но новых товаров может быть 100).
Если вы выставите в импорт сет 24 часа и добавите дамп больше 10мб он станет на паузу вне зависимости от next grab

[admin]

угу, получилось из вас выжать вот что:

есть сайт а-ля агрегатор товаров
у вас локально какой-то парсер который его парсит весь и создает дамп всего сайта
этот дамп со всеми товарами вы добавляете в смарт

и так каждый день, как будто сайт создается с 0

верно?

[rembo1978]

Да локально парсер - парсит раз в сутки
Дамп не всего сайта, но достаточно большой учитывая большое количество категорий
Да добавляю в смарт и он добавлят только новые
да и так каждый день + проверка цен уже загруженый и удаление не актуальных - тоже локальным парсером.
Все верно вы поняли.

[admin]

те сейчас у нас получается что ваш парсер долбит сайт больше чем надо
потом ваш комп что-то там ночами парсит
потом огромный дамп - напрягает парсинг и мускл вашего сервака

напрашивается вывод что тут выполняется масса одной и той же неныжной работы

а вы как я понимаю рекламите этот сайт

вопрос: не проще ли спросить у них какой-то экспорт, что б не заниматься костылями, а сразу импортировать от них нужные данные?

[rembo1978]

Так экспорт тоже может быть больше 10мб. Почему нельзя самостоятельно выставить в настройка размер мин.дапма. Если глянуть в панель вебмастера Хомяка
сколько там уже к галере можно выбрать параметров (#ID|#EMBED|#THUMB|#URL|#URL_THUMB|#TITLE|#CHANNEL|#PORNSTARS|#VIEWS|#RATE|#DURATION|#DATE|#TRAILER|#MAX_RESOLUTION|#ORIENTATION|#USERNAME|#DESCRIPTION|#TITLE_RU|) и если выбрать 10 тумб - то 10мб уже неактульно.
Или просто игнорить next grab при Processing now! Added 99%

[admin]

потому что сейчас вы действуете по методу "зачем в машине ограничивать впрыск топлива? это ж так просто - давайте просто больше топлива закинем и сразу больше лошадиных сил, это ж так просто!"

но вы не думаете что на это кол-во топлива расчитан воздух, турбина, выхлоп, коробка и тп, можно тупо увеличить количество топлива - но ляжет что-то другое.

ваш вариант решения - это идти по пути наименьшего сопротивления - что б потом наступать на грабли

вы думаете от нечего делать я решил потратить время и добаить ограничение? просто до этого уже был гемор, и что б его не повторять - добавлены ограничения проверки и тп


поэтому не надо 7й раз писать "становится в паузу" и что у вас большой дамп - я это супер отлично понял уже


и так, какой конкретно там экспорт?

[rembo1978]

Если все на столько сложно то я лучше на парсере создам несколько потоков, например 1 парсит категории с 1-100, 2 с 101-200 и тд и создам несколько ИмпортСетов

[admin]

мда ...

ну если вам проще пеерписать парсер, дальше напрягать сервак каталога, свой комп, свой сервак и тп - чем просто разобраться с экспортом ... ну я не знаю что тут ответить ...

я со своей стороны всеми силами пытался из вас вытянуть хоть что-то