Page 2 of 7

Re: Import большого количества галлерей

Posted: Mon May 23, 2016 10:13 pm
by Alian
admin wrote:Файл большой пишет при каком кол-ве строк в вашем случае ?
вы скажите какой максимальный список я могу сунуть в импортсест, сколько строк. Какие зависимости ... и будет ли он во второй час дергать и принимать новую порцию большого импорт листа. А то у вас написано что может и не принимать. Я просто не понимаю какой то блекбокс

Re: Import большого количества галлерей

Posted: Tue May 24, 2016 5:25 am
by admin
Все просто: размер обрабатываемого файла ограничен размером памяти под пхп и временем его работы.

Строки бывают по 100 символов в длинну а могут быть и по 2000, так что вопрос не в строках а в размере файла.

Далее это надо добавить в базу, проверить по кейвордам и тп - в зависимости от нагрузки сервака это так же неизвестное время. А так же строки, логично что если там 3 поля и один только масетр то вставит их быстрее чем 10 полей и 20 слейвов.

Выше в топике написано как импортировать большой файл.
В чем именно проблема с той инструкцией ?

Re: Import большого количества галлерей

Posted: Tue May 24, 2016 4:49 pm
by Alian
admin wrote:Все просто: размер обрабатываемого файла ограничен размером памяти под пхп и временем его работы.

Строки бывают по 100 символов в длинну а могут быть и по 2000, так что вопрос не в строках а в размере файла.

Далее это надо добавить в базу, проверить по кейвордам и тп - в зависимости от нагрузки сервака это так же неизвестное время. А так же строки, логично что если там 3 поля и один только масетр то вставит их быстрее чем 10 полей и 20 слейвов.

Выше в топике написано как импортировать большой файл.
В чем именно проблема с той инструкцией ?
В том что у вас написано:
- импортсетс не приспособлен для таких вещей, мучайтесь другими позами
- то в админке он пишет если сунуть ему большой на тест файл, что второй раз не факт что он будет обрабатывать ваш большой файл
Те в принципе вообще не понятно как оно работает. Ну вы сейчас хоть что то прояснили - спасибо попробую.

Re: Import большого количества галлерей

Posted: Tue May 24, 2016 5:15 pm
by admin
Вы точно читали то что там по ссылке ?
где нтам написано что импортсет не подходит если мменно через него все делается?

Re: Import большого количества галлерей

Posted: Tue May 24, 2016 6:00 pm
by Alian
admin wrote:Вы точно читали то что там по ссылке ?
где нтам написано что импортсет не подходит если мменно через него все делается?
это у вас в мане написано

Re: Import большого количества галлерей

Posted: Tue May 24, 2016 7:47 pm
by admin
ок, решим сначала текущий вопорос: в чем пробелма следовать инстрекции по импорту больших сетов ссылка на которую в топике в самом начале ?

Re: Import большого количества галлерей

Posted: Thu May 26, 2016 8:51 pm
by Alian
admin wrote:ок, решим сначала текущий вопорос: в чем пробелма следовать инстрекции по импорту больших сетов ссылка на которую в топике в самом начале ?
побил я вобщем текстовый дамп на файлы ну и пытаюсь скормить ему через скрипт ... ну ниче сложного собственно. Один раз он проглотил, потом пишет... и ставит в паузу
This is A BIG import set.
It this be processed 1 time only.
---
скажите мне пауза вот эта навсегда? Или до следующего часа?
Проблема именно в надписях типа:
>It this be processed 1 time only.
Типа я работаю по данному урлу один раз и все.

Сразу скажу если проглотил значит памяти достаточно же php и тд...
https://gyazo.com/8ed0567680dc13c2579bb8f0a25aec40

Re: Import большого количества галлерей

Posted: Thu May 26, 2016 9:05 pm
by admin
Зачем что-то бить и тп, в чем пробелма сделать так как написано в факе?

Re: Import большого количества галлерей

Posted: Thu May 26, 2016 9:13 pm
by Alian
admin wrote:Зачем что-то бить и тп, в чем пробелма сделать так как написано в факе?
в том что файл имеет 1.5 гига, я его разделил на части по 100к строк и при каждом вызове скрипта он дергает у меня последующий файл и показывает его. Ничем не отличается от вашего скрипта.
Если использовать ваш скрипт, с увеличением строк, чтоб мне до пенсии не ждать будет тот же результат и те жи надписи.
Вы скажите что означает слова
This is A BIG import set.
It this be processed 1 time only.
Все он больше не будет тянуть?

Re: Import большого количества галлерей

Posted: Fri May 27, 2016 4:41 am
by admin
Да, потому что была проблеа что совали большие импортсеты которые постоянно дергались , новых галер там не находилось, а нагрузка на сервак постоянно была.

Прошло 5 дней с начала топика.
Даже если бы вы поставили по 2к в час то импортировало бы уже 300к галер. С трудозатратами в 5 минут настройки. По итогу вы потратили уже намного больше времени, файл делалили, добавляли свой скрипт и тп .. в чем смысл - не ясно ..