Page 4 of 7
Re: Import большого количества галлерей
Posted: Sat May 28, 2016 11:11 am
by Alian
admin wrote:Какой троллинг если с самого начала топика стоит лимнка на конкретный ответ как импортировать большой дапм.
Вы 3 страницы спрашиваете "так как же доабвить большой дамп" а я столько же спрашиваю "а что не ясно с тем что в факе" и ответа не получаю
так я вам в 5 раз пишу, ваша документация, и фак не помогают в решении моего вопроса. Вы как скрипт отвечаете одним и тем же: фак, документация ... и разнообразием подсчетов. Вы вникните просто в вопрос, перечитайте что я спрашиваю уже фиг знает какой день... ну почему человек который призван помогать на форуме не вникает вообще в проблему? Я вам повторю еще раз если для вас это проблема, перечитать и вникнуть:
- Ваш скрипт может обработать 3кк строк? (спасибо за таблетку)
Если нет ок, спасибо ... и пока.
Если да, как мне засунуть максимально быстро в базу вашего скрипта эти данные. Через импортсетс не получается сувать больше чем 2к строк, как можно кормить ему хотя бы по 10к строк? Еще раз: Как кормить вашему импортсетс более 10к строк, и чтоб он их глотал нормально не входя в анабиоз. Как?
Ни как ... спасибо пока
Если можно, спасибо за ответ.
Я не знаю как написать, мы видимо говорим не на русском а на каком то другом языке с вами, такого чуда я еще не встречал, когда саппорт не пытается вникнуть в проблему а просто тролит меня.
Топик просто эпичен!
Re: Import большого количества галлерей
Posted: Sat May 28, 2016 11:58 am
by admin
Ок, попробуем вникнуть.
Почему надо за раз именно 10к, а не например 2 или 20 ?
Re: Import большого количества галлерей
Posted: Sat May 28, 2016 8:17 pm
by GangstaBros
admin wrote:Ок, попробуем вникнуть.
Почему надо за раз именно 10к, а не например 2 или 20 ?
я бы тоже не отказался от решения, как импортнуть с минимумом усилий от 500к галер разом =\
сидеть перебирать значения 1-10-20к , бить файл на куски - это тот еще гемор .
почему нельзя файл по крону грабить , если он такой большой и за раз не проталкивается, можно добавить такую опцию? добавил , и все - ниче не ждешь, оно само фоном там будет добавлять сколько и надо и у тебя в итоге 500к галер в базе .
или 3млн
красота была бы
Re: Import большого количества галлерей
Posted: Sun May 29, 2016 7:20 am
by admin
Импортсет это и есть вариант по крону по идее.
Скирпт сам не может перебирать импортить по 2к или 20к за раз: в пхп нет жесткого управления памятью и грубо говоря заранее сложно сколько памяти займет загрузка дампа. А если превышен размер памяти то управление у скрипта забирается и скрипт даже не может сделать себе пометку что условно больше Х строк читать нельзя.
Поэтому простое решение - это прикинуть что условно 600к это например 4к строк как в этом примере, поставить в импортсет и заниматься другими делами, а скрипт постепенно затянет этот файл.
Бить на части и прочее - это однозначно не надо, зачем это делать?
Re: Import большого количества галлерей
Posted: Sun May 29, 2016 11:11 am
by Alian
admin wrote:Ок, попробуем вникнуть.
Почему надо за раз именно 10к, а не например 2 или 20 ?
скажите пожалуйста, как это называется. То что вы пишите выше, я уже не понимаю как вам описать проблему - это какой разговор ни о чем. Я сейчас напишу 30к вы скажите а почему не 50 ... как вам разница? Вот какая ... я задаю вопросы, вы можете сделать на него четкий ответ. Задам в 6 раз вопрос по другому:
- Как мне заставить импортсест работать с дампами более 600кб, и чтоб он не уходил после скачивания оного в паузу?
Есть два вариант ответа:
1. Никак
2. Нужно сделать по шагам: 1 2 3 4 ...
Все, не надо больше спрашивать меня почему я не хочу 30к засунуть или еще что нибудь, у меня уже если честно отпадает желание покупать ваш скрипт и использовать его, зная что будет такой саппорт.
Re: Import большого количества галлерей
Posted: Sun May 29, 2016 12:17 pm
by GangstaBros
admin wrote:
Поэтому простое решение - это прикинуть что условно 600к это например 4к строк как в этом примере, поставить в импортсет и заниматься другими делами, а скрипт постепенно затянет этот файл.
не понял, можно подробней?
вот я тоже не разобрался как мне за раз импортнуть больше 20к галер - админы уже и мемори лимит до пол-гига выкрутили , и таймаут на выполнение пхп скриптов на всякий случай прибавили - ниче не помогло . там в итоге еще и крон вылетал почему-то . rot.php зависал намертво
Re: Import большого количества галлерей
Posted: Sun May 29, 2016 12:40 pm
by darkover
Если разово - несколько вариантов
через костыль, как в wiki написано ( костыль будет брать скажем по 10к галер и удалять их из дампа ) и раз в минуту ( если в импорт сетс настроить ) лить в базу
второй вариант - разово запулить 100к галер - через тот импорт сетс и он уйдет в паузу, т.к. разовая операция.
затык может быть в кропинге тумб, там иди откропай 100к тумб )
никогда таких проблем не было
Re: Import большого количества галлерей
Posted: Sun May 29, 2016 1:50 pm
by admin
Alian wrote:admin wrote:Ок, попробуем вникнуть.
Почему надо за раз именно 10к, а не например 2 или 20 ?
скажите пожалуйста, как это называется. То что вы пишите выше, я уже не понимаю как вам описать проблему - это какой разговор ни о чем. Я сейчас напишу 30к вы скажите а почему не 50 ... как вам разница? Вот какая ... я задаю вопросы, вы можете сделать на него четкий ответ. Задам в 6 раз вопрос по другому:
- Как мне заставить импортсест работать с дампами более 600кб, и чтоб он не уходил после скачивания оного в паузу?
Есть два вариант ответа:
1. Никак
2. Нужно сделать по шагам: 1 2 3 4 ...
Все, не надо больше спрашивать меня почему я не хочу 30к засунуть или еще что нибудь, у меня уже если честно отпадает желание покупать ваш скрипт и использовать его, зная что будет такой саппорт.
Мда .. Я пытаюсь вникнуть в вопрос - почему вам надо именно так. Вы почему-то вместо краткого ответа написали простыню о том, что нельзя у вас спрашивать никакие уточняющие вопросы.
Как именно мне вникнуть в проблему если не отвечаете на вопросы ?
Я вам на ваш вопрос ответил в самом начале топика ссылкой на фак где конкртено описано по пунктам как вам надо.
Вы читали его ? Можете без заламывания рук кратко ответить что конкретно там не так ?
Re: Import большого количества галлерей
Posted: Sun May 29, 2016 1:52 pm
by admin
GangstaBros wrote:admin wrote:
Поэтому простое решение - это прикинуть что условно 600к это например 4к строк как в этом примере, поставить в импортсет и заниматься другими делами, а скрипт постепенно затянет этот файл.
не понял, можно подробней?
вот я тоже не разобрался как мне за раз импортнуть больше 20к галер - админы уже и мемори лимит до пол-гига выкрутили , и таймаут на выполнение пхп скриптов на всякий случай прибавили - ниче не помогло . там в итоге еще и крон вылетал почему-то . rot.php зависал намертво
http://smartcj.com/wiki/doku.php?id=ru: ... 0%BC%D0%BF
Вот тут подробно написано. Alian запрещает у него спрашивать уточняющие вопросы, может быть вы сможете сказать что именно не так тут )
Re: Import большого количества галлерей
Posted: Sun May 29, 2016 5:37 pm
by GangstaBros
admin wrote:GangstaBros wrote:admin wrote:
Поэтому простое решение - это прикинуть что условно 600к это например 4к строк как в этом примере, поставить в импортсет и заниматься другими делами, а скрипт постепенно затянет этот файл.
не понял, можно подробней?
вот я тоже не разобрался как мне за раз импортнуть больше 20к галер - админы уже и мемори лимит до пол-гига выкрутили , и таймаут на выполнение пхп скриптов на всякий случай прибавили - ниче не помогло . там в итоге еще и крон вылетал почему-то . rot.php зависал намертво
http://smartcj.com/wiki/doku.php?id=ru: ... 0%BC%D0%BF
Вот тут подробно написано. Alian запрещает у него спрашивать уточняющие вопросы, может быть вы сможете сказать что именно не так тут )
нормальный вариант , вполне
но если встроить этот костыль в смартсидж - чтоб он на большие дампы автоматом врубался, было бы лучше мне кажется