Import большого количества галлерей

Alian
Posts: 266
Joined: Thu Nov 15, 2012 2:08 pm

Re: Import большого количества галлерей

Post by Alian »

admin wrote:Да, потому что была проблеа что совали большие импортсеты которые постоянно дергались , новых галер там не находилось, а нагрузка на сервак постоянно была.

Прошло 5 дней с начала топика.
Даже если бы вы поставили по 2к в час то импортировало бы уже 300к галер. С трудозатратами в 5 минут настройки. По итогу вы потратили уже намного больше времени, файл делалили, добавляли свой скрипт и тп .. в чем смысл - не ясно ..
ну я же понимаю как мне действовать, у меня галер на полтора гига, какие 300к? там их около 3кк ... в этом и смысл. Вы сначала писали что это не возможно, что надо делать через импортсест, а сейчас вы говорите противоположные вещи. Что мне делать в итоге? Куда идти что читать, ни ваша документация ни способ с фака не помогает. Я описал проблему, но решения я не могу найти. Его нет? Те в ваш скрипт засунуть такую базу не реально? Я все верно понимаю? Или надо ждать как вы посчитали 1500 часов по 2к галер? Вы можете мне четко дать ответ:
- Как мне засунуть большой дамп галер в базу?
Сервер настроен специально под прием это базы, все лимты на максимуме, что я должен еще сделать? Почему оно залетает так долго, ни через загрузку файла, а через сетс он вообще входит в анабиоз.
База прочекана на дубликаты, в базе не надо тянут тумбы...
вот где мне поставить какие настройки: ... чтоб он через импорсетс затягивал по 10к гялер хотя бы. Чтоб оно просто зашло туда без лишних проверок на дубликаты и тд, и чтоб главное сетс его принимал каждый час.
admin
Site Admin
Posts: 37994
Joined: Wed Sep 10, 2008 11:43 am

Re: Import большого количества галлерей

Post by admin »

Мне кажется 3М галер это уже из разряда "таблеток от жадности да побольше"

Но даже в этом случае прошло уже 6 дней.
В топике конкретная ссылка как это сделать.
Если поставить 5к в час с саомго начала то сейчас в базе было бы уже 720к галер, более чем достаточно что б стартовать сайт.
Тем более не ясно почему надо вот именно с самого начала что б было 3М и подругому начать никак.

Конкретный ответ на вопрос "Что мне делать в итоге?" - прочитать ссылку которая в топике в самом начале о том, как импортировать большой дамп.

Теперь с моей стороны вопрос: что конкретно не ясно в той доке ?
Don't forget to run script update
Alian
Posts: 266
Joined: Thu Nov 15, 2012 2:08 pm

Re: Import большого количества галлерей

Post by Alian »

admin wrote:Мне кажется 3М галер это уже из разряда "таблеток от жадности да побольше"

Но даже в этом случае прошло уже 6 дней.
В топике конкретная ссылка как это сделать.
Если поставить 5к в час с саомго начала то сейчас в базе было бы уже 720к галер, более чем достаточно что б стартовать сайт.
Тем более не ясно почему надо вот именно с самого начала что б было 3М и подругому начать никак.

Конкретный ответ на вопрос "Что мне делать в итоге?" - прочитать ссылку которая в топике в самом начале о том, как импортировать большой дамп.

Теперь с моей стороны вопрос: что конкретно не ясно в той доке ?
Причем тут разряды таблеток, мы что в школе? Зачем вы тратите мое время на какие то пустые разговоры. Я сам знаю сколько мне нужно галер для того чтобы сделать старт. Вы можете четко сказать ваш скрипт способен обработать такой массив данных или нет? Если нет так и скажите. Если да то как именно, вы сейчас пишите уже 5к. Вы от куда вообще эти цифры берете 2к, 5к, вы можете мне какие то зависимости эти сказать чтоб я не дергал вас, или научите лимиты увеличивать. У вас в каждом ответе содержится разные советы и разные цифры. Уточните еще раз. Сколько строк я могу совать в импортсест чтоб он не принимал нормально?
admin
Site Admin
Posts: 37994
Joined: Wed Sep 10, 2008 11:43 am

Re: Import большого количества галлерей

Post by admin »

Промотайте топик - я полночтью описал от чего это зависит.
600к я бы брал как базовый размер
А сколько строк в 600к я не знаю, это зависит от того насколько длинная каждая строка.
Don't forget to run script update
admin
Site Admin
Posts: 37994
Joined: Wed Sep 10, 2008 11:43 am

Re: Import большого количества галлерей

Post by admin »

Да, кстати, вы можете настроить сколько угодно таких импортсетов - и увеличить кол-во галер в час пропорционально.
Don't forget to run script update
Alian
Posts: 266
Joined: Thu Nov 15, 2012 2:08 pm

Re: Import большого количества галлерей

Post by Alian »

admin wrote:Да, кстати, вы можете настроить сколько угодно таких импортсетов - и увеличить кол-во галер в час пропорционально.
5к строк
https://gyazo.com/6572d987e275905cb2371ecaa8c266bc - размер 812065 байт
Так как вы говорите могут быть колизии: настроить сколько угодно
Alian
Posts: 266
Joined: Thu Nov 15, 2012 2:08 pm

Re: Import большого количества галлерей

Post by Alian »

попробую я предположить. Я сделаю 500к галер на один заход в сетс, он его тянет и встает в паузу... я чекаю там раз допустим в день закончил он засовывать или нет, как засунет все 500к я снимаю с паузы дерагю второй дамп. Так зайдет или тоже будут проблемы?
admin
Site Admin
Posts: 37994
Joined: Wed Sep 10, 2008 11:43 am

Re: Import большого количества галлерей

Post by admin »

5к строк
https://gyazo.com/6572d987e275905cb2371ecaa8c266bc - размер 812065 байт
В чем проблема сделать 4к что б точно влезало в 600 и оно не будет останавливаться ?
даже по 4к за 6 дней залило бы уже 600к.
Don't forget to run script update
Alian
Posts: 266
Joined: Thu Nov 15, 2012 2:08 pm

Re: Import большого количества галлерей

Post by Alian »

admin wrote:
5к строк
https://gyazo.com/6572d987e275905cb2371ecaa8c266bc - размер 812065 байт
В чем проблема сделать 4к что б точно влезало в 600 и оно не будет останавливаться ?
даже по 4к за 6 дней залило бы уже 600к.
спасибо я умею считать, но вы не читаете мои вопросы ... это какой то тролинг реально. Спасибо за советы
admin
Site Admin
Posts: 37994
Joined: Wed Sep 10, 2008 11:43 am

Re: Import большого количества галлерей

Post by admin »

Какой троллинг если с самого начала топика стоит лимнка на конкретный ответ как импортировать большой дапм.
Вы 3 страницы спрашиваете "так как же доабвить большой дамп" а я столько же спрашиваю "а что не ясно с тем что в факе" и ответа не получаю
Don't forget to run script update
Post Reply