Import большого количества галлерей

[Bond]

Стоит задача импортировать как можно больше галерей по такой схеме:
EMBED|TITLE|GROUP|LENGHT|THUMB
Тумба кропится под мой размер
Время работы php скрипта стоит 400 секунд
1.Импорт через Add Galleries путем copy/paste информации из файла в поле
Из 10'000 галерей в задание успевает всего около 4000, далее скрипт выдает error 500 (после 400 секунд)

2.Импорт с помощью текстового файла
Из 20'000 галерей в задание добавилось всего 3650 галереи, далее все та же error 500 (после 400 секунд)

Время работы php скрипта увеличивать пока не хотелось бы (боюсь чтобы сервер не лег)
Может есть какой-то способ увеличить количество съедаемых галлерей за 1 раз?

[Bond]

Для сравнения: 700К keywords мой скрипт добавил с мускуль где-то за полминуты
Понятно что сравнение не очень хорошее, поэтому хотелось бы узнать как происходит импорт галерей (если отключить грабер): просто информация о галереях разносится по базам или в придачу к этому происходит еще и скачивание тумбы?

[admin]

http://smartcj.com/wiki/doku.php?id=ru: ... 0%BC%D0%BF


Там не только вставка в одну таблицу, а минимум в 5 получается, плюс разбор тагов и прочее

[Alian]

Здравствуйте!
Да я все понимаю но вот ситуация такая, что 500 в час это крайние мало. Нужно всунуть 500к галер на столько на сколько это возможно быстро. Даже для этого отдельно взял сервер чтобы на напрягать основной. Как это сделать, этот вариант не подходит, такак медленно будет затягивать.

[admin]

Можно поставтиь больше в час.
Но все равно в большинстве случаев 99% времени это стягивание контента и нарезание тумб.
И если брать по тумбе в секунду то это максимум 3600 тумб в час.
Если у вас 10 тумб на галеру - это 360 в час.

[Alian]

ну я порезал на части файл текстовый для дампа, выставил трехдневный нгинксу таймаут + php и как дебил сижу заливаю второй день сутками дамп. Это как той полный трындец, полный ... мне так хочется кричать - сил нет
>И если брать по тумбе в секунду то это максимум 3600 тумб в час.
да тумбы тут особо не причем! Мне текстовые нужны дески только и все. Так что расчеты эти тут ни как не вписываются, так как я выставил их как хотлинк.
Оно в 10 минут по тыще только суется и все тут через загрузку. Как такое может быть вообще?

[admin]

Так если у вас условно 10к за раз залазит через импортсет вариант
это 240к в день
480к за те 2 дня которые вы это делаете руками
На автомате как раз эти 500к уже и добавило бы.

[Alian]

Так если у вас условно 10к за раз залазит через импортсет вариант
это 240к в день
480к за те 2 дня которые вы это делаете руками
На автомате как раз эти 500к уже и добавило бы.

написано при импортсете:
- файл большой, не факт то далее система воспримет такое же кол-во, в мане написано тоже самое ... что данная система не предназначена для того чтобы затягивалось дампы большие. Так вы скажите как делать тогда
- а где я знал что 10к можно сувать, нет в мане таких чисел я искал

Можно ли мне щас резать файлы по 10к строк и сувать ему их каждый час через импортсест

[admin]

Файл большой пишет при каком кол-ве строк в вашем случае ?

[Alian]

Файл большой пишет при каком кол-ве строк в вашем случае ?

более 600 килобайт, строк там было я не помню сколько уже