Импорт большого дампа

[vik2mail]

Форум вроде поизучал предварительно..но так и не понял.
Скачал я дамп, распаковал его и получается файл csv размером порядка 1,5гб ну смарт такие файлы естественно не проглатывает..
Так вот и вопрос, а как скармливать то такие большие файлы? на примере допустим порнохаба
Можно ли скачать дамп порнохаба, привезти базу к определенному формату и просто импортировать в БД смарта через ssh..
Мне надо разово загрузить целиком всю базу

[admin]

Встроенных решений в данный момент нет.
Можно например напистаь небольшой скрипт который будет кусками выдавать из большого файла и добавить его в импортсет.
Импорсет будет например каждый час дергать этот скрипт и добавлять очередную пачку.

[vik2mail]

ну я нарезал файл большой на мелкие по 1000 строк..засунул в импортсет и чет он не парсил.. для него это большие объемы?
на форумат файла ему ведь пофигу? тхт, csv и т.д.

[vik2mail]

все данные ведь хранятся в mysql
можете сказать в какой таблице и структуру таблицы где хранятся данные для импортсет
можно ведь получается нарезать файлы, сделать mysql запрос и разом добавить все файлы в бд?

[admin]

ну я нарезал файл большой на мелкие по 1000 строк..засунул в импортсет и чет он не парсил.. для него это большие объемы?
на форумат файла ему ведь пофигу? тхт, csv и т.д.

Формат можно любой

конкретнее про "и чет он не парсил.. " ?

[admin]

все данные ведь хранятся в mysql
можете сказать в какой таблице и структуру таблицы где хранятся данные для импортсет
можно ведь получается нарезать файлы, сделать mysql запрос и разом добавить все файлы в бд?

rot_galleries но такой вариант
1. на порядки сложнее чем через импортсет
2. может сломаться если измениться страктура таблицы и надо будет делать снова

[vik2mail]

ладно попробую еще.
какой максимальный размер файла через importsets?
чтобы не каждый час парсило, а без остановки надо 0 поставить?

а по поводу подробнее:
ну порезал файл большой на мелкие файлы с количеством строк по 1000
добавил в импортсет.. нажал на кнопочку, чтобы запустить парсинг прямо сейчас..ждал ждал так ничего и не добавилось

[admin]

какой максимальный размер файла через importsets?

600k

чтобы не каждый час парсило, а без остановки надо 0 поставить?

нет, самое частое - раз в час. нет смысла парсить чаще, все равно за час оно примерно успеет нарезать то что добавлено.

а по поводу подробнее:
ну порезал файл большой на мелкие файлы с количеством строк по 1000

не понял зачем подрезал на мелкие файлы, как это потом доабвлять в импорсет?
я говорил про скрипт который будет на лету выдавать нужное.

добавил в импортсет.. нажал на кнопочку, чтобы запустить парсинг прямо сейчас..ждал ждал так ничего и не добавилось

статью в вики про импортсет ? тест жать там и тп было ?

[vik2mail]

всмысле зачем резал?
а как не резав файл размером в 1,5ГБ скормить? он не примет..вот и нарезал на мелкие файлы
ну щас сделал тест и получаю:

Looks like this Url is too big for import set. Import Sets are designed for updating channels with 100-200-300 items, if you need to import dump - use Rotation - Import, not ImportSets

в файле 1000 строчек

блин геморой какой то

[admin]

Должно быть до 600 000 байт
не важно сколько строк

Скормить - сделать скрипт который будет на каждый запрос выдавать 300 новых строк из данного файла. про что я и написал с самого начала. "Можно например напистаь небольшой скрипт который будет кусками выдавать из большого файла и добавить его в импортсет." С чего вы решили что надо резать на кучу мелких файлов ?