Import большого количества галлерей

[GangstaBros]

правда в этом варианте - минимальный шаг парсинга 1 час .

значит надо прибавить там значения с 500 до ... ? а сколько максимум за раз влезет?

[admin]

Он не может автоматом поставить пермишены тк импортсет запускается с веба, а дамп может быть и на другом серваке, и залит от другого юзера и тп.
Можно подумать конечно над каким-то костылем что б было проще но опять же может получится так, что обрещет файл котой юзер не хотел обрезать и тп ..

можно сколько угодно, 600к размер кусочка.
Сколько это строк - зависит от дампа.

[GangstaBros]

а если увеличить мемори лимит - то соответсвенно увеличится размер одного куска, который пролезет? или нет

[admin]

Технически - да.
Но стоит именно на 600к потому что

1. это в среднем 3к строк, импорт раз в час, особо больше 3к тумб (а часто надо больше 1 тумбы на галеру) все равно не успеет сделать

2. какой то лимит должен быть что б не было ситуации когда добавили огромный импорт, и его постоянно тянет, нагружая сервак, и это не 1 раз а человек просто добавил и забыл.

[GangstaBros]

3к строк раз в час - это 24*3 = 72к за сутки
то есть лям будет почти 2 недели вгружаться , долго как-то

ну то есть если сервер пустой, увеличиваю мемори лимит, кол-во строк за раз - и все полетит махом вгружаться, верно?

[admin]

72к галер в сутки это почти 2 тумбы в секунду, это при условии что 1 тумба на галеру.
Оно нанмого больше и не успеет сделать, ИМ быстрее не будет резать в общем случае.

Увеличивать не пойдет, стоит именно на 600к ограничение потому что как говорили ранее тут же пробелма в том, что люди засовывали дампы по например 100к галер, не через скрипт cut.php а просто как есть. Потом забывали про это. И скрипт каждый час парсил дамп. те скачивал парсил и пробоваш добавлять, но конечно не добавлял, тк это были дупы.

И таких дампов и сайтов было конечно не 1 на сервак.

Это конечно резко грузило сервак, и было "смарт грузит сервак!!!"

Пришлось ввести это ограничение, которое заключалось в том, что если дамп больше 600к то после первого скачивания его ставит на паузу.

[GangstaBros]

Увеличивать не пойдет, стоит именно на 600к ограничение потому что как говорили ранее тут же пробелма в том, что люди засовывали дампы по например 100к галер, не через скрипт cut.php а просто как есть. Потом забывали про это. И скрипт каждый час парсил дамп. те скачивал парсил и пробоваш добавлять, но конечно не добавлял, тк это были дупы.

вот и я помню такое, все отлично работало .

а таким дурачкам, кто ставит период обновления 1 час на большой фид - думаю одного раза зависшего сервера хватит, чтоб в следующий раз перепроверять че они там выставляют )

а нормальным людям это костыль ненужный получился

[admin]

Таких был не 1 и не 2
Которые потом пишут на форумах что смарт грузит сервак и тп.

[GangstaBros]

так можно стоит это сделать с галкой какой-то? типа Big feed , если включил ее - то без всяких ограничений тянуть будет, и настройка для реграба в часах вообще пропадает при этом . был бы отличный компромисный вариант

[admin]

Так оно сейчас так и работает.
Если дамп больше 600к - то после первого граба ставит в паузу.