рекроп экстра тумб

[smart]

видимо я что-то не понимаю...
вы только что написали строку, показали как создает тумбы
и теперь спрашиваете - как содать тумбы

где я упустил мысль?

проблема в том, что для дампа, который был изначально импортирован без опции создани. экстра тумбы 2, тумбы по каким-то причинам не созданы или я что-то не понимаю, где же они находятся, уже три раза запустил пересоздание, но упорно нету тумбы для дампа где упущено, хотя в логах тумбы режутся и все прекрасно вроде, но тумб нету на морде при попытке их вывести, только для нового дампа.

[admin]

Вы только что показали лог и сказали что файл есть
Вы можете показать лог для файла которго нет?

[smart]

в общем выяснилось следующее, оказалось, что процесс пересоздания убивался на сервере, каждый последующий запуск начинался с начала и доходил до того же момента. Остается вопрос каким образом запускать продолжение команды ?

в общем сначала было killed
а теперь
Fatal error: Maximum execution time of 3600 seconds exceeded in /home/httpd/domain.com/content/html/tcms/includes/libs/img_functions.php on line 0

на сервере стоит max_execution_time 30

[admin]

Теперь понял
Добавил в ап что б убирало этот лимит.

[smart]

анулся, запустил, получил новую ошибку

Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 72 bytes) in /home/httpd/domain.com/content/html/tcms/includes/libs/CurlWrapper.php on line 0
Segmentation fault

ноа на этот раз процесс продвинулся на порядок дальше, чем в предыдущие разы, вот теперь правда все по новой делать, как-то может стоит продумать момент о продолжении нарезки недостающего ?

[admin]

Да, растить память не стоит бесконечно, лучше перезапустить процесс

добавил что б если заканчивается память оно останавливалось и писало что надо перезапустить процесс добавив к онце командной строки

continue=true

теоретически надо бороться с работой с памятью, но тут задача на 1 раз

[smart]

итак, все прекрасно, продолжение рекропа работает, правда чтобы продолжало рекропить нужно два раза добавлять continue=true continue=true в конце строки. Есть так же еще несколько вопросов:
1. каким образом сделать проверку на битые тумбы и отсутствующие ?
ситуация такая, видимо в процессе граба пропадала связь на сервере, поэтому часть строк валилось с записями о том, что исходник недоступен, переходим дальше, хотя сами ссылки на тумбы я так понимаю выводятся в темплейте.
2. осталась проблема не всех сграбленых тумб, это не связано с пунктом1.
ситуация такая, что по каким-то причинам папок с экстра тумбой2 все равно меньше на сервере, к примеру пропущены начальные папки, реграб начинается сразу с 10-й папки, не с 1 и не со 2, хотя экстра тумбы1 начинаются с папки 2

Каким образом править данные моменты ?

[admin]

1. простой вариант - grep лога апача на 404 + *.jpg и будет список тумб
сложный - пишем скрипт который перебирает базу и пробует скачать каждую тумбу для проверки

2. а что в логе рекропа про эти пропушенные?

[smart]

1. простой вариант - grep лога апача на 404 + *.jpg и будет список тумб
сложный - пишем скрипт который перебирает базу и пробует скачать каждую тумбу для проверки

2. а что в логе рекропа про эти пропушенные?

1. по этому пункту понятно, тут вопрос, как перезапустить потом эти 404, дабы не делать рекроп всего по новой и можно ли как-то автоматом задать функцию, чтобы рекроп не в ручном режиме запускать а когда завершился, чтобы сам продолжался ?

2. в логе рекропа ничего нет, старт просто начинается сразу с 10-й папки и все.

[admin]

1. в данный момент такого нет, сделать можно все но это дописывать то что нажмется 1 раз в жизни
те просто не вижу смысла тратить время на написание интерфейса , изменение базы и тп

2. имя папки это начало ИД, у вас нет тумб для ИД ниже 10 ?