Медленный граббинг

Post Reply
Knower
Posts: 363
Joined: Mon May 06, 2013 10:00 pm

Медленный граббинг

Post by Knower »

Сделал импорт через Import Set около 280к тумб.
Эта цифра в Preloaded galleries уменьшается в сутки примерно на 2к, что очень медленно.
На предыдущей базе в сутки примерно 25к грабилось.

Я что-то упустил из виду, или что-то не так идет?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Медленный граббинг

Post by admin »

В preload.log или content_cron.log четко видно что сколько времени занимает.
Можете сравнить с тем что было раньше и тп.
Скорость зависит в первую очередь от быстроты отдачи контента удаленными серваками, после этого - кол-во создаваемых тумб и нагрузка самого сервака где идет граб.
Don't forget to run script update
Knower
Posts: 363
Joined: Mon May 06, 2013 10:00 pm

Re: Медленный граббинг

Post by Knower »

Еще несколько дней назад удалял в базе удаленное виде с хамстера, порядка 70к удалилось. Но на слейвах до сих пор в Гроуп отображается старое кол-во тумб, и на сайтах отображаются эти тумбы но без картинки, т.е. урл есть а тумбы нет. Это нельзя как-то ускорить?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Медленный граббинг

Post by admin »

А без кеша как ?
Это как-то связано с грабом или это вы решили в одной теме все вопросы напутать ? )
Don't forget to run script update
S_Flash
Posts: 1788
Joined: Mon Mar 08, 2010 9:04 am
Contact:

Re: Медленный граббинг

Post by S_Flash »

Ту же хрень заметил в V 1.50 Build 201310031106
Грабил 1 галеру раз в 10 минут примерно.
Попробовал на соседнем домене, та же хрень.. Прелоад уменьшался со скоростью примерно 1 галера в 10 минут
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Медленный граббинг

Post by admin »

Что при этом было в логах ?
Don't forget to run script update
S_Flash
Posts: 1788
Joined: Mon Mar 08, 2010 9:04 am
Contact:

Re: Медленный граббинг

Post by S_Flash »

admin wrote:Что при этом было в логах ?
Да я как раз и хотел спросить какой из них смотреть в этом случае!
ХЗ, до сих пор не догоняю как они классифицируются.
Вроде есть и preload.log и content_grabber ... ХЗ, я думал - это очень близкие понятия, если не одно и тоже.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Медленный граббинг

Post by admin »

content_grabber - кастом галя
preload - тумбы ротации
Don't forget to run script update
Post Reply