TCMS : ускорить граббер

[darkover]

проверил, если ротация офф + rotation.php не запускаем, а пускаем только грабинг - сеты не работают, не режутся.

[admin]

Сразу вопросы
- при импорте в базу, сфинкс используется для поиска или нет ?

для поиска чего именно ? для есть ли галеры в базе он не надо

- если загружать все в одну группу, а уже после попробовать разложить по тегам - оно не сдохнет на 20-30 лямах галер ?

тут уже будет зависеть все от сфинкса какие скорости он сможет выдавать.

По грабберу - только что проверил - должно грабить, что в логе граббера на эти запуски ?

[darkover]

по граберу - да ничего, пусто в логах вообще.
если на крон ставим только крон + граббер ( без ротации и ротатион.пхп в крон не пихаем ) то вообще ничего не происходит.

Вот сейчас попробовал, в одну группу гружу - галерок 50 в минуту влезает только, в настройках стоит 200, и скорость постепенно падает. Вот за 2 с половиной часа пролезло что-то около 6к всего.

ps у меня дамп иксвидеос в "свою" базу залетает за 5 минут, весь.

[admin]

Так разные вещи - просто разбить строку в файле и вставить в базу
или
разбить строку которая может быть xml, определить категорию, вставить в базу и тп
но потестить конечно можно, добавить какой-то лог какая операция сколько занимает.

[darkover]

а как вариант распараллелить это можно ? я за нагрузку не боюсь, пусть 5 кронов по 50 галер добавляет
и потестить это нужно, т.к. бось что смарт не подойдет под быструю мега базу

[admin]

1. Лучше все же скиньте мне шел на домен где добавляет медленно что б посмотреть на чем именно тормозит и попробовать оптимизировать ту часть.

2. В несколько потоков не получится тк оно контролирует что б 2 процесса одновременно не запускались, те только если дописать что -то с учетом этого, но лучше начать с п1. тк есть опыт когда грабер напримре не был ограничен и выглядело так что ставили например 10 копий, загружали дампы во все, и они все вместе начинали на полную грабить и при этом конечно сервак тормозил с остальными сайтами и возникал вопрос "смарт кладет сервак" - пришлось ввести ограниение для граббера.

[darkover]

Так-то в одну группу, без раскладки по категориям у меня 80к пролезло за сутки. Хочется быстрее.
Шел дам попозже чуток.

[admin]

Явно что то не то, на http://bigbase.smartcj.com/ 12М добавляло и там было явно не по 80к в сутки.

[darkover]

Явно что то не то, на http://bigbase.smartcj.com/ 12М добавляло и там было явно не по 80к в сутки.

Больше ?

[admin]

Да, по 500 в минуту грубо. И это при том, что тут 4 гига памяти свободной, ну и в целом не самый выдающийся сервак. Может у вас filter keywords много например.