SmartCJ Support Forum

проверил, если ротация офф + rotation.php не запускаем, а пускаем только грабинг - сеты не работают, не режутся.

Сразу вопросы
- при импорте в базу, сфинкс используется для поиска или нет ?

для поиска чего именно ? для есть ли галеры в базе он не надо

- если загружать все в одну группу, а уже после попробовать разложить по тегам - оно не сдохнет на 20-30 лямах галер ?

тут уже будет зависеть все от сфинкса какие скорости он сможет выдавать.

По грабберу - только что проверил - должно грабить, что в логе граббера на эти запуски ?

по граберу - да ничего, пусто в логах вообще.
если на крон ставим только крон + граббер ( без ротации и ротатион.пхп в крон не пихаем ) то вообще ничего не происходит.

Вот сейчас попробовал, в одну группу гружу - галерок 50 в минуту влезает только, в настройках стоит 200, и скорость постепенно падает. Вот за 2 с половиной часа пролезло что-то около 6к всего.

ps у меня дамп иксвидеос в "свою" базу залетает за 5 минут, весь.

Так разные вещи - просто разбить строку в файле и вставить в базу
или
разбить строку которая может быть xml, определить категорию, вставить в базу и тп
но потестить конечно можно, добавить какой-то лог какая операция сколько занимает.

а как вариант распараллелить это можно ? я за нагрузку не боюсь, пусть 5 кронов по 50 галер добавляет
и потестить это нужно, т.к. бось что смарт не подойдет под быструю мега базу

1. Лучше все же скиньте мне шел на домен где добавляет медленно что б посмотреть на чем именно тормозит и попробовать оптимизировать ту часть.

2. В несколько потоков не получится тк оно контролирует что б 2 процесса одновременно не запускались, те только если дописать что -то с учетом этого, но лучше начать с п1. тк есть опыт когда грабер напримре не был ограничен и выглядело так что ставили например 10 копий, загружали дампы во все, и они все вместе начинали на полную грабить и при этом конечно сервак тормозил с остальными сайтами и возникал вопрос "смарт кладет сервак" - пришлось ввести ограниение для граббера.

Так-то в одну группу, без раскладки по категориям у меня 80к пролезло за сутки. Хочется быстрее.
Шел дам попозже чуток.

Явно что то не то, на http://bigbase.smartcj.com/ 12М добавляло и там было явно не по 80к в сутки.

admin wrote:Явно что то не то, на http://bigbase.smartcj.com/ 12М добавляло и там было явно не по 80к в сутки.

Больше ?

Да, по 500 в минуту грубо. И это при том, что тут 4 гига памяти свободной, ну и в целом не самый выдающийся сервак. Может у вас filter keywords много например.