много слейвов, нужно снизить нагрузку

serge
Posts: 930
Joined: Mon Mar 14, 2011 7:53 am

много слейвов, нужно снизить нагрузку

Post by serge »

Есть ли возможность заметно снизить по средствам сеттингов скрипта кол-во обращений слейвов к мастеру? Иными словами: что и как можно отключить в настройках слейвов, чтобы снизить нагрузку на мастера (по сути нужна только ротация и трейд, никакие статсы, логи, хистори, гео-статистика и так далее не нужны)?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: много слейвов, нужно снизить нагрузку

Post by admin »

Слейв получает с мастера только данные тумб
стат типа рефов и тп - это все хранится на самом слейве
какую конкретно слейв создает нагрузку на мастер ?
Don't forget to run script update
serge
Posts: 930
Joined: Mon Mar 14, 2011 7:53 am

Re: много слейвов, нужно снизить нагрузку

Post by serge »

ок, возможно дело не в слейвах... тогда сформулирую вопрос иначе...

есть сервер:
Xeon X3470 2.93Ghz Quad Core / 8GB / 2x500GB+2x2000GB

там 13 сайтов (13 копий SmartCj соотв)
1 сайт с большой базой в районе 400к тумб-галер (у него 24 слейва) , остальные либо слейвы, либо совсем не значительные базы, по 5-20к галер.

Все рекоммендации по тюнингу и прочему выполнены. Все копии апнуты до последних билдов версии 1.50. LA в районе: load average: 4.54, 5.95, 5.82 (чаще ниже даже)

Couchbase или Redis не стоят. На моем предложение поставить, получил ответ админа:
В вашем случае однозначно нет
для этого нужна свободная оперативная память а у вас и так ее не хватает
Теперь по поводу нагрузки.... админ описал проблему так:
Похоже проблема в том что к базе ****_com_scj (сайт с самой большой базой) одновременно прилетает много запросов которые mysql просто не успевает обработать вот и достигается лимит подключений. Поскольку нагрузка не критична попробуем увеличить количество одновременных подключений.
Далее вот:
В результате добавления коннектов несколько раз чуть не лег сервер,
руками приводили в чувство.
Вернули этот параметр на прежнее значение. Тк такое кол-во коннектов ему не по силу.

В итоге мы вернулись к тому откуда начинали, сервер достаточно часто уходит в сильную загрузку при которой достигается лимит коннектов и сайты не открываются.

Необходимо разгрузить сервер.
так же обращаем ваше внимание что эта нагрузка не 100 и не 90% времени, но обладает завидным постоянством.
Я снова напомнил про Couchbase или Redis и возможность в сеттингах попробовать Save page views to cache. Ответ таков:
Нагрузка присутствует на все его компоненты.
Как я писал ранее установка Couchbase или Redis скорее ухудшит ситуацию
т.к. для их работы необходима дополнительная оперативная память.
НО, даже если каким-то мифическим образом это заработает и мы частично снимем нагрузку
с винтов, то все равно в моменты нагрузки на мускул он закладывает не только
винты но и процессор.
Вот такая картина... сайтов не много, трафика на них тоже дай бог 100-120к на всех вместе, а столько головняка... не знаю что делать в итоге, просто поменять на новый более мощный сервер или это абсурд и надо разибраться
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: много слейвов, нужно снизить нагрузку

Post by admin »

Я это прохожу с завидным постоянством.
Спорят и что мускл настраивать не надо, и кеш ставить не надо и тп.
Что надо сделать сказано уже сотни раз.
Вы мне предлагаете идти ругаться с админом ? или в чем именно вопрос ?
Don't forget to run script update
serge
Posts: 930
Joined: Mon Mar 14, 2011 7:53 am

Re: много слейвов, нужно снизить нагрузку

Post by serge »

admin wrote:Я это прохожу с завидным постоянством.
Спорят и что мускл настраивать не надо, и кеш ставить не надо и тп.
Что надо сделать сказано уже сотни раз.
Вы мне предлагаете идти ругаться с админом ? или в чем именно вопрос ?
значит все же проигнорировать сомнения и заставить поставить Couchbase или Redis... :) тогда вопрос, что лучше в моем случае? или абсолютно без разницы
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: много слейвов, нужно снизить нагрузку

Post by admin »

Глобально разницы нет. У коуч красивая админка )
Против тюнинга mysql возражений у админа нет ?
Don't forget to run script update
serge
Posts: 930
Joined: Mon Mar 14, 2011 7:53 am

Re: много слейвов, нужно снизить нагрузку

Post by serge »

admin wrote:Глобально разницы нет. У коуч красивая админка )
Против тюнинга mysql возражений у админа нет ?
про тюнинг уточнял ни один раз, клянутся и божатся, что все выполнено по вики...
Semen_ssr
Posts: 867
Joined: Sun Apr 25, 2010 7:59 pm

Re: много слейвов, нужно снизить нагрузку

Post by Semen_ssr »

Не слушай никого, я редисом вытянул серваки Intel Atom DualCore 1.6Ghz 2GB , теперь холодные стоят и там поболее чем у тебя навешано, банально нет времени их на что-то перевезти.
Спроси на всякий какое отношение редис имеет так сильно к памяти? )
serge
Posts: 930
Joined: Mon Mar 14, 2011 7:53 am

Re: много слейвов, нужно снизить нагрузку

Post by serge »

Semen_ssr wrote:Не слушай никого, я редисом вытянул серваки Intel Atom DualCore 1.6Ghz 2GB , теперь холодные стоят и там поболее чем у тебя навешано, банально нет времени их на что-то перевезти.
Спроси на всякий какое отношение редис имеет так сильно к памяти? )
ага, спасиб. Поставили как раз редис, сейчас потестим
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: много слейвов, нужно снизить нагрузку

Post by admin »

И у коуч и у редиса можно выставтиь лимит памяти , выделив сколько считает админ можно.
Don't forget to run script update
Post Reply