Сильная загрузка сервера

vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Сильная загрузка сервера

Post by vaal »

Добрый день. Имеем Dual Intel Xeon 5620, 32GB RAM, 2x300GB SAS HDD RAID1. На нем 62 копии смарта. Трафика -копейки около 100к. Буквально до вчера было все нормально. А вчера кроны стали сильно грузить сервер. Мускуль тюнен.Кроны разнесены. Вчера админы настроили Redis. Вчера провели последние апдейты. Все равно переодически сервак подвисает. Они говорят, что:
---
10:50:06: кроны дают большую нагрузку на базу, и остается много sleep коннектов
---
Прочитал в соседнем топике у человека аналогичная проблема
http://smartcj.com/viewtopic.php?f=2&t=88026&start=10
vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Re: Сильная загрузка сервера

Post by vaal »

раз в минуту вызываеться
крон такого вида:
----

exit;
CRD=`/bin/date`
LIMIT=20
TMP=`/bin/ps auxwww | /usr/bin/grep ^ftpaccess | /usr/bin/grep -c php`
if [ $TMP -gt $LIMIT ]
then
echo "$CRD Overloaded $TMP > $LIMIT" >>/home/ftpaccess/scj.overloaded.log
exit
fi
### this one is for cron.php execution
sh scj_cron.sh &
sleep 1
### this one is for rot.php execution
sh scj_rot.sh &
vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Re: Сильная загрузка сервера

Post by vaal »

scj_cron.sh
------


SLP=3
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 1 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 2 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 3 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 4 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 5 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 6 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 7 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 8 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 9 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 10 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 11 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 12 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 13 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 14 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 15 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 16 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 17 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 18 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 19 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 20 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 21 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 22 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 23 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 24 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 25 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 26 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 27 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 28 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 29 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 30 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 31 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 32 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 33 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 34 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 35 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 36 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 37 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 38 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 39 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 40 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 41 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 42 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 43 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 44 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 45 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com/usr/local/bin/php -q cron.php 46 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 47 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 48 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 49 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 50 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 51 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 52 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 53 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 54 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 55 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 56 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 57 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 58 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 59 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 60 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 61 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q cron.php 62 &
Last edited by vaal on Wed Apr 03, 2013 9:44 am, edited 2 times in total.
vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Re: Сильная загрузка сервера

Post by vaal »

scj_rot.sh
------------
SLP=3
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 1 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 2 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 3 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 4 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 5 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 6 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 7 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 8 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 9 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 10 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 11 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 12 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 13 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 14 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 15 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 16 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 17 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 18 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 19 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 20 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 21 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 22 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 23 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 24 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 25 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 26 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 27 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 28 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 29 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 30 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 31 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 32 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 33 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 34 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 35 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 36 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 37 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 38 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 39 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 40 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 41 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 42 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 43 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 44 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 45 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 46 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 47 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 48 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 49 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 50 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 51 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 52 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 53 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 54 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 55 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 56 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 57 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 58 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 59 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 60 &
sleep $SLP
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 61 &
cd /usr/home/ftpaccess/domain.com/scj/bin; env HTTP_HOST=domain.com /usr/local/bin/php -q rot.php 62 &
vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Re: Сильная загрузка сервера

Post by vaal »

На мой вопрос:
что за цифры стоят перед амперсандом?
12:13:42: информационные, чтобы было видно по top, какой крон сильнее грузит
vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Re: Сильная загрузка сервера

Post by vaal »

админы кроны пока отключили.
admin
Site Admin
Posts: 37994
Joined: Wed Sep 10, 2008 11:43 am

Re: Сильная загрузка сервера

Post by admin »

Те скрипт не менялся и вдруг нагрузка ?
может резко бот пришел который много ходит по сайту ?
по логам апача изменний по кол-ву трафа не видно?
Don't forget to run script update
vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Re: Сильная загрузка сервера

Post by vaal »

ничего такого не видно. я про ботов. траф не менялся.
кроны нормально прописаны?
admin
Site Admin
Posts: 37994
Joined: Wed Sep 10, 2008 11:43 am

Re: Сильная загрузка сервера

Post by admin »

Интересный вариант, я с таким не сталкивался, но думаю ок.
Что конкретно на серваке грузят кроны ?
Don't forget to run script update
vaal
Posts: 212
Joined: Tue Nov 06, 2012 4:37 pm

Re: Сильная загрузка сервера

Post by vaal »

Кроны грузят мускуль и винт, соответственно. Кроме того, админы говорят, что много незакрытых соединений в мускуле.
Post Reply