Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

Чем больше база тем больше запрос, логично
нет, вся статистика в одной базе, нет отдельной базы для галер активных, отлдельной для пул, отдельной для прелоад и тп

но вижу продолжение решщения вопроса методом "только что б не смотерть что там на самом деле " ...

зачем все эти скирптики если не проверено даже в реальности где база ? никаких настроект мускла не проверено, но зачем-то логгирование кол-ва галер в базе ?
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

ну я вам скинул все доступы, жду инспекции, так сказать ) мы своими силами и силами известных тут всем админов разобраться не смогли
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

Да, я проверил там
Открываю тот "чистый сервак где только база смарта" как вы сказали

А там ЛА 8

Открываю мускл - а там 18 коннектов к базам стрима
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

мы переносили базу на отдельный сервак, но это ничего не дало. я организую базу 400к на чистом серваке и отпишу. сейчас его переустанавливают. Хочется разобраться в правильных настройках сервера/mysql/самого скрипта.
Last edited by tgptraffic_biz on Sun Nov 25, 2018 11:38 am, edited 1 time in total.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

Ok
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

Админы обещали проапгрейдить mysql, возможно, это решит проблему.
У меня еще вопросы по настройке : скажем, мы хотим сохранить относительно большую базу гале ( порядка 600к ) плюс 3 дополнительных языковых слейва ( это хорошо повышает проду у нас )
1. Если ставить настройку Own Category stats : yes но ставить при этом Own Thumb stats : No то это уменьшит размер таблиц rot_gallery_statsN для слейвов ?
2. "innodb_buffer_pool_size - туда должен влезать весь датафайл (таблицы в InnoDB)"
Если все же таблицы перестанут влезать в innodb_buffer_pool_size, будет ли приемлемо по скорости работать дедик, используемый только под mysql с SSD-дисками, есть ли такой опыт ?
Конфиг дедика

CPU
Dual Xeon E5-2660
RAM
64GB DDR3
HDD
2x 480G SSD
Кеширование memcache
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

1. да, размер будет меньше
2. да, с ССД он все равно работает ок.
Если не будет - будем смотреть что оптимизировать
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

проапгрейдили до mariaDB 10.3, будем смотреть под нагрузкой
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

а запрос этот с группой 0 выполняется быстро?
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

Вот от нашего прогера :
действительно проблема с индексом
добавил FORCE INDEX (group_id) :
30 rows in set (2.22 sec)
SELECT SQL_NO_CACHE gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count, gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery FROM rot_gallery_stats17 as gs FORCE INDEX (group_id) JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id WHERE 1 = 1 AND gi.gallery_status = 'active' AND gi.gallery_type = 0 and gs.tested_thumb = 'no' and gi.sponsor_id NOT IN (4,2) and gs.group_id = 0 AND gs.gallery_id NOT IN ('166398','387134','10836','7025','234699','1711','321859','318185','1472','169146','169146','387134','5127','309545','280035','169149','174598','102264','1875','91040','1711','6983','616','270344','669016','202800','695429','233829','3400','102264','1710','328681','622151','97729','19206','239038','513959','298786','519369','723066','492275','674988','911963','854610','821558','791555','59672','791831','595240','851039','856434','935050','875228','1087544','655692','857037','127369','854783','833427') ORDER BY gs.total_ctr DESC LIMIT 0, 30;

без force index 30 rows in set (14.07 sec)
Last edited by tgptraffic_biz on Thu Nov 29, 2018 12:19 pm, edited 1 time in total.
Post Reply