Disk IOs. DB deadlocks

R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Disk IOs. DB deadlocks

Post by R.A.F.K. »

Привет. Проблема с нагрузкой на винты и дедлоками БД.
Три сиджа на смартсж. Сумарно входящего трафа 180к и 80к галерей.
База вынесена на отдельный, довольно шустрый, сервер с ssd масивом и 32гб оперативки.

после переустановки одного из смартов нагрузка резко упала, но потом плавно вернулась обратно.
админы перенесли базы на массив SAS, но особых результатов это не дало:
Last edited by R.A.F.K. on Thu Jun 06, 2019 10:24 am, edited 1 time in total.
admin
Site Admin
Posts: 37241
Joined: Wed Sep 10, 2008 11:43 am

Re: Disk IOs. DB deadlocks

Post by admin »

кто то пытался смотреть что именно грузит, есть ли медленные запросы и если да то какие и тп?
те кроме просмотра графика админ что то смотрел?
Don't forget to run script update
R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Re: Disk IOs. DB deadlocks

Post by R.A.F.K. »

в общем удалось выиснить, что причина нагрузки на диски в постоянно разрастающихся таблицах

rot_gallery_stats15
rot_gallery_stats16
rot_gallery_stats17
rot_gallery_stats18

набор категорийных тумб для каждого языка постоянно увеличивается. При 300 категориях - 9000 категорийных тумб.
Если сделать транкейт этим таблицам, то на время нагрузка падает, пока таблицы не разрастутся опять...
Как это остановить?
admin
Site Admin
Posts: 37241
Joined: Wed Sep 10, 2008 11:43 am

Re: Disk IOs. DB deadlocks

Post by admin »

от 9000 записей нагрузка не растет, даже от 90000 записей тоже вряд ли что то заметное будет, поэтому не думаю что это причина

Но однозначно проверить надо почему больше чем категорий, скидывайте плз дамп
по идее должно бывть кол-во категорий * кол-во сайтов
Don't forget to run script update
R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Re: Disk IOs. DB deadlocks

Post by R.A.F.K. »

всего 4 языка + 1 main_site и 297 категорий
значит должно быть категорийных тумб 5*297=1485

а их сейчас 1624...1729

скинул дамп в пм
admin
Site Admin
Posts: 37241
Joined: Wed Sep 10, 2008 11:43 am

Re: Disk IOs. DB deadlocks

Post by admin »

Может быть менялись категории, старые категорийные не удалялись.
а где те 9000?
Don't forget to run script update
R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Re: Disk IOs. DB deadlocks

Post by R.A.F.K. »

те 9000 удалены транкейтом и возможно их было значительно больше в пике. Сейчас их уже 12500 - нагенерились за ночь.
Последние несколько недель категории не менялись.
Скинул свежий дамп в пм
admin
Site Admin
Posts: 37241
Joined: Wed Sep 10, 2008 11:43 am

Re: Disk IOs. DB deadlocks

Post by admin »

Да, спасибо, нашлось

Что б удалить то что есть лишнее надо сделать 2 запроса в базе

delete from `rot_gallery_info` WHERE gallery_type = 1
delete from `rot_gallery_stats1` WHERE gallery_id not in (select gallery_id from rot_gallery_info)

это удалит тумбы категорий, скрипт их самостоятельно пересоздаст (можно в special форсировать это событие) и больше лишние создавать не будет.
Don't forget to run script update
R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Re: Disk IOs. DB deadlocks

Post by R.A.F.K. »

выполнил запросы, также сделал транкейт таблиц rot_gallery_stats15+. Чуть позже отпишу о результатах
R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Re: Disk IOs. DB deadlocks

Post by R.A.F.K. »

есть еще находка...

в таблице rot_gallery_data1 нашли ~900000 несуществующих галер. Большая часть дублируется.
если попытаться открыть в браузере
/admin/?operation=rot_edit&redir=true&gallery_id=262400
получаю ошибку "Error id"
_____________________
и еще
в таблице rot_gallery_info нашли 6706 галер с непонятными полями "url" "source_url" "sponsor_id"
Last edited by R.A.F.K. on Thu Jun 06, 2019 10:24 am, edited 1 time in total.
Post Reply