Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

какая у ва версия MariaDB ? Может проще всего нам такую же поставить. Либо давайте сделаем принудительный выбор индекса. Вы, как разработчик, выступаете против этого, это несет какие-то конкретные минусы ? Или это потенциально опасно ? Мне просто надо решить конкретную проблему торможения. Я готов использовать любой метод решения, конечно, предпочту пойти по более правильному пути.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

У меня Server version: 10.1.25-MariaDB для этого запроса выбирает индекс tested_thumb_index

и если его форсить на серваке

SELECT SQL_NO_CACHE gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count,
gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery FROM rot_gallery_stats17 as gs FORCE INDEX (tested_thumb_index)
JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id
JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id
JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id
WHERE 1 = 1 AND gi.gallery_status = 'active' AND gi.gallery_type = 0
and gs.tested_thumb = 'no'
and gi.sponsor_id NOT IN (4,2)
and gs.group_id = 0
ORDER BY gs.total_ctr DESC LIMIT 0, 30;


то время
30 rows in set (0.004 sec)


почему она на серваке выбирает другой индекс - не знаю, надо серьезнее разбираться во внутренностях базы

пока сделаем костыль

апдейт и в конфиг

$config['force_index_test_thumbs_on_group0'] = true;

и будет подставлять форсирование индекса
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

ок пропишу костыль, спасибо. По базе если что-то накопаем еще, то отпишу
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

Ok
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

ПОсле обновления перестала страница эмбеда работать
https://okidokiporn.com/go?u=/ru/28437.html&cat=sister

Warning, can not parse template (content_page) (Error: Type 2, MemcachePool::set(): Invalid key, line 8 )
-2 :
-1 :
0 : <!DOCTYPE html>
1 : <html lang="en">
2 : <head>
3 : <meta charset="UTF-8" />
4 : <meta http-equiv="X-UA-Compatible" content="IE=edge" />
5 : <meta name="referrer" content="unsafe-url">
6 : <meta name="viewport" content="width=device-width, initial-scale=1" />
7 : <title>Hot Pretty Sisters first Anal with Black Step Dad</title>
8 : <meta name="rating" content="RTA-5042-1996-1400-1577-RTA">
9 : <link rel="shortcut icon" href="/favicon.ico" />
10 : <link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Montserrat" />
11 : <link rel="stylesheet" href="/css/normalize.css" />
12 : <link rel="stylesheet" href="/css/main.css" />
13 : <link rel="stylesheet" href="/css/menu.css" />
14 : <link rel="stylesheet" href="/css/mediaqueries.css" />
15 : <!--[if lt IE 9]>
16 : <script src="/js/html5shiv.js"></script>
17 : <script src="/js/IE9.js"></script>
18 : <![endif]-->
Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/includes/libs/Cookie.class.php on line 0 Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/includes/libs/Cookie.class.php on line 0 Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/cgi/out.php on line 0

Проблема происходит при редиректе. Она есть когда в htaccess прописано

RewriteRule ^go$ jvIas/cgi/out.php?gallery_id=%2&force_lng=%1 [QSA,L]
RewriteRule ^([a-z]{2})/(\d+)\.html$ jvIas/tube/index.php?gallery_id=$2&force_template=content_page&force_lng=$1&dont_count_views=true&dont_count_hit=true [QSA,L]
#RewriteRule ^([a-z]{2})/(\d+)\.html$ jvIas/cgi/out.php?url=content&gallery_id=$2&force_template=content_page&force_lng=$1 [QSA,L]

И переход на страницу с эмбедом идет через
/go?u=/<?=Translate::lang()?>/<!--GALLERY_ID-->.html

Если переписать htaccess

RewriteRule ^([a-z]{2})?/?(\d+)\.html$ jvIas/cgi/out.php?url=content&gallery_id=$2&force_template=content_page&force_lng=$1 [QSA,L]
и линк сделать
/<?=Translate::lang()?>/<!--GALLERY_ID-->.html
то срабатывает, но тогда в другом месте вылезает
вот тут кликните по основной тумбе, страница после будет редиректиться и увидите
https://okidokiporn.com/ru/1135905.html?cat=adorable

Я пока оставил второй вариант чтобы хоть как-то сайт работал
Last edited by tgptraffic_biz on Fri Nov 30, 2018 10:29 am, edited 2 times in total.
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

И еще долгие запросы вылезли

SELECT group_id, count(distinct(gs.gallery_id)) as total FROM rot_gallery_stats1 as gs
JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id
WHERE gi.gallery_status = 'active' AND gi.gallery_type = 0 and gs.best_thumb = 'yes' AND gi.sponsor_id NOT IN (4,2) group by group_id
321 rows in set (12.42 sec)
но я для него не вижу подходящих индексов
FORCE INDEX (group_id) дает некоторое ускорение (до 10 секунд) но и только

и еще похожий на первый но без форсирования:
SELECT gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count, gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery FROM rot_gallery_stats28 as gs JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id WHERE 1 = 1 AND gi.gallery_status = 'active' AND gi.gallery_type = 0 and gs.tested_thumb = 'no' and gi.sponsor_id NOT IN (4,2) and gs.group_id = 0 AND gs.gallery_id NOT IN ('94140','697640','165197','27358','116099','105981','99181','102264','102264','17609','1163855','5360','648086','781187','324828','7101','917963','26573','614692','355557','436646','18352','1044783','518273','4113','10776','90733','1224637','1179038','90260','54','368379','1224576','1005736','1058187','101598','1121093','882622','165197','766343','19957','994495','393182','854610','856719','101595','207275','1222678','1065922','793887','1076191','1022313','138030','801666','425850','821472','1032380','857405','346450','868115') ORDER BY gs.total_ctr DESC LIMIT 0, 45;
ручное добавление force index помогает
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

Давайте не мешать в кучу разные вопросы иначе будет путаница
можно создать столько тем сколько есть вопросов

ошибка темпелйта (content_page) (Error: Type 2, MemcachePool::set(): Invalid key, l

в вашем коде


Запрос из админки, он на сайт не влияет.
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

Я понял насчет не мешать.
Сегодня админы поставили для теста mariadb 10.1. Ничего не поменялось. Так что пока единственный рабочий вариант - костыль с выбором идекса.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by admin »

да, костыль под тот запрос добавлен.
Don't forget to run script update
tgptraffic_biz
Posts: 184
Joined: Fri Nov 16, 2018 2:59 pm

Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта

Post by tgptraffic_biz »

1. Апдейт с костылем с принудительным выбором индекса общий, то есть на других доменах костыль будет после обновления ?
2.Вот еще проблема - висит куча запросов типа
SELECT SQL_CALC_FOUND_ROWS gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_
Что это ?
Post Reply