Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
-
tgptraffic_biz
- Posts: 184
- Joined: Fri Nov 16, 2018 2:59 pm
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
какая у ва версия MariaDB ? Может проще всего нам такую же поставить. Либо давайте сделаем принудительный выбор индекса. Вы, как разработчик, выступаете против этого, это несет какие-то конкретные минусы ? Или это потенциально опасно ? Мне просто надо решить конкретную проблему торможения. Я готов использовать любой метод решения, конечно, предпочту пойти по более правильному пути.
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
У меня Server version: 10.1.25-MariaDB для этого запроса выбирает индекс tested_thumb_index
и если его форсить на серваке
SELECT SQL_NO_CACHE gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count,
gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery FROM rot_gallery_stats17 as gs FORCE INDEX (tested_thumb_index)
JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id
JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id
JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id
WHERE 1 = 1 AND gi.gallery_status = 'active' AND gi.gallery_type = 0
and gs.tested_thumb = 'no'
and gi.sponsor_id NOT IN (4,2)
and gs.group_id = 0
ORDER BY gs.total_ctr DESC LIMIT 0, 30;
то время
30 rows in set (0.004 sec)
почему она на серваке выбирает другой индекс - не знаю, надо серьезнее разбираться во внутренностях базы
пока сделаем костыль
апдейт и в конфиг
$config['force_index_test_thumbs_on_group0'] = true;
и будет подставлять форсирование индекса
и если его форсить на серваке
SELECT SQL_NO_CACHE gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count,
gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery FROM rot_gallery_stats17 as gs FORCE INDEX (tested_thumb_index)
JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id
JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id
JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id
WHERE 1 = 1 AND gi.gallery_status = 'active' AND gi.gallery_type = 0
and gs.tested_thumb = 'no'
and gi.sponsor_id NOT IN (4,2)
and gs.group_id = 0
ORDER BY gs.total_ctr DESC LIMIT 0, 30;
то время
30 rows in set (0.004 sec)
почему она на серваке выбирает другой индекс - не знаю, надо серьезнее разбираться во внутренностях базы
пока сделаем костыль
апдейт и в конфиг
$config['force_index_test_thumbs_on_group0'] = true;
и будет подставлять форсирование индекса
Don't forget to run script update
-
tgptraffic_biz
- Posts: 184
- Joined: Fri Nov 16, 2018 2:59 pm
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
ок пропишу костыль, спасибо. По базе если что-то накопаем еще, то отпишу
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
Ok
Don't forget to run script update
-
tgptraffic_biz
- Posts: 184
- Joined: Fri Nov 16, 2018 2:59 pm
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
ПОсле обновления перестала страница эмбеда работать
https://okidokiporn.com/go?u=/ru/28437.html&cat=sister
Warning, can not parse template (content_page) (Error: Type 2, MemcachePool::set(): Invalid key, line 8 )
-2 :
-1 :
0 : <!DOCTYPE html>
1 : <html lang="en">
2 : <head>
3 : <meta charset="UTF-8" />
4 : <meta http-equiv="X-UA-Compatible" content="IE=edge" />
5 : <meta name="referrer" content="unsafe-url">
6 : <meta name="viewport" content="width=device-width, initial-scale=1" />
7 : <title>Hot Pretty Sisters first Anal with Black Step Dad</title>
8 : <meta name="rating" content="RTA-5042-1996-1400-1577-RTA">
9 : <link rel="shortcut icon" href="/favicon.ico" />
10 : <link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Montserrat" />
11 : <link rel="stylesheet" href="/css/normalize.css" />
12 : <link rel="stylesheet" href="/css/main.css" />
13 : <link rel="stylesheet" href="/css/menu.css" />
14 : <link rel="stylesheet" href="/css/mediaqueries.css" />
15 : <!--[if lt IE 9]>
16 : <script src="/js/html5shiv.js"></script>
17 : <script src="/js/IE9.js"></script>
18 : <![endif]-->
Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/includes/libs/Cookie.class.php on line 0 Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/includes/libs/Cookie.class.php on line 0 Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/cgi/out.php on line 0
Проблема происходит при редиректе. Она есть когда в htaccess прописано
RewriteRule ^go$ jvIas/cgi/out.php?gallery_id=%2&force_lng=%1 [QSA,L]
RewriteRule ^([a-z]{2})/(\d+)\.html$ jvIas/tube/index.php?gallery_id=$2&force_template=content_page&force_lng=$1&dont_count_views=true&dont_count_hit=true [QSA,L]
#RewriteRule ^([a-z]{2})/(\d+)\.html$ jvIas/cgi/out.php?url=content&gallery_id=$2&force_template=content_page&force_lng=$1 [QSA,L]
И переход на страницу с эмбедом идет через
/go?u=/<?=Translate::lang()?>/<!--GALLERY_ID-->.html
Если переписать htaccess
RewriteRule ^([a-z]{2})?/?(\d+)\.html$ jvIas/cgi/out.php?url=content&gallery_id=$2&force_template=content_page&force_lng=$1 [QSA,L]
и линк сделать
/<?=Translate::lang()?>/<!--GALLERY_ID-->.html
то срабатывает, но тогда в другом месте вылезает
вот тут кликните по основной тумбе, страница после будет редиректиться и увидите
https://okidokiporn.com/ru/1135905.html?cat=adorable
Я пока оставил второй вариант чтобы хоть как-то сайт работал
https://okidokiporn.com/go?u=/ru/28437.html&cat=sister
Warning, can not parse template (content_page) (Error: Type 2, MemcachePool::set(): Invalid key, line 8 )
-2 :
-1 :
0 : <!DOCTYPE html>
1 : <html lang="en">
2 : <head>
3 : <meta charset="UTF-8" />
4 : <meta http-equiv="X-UA-Compatible" content="IE=edge" />
5 : <meta name="referrer" content="unsafe-url">
6 : <meta name="viewport" content="width=device-width, initial-scale=1" />
7 : <title>Hot Pretty Sisters first Anal with Black Step Dad</title>
8 : <meta name="rating" content="RTA-5042-1996-1400-1577-RTA">
9 : <link rel="shortcut icon" href="/favicon.ico" />
10 : <link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Montserrat" />
11 : <link rel="stylesheet" href="/css/normalize.css" />
12 : <link rel="stylesheet" href="/css/main.css" />
13 : <link rel="stylesheet" href="/css/menu.css" />
14 : <link rel="stylesheet" href="/css/mediaqueries.css" />
15 : <!--[if lt IE 9]>
16 : <script src="/js/html5shiv.js"></script>
17 : <script src="/js/IE9.js"></script>
18 : <![endif]-->
Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/includes/libs/Cookie.class.php on line 0 Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/includes/libs/Cookie.class.php on line 0 Warning: Cannot modify header information - headers already sent by (output started at /home/httpd/okidokiporn.com/content/html/jvIas/tube/index.php:0) in /home/httpd/okidokiporn.com/content/html/jvIas/cgi/out.php on line 0
Проблема происходит при редиректе. Она есть когда в htaccess прописано
RewriteRule ^go$ jvIas/cgi/out.php?gallery_id=%2&force_lng=%1 [QSA,L]
RewriteRule ^([a-z]{2})/(\d+)\.html$ jvIas/tube/index.php?gallery_id=$2&force_template=content_page&force_lng=$1&dont_count_views=true&dont_count_hit=true [QSA,L]
#RewriteRule ^([a-z]{2})/(\d+)\.html$ jvIas/cgi/out.php?url=content&gallery_id=$2&force_template=content_page&force_lng=$1 [QSA,L]
И переход на страницу с эмбедом идет через
/go?u=/<?=Translate::lang()?>/<!--GALLERY_ID-->.html
Если переписать htaccess
RewriteRule ^([a-z]{2})?/?(\d+)\.html$ jvIas/cgi/out.php?url=content&gallery_id=$2&force_template=content_page&force_lng=$1 [QSA,L]
и линк сделать
/<?=Translate::lang()?>/<!--GALLERY_ID-->.html
то срабатывает, но тогда в другом месте вылезает
вот тут кликните по основной тумбе, страница после будет редиректиться и увидите
https://okidokiporn.com/ru/1135905.html?cat=adorable
Я пока оставил второй вариант чтобы хоть как-то сайт работал
Last edited by tgptraffic_biz on Fri Nov 30, 2018 10:29 am, edited 2 times in total.
-
tgptraffic_biz
- Posts: 184
- Joined: Fri Nov 16, 2018 2:59 pm
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
И еще долгие запросы вылезли
SELECT group_id, count(distinct(gs.gallery_id)) as total FROM rot_gallery_stats1 as gs
JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id
WHERE gi.gallery_status = 'active' AND gi.gallery_type = 0 and gs.best_thumb = 'yes' AND gi.sponsor_id NOT IN (4,2) group by group_id
321 rows in set (12.42 sec)
но я для него не вижу подходящих индексов
FORCE INDEX (group_id) дает некоторое ускорение (до 10 секунд) но и только
и еще похожий на первый но без форсирования:
SELECT gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count, gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery FROM rot_gallery_stats28 as gs JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id WHERE 1 = 1 AND gi.gallery_status = 'active' AND gi.gallery_type = 0 and gs.tested_thumb = 'no' and gi.sponsor_id NOT IN (4,2) and gs.group_id = 0 AND gs.gallery_id NOT IN ('94140','697640','165197','27358','116099','105981','99181','102264','102264','17609','1163855','5360','648086','781187','324828','7101','917963','26573','614692','355557','436646','18352','1044783','518273','4113','10776','90733','1224637','1179038','90260','54','368379','1224576','1005736','1058187','101598','1121093','882622','165197','766343','19957','994495','393182','854610','856719','101595','207275','1222678','1065922','793887','1076191','1022313','138030','801666','425850','821472','1032380','857405','346450','868115') ORDER BY gs.total_ctr DESC LIMIT 0, 45;
ручное добавление force index помогает
SELECT group_id, count(distinct(gs.gallery_id)) as total FROM rot_gallery_stats1 as gs
JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id
WHERE gi.gallery_status = 'active' AND gi.gallery_type = 0 and gs.best_thumb = 'yes' AND gi.sponsor_id NOT IN (4,2) group by group_id
321 rows in set (12.42 sec)
но я для него не вижу подходящих индексов
FORCE INDEX (group_id) дает некоторое ускорение (до 10 секунд) но и только
и еще похожий на первый но без форсирования:
SELECT gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count, gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery FROM rot_gallery_stats28 as gs JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id WHERE 1 = 1 AND gi.gallery_status = 'active' AND gi.gallery_type = 0 and gs.tested_thumb = 'no' and gi.sponsor_id NOT IN (4,2) and gs.group_id = 0 AND gs.gallery_id NOT IN ('94140','697640','165197','27358','116099','105981','99181','102264','102264','17609','1163855','5360','648086','781187','324828','7101','917963','26573','614692','355557','436646','18352','1044783','518273','4113','10776','90733','1224637','1179038','90260','54','368379','1224576','1005736','1058187','101598','1121093','882622','165197','766343','19957','994495','393182','854610','856719','101595','207275','1222678','1065922','793887','1076191','1022313','138030','801666','425850','821472','1032380','857405','346450','868115') ORDER BY gs.total_ctr DESC LIMIT 0, 45;
ручное добавление force index помогает
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
Давайте не мешать в кучу разные вопросы иначе будет путаница
можно создать столько тем сколько есть вопросов
ошибка темпелйта (content_page) (Error: Type 2, MemcachePool::set(): Invalid key, l
в вашем коде
Запрос из админки, он на сайт не влияет.
можно создать столько тем сколько есть вопросов
ошибка темпелйта (content_page) (Error: Type 2, MemcachePool::set(): Invalid key, l
в вашем коде
Запрос из админки, он на сайт не влияет.
Don't forget to run script update
-
tgptraffic_biz
- Posts: 184
- Joined: Fri Nov 16, 2018 2:59 pm
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
Я понял насчет не мешать.
Сегодня админы поставили для теста mariadb 10.1. Ничего не поменялось. Так что пока единственный рабочий вариант - костыль с выбором идекса.
Сегодня админы поставили для теста mariadb 10.1. Ничего не поменялось. Так что пока единственный рабочий вариант - костыль с выбором идекса.
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
да, костыль под тот запрос добавлен.
Don't forget to run script update
-
tgptraffic_biz
- Posts: 184
- Joined: Fri Nov 16, 2018 2:59 pm
Re: Конфиг и настройка сервера под большую ( 200+ гиг ) базу смарта
1. Апдейт с костылем с принудительным выбором индекса общий, то есть на других доменах костыль будет после обновления ?
2.Вот еще проблема - висит куча запросов типа
SELECT SQL_CALC_FOUND_ROWS gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_
Что это ?
2.Вот еще проблема - висит куча запросов типа
SELECT SQL_CALC_FOUND_ROWS gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_
Что это ?







