SmartCJ Support Forum

есть мастер (около 400к тумб) + 15-20 слейвов
На мастере (да и у слейвов тоже) в логах навалом таких сообщений:
Allowed memory size of 536870912 bytes exhausted (tried to allocate 72 bytes) in ...
+
периодически Can not connect to database server.

админ сказал, что к базе очень много идет запросов такого вида
Writing to net | SHOW FULL PROCESSLIST |

перезапустили mysql, но толку никакого, снова куча подключений с такими запросами. Отключили пользователю мастер_com_scj возможность смотреть processlist. Однако не уверены не отразится ли это на работе смарта. Вроде сработало, загрузка eth0, которая судя по всему исходила от mysql упала (доходила аж до 60 мб/сек)

подняли memory limit до 1GB, сообщения про Allowed memroy прекратились, но почти сразу же окончательно грохнулся мускул... вернули на 512М

После я заапргрейдил память на сервере с 16гб до 32гб. Думаем что теперь делать дальше с allowed memory (прут дальше)... поднимать лимит или оставить, и в каком направлении вообще двигаться, чтобы все окей было с работой сайтов

Какой билд ?
и полностью строку плз
Allowed memory size of 536870912 bytes exhausted (tried to allocate 72 bytes) in ...

...in scj/bin/rot.php

билд мастера: 201308270959

слейвы: 201309111005

сейчас обновлю мастера, на всякий случай

Я бы обратил внимание на что пишет в логах на то время когда оно выпадает, возможно добавлен какой-то импортсет огромный.

Есть что-то такое ?

вроде нет, в "to grab" пусто, preload.log - вчера последняя запись, попробовал import set на паузу поставить весь пока

еще такую ошибку вижу вот только что в логе слейва (попробовал отключить и подключить заново), не знаю относится к делу или нет:

13.18 select g.id, g.gallery_md5, gs.total_shows as thumb_casts, gs.total_clicks as clicks, if (gs.total_shows < 100, 1, 0) as new_thumb FROM rot_galleries as g JOIN rot_gallery_stats37 as gs on gs.thumb_id = g.id WHERE g.status = 1 AND g.rgroup != 0 and gs.best_thumb = 'yes' ORDER BY activation_date DESC LIMIT 65040, 120# queryitems:: :
13.18 select g.id, g.gallery_md5, gs.total_shows as thumb_casts, gs.total_clicks as clicks, if (gs.total_shows < 100, 1, 0) as new_thumb FROM rot_galleries as g JOIN rot_gallery_stats37 as gs on gs.thumb_id = g.id WHERE g.status = 1 AND g.rgroup != 0 and gs.best_thumb = 'yes' ORDER BY new_thumb ASC, gs.total_ctr DESC LIMIT 0, 120# queryitems:: :
13.18 select g.id, g.gallery_md5, gs.total_shows as thumb_casts, gs.total_clicks as clicks, if (gs.total_shows < 100, 1, 0) as new_thumb FROM rot_galleries as g JOIN rot_gallery_stats37 as gs on gs.thumb_id = g.id WHERE g.status = 1 AND g.rgroup != 0 AND gs.total_shows < 100 GROUP BY gallery_md5 LIMIT 0, 11# queryitems:: :

Это предположение, не значит что так оно и есть.
Надо посмотерть что в логе на это время.

а как объяснить траблы с eth0 ? Вот сейчас например опять наблюдаю нагрузку в 100% на 100 мегабитный канал, которая исходит исключительно от мускула... что может мускул в таком объеме передавать/принимать? я уже ничего не понимаю

Я думаю ситуация следующая:

когда скрипт генерит страницу он делает пару тяжелых запросов и потмоу дабы несоклько копий не делали это одноврменно перед тем как сделать запрос он проверят - не идет ли в это время другой запрос.

по какой-то причине на мускле подвисает запрос , на основном серваке накапливаются процессы , каждый из которых периодически опрашивает мускл на предмет текущих запросов.

такие процессы накапливаются - отсюда и траффик.

Думаю стоит посмотреть на мускл - висят ли там какие-то запросы подолгу ?

Когда работают кроны и хватает памяти php выполняются запросы по 13M, при этом слейвы по сети запрашивают full processlist. Например в логах сиджа только не отработанных запросов буквально за пять минут на собиралось 1.5G, и это нужно передать по сети возможно нескольким слейвам и несколько раз

admin wrote: Думаю стоит посмотреть на мускл - висят ли там какие-то запросы подолгу ?

Подвисают исключительно запросы show full processlist так как они очень большие.