Page 1 of 2
Table history 1GB
Posted: Mon Jun 03, 2019 9:53 am
by R.A.F.K.
На сайте 50к трафа дейли.
History max length, days 14.
Processed Data - все выставлено в NO.
Разрастается таблица history. До транкейта была размером ~1GB.
После транкейта, за сутки насобиралось 1123100 записей, на 70 мб.
До транкейта, в логе медленных запросов было:
Code: Select all
Query_time: 43.303112 Lock_time: 0.000043 Rows_sent: 51050 Rows_examined: 14446668
SET timestamp=1559436345;
SELECT trader, sum( clicks_trade + clicks_url ) as total_clicks,
sum( raw ) as total_row, sum( uni ) as total_uni, sum( `out` ) as total_out
FROM `history`
where hour >= 8760 GROUP BY trader;
Re: Table history 1GB
Posted: Mon Jun 03, 2019 3:37 pm
by admin
кол-во трейдеров * 24 * 14 = кол-во записей
вы можете прямо в таблице проверить сколько уникальных hour записано
Re: Table history 1GB
Posted: Tue Jun 04, 2019 11:09 am
by R.A.F.K.
Inactive Traders 3 шт
feeders 32 шт
System Traders 15 шт
итого 50 шт
50*24*14 = 16800
за сутки добавился еще лям+ записей
в таблице history
hour
433187-433234=47
для hour 433188 найдено 51050 записей
для hour 433233 найдено 51050 записей
____________________
в колонке trader присутствуют трейдеры
abc1a.us/007zeed.com
abc1a.us/0dayporn.stream
abc1a.us/101xxx.xyz
abc1a.us/123sex.club
как я понимаю это сабфидеры. Но запись сабфидов и все в Processed Data выставлено в NO.
Re: Table history 1GB
Posted: Tue Jun 04, 2019 2:15 pm
by admin
но они уже есть, и по ним хистори надо вести.
Если они не надо - можно их удалить и тогда их в хистори писать не будет
Re: Table history 1GB
Posted: Wed Jun 05, 2019 5:19 am
by R.A.F.K.
их видно только в бд. Можно ли удалить эти сабфидеры из средствами смартсж?
Re: Table history 1GB
Posted: Fri Jun 07, 2019 7:06 am
by admin
Да, в статистике фидера видны сабфидеры
Re: Table history 1GB
Posted: Thu Nov 28, 2019 10:25 am
by equattro
А кто делает эти запросы?
Очевидно из логов, что индексы на этом запросе не работают и запрос пробегает по всей таблице, сколько бы там записей не было.
Re: Table history 1GB
Posted: Thu Nov 28, 2019 6:02 pm
by admin
а какой индекс вы считаете надо поставить для этого запроса?
Re: Table history 1GB
Posted: Fri Nov 29, 2019 10:40 am
by equattro
Если отталкиваться от всех правил построения индексов, там индекс должен быть (hour,trader), но hour >= 8760 не дает его использовать.
Он бы работал, если бы было что то вроде where hour >= 420156 and hour < 420160, какой то актуальный диапазон. А так запрос пробегает по всем записям, будь то 100 или 10000000 строк.
Вообще не совсем понятно откуда берется 8760 час? И второй момент, кто выполняет эти запросы и на каком этапе. Запросы медленные и их много.
Re: Table history 1GB
Posted: Fri Nov 29, 2019 12:13 pm
by admin
час по юниксу
как unixtime только в часах а не секундах
я прочел сообщение но честно говоря так и не понял из него: как конкретно надо делать?