Table history 1GB

R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Table history 1GB

Post by R.A.F.K. »

На сайте 50к трафа дейли.
History max length, days 14.
Processed Data - все выставлено в NO.
Разрастается таблица history. До транкейта была размером ~1GB.
После транкейта, за сутки насобиралось 1123100 записей, на 70 мб.

До транкейта, в логе медленных запросов было:

Code: Select all

Query_time: 43.303112  Lock_time: 0.000043  Rows_sent: 51050  Rows_examined: 14446668
SET timestamp=1559436345;
SELECT trader, sum( clicks_trade + clicks_url ) as total_clicks,
	    sum( raw ) as total_row, sum( uni ) as total_uni, sum( `out` ) as total_out
		FROM `history` 
		where hour >= 8760 GROUP BY trader;
admin
Site Admin
Posts: 37249
Joined: Wed Sep 10, 2008 11:43 am

Re: Table history 1GB

Post by admin »

кол-во трейдеров * 24 * 14 = кол-во записей
вы можете прямо в таблице проверить сколько уникальных hour записано
Don't forget to run script update
R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Re: Table history 1GB

Post by R.A.F.K. »

Inactive Traders 3 шт
feeders 32 шт
System Traders 15 шт
итого 50 шт

50*24*14 = 16800

за сутки добавился еще лям+ записей

в таблице history
hour
433187-433234=47

для hour 433188 найдено 51050 записей
для hour 433233 найдено 51050 записей
____________________
в колонке trader присутствуют трейдеры

abc1a.us/007zeed.com
abc1a.us/0dayporn.stream
abc1a.us/101xxx.xyz
abc1a.us/123sex.club

как я понимаю это сабфидеры. Но запись сабфидов и все в Processed Data выставлено в NO.
admin
Site Admin
Posts: 37249
Joined: Wed Sep 10, 2008 11:43 am

Re: Table history 1GB

Post by admin »

но они уже есть, и по ним хистори надо вести.
Если они не надо - можно их удалить и тогда их в хистори писать не будет
Don't forget to run script update
R.A.F.K.
Posts: 29
Joined: Mon Aug 01, 2016 10:53 am

Re: Table history 1GB

Post by R.A.F.K. »

их видно только в бд. Можно ли удалить эти сабфидеры из средствами смартсж?
admin
Site Admin
Posts: 37249
Joined: Wed Sep 10, 2008 11:43 am

Re: Table history 1GB

Post by admin »

Да, в статистике фидера видны сабфидеры
Don't forget to run script update
equattro
Posts: 71
Joined: Fri Nov 14, 2014 1:35 pm

Re: Table history 1GB

Post by equattro »

А кто делает эти запросы?

Очевидно из логов, что индексы на этом запросе не работают и запрос пробегает по всей таблице, сколько бы там записей не было.
admin
Site Admin
Posts: 37249
Joined: Wed Sep 10, 2008 11:43 am

Re: Table history 1GB

Post by admin »

а какой индекс вы считаете надо поставить для этого запроса?
Don't forget to run script update
equattro
Posts: 71
Joined: Fri Nov 14, 2014 1:35 pm

Re: Table history 1GB

Post by equattro »

Если отталкиваться от всех правил построения индексов, там индекс должен быть (hour,trader), но hour >= 8760 не дает его использовать.
Он бы работал, если бы было что то вроде where hour >= 420156 and hour < 420160, какой то актуальный диапазон. А так запрос пробегает по всем записям, будь то 100 или 10000000 строк.

Вообще не совсем понятно откуда берется 8760 час? И второй момент, кто выполняет эти запросы и на каком этапе. Запросы медленные и их много.
admin
Site Admin
Posts: 37249
Joined: Wed Sep 10, 2008 11:43 am

Re: Table history 1GB

Post by admin »

час по юниксу
как unixtime только в часах а не секундах

я прочел сообщение но честно говоря так и не понял из него: как конкретно надо делать?
Don't forget to run script update
Post Reply