Big Base Demo

admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

активно пишется в базу
потому и такие действия медленные
какие варианты .. тормознуть импорт например) как варинат выдумывать какие-то ограничения, можно можно было ограничить импорт например 500 в минуту = меньше нагрузка на таблицу = быстрее скорость
теоретически то когда-то активная чать процесса закончится. не будет же туда бесконечно добавляться по 2к галер в минуту
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

admin wrote: Sat Nov 06, 2021 5:38 pm активно пишется в базу
потому и такие действия медленные
какие варианты .. тормознуть импорт например) как варинат выдумывать какие-то ограничения, можно можно было ограничить импорт например 500 в минуту = меньше нагрузка на таблицу = быстрее скорость
теоретически то когда-то активная чать процесса закончится. не будет же туда бесконечно добавляться по 2к галер в минуту
Окей, ну там лямов 10 осталось вписать и импорт закончится. Тогда пока откладываем этот вопрос, как импорт закончится к нему вернемся )
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

Хорошо)
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

При попытке отредактировать шаблон на большой базе идет запрос
/?operation=rotation&sub=rot_tube&subsub=rot_cms&

Code: Select all

SELECT group_id, count(distinct(gallery_id)) as total FROM rot_gallery_stats1 as gi WHERE group_id != 0 GROUP BY group_id
234 rows in set (5 min 51.48 sec)

флаг большой базы в конфиге есть. Получаем таймаут
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

добавил в ап что б не считало кол-во галер в группах
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

admin wrote: Fri Nov 12, 2021 7:07 am добавил в ап что б не считало кол-во галер в группах
Апнулся 202111121140
$config['big_database_flag'] = true; в конфиге

все тож самое, при /admin/?operation=rotation&sub=rot_tube&subsub=rot_cms
SELECT group_id, count(distinct(gallery_id)) as total FROM rot_gallery_stats1 as gi WHERE group_id != 0 GROUP BY group_id

и на редактировании импорт сета ?operation=rotation&sub=rot_import&set_edit=2
SELECT group_id, count(distinct(gallery_id)) as total FROM rot_gallery_stats1 as gi WHERE group_id != 0 GROUP BY group_id
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

добавил эти в ап тоже
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

admin wrote: Fri Nov 12, 2021 12:49 pm добавил эти в ап тоже
Да, спасибо, пациент ожил )
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

отлично)
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

Вот чисто теоретический вопрос.
Я смотрю на rot_gallery_stats1 и вижу там 176 276 457 записей.
Судя по структуре там каждая запись это галера и какая-то ее группа, если галера в 20 группах, то соответственно 20 записей.
Вопрос такой - т.к. как мне в теории группы и не нужны, но они уже как бы есть. Что будет с галерами, если я удалю группы?
Post Reply