Если заметите что где-то что-то не работает - пишите плз сразу, не стоит ждать неделю )
Big Base Demo
Re: Big Base Demo
Don't forget to run script update
Re: Big Base Demo
апну топик про биг базу.
есть например ресурс, ротации нет, трейда нет. в нем более 10кк галер.
рассортированы по группам ( тины, азиаты и тд ит ), все запихнуто в сфинкс
хочется получить рандомных 20к галер из группы тины с кеем азиаты ? и при custom_var1 больше 100 но меньше 400 и cuctom_var2 от 10 до 20
Можно такой запрос делать ? Как это выглядеть будет
есть например ресурс, ротации нет, трейда нет. в нем более 10кк галер.
рассортированы по группам ( тины, азиаты и тд ит ), все запихнуто в сфинкс
хочется получить рандомных 20к галер из группы тины с кеем азиаты ? и при custom_var1 больше 100 но меньше 400 и cuctom_var2 от 10 до 20
Можно такой запрос делать ? Как это выглядеть будет
Re: Big Base Demo
запрос сделать можно
но тут надо понимать что рендомный - это значит сначала сделать выборку ВСЕХ галер по этим условиям , не просто например первые 100 для формирования страницы, а именно пройти всю базу, а потом уже из выбранных - выбрать сколько там рендом.
это к тому , что нагрузка будет соответствующая
если надо такое сделать - не проблема, но 95% гарантии что вы откажетесь от этого варианта, поэтому я бы попробовал сформулировать задачу как то иначе.
зачем 20к, что за ограничения, зачем это все надо и тп - может быть есть какой-то другой вариант где были бы ограничены условия и не надо был бы рендом
но тут надо понимать что рендомный - это значит сначала сделать выборку ВСЕХ галер по этим условиям , не просто например первые 100 для формирования страницы, а именно пройти всю базу, а потом уже из выбранных - выбрать сколько там рендом.
это к тому , что нагрузка будет соответствующая
если надо такое сделать - не проблема, но 95% гарантии что вы откажетесь от этого варианта, поэтому я бы попробовал сформулировать задачу как то иначе.
зачем 20к, что за ограничения, зачем это все надо и тп - может быть есть какой-то другой вариант где были бы ограничены условия и не надо был бы рендом
Don't forget to run script update
Re: Big Base Demo
Задача простая, держать все дампы тубов у себя и не ходить по админкам их, и при наполнении новых ресурсов выбирать с базы у себя. Просто у нуля писать не охота.
Re: Big Base Demo
покрутил и так и этак - думаю простой вариант пододет учитывая что это только для себя, те нагрузка не так важна
"хочется получить рандомных 20к галер из группы тины с кеем азиаты ? и при custom_var1 больше 100 но меньше 400 и cuctom_var2 от 10 до 20"
20к - это в таге темпелйта
&group_name=....&search=...&custom_var1_from=100&custom_var1_to=400&custom_var2_from=10&custom_var2_to=20
вроде бы все прозрачно тут?
"хочется получить рандомных 20к галер из группы тины с кеем азиаты ? и при custom_var1 больше 100 но меньше 400 и cuctom_var2 от 10 до 20"
20к - это в таге темпелйта
&group_name=....&search=...&custom_var1_from=100&custom_var1_to=400&custom_var2_from=10&custom_var2_to=20
вроде бы все прозрачно тут?
Don't forget to run script update
Re: Big Base Demo
Ну что я могу сказать, на 13кк галер админка работает с задержкой в 1-2 минуты )) Даже при флаге $config['big_database_flag'] = true;
Отредактировать категорию, модель - это еще тот квест с таймаутами, ощущение, что скрипт перебирает всю базу ) Можно что-то с этим сделать ?
Отредактировать категорию, модель - это еще тот квест с таймаутами, ощущение, что скрипт перебирает всю базу ) Можно что-то с этим сделать ?
Re: Big Base Demo
да, можно
вопрос какие именно действия происходят с базой, под это надо затачивать
13М галер, а тумб?
и что именно делается? открывается редактирование я уверен быстро, вопрос наверняка в сортировке\выборке какой-то
вопрос какие именно действия происходят с базой, под это надо затачивать
13М галер, а тумб?
и что именно делается? открывается редактирование я уверен быстро, вопрос наверняка в сортировке\выборке какой-то
Don't forget to run script update
Re: Big Base Demo
Тумбы все хотлинк.
Вот например
?operation=rotation&sub=rot_groups&linked_site_id=1 открывается секунд 30+
Добавить группу - тоже секунд 30+
Добавить импортсет - create import set - тоже долго думает
/?operation=rotation&sub=rot_models& - список моделей открывается тоже больше 20 секунд
сохранение модели после редактирования - 4-5 секунды
Это вот, сразу что пришло в голову. Есть еще моменты
Re: Big Base Demo
http://my.jetscreenshot.com/demo/202111 ... -123kb.jpg
Code: Select all
iostat -xtc
Linux 5.4.0-73-generic () 11/06/2021 _x86_64_ (40 CPU)
11/06/2021 05:28:39 PM
avg-cpu: %user %nice %system %iowait %steal %idle
8.09 0.15 1.80 0.38 0.00 89.57
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
md0 0.00 0.00 0.00 0.00 0.00 17.18 0.00 0.00 0.00 0.00 0.00 3.30 0.00 0.04 0.00 0.00 0.00 17529.76 0.00 0.00
md1 0.91 17.50 0.00 0.00 0.00 19.20 811.12 37480.66 0.00 0.00 0.00 46.21 0.23 449.70 0.00 0.00 0.00 1952.46 0.00 0.00
md127 0.00 0.00 0.00 0.00 0.00 17.41 0.00 0.00 0.00 0.00 0.00 3.94 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 2.11 182.95 1.25 37.21 3.21 86.87 585.51 37489.47 250.53 29.97 0.66 64.03 0.23 336.54 0.00 0.00 0.81 1461.14 0.18 20.31
sdb 1.60 173.16 1.25 43.75 4.01 108.01 584.74 37489.50 251.34 30.06 0.08 64.11 0.23 336.54 0.00 0.00 0.81 1461.14 0.23 20.33
sdc 21.49 1435.72 0.94 4.21 5.88 66.81 0.00 0.01 0.00 1.03 20.13 2.29 0.00 0.00 0.00 0.00 0.00 0.00 0.10 1.00
sdd 21.48 1435.72 0.95 4.25 10.56 66.84 0.00 0.01 0.00 1.03 21.68 2.29 0.00 0.00 0.00 0.00 0.00 0.00 0.19 1.00
Current average speed: 2038 galleries per minute