Page 3 of 4
Re: зачем gallery_grabber блокирует базу?
Posted: Thu Feb 28, 2019 6:13 pm
by webmaster
а зачем нужно ждать освобождения флага? Тогда же процессы граббера копиться начнут, я думал что если выяснили что уже другой процесс запущен то надо просто завершать работу этого граббера и всё
Re: зачем gallery_grabber блокирует базу?
Posted: Thu Feb 28, 2019 6:16 pm
by admin
что б можно было одновременно запустить несколько процессов граббера = быстрее шел граб
Re: зачем gallery_grabber блокирует базу?
Posted: Thu Feb 28, 2019 6:37 pm
by webmaster
хм... а раньше с LOCK TABLE это тогда как работало? 3 блокировки (дефолтное значение потоков граббера) в ожидании одна за другой чтоли? Жуть какая..
Просто флаги нумеровать не вариант?
Re: зачем gallery_grabber блокирует базу?
Posted: Thu Feb 28, 2019 6:40 pm
by admin
lock table
select gallery to grab
mark as processing
unlock
gallery processing
где тут 3 лока в ожидании?
Re: зачем gallery_grabber блокирует базу?
Posted: Thu Feb 28, 2019 6:44 pm
by webmaster
ну так а зачем тогда флаги и локи вообще нужны? делать у галеры mark as processing where status=wait так же как я предлагал с флагами и всё, если не удалось поменять статус на processing (affected rows=0) - значит кто-то успел раньше и надо взять следующую галеру...
Re: зачем gallery_grabber блокирует базу?
Posted: Thu Feb 28, 2019 7:07 pm
by admin
да, хорошая идея, надо попробовать
Re: зачем gallery_grabber блокирует базу?
Posted: Sat Mar 02, 2019 11:34 am
by admin
Переделано на такой вариант.
Сейчас етсь локи в базе?
Re: зачем gallery_grabber блокирует базу?
Posted: Sat Mar 02, 2019 6:38 pm
by webmaster
Нагрузка после апдейта уменьшилась значительно
Re: зачем gallery_grabber блокирует базу?
Posted: Sat Mar 02, 2019 6:47 pm
by admin
Отлично, дайте знать если будут еще проблемы
Re: зачем gallery_grabber блокирует базу?
Posted: Sat Mar 02, 2019 8:21 pm
by Andrew1
не знаю, связано это или нет, я сегодня обновлял 3 сайта с 1.52 на 2.1, на каждом около 100к галер...
1й сайт конвертил базу часов 6, наверное (Build 201903011305), остальные управились за пару минут (Build 201903021535)...