Page 2 of 3

Re: Ошибки сфинкса

Posted: Wed Mar 17, 2021 7:41 am
by admin
простой вариант - сделать Sphinx Max Matches больше 20к

вариант где надо подумать - это ограничить кол-во страниц поиска (тоже есть в сетингах)

Re: Ошибки сфинкса

Posted: Thu Mar 18, 2021 9:37 am
by SpyCam
Еще одна ошибка:

Core error: Mysql error 1213: Deadlock found when trying to get lock; try restarting transaction (UPDATE LOW_PRIORITY rot_gallery_info SET gallery_total_shows = CASE WHEN gallery_id = '1816050' THEN gallery_total_shows + 1 WHEN gallery_id = '1807549' THEN gallery_total_shows + 1 WHEN gallery_id = '465906' THEN gallery_total_shows + 1 WHEN gallery_id = '1649147' THEN gallery_total_shows + 1 WHEN gallery_id = '1487092' THEN gallery_total_shows + 1 WHEN gallery_id = '1715802' THEN gallery_total_shows + 1 WHEN gallery_id = '1729592' THEN gallery_total_shows + 1 WHEN gallery_id = '449818' THEN gallery_total_shows + 1 WHEN gallery_id = '1478568' THEN gallery_total_shows + 1 WHEN gallery_id = '1649344' THEN gallery_total_shows + 1 WHEN gallery_id = '858525' THEN gallery_total_shows + 1 WHEN gallery_id = '1797931' THEN gallery_total_shows + 1 WHEN gallery_id = '992196' THEN gallery_total_shows + 2 WHEN gallery_id = '1805104' THEN gallery_total_shows + 1 WHEN gallery_id = '1111839' THEN gallery_total_shows + 1 WHEN gallery_id = '1803578' THEN gallery_total_shows + 1 WHEN gallery_id = '1336311' THEN gallery_total_shows + 1 WHEN gallery_id = '1824770' THEN gallery_total_shows + 2 WHEN gallery_id = '1788580' THEN gallery_total_shows + 1 WHEN gallery_id = '1829463' THEN gallery_total_shows + 1 WHEN gallery_id = '1745540' THEN gallery_total_shows + 1 WHEN gallery_id = '1650653' THEN gallery_total_shows + 1 WHEN gallery_id = '1706916' THEN gallery_total_shows + 1 WHEN gallery_id = '1694128' THEN gallery_total_shows + 1 WHEN gallery_id = '817938' THEN gallery_total_shows + 1 WHEN gallery_id = '1705161' THEN gallery_total_shows + 1 WHEN gallery_id = '1128513' THEN gallery_total_shows + 1 WHEN gallery_id = '1718053' THEN gallery_total_shows + 1 WHEN gallery_id = '1662554' THEN gallery_total_shows + 1 WHEN gallery_id = '591002' THEN gallery_total_shows + 1 WHEN gallery_id = '386413' THEN gallery_total_shows + 1 WHEN gallery_id = '707077' THEN gallery_total_shows + 1 WHEN gallery_id = '1696481' THEN gallery_total_shows + 1 WHEN gallery_id = '1594521' THEN gallery_total_shows + 1 WHEN gallery_id = '1829209' THEN gallery_total_shows + 1 WHEN gallery_id = '1712570' THEN gallery_total_shows + 1 WHEN gallery_id = '836699' THEN gallery_total_shows + 1 WHEN gallery_id = '1794905' THEN gallery_total_shows + 1 WHEN gallery_id = '452447' THEN gallery_total_shows + 1 WHEN gallery_id = '1769805' THEN gallery_total_shows + 2 WHEN gallery_id = '1629624' THEN gallery_total_shows + 1 WHEN gallery_id = '1136896' THEN gallery_total_shows + 1 WHEN gallery_id = '780657' THEN gallery_total_shows + 1 WHEN gallery_id = '1722207' THEN gallery_total_shows + 3 WHEN gallery_id = '1647876' THEN gallery_total_shows + 1 WHEN gallery_id = '1799829' THEN gallery_total_shows + 1 WHEN gallery_id = '448452' THEN gallery_total_shows + 1 WHEN gallery_id = '1724949' THEN gallery_total_shows + 1 WHEN gallery_id = '1805990' THEN gallery_total_shows + 1 WHEN gallery_id = '1580855' THEN gallery_total_shows + 1 WHEN gallery_id = '1773534' THEN gallery_total_shows + 1 WHEN gallery_id = '1761845' THEN gallery_total_shows + 1 WHEN gallery_id = '1705068' THEN gallery_total_shows + 1 WHEN gallery_id = '1705022' THEN gallery_total_shows + 1 WHEN gallery_id = '417450' THEN gallery_total_shows + 1 WHEN gallery_id = '1813045' THEN gallery_total_shows + 1 END WHERE gallery_id IN ('1816050','1807549','465906','1649147','1487092','1715802','1729592','449818','1478568','1649344','858525','1797931','992196','1805104','1111839','1803578','1336311','1824770','1788580','1829463','1745540','1650653','1706916','1694128','817938','1705161','1128513','1718053','1662554','591002','386413','707077','1696481','1594521','1829209','1712570','836699','1794905','452447','1769805','1629624','1136896','780657','1722207','1647876','1799829','448452','1724949','1805990','1580855','1773534','1761845','1705068','1705022','417450','1813045') )

Re: Ошибки сфинкса

Posted: Thu Mar 18, 2021 9:44 am
by admin
в этот момент был перегруз винта
если 1 раз - просто удалить

если постоянно - обратить внимание на нагрузку сервака

Re: Ошибки сфинкса

Posted: Thu Apr 01, 2021 12:54 pm
by SpyCam
Опять появились подобние ошибки:

Core error: Mysql error 1064: offset out of bounds (offset=29800, max_matches=20000) (SELECT id FROM `site_com_scj_index_search` WHERE MATCH ('"All"') ORDER BY hits DESC LIMIT 29800, 50 OPTION max_matches=20000)

Core error: Mysql error 1064: offset out of bounds (offset=40000, max_matches=20000) (SELECT id FROM `site_com_scj_index_search` WHERE MATCH ('"All"') ORDER BY hits DESC LIMIT 40000, 50 OPTION max_matches=20000)

Это слейв там настроено 30 страниц вместо 50 (как было раньше), а на мастере Sphinx Max Matches настроен на 50000

Как это пофиксить?

Re: Ошибки сфинкса

Posted: Thu Apr 01, 2021 1:02 pm
by magicum
admin wrote: Thu Mar 18, 2021 9:44 am в этот момент был перегруз винта
если 1 раз - просто удалить

если постоянно - обратить внимание на нагрузку сервака
проблема с дедлоками повторяется.
Проверили по мониторингу, затупа нет ни по дискам, ни по памяти, ни по процессору.
Тут не в претензию, просто у нас нет ДБА, может посоветуешь что?

Re: Ошибки сфинкса

Posted: Thu Apr 01, 2021 1:05 pm
by admin
если невозможно определить в какой момент это происходит
и что конекртено происходит в этот момент
а варнинги напрягают
то можете просто конвертануть в myisam
там такого просто нет

Re: Ошибки сфинкса

Posted: Thu Apr 01, 2021 1:10 pm
by magicum
Ок, по дедлоку потестируем еще.
Вопрос с оффсетом остается открытым.

Re: Ошибки сфинкса

Posted: Thu Apr 01, 2021 1:59 pm
by admin
SpyCam wrote: Thu Apr 01, 2021 12:54 pm Опять появились подобние ошибки:

Core error: Mysql error 1064: offset out of bounds (offset=29800, max_matches=20000) (SELECT id FROM `site_com_scj_index_search` WHERE MATCH ('"All"') ORDER BY hits DESC LIMIT 29800, 50 OPTION max_matches=20000)

Core error: Mysql error 1064: offset out of bounds (offset=40000, max_matches=20000) (SELECT id FROM `site_com_scj_index_search` WHERE MATCH ('"All"') ORDER BY hits DESC LIMIT 40000, 50 OPTION max_matches=20000)

Это слейв там настроено 30 страниц вместо 50 (как было раньше), а на мастере Sphinx Max Matches настроен на 50000

Как это пофиксить?


Добавил в ап что б слейв читал данные с мастера

Re: Ошибки сфинкса

Posted: Thu Aug 26, 2021 9:31 am
by SpyCam
Core error: Mysql error 1064: offset out of bounds (offset=32500, max_matches=20000) (SELECT id FROM domain_com_scj_index_search WHERE MATCH ('"All"') ORDER BY hits DESC LIMIT 32500, 60 OPTION max_matches=20000)

Ошибки не прекращаются.
Это мастер, в Sphinx Max Matches указано 20000.

Почему оффсеты идут больше 20000?
Где указать чтоб оффсеты не превышали 20к, чтоб ошибки не повторялись?

Re: Ошибки сфинкса

Posted: Thu Aug 26, 2021 9:44 am
by admin
суть простая: вы укзаали сфинксу отдавать не более чем 20 000 результатов

при этом где-то пагинация больше чем на 20к результатов

получаестя например на старнице поиска 200 тумб, и вы просите страницу 11 = надо выборка 20 200 , что больше указанного = ошибка

вывод - урезать пагинацию на поиске или дать сфинксу выдавать больше резульатов